Difference between revisions of "Tools/fr"

From Kiwix
Jump to navigation Jump to search
Line 15: Line 15:
L'avenir se situe cependant dans le format Zeno : un format tout en un (tout dans un fichier), qui permet à la fois d'avoir des accès rapides ainsi que une compression forte et paramétrable. Zeno est un format créé par [http://www.digitale-bibliothek.de Directmedia] et qui a servi pour publié les [http://www.amazon.de/Wikipedia-2007-2008-Kompakt-DVD-ROM/dp/3866400187/ref=sr_1_1?ie=UTF8&s=software&qid=1232812631&sr=8-1 CD-ROM de Wikipédia en allemand]. Aujourd'hui, le format est abandonné, mais nous sommes plusieurs à vouloir continuer sont développement au sein du projet [http://wiki.openzim.org Openzim]. L'avenir dira si cette initiative sera un succès, mais l'objectif est d'en faire un standard et ainsi simplifier pour chacun la problématique du stockage des ''dumps''. Il est de toute manière quasiment déjà la meilleure solution.
L'avenir se situe cependant dans le format Zeno : un format tout en un (tout dans un fichier), qui permet à la fois d'avoir des accès rapides ainsi que une compression forte et paramétrable. Zeno est un format créé par [http://www.digitale-bibliothek.de Directmedia] et qui a servi pour publié les [http://www.amazon.de/Wikipedia-2007-2008-Kompakt-DVD-ROM/dp/3866400187/ref=sr_1_1?ie=UTF8&s=software&qid=1232812631&sr=8-1 CD-ROM de Wikipédia en allemand]. Aujourd'hui, le format est abandonné, mais nous sommes plusieurs à vouloir continuer sont développement au sein du projet [http://wiki.openzim.org Openzim]. L'avenir dira si cette initiative sera un succès, mais l'objectif est d'en faire un standard et ainsi simplifier pour chacun la problématique du stockage des ''dumps''. Il est de toute manière quasiment déjà la meilleure solution.


== Méthodes de générations ==
== Génération ==
Pour générer un ''dump'', on peut s'y prendre théoriquement de différentes manières, par exemple :
 
* si l'on souhaite produire un ''dump'' complet :
La question de la méthode pour générer un dump n'est pas une question simple. Pour plusieurs raisons, Kiwix s'est jusqu'à présent concentré sur la manière de générer des dumps offrant une sélection ; même si la publication de ''dumps'' complets de Wikipédia reste clairement un objectif. Les ''Kiwix tools'' sont donc étudiés pour aider à la sélection, aider à répliquer des contenus issus du site en ligne sur un miroir pour ensuite à partir de ce miroir faire un ''dump''.
 
Mais ce n'est pas la seule méthode pour générer un ''dump'' : on peut s'y prendre théoriquement de différentes manières. Voici une petite liste non exhaustive d'approches différentes :
* Si l'on souhaite produire un ''dump'' complet, on peut :
** prendre un ''dump'' HTML issu du gestionnaire du wiki, la Fondation Wikimédia en fournit [http://static.wikipedia.org/ ici] par exemple.
** prendre un ''dump'' HTML issu du gestionnaire du wiki, la Fondation Wikimédia en fournit [http://static.wikipedia.org/ ici] par exemple.
** choisir de monter un miroir du wiki, d'uploader les données (le code wiki entre autre) dans la base de données et de ensuite générer un ''dump'' soit-même. On peut trouver de telles données pour la Fondation Wikimedia [http://download.wikimedia.org/backup-index.html ici]. Dans le cas d'une sélection, on peut aussi les récupérer dynamiquement sur le site (puisque un wiki est ''open source'').
** choisir de monter un miroir du wiki, d'uploader les données (le code wiki entre autre) dans la base de données et de ensuite générer un ''dump'' soit-même. On peut trouver de telles données pour la Fondation Wikimedia [http://download.wikimedia.org/backup-index.html ici]. Dans le cas d'une sélection, on peut aussi les récupérer dynamiquement sur le site (puisque un wiki est ''open source'').
** si l'on souhaite générer directement (en récupérant les pages HTML) un ''dump'' à l'aide du site web avec un logiciel de type ''aspirateur''.
** si l'on souhaite générer directement (en récupérant les pages HTML) un ''dump'' à l'aide du site web avec un logiciel de type ''aspirateur''.
* Si l'on veut un ''dump'' partiel, il faut faire une sélection des articles, ensuite la problématique est analogue que pour un ''dump'' complet.
* Si l'on souhaite un ''dump'' partiel, il faut faire une sélection des articles, ensuite la problématique est analogue que pour un ''dump'' complet.


Les contraintes sont assez nombreuses, voici celles qu'il faut prendre en compte :
Les contraintes sont assez nombreuses, voici de manière générale celles qu'il faut prendre en compte :
* les ressources matérielles du serveur,
* les ressources matérielles du serveur,
* vos propres ressources matérielles,
* vos propres ressources matérielles,
* l'espace de stockage dont vous disposez pour le résultat final,
* l'espace de stockage dont vous disposez pour le résultat final,
* comment faire la sélection si nécessaire.
* comment faire la sélection si nécessaire.
Comme on peut le voir, la question de la méthode de génération d'un dump n'est pas une question simple. Pour plusieurs raisons un peu longues à expliquer, Kiwix s'est surtout concentré sur la publication de sélection ; même la publication de ''dumps'' complets de Wikipédia est clairement un objectif. Les Kiwix tools sont étudiés pour aider à la sélection, à répliquer des contenu directement du site en ligne sur un mirroir et ensuite de faire tourner une sorte d'aspirateur sur le site local.


== Utilisation ==
== Utilisation ==

Revision as of 16:17, 24 January 2009


Les Kiwix tools sont un ensemble de scripts ayant pour vocation d'aider à la création de contenus exploitables par le logiciel Kiwix.

Introduction

Kiwix est avant tout pensé comme un outil pour publier Wikipédia, mais tout est fait pour qu'il puisse faire plus comme : publier d'autres projets de la Fondation Wikimédia, d'autres contenus publiés avec l'aide de Mediawiki ou même produit avec d'autres outils, typiquement d'autres moteurs de wiki (comme ici par exemple).

Le cœur de Kiwix étant le moteur de rendu HTML Gecko, l'objectif des Kiwix tools est de produire un ensemble cohérent de fichier HTML statiques adjoints de leur nécessaires ressources : feuilles de style, scripts javascript, images, etc.

Stockage

Dans notre jargon un tel ensemble cohérent de contenus multimédias est appelé un dump ou encore un corpus. Ces dumps peuvent avoir plusieurs formes : pour Kiwix v0.5, c'était un simple répertoire, Moulinwiki a utilisé un format ou plusieurs fichiers étaient amalgamés et compressés avec bzip2, l'ensemble étant indexé par une base Sqlite.

L'avenir se situe cependant dans le format Zeno : un format tout en un (tout dans un fichier), qui permet à la fois d'avoir des accès rapides ainsi que une compression forte et paramétrable. Zeno est un format créé par Directmedia et qui a servi pour publié les CD-ROM de Wikipédia en allemand. Aujourd'hui, le format est abandonné, mais nous sommes plusieurs à vouloir continuer sont développement au sein du projet Openzim. L'avenir dira si cette initiative sera un succès, mais l'objectif est d'en faire un standard et ainsi simplifier pour chacun la problématique du stockage des dumps. Il est de toute manière quasiment déjà la meilleure solution.

Génération

La question de la méthode pour générer un dump n'est pas une question simple. Pour plusieurs raisons, Kiwix s'est jusqu'à présent concentré sur la manière de générer des dumps offrant une sélection ; même si la publication de dumps complets de Wikipédia reste clairement un objectif. Les Kiwix tools sont donc étudiés pour aider à la sélection, aider à répliquer des contenus issus du site en ligne sur un miroir pour ensuite à partir de ce miroir faire un dump.

Mais ce n'est pas la seule méthode pour générer un dump : on peut s'y prendre théoriquement de différentes manières. Voici une petite liste non exhaustive d'approches différentes :

  • Si l'on souhaite produire un dump complet, on peut :
    • prendre un dump HTML issu du gestionnaire du wiki, la Fondation Wikimédia en fournit ici par exemple.
    • choisir de monter un miroir du wiki, d'uploader les données (le code wiki entre autre) dans la base de données et de ensuite générer un dump soit-même. On peut trouver de telles données pour la Fondation Wikimedia ici. Dans le cas d'une sélection, on peut aussi les récupérer dynamiquement sur le site (puisque un wiki est open source).
    • si l'on souhaite générer directement (en récupérant les pages HTML) un dump à l'aide du site web avec un logiciel de type aspirateur.
  • Si l'on souhaite un dump partiel, il faut faire une sélection des articles, ensuite la problématique est analogue que pour un dump complet.

Les contraintes sont assez nombreuses, voici de manière générale celles qu'il faut prendre en compte :

  • les ressources matérielles du serveur,
  • vos propres ressources matérielles,
  • l'espace de stockage dont vous disposez pour le résultat final,
  • comment faire la sélection si nécessaire.

Utilisation

Les scripts sont étudiés pour être utilisé de la manière suivante:

  • Téléchargement du code de Médiawiki
  • Installation du Mediawiki
  • Mise à jour des liens interwikis
  • Réplication des articles sélectionnés
  • Génération d'une version statique de ces articles
  • Génération d'un fichier zeno