Tools/fr

Les Kiwix tools sont un ensemble de scripts ayant pour vocation d'aider à la création de contenus exploitables par le logiciel Kiwix.

Introduction

Kiwix est avant tout pensé comme un outil pour publier Wikipédia, mais tout est fait pour qu'il puisse faire plus comme : publier d'autres projets de la Fondation Wikimédia, d'autres contenus publiés avec l'aide de Mediawiki ou même produit avec d'autres outils, typiquement d'autres moteurs de wiki (comme ici par exemple).

Le cœur de Kiwix étant le moteur de rendu HTML Gecko, l'objectif des Kiwix tools est de produire un ensemble cohérent de fichier HTML statiques adjoints de leur nécessaires ressources : feuilles de style, scripts javascript, images, etc.

Stockage

Dans notre jargon un tel ensemble cohérent de contenus multimédias est appelé un dump ou encore un corpus. Ces dumps peuvent avoir plusieurs formes : pour Kiwix v0.5, c'était un simple répertoire, Moulinwiki a utilisé un format ou plusieurs fichiers étaient amalgamés et compressés avec bzip2, l'ensemble étant indexé par une base Sqlite.

L'avenir se situe cependant dans le format Zeno : un format tout en un (tout dans un fichier), qui permet à la fois d'avoir des accès rapides ainsi que une compression forte et paramétrable. Zeno est un format créé par Directmedia et qui a servi pour publié les CD-ROM de Wikipédia en allemand. Aujourd'hui, le format est abandonné, mais nous sommes plusieurs à vouloir continuer sont développement au sein du projet Openzim. L'avenir dira si cette initiative sera un succès, mais l'objectif est d'en faire un standard et ainsi simplifier pour chacun la problématique du stockage des dumps. Il est de toute manière quasiment déjà la meilleure solution.

Méthodes de générations

Pour générer un dump, on peut s'y prendre théoriquement de différentes manières, par exemple :

• si l'on souhaite produire un dump complet  :
  • prendre un dump HTML issu du gestionnaire du wiki, la Fondation Wikimédia en fournit ici par exemple.
  • choisir de monter un miroir du wiki, d'uploader les données (le code wiki entre autre) dans la base de données et de ensuite générer un dump soit-même. On peut trouver de telles données pour la Fondation Wikimedia ici. Dans le cas d'une sélection, on peut aussi les récupérer dynamiquement sur le site (puisque un wiki est open source).
  • si l'on souhaite générer directement (en récupérant les pages HTML) un dump à l'aide du site web avec un logiciel de type aspirateur.
• Si l'on veut un dump partiel, il faut faire une sélection des articles, ensuite la problématique est analogue que pour un dump complet.

Les contraintes sont assez nombreuses, voici celles qu'il faut prendre en compte :

• les ressources matérielles du serveur,
• vos propres ressources matérielles,
• l'espace de stockage dont vous disposez pour le résultat final,
• comment faire la sélection si nécessaire.

Comme on peut le voir, la question de la méthode de génération d'un dump n'est pas une question simple. Pour plusieurs raisons un peu longues à expliquer, Kiwix s'est surtout concentré sur la publication de sélection ; même la publication de dumps complets de Wikipédia est clairement un objectif. Les Kiwix tools sont étudiés pour aider à la sélection, à répliquer des contenu directement du site en ligne sur un mirroir et ensuite de faire tourner une sorte d'aspirateur sur le site local.

Utilisation

Les scripts sont étudiés pour être utilisé de la manière suivante:

• Téléchargement du code de Médiawiki
• Installation du Mediawiki
• Mise à jour des liens interwikis
• Réplication des articles sélectionnés
• Génération d'une version statique de ces articles
• Génération d'un fichier zeno