Tools/fr

Les Kiwix tools sont un ensemble de scripts ayant pour vocation de créer des contenus exploitables par le logiciel Kiwix.

Introduction

Le cœur de Kiwix étant un moteur de rendu HTML, l'objectif des Kiwix tools est de produire un ensemble cohérent de fichier HTML statiques adjoints de leur nécessaires ressources : feuilles de style, scripts javascript, images, etc. Kiwix est avant tout pensé comme un outil pour publier Wikipédia, mais tout est fait pour qu'il puisse faire plus comme : publier d'autres projets de la Fondation Wikimédia, d'autres contenus publiés avec l'aide de Mediawiki ou même produit avec d'autres outils, typiquement d'autres moteurs de wiki.

Format de stockage

Dans notre jargon un tel ensemble cohérent ce contenu multimédia est appelé un dump ou encore un corpus. C'est dumps peuvent avoir plusieurs formes : pour Kiwix v0.5, c'était un simple répertoire avec les fichiers nécessaire, Moulinwiki a utilisé un format ou plusieurs fichiers étaient compressé avec bzip2, l'ensemble étant indexé par une base Sqlite. L'avenir se situe dans le format zeno, un format tout en un, qui permet à la fois d'avoir des accès rapide, une compression forte et paramétrable. Zeno est un format créé par Directmedia et qui a servi pour publié les CD-ROM de Wikipédia en allemand. Aujourd'hui, le format est abandonné, mais nous sommes plusieurs à vouloir continuer sont développement au sein du projet Openzim. L'avenir dira si cette initiative sera un succès, mais le plus clair est d'en faire un standard et ainsi simplifier la problématique du stockage des dumps.

Méthodes de générations

Pour générer un dump, on peut s'y prendre théoriquement de différentes manières, par exemple :

• si l'on souhaite produire un dump complet  :
  • prendre un dump HTML issu du gestionnaire du wiki, la Fondation Wikimédia en fournit ici par exemple.
  • choisir de monter un miroir du wiki, d'uploader les données (le code wiki entre autre) dans la base de données et de ensuite générer un dump soit-même. On peut trouver de telles données pour la Fondation Wikimedia ici. Dans le cas d'une sélection, on peut aussi les récupérer dynamiquement sur le site (puisque un wiki est open source).
  • si l'on souhaite générer directement (en récupérant les pages HTML) un dump à l'aide du site web avec un logiciel de type aspirateur.
• Si l'on veut un dump partiel, il faut faire une sélection des articles, ensuite la problématique est analogue que pour un dump complet.

Les contraintes sont assez nombreuses, voici celles qu'il faut prendre en compte :

• les ressources matérielles du serveur,
• vos propres ressources matérielles,
• l'espace de stockage dont vous disposez pour le résultat final,
• comment faire la sélection si nécessaire.

Comme on peut le voir, la question de la méthode de génération d'un dump n'est pas une question simple. Pour plusieurs raisons un peu longues à expliquer, Kiwix s'est surtout concentré sur la publication de sélection ; même la publication de dumps complets de Wikipédia est clairement un objectif. Les Kiwix tools sont étudiés pour aider à la sélection, à répliquer des contenu directement du site en ligne sur un mirroir et ensuite de faire tourner une sorte d'aspirateur sur le site local.

Utilisation

Les scripts sont étudiés pour être utilisé de la manière suivante:

• Téléchargement du code de Médiawiki
• Installation du Mediawiki
• Mise à jour des liens interwikis
• Réplication des articles sélectionnés
• Génération d'une version statique de ces articles
• Génération d'un fichier zeno