Project

General

Profile

Passage a redmine » History » Version 5

Julien Enselme, 11/13/2013 08:10 PM
Mise à jour pour fix-db.rb

1 4 Julien Enselme
Le CRI met à disposition des élèves et des associations une forge Redmine qui permet de centraliser tout ce qui concerne drupal. Avant, le wiki était dans le wiki du ginfo, les tâches sur le portail du projet et le code dans un dépôt git sur le compte sas de assos. Il a donc été décidé de migrer le wiki, les tâches et le code dans l’interface de redmine.
2 1 Julien Enselme
3 2 Julien Enselme
{{>toc}}
4 1 Julien Enselme
5 1 Julien Enselme
h1. Migration du wiki
6 1 Julien Enselme
7 5 Julien Enselme
Le wiki a été migré à la main en copiant collant le texte de l’ancien wiki et en adaptant la syntaxe et en mettant le contenu à jour. En effet lors du passage à redmine, la version utilisée ne permettait pas de faire du rest sur le wiki (malheureusement). Cela a également permit de mettre à jour toutes les pages du wiki.
8 1 Julien Enselme
9 1 Julien Enselme
h1. Migration du code
10 1 Julien Enselme
11 2 Julien Enselme
Comme il n’y avait pas de commit en dehors du commit initial, l’historique n’a pas été conservé et un nouveau dépôt vide a été créé et les scripts de l’installation y ont été ajoutés.
12 1 Julien Enselme
13 1 Julien Enselme
h1. Migration des tâches
14 1 Julien Enselme
15 2 Julien Enselme
h2. Généralités
16 2 Julien Enselme
17 5 Julien Enselme
Redmine dispose d’une API rest pour les tâches. Cette API permet de créer et de mettre à jour des tâches automatiquement. On écrit une tâche ou une mise à jour de tâche au format json ou xml et on l’injecte via les méthodes POST et PUT de HTTP. L’authentification se fait via une clé API disponible dans le compte de l’utilisateur (ou via login:mdp). Voici des exemples de commande (POST sert à créer une tâche et PUT à mettre à jour) :
18 2 Julien Enselme
<pre>
19 2 Julien Enselme
curl -X POST -v --data "@is.json" -H "Content-Type: application/json" -H "X-Redmine-API-Key: CLE" https://forge.centrale-marseille.fr/issues.json
20 2 Julien Enselme
curl -v -H "Content-Type: application/json" -X PUT --data "@3.1.json" -H "X-Redmine-API-Key: CLE" http://localhost/redmine/issues/ID_TACHE.json
21 2 Julien Enselme
</pre>
22 2 Julien Enselme
23 2 Julien Enselme
Plus d’info dans la doc de redmine :
24 2 Julien Enselme
25 2 Julien Enselme
* http://www.redmine.org/projects/redmine/wiki/Rest_api
26 2 Julien Enselme
* http://www.redmine.org/projects/redmine/wiki/Rest_Issues
27 2 Julien Enselme
28 2 Julien Enselme
h2. La méthode utilisée
29 2 Julien Enselme
30 5 Julien Enselme
Avant d’effectuer la migration en vrai, les scripts ont été testés en local avec une instance locale de la forge redmine. Les modules python permettant de faire du REST (cités dans le wiki officiel de redmine) n’ont pas été utilsés car ils n’ont pas donné satisfaction lors des tests préliminaires.
31 2 Julien Enselme
32 2 Julien Enselme
h3. Prérequis
33 1 Julien Enselme
34 1 Julien Enselme
Pour pouvoir exécuter les scripts, il faut :
35 2 Julien Enselme
36 5 Julien Enselme
* python3 avec les modules suivants : urllib, re, os, httplib2 (certains d’entre eux peuvent être dans votre installation de python3 (tous sauf httplib2 normalement), essayer de de les importer pour être fixé)
37 5 Julien Enselme
* Une copie du portail *avec les urls simplifiées activées et fonctionnelles* du projet avec toutes les tâches. Cette copie est indispensable car :
38 2 Julien Enselme
39 5 Julien Enselme
 * Les tâches doivent être accessibles par l’utilisateur anonyme pour ne pas avoir à configurer l’authentification dans le script qui poste les tâches. On ajoute une vue qui ne sert qu’à ça.
40 2 Julien Enselme
 * Il est plus facile d’accéder aux contenus avec les clean-url.
41 5 Julien Enselme
 * Il faut désactiver le module _book_ qui pose problème.
42 2 Julien Enselme
 * Installer les modules suivants :
43 2 Julien Enselme
44 2 Julien Enselme
  * _entity_json_ : il permet de récupérer (entre autre) la liste des commentaires d’un type de contenu à une adresse de type : @http://localhost/portail/entity_json/node/ID/json@
45 1 Julien Enselme
  * _restws_ : il permet de récupérer le contenu lui même à une adresse de type : @http://localhost/portail/node/ID.json@ ou @http://localhost/portail/comment/ID.json@. Il faut le configurer pour qu’il donne du json et pour quel type de contenu
46 1 Julien Enselme
47 2 Julien Enselme
 * Vérifier que les pages données par ces modules sont bien accessibles par l’utilisateur anonyme.
48 2 Julien Enselme
 * _pandoc_ pour transformer avec plus ou moins de succès (en général plus) le html en syntaxe wiki (textile). Voir http://johnmacfarlane.net/pandoc/ pour plus d’infos.
49 2 Julien Enselme
 * Faire des dictionnaires de correspondance entre les noms des champs de la tâche drupal et et les clés de la demande redmine.
50 2 Julien Enselme
51 2 Julien Enselme
h3. Les scripts
52 2 Julien Enselme
53 2 Julien Enselme
Pour migrer les tâches, nous avons écrit un script python disponible dans le dépôt dans source:scripts_divers/migrer_taches_vers_redmine/ et s’appelle _goto_redmine.py_. Ce dossier contient également :
54 2 Julien Enselme
55 5 Julien Enselme
* goto_redmine.py : le script qui effectue la migration. Il récupère les tâches au format json sur le drupal et les poste sur le redmine.
56 5 Julien Enselme
* fix-db.rb : ce script va rétablir dans la base de données les informations sur les utilisateurs et les dates dans la base de données de redmine. Il a été écrit en ruby car ce langage dispose d'un très bon module DBI.
57 5 Julien Enselme
* cmd : qui récapitule les commandes données ci-dessus.
58 5 Julien Enselme
* Le dossier exemples_json qui contient des exemples de tâches et de commentaires au format json pour savoir comment doivent être écrites ces données.
59 5 Julien Enselme
60 5 Julien Enselme
Normalement les scripts sont suffisamment commentés pour être compris par quelqu’un ayant fait du python et du ruby. Il faut néanmoins faire attention aux points suivant :
61 2 Julien Enselme
62 2 Julien Enselme
* json.load() : charge un json depuis un objet fichier alors que json.loads() transforme une chaîne de caractère formatée comme un dictionnaire en dictionnaire.
63 2 Julien Enselme
* doc utile :
64 2 Julien Enselme
65 2 Julien Enselme
 * "httplib2":https://code.google.com/p/httplib2/
66 2 Julien Enselme
 * "urllib.request":http://docs.python.org/dev/library/urllib.request.html