Synchronisation de données par fichier CSV : Guide d'intégration

Ce guide est à destination des intégrateurs de système ayant pour mission de construire une chaine complète d'intégration et de synchronisation de données. Il expose des techniques nécessitant en général un accès système au serveur hébergeant Moodle.

Alimentation externe en fichiers de commande

L'opérateur peut utiliser le gestionnaire de fichiers local de l'outil de synchronisation pour déposer des fichiers à traiter. Il lui est également possible de déclencher un outil pour traiter un fichier déposé au dernier moment.

Dans certains cas, ce sont des programmes externes qui alimentent de manière automatique les données en fournissant les fichiers CSV. Le système de fichiers de Moodle étant opaque, l'outil de synchronisation prévoit de réintégrer automatiquement dans son système de fichiers tout fichier déposé dans le répertoire :

<moodledata>/sync

Cette récupération s'effectue avant toute action, programmée ou interactive sur l'un des outils d'intégration quelconque.

Exceptions : les fichiers commençant par '.' (fichiers cachés) ou par '_' (fichiers omis) ne sont pas concernés par cette synchronisation.

Pour réaliser une alimentation automatisée à distance :

Préparer un compte sftp de service (sftp de préférence à ftp).

Préparer votre SI distant pour venir déposer les fichier à traiter dans le répertoire mentionné ci-avant.

Dans la configuration de l'outil, mémoriser les noms de fichiers correspondant dans les préconfigurations

Configurer le traitement automatique (tâches progammées) pour chacun des fichiers à traiter.

Arbitrage au dépôt

Moodle ne doit pas être en mesure de récupérer un fichier qui est en cours de transfert FTP. De même, un agent SI externe doit être informé si le fichier local est en cours de récupération par le système de fichiers interne de Moodle.

Deux fichiers “verrous” sont gérés par le processus de réintégration afin d'aider à cette synchronisation :

Le fichier “lock.txt” : Indique que Moodle est en train de procéder à la récupération des fichiers externes.

Le fichier “alock.txt” : Est à créer par l'agent externe au début de sa procédure de transfert. Moodle teste si ce fichier existe lorsqu'il tente de récupérer les fichiers externes. Une fois le transfert terminé, l'agent SI externe doit supprimer ce fichier.

Une alarme est envoyée par mail à l'administrateur si l'un des deux fichiers existe et est trop ancien :

S'il s'agit du fichier “lock.txt” : Moodle commet des erreurs régulières lors de la récupération du fichier et ne parvient pas à supprimer son verrou.

S'il s'agit du fichier “alock.txt” : C'est le processus distant de livraison des fichiers qui est en cause.

Revenir au sommaire de l'outil