Retour d'expériences sur la conception d'API REST

Extrait d'éléments concernant le modèle d'API REST datant de 2017

 Ce document est un condensé des éléments qui ont orientés les choix généraux d'implémentation des API dans le cadre du Projet Vitam. Ils datent de 2017 mais sont, selon moi, toujours d'actualité et sans doute réutilisable dans d'autres contextes.

Attention, il ne s'agit absolument pas d'un document officiel, mais d'un condensé de mes propres notes et de mon expérience, y compris a posteriori de cette période. Il ne s'agit pas d'une "norme", ni d'une obligation, certains éléments ayant forcément un parti pris.

Mais j'espère que cela pourra être utile à d'autres.

Résoudre le transfert de SIP/DIP de manière sécurisée et gérable

L’un des enjeux majeurs de Vitam est la gestion d’archives en grande volumétrie et sur de longue durée. Le rôle de Waarp est la gestion sécurisée, performante et fiable des transferts de fichiers dans un contexte de production. Il s’agit d’apporter les qualités de Waarp à Vitam.

Le module Waarp-Vitam a pour objectif de répondre aux besoins impérieux de gérer et contrôler dans des conditions sécurisées et exploitables les opérations de versements et d’export avec Vitam et un SI. Il constitue la liaison entre deux logiciels Open Sources : Waarp et Vitam.

• Waarp : https://www.waarp.fr/
• Vitam : https://www.programmevitam.fr/
• Waarp-Vitam :  https://github.com/waarp/WaarpVitam

La release v1.0.0 de Waarp-Vitam, associée à la release v3.2.0 de Waarp-R66 a été testée et validée avec Vitam 2.6.3-1 et 2.11.2.

Publication publique de la version Bêta

Sur Github : https://github.com/ProgrammeVitam/vitam

Sur Bintray (binaires et documentations) : https://bintray.com/programmevitam

Page d'accueil du programme : http://www.programmevitam.fr

Paquets d'archives (AIP) et les technologies Cloud

Après 2 années de préparations intensives et le lancement de la réalisation début 2016, je reviens dans mon blog avec quelques précisions sur le modèle de données Vitam, mais cette fois sur une orientation très "stockage" et "calcul" au service de l'archivage électronique.

Dans le cadre du projet Vitam, des réflexions ont été menées pour gérer et proposer de nouveaux services au mieux dans le cadre des archives numériques publiques. Vitam est un projet français interministériel dont l'objectif est de développer un logiciel libre pour gérer des archives et leurs métadonnées dans un back-office pour les administrations publics en général, que ce soit pour les archivistes et les gestionnaires de données ou que ce soit pour les informaticiens.

L'objectif est de réaliser un logiciel fiable d'archivage, autorisant le stockage et la préservation de plusieurs milliards d'éléments numériques. Chaque élément est un objet numérique (un document, une image, une vidéo, ...) qui possède ses métadonnées elles-aussi numériques (métadonnées techniques, descriptives et de gestion, dont les droits d'accès et les durées de conservation ainsi que le sort final). Ce logiciel devra présenter des garanties de sécurité et maintenir et conserver les valeurs légales de ces éléments (intégrité, valeur probante et confidentialité).

Cet article se concentre sur deux aspects : le stockage des AIP (paquets d'archives définis dans le modèle OAIS [1])

• en respectant les usages et les nécessaires calculs pour chaque élément numérique, tous les deux dans un contexte de plusieurs milliards d'éléments et d'actions,
• en assurant une compatibilité d'usage depuis la création et jusqu'aux archives historiques.

Ces deux aspects conduisent à une implémentation suivant l'esprit du stockage en nuage (Cloud storage) et du calcul en nuage (Cloud computing), en fonction des normes et standards qui s'appliquent. Il n'est pas question de stockage auprès d'hébergeur du "Cloud" pour des raisons légales et de sécurités mais bien d'un hébergement réalisé par l'Etat sur ses propres infrastructures. Le modèle fonctionnel de Vitam est basé sur l'OAIS [1] et intègre également les standards de la gestion des enregistrements (records management) comme ICA-Req [2] et MoReq [3] afin d'adapter le système aux besoins des agences publics françaises.

Certains aspects liés à la valeur probante seront abordés, mais ils ne font pas partis du coeur de cet article.

Cet article décrit les motivations et les propositions d'implémentations qui ont à ce jour émergées. Il ne constitue pas une documentation à proprement parlé de Vitam mais une réflexion ouverte au plus grand nombre dans un objectif de partager et d'améliorer ma vision.
Comme toujours, ce blog est réalisé à titre privé et personnel.

Relais de l'appel à commentaires du Programme Vitam pour les premières API du logiciel back-office Vitam

Programme Vitam #progvitam

Découvrez les API de versement, de recherche et d'accès aux contenus et aux journaux dans un back office Vitam

http://api.programmevitam.fr

Vos commentaires sont attendus !

Relais de l'appel officiel à commentaire du Programme VITAM - Métadonnées Descriptives

Madame, Monsieur,

L'équipe du programme VITAM vous a lancé la semaine dernière un appel à commentaires sur ses projets de schéma de métadonnées et de langage de requêtes. Nous vous avions annoncé à cette occasion que les parties du schéma relatives aux métadonnées descriptives ferait l'objet d'un prochain envoi.

Vous trouverez donc ci-dessous un lien vers un fichier ZIP contenant un document de présentation de ce projet de schéma, accompagné du fichier XSD.

Vos réponses sont attendues pour le lundi 20 octobre 2014, par message électronique adressé exclusivement à l'adresse suivante : consultation-vitam "at" culture.gouv.fr. Dans la mesure du possible, nous vous serions reconnaissant de bien vouloir utiliser la fiche d'expression des remarques également jointe (format XLSX, XLS ou ODS). 

Avec nos remerciements,

L'équipe projet VITAM

Lien de téléchargement

Relais de l'appel officiel à commentaire du Programme VITAM

Madame, Monsieur,

L'équipe du programme VITAM travaille depuis le début de l'année 2014 à la conception des interfaces de versements et d'accès à la brique logicielle VITAM, et notamment aux deux sujets suivants :

• un schéma de métadonnées conforme à la nouvelle norme NF Z44-022 (MEDONA) ;
• un langage de requêtes pour l'accès à la brique logicielle.

Nous souhaitons recueillir vos commentaires sur les deux documents que nous avons élaborés et que vous trouverez en pièce jointe.

Vos réponses sont attendues pour le mercredi 15 octobre 2014, par message électronique adressé exclusivement à l'adresse suivante : consultation-vitam "at" culture.gouv.fr. Dans la mesure du possible, nous vous serions reconnaissant de bien vouloir utiliser la fiche d'expression des remarques également jointe au présent message (format XLSX, XLS ou ODS).

La partie du schéma de métadonnées relative aux métadonnées descriptives fera l'objet d'un prochain appel à commentaires dans les semaines à venir.

Ces travaux, ainsi que les commentaires que vous voudrez bien nous retourner, alimenteront la contribution de l'équipe du programme VITAM aux travaux pilotés par le Service interministériel des archives de France (SIAF) sur l'actualisation du Standard d'échanges de données pour l'archivage (SEDA).

Avec nos remerciements,

L'équipe projet VITAM

Le dossier Zippé est téléchargeable au travers de ce lien.

Présentation préliminaire du schéma VITAM conçu pour le versement d’archives - 3/3 - Exemples d'utilisation

Présentation préliminaire du schéma VITAM conçu pour le versement d’archives - 3/3

Exemples d'utilisation

Dans le cadre du programme VITAM, nous devons définir les interfaces externes de la solution logicielle que nous allons développer. Parmi ces interfaces, le schéma de données accompagnant un versement d’archives est un enjeu important.

Ce troisième billet porte sur des exemples d’utilisation de ce schéma, exemples orientés mis en œuvre et non métier (au sens où nous ne décrirons pas les métadonnées de description mais uniquement les modalités de construction d’un fichier XML).

Toujours à titre personnel, ceci ne constitue pas une publication officielle mais un moyen de recueillir des avis avant la mouture finale, toujours avec appel à commentaires.

Pour rappel, nous nous plaçons dans le cadre des normes et règlements français, nous nous inspirons de la norme MEDONA de l’AFNOR (Z 44-022) qui permet de définir le sur-ensemble des échanges entre partenaires autour d’un Système d’Archivage Électronique (SAE). Nous nous inspirons également de MoReq2010 pour le modèle de données.

Comme pour le précédent billet, vous êtes bien sûr, vous lecteurs, plus que les bienvenus à apporter vos commentaires.

Un langage de requêtes pour rechercher et consulter des archives depuis un front-office vers un SAE back-office

Un langage de requêtes pour rechercher et consulter des archives depuis un front-office vers un SAE back-office

Dans le cadre du programme VITAM, nous devons définir les interfaces externes de la solution logicielle que nous allons développer. Parmi ces interfaces, le schéma de données accompagnant un versement d’archives est un enjeu important.

Dans le cadre des normes et règlements français, nous nous inspirons de la norme MEDONA de l’AFNOR (Z 44-022) qui permet de définir le sur-ensemble des échanges entre partenaires autour d’un Système d’Archivage Électronique (SAE). Nous nous inspirons également de MoReq2010 pour le modèle de données.

En effet MEDONA définit les principes ainsi qu’un exemple de schéma, mais ne spécifie pas les parties liées aux contextes métiers concernés par les archives (plan de classement, métadonnées de gestion, ...). L’objet du schéma VITAM est donc de proposer une extension de la norme MEDONA pour proposer un modèle de données pour le versement d’archives, en tant que première interface d’un SAE.

Ce blog étant à caractère personnel, il ne constitue donc pas une publication officielle, mais il m'a semblé intéressant de recueillir des avis avant la mouture finale qui elle suivra une publication officielle, toujours avec appel à commentaires. Cette publication est assez technique, et je m'en excuse par avance...

Présentation préliminaire du schéma VITAM conçu pour le versement d’archives : 2/3 - Les Métadonnées

Présentation préliminaire du schéma VITAM conçu pour le versement d’archives : 2/3

Les Métadonnées

Dans le cadre du programme VITAM, nous devons définir les interfaces externes de la solution logicielle que nous allons développer. Parmi ces interfaces, le schéma de données accompagnant un versement d’archives est un enjeu important.

Ce second billet porte sur une classification des métadonnées ainsi que leur placement respectif dans un schéma XML de versement. Nous n’abordons pas le schéma de « stockage » de ces métadonnées au sein du logiciel VITAM, tel que nous l’envisageons, car il ne s’agit plus des interfaces d’un système implémentant VITAM mais de son implémentation.

Toujours à titre personnel, ceci ne constitue pas une publication officielle mais un moyen de recueillir des avis avant la mouture finale, toujours avec appel à commentaires.

Pour rappel, nous nous plaçons dans le cadre des normes et règlements français, nous nous inspirons de la norme MEDONA de l’AFNOR (Z 44-022) qui permet de définir le sur-ensemble des échanges entre partenaires autour d’un Système d’Archivage Électronique (SAE). Nous nous inspirons également de MoReq2010 pour le modèle de données.

Comme pour le précédent billet, vous êtes bien sûr, vous lecteurs, plus que les bienvenus à apporter vos commentaires.

Présentation préliminaire du schéma VITAM conçu pour le versement d’archives 1/3 - Plan de classement et arborescence

Présentation préliminaire du schéma VITAM conçu pour le versement d’archives - 1/3

Plan de classement et arborescence

Dans le cadre du programme VITAM, nous devons définir les interfaces externes de la solution logicielle que nous allons développer. Parmi ces interfaces, le schéma de données accompagnant un versement d’archives est un enjeu important.

Dans le cadre des normes et règlements français, nous nous inspirons de la norme MEDONA de l’AFNOR (Z 44-022) qui permet de définir le sur-ensemble des échanges entre partenaires autour d’un Système d’Archivage Électronique (SAE). Nous nous inspirons également de MoReq2010 pour le modèle de données.

En effet MEDONA définit les principes ainsi qu’un exemple de schéma, mais ne spécifie pas les parties liées aux contextes métiers concernés par les archives (plan de classement, métadonnées de gestion, ...). L’objet du schéma VITAM est donc de proposer une extension de la norme MEDONA pour proposer un modèle de données pour le versement d’archives, en tant que première interface d’un SAE.

Plutôt que de faire une seule et unique publication, nous proposons de réaliser des publications par morceaux via mon blog pour obtenir des premiers avis et retour, avant de proposer une version plus « complète » mais toujours ouverte aux commentaires par les canaux plus classiques.
Ce blog étant à caractère personnel, il ne constitue donc pas une publication officielle, mais il m'a semblé intéressant de recueillir des avis avant la mouture finale qui elle suivra une publication officielle, toujours avec appel à commentaires.

• Ce premier billet se concentre sur les notions d’arbres et de graphes dans le schéma de métadonnées.
• Le second billet devrait porter sur une classification des métadonnées et leur placement respectif dans un schéma XML plus général.
• Enfin le troisième billet voudra présenter le schéma par thème ainsi que des exemples d’usages.

Vous êtes bien sûr, vous lecteurs, plus que les bienvenus à apporter vos commentaires d'ors et déjà.

Un peu de publicité

Je ne résiste pas à afficher l'annonce du séminaire fonctionnel VITAM, le premier d'une longue série !

Selon mes sources, le nombre de participants est prometteur pour l'avenir du futur comité utilisateur du programme VITAM ! Mes collègues archivistes peuvent être fiers ! Le 6 novembre est une date importante !

Vous aurez noté que cette "publicité" intervient après la clôture des inscriptions... ;-) 

SAE, OAIS, les 3 âges : vus par un informaticien

Suites aux remarques de Janus et Anouk, je dois essayer de préciser le fond de ma pensée sur la notion des 3 âges pour une archive, mais du coup aussi ce qu'est pour moi un SAE dans la lignée de l'OAIS. Je précise tout de suite (au cas où ce ne serait pas clair) : 

1. Je ne suis pas archiviste mais informaticien.
2. Mais je pense pouvoir comprendre ces notions selon une approche pragmatique (d'usages et non de théorie), mais du coup, peut-être biaisée.
3. Je n'ai pas tout lu, loin s'en faut (et notamment, honte à moi, M Perotin) : je peux donc évidemment être dans l'erreur.
4. C'est tout l'intérêt des échanges : affiner sa connaissance pour être de moins en moins dans l'erreur, et de moins en moins seul.

Je vous invite à lire les commentaires de l'article précédent et les pointeurs associés :

• http://archiverleternite.blogspot.fr/2013/07/open-data-et-archivage-electronique_24.html
• Et l'article référencé par Anouk (et les commentaires associés) : http://present-hieretdemain.tumblr.com/post/22661817291/les-mains-dans-le-cambouis-et-la-theorie-des-3-ages
• L'article de Lourdes : http://archivesonline.wordpress.com/2011/10/12/back-to-basics-relire-perotin/
• Le modèle OAIS (version 2009) : http://public.ccsds.org/sites/cwe/rids/Lists/CCSDS%206500P11/CCSDSAgency.aspx

Je comprends que ma présentation des 3 âges (selon un informaticien, pas un archiviste) est quelque peu déroutante pour vous (archivistes). Je ne pense pas que nous disions quelque chose de fondamentalement différent, modulo quelques éléments de langage.

Open Data et Archivage électronique : suite sur quelques focus en réponse à Janus

Bonjour Janus,

Suite à tes commentaires, tu t'en doutes, je ne peux que me réjouir de faire progresser ma propre compréhension du domaine. Je ne prétends pas en effet tout connaître ou tout comprendre. Ma démarche est d'avancer petit à petit, en espérant mettre mes pas dans celui de mes prédécesseurs, mais en m'autorisant des écarts s'il me semble que ceux-ci ont ignoré quelques points (la raison la plus souvent étant que ces points sont "récents" ou peu connus et auraient donc amené ces mêmes prédécesseurs aux mêmes conclusions s'ils en avaient eu connaissance).

Open Data et Archivage électronique

Il est clair pour moi que l'Open Data est en lien avec l'archivage électronique. Et ce billet voudrait présenter quelques points pour le confirmer. Ceci n'est bien sûr qu'un point de vue d'un informaticien au contact d'archivistes.

Je fais référence à mes sources :

• http://archivesonline.wordpress.com/2013/03/03/open-data-et-archives-et-si-on-repartait-a-zero/
• http://www.etalab.gouv.fr/article-les-premiers-enseignements-de-l-operation-codesign-119057937.html
• http://www.etalab.gouv.fr/article-bilan-du-troisieme-comite-interminiteriel-pour-la-modernisation-de-l-action-publique-cimap-concern-119116071.html