Cluster 3 – Intelligence artificielle, reconnaissance de formes et d’écritures manuscrites

Les travaux du cluster porteront sur la reconnaissance de formes, de caractères et d’écritures manuscrites pour l’étude du livre ancien manuscrit et imprimé, la sigillographie, la numismatique et l’héraldique. Ils viseront notamment à rapprocher les développements complémentaires de Kraken et Arkindex.

1/ Les recherches de l’IRHT sur les textes latins et français

L’IRHT a développé depuis plusieurs années des programmes de reconnaissance de l’écriture manuscrite et d’analyse des écritures par ordinateur (classification et datation), en publiant plusieurs jeux de données pour nourrir les intelligences artificielles. Son partenaire principal dans ce domaine, la société Teklia, a développé la plate-forme Arkindex, basée sur l’intelligence artificielle et la vision par ordinateur pour alimenter l’analyse historique et visuelle. L’analyse des documents commence par des éléments de bas niveaux (segmentation de mise en page, repérage des miniatures et éléments de décor, transcription du texte) et alimente un processus d’analyse qui demande à être développé. Du côté du texte, l’analyse textuelle nourrit le repérage d’unités sémantiques minimales, telles que les entités nommées ou les citations et remplois textuelles. Du côté visuel, le repérage d’éléments iconographiques (miniatures, initiales historiées, armoiries) pourra être complété par l’indexation iconographique ou la mesure de similarités stylistiques. C’est d’ores et déjà une architecture prévue pour des traitements de masse, le suivi de production (indicateurs de qualité, supervision) et le service aux utilisateurs, avec des fonctionnalités linguistiques qui pourront servir au traitement massif des ressources de la BVMM.

2/ Kraken, un module HTR pour toutes les écritures (e-Scripta, EPHE-PSL)

Kraken, entièrement open source (licence Apache 2), est le premier élément de la suite d’outils conçue par les chercheurs de l’EPHE-PSL au sein de Scripta-PSL pour étudier des corpus de manuscrits écrits dans n’importe quelle langue et n’importe quel système graphique. L’outil est souple : les utilisateurs définissent leurs propres principes de transcription, jusqu’à la translittération complète et peuvent, sur une archive ouverte qui fonctionne via Zenodo, publier les modèles et/ou les télécharger et permettre à d’autres utilisateurs de reprendre un modèle et de le réentraîner pour une écriture différente mais similaire.

3/ Analyse de formes : reconnaissance des filigranes, d’éléments du décor, héraldiques et numismatiques (ENC-PSL, IRHT, EPHE-PSL, CRAHAM)

L’outil construit par l’ENC-PSL, l’IRHT, l’INRIA et l’École des Ponts dans le projet « Filigranes pour tous », permettant d’accéder au répertoire de Briquet et d’identifier les filigranes photographiés par un smartphone, doit être amélioré et la base enrichie en métadonnées. En coordination avec les développements d’Arkindex, on développera aussi l’application docExtractor (INRIA-IRHT), permettant d’isoler dans un manuscrit donné tous les éléments de décor, puis de comparer ces éléments d’un manuscrit à l’autre.

Les BVH via la base de données BaTyr cherchent à permettre la reconnaissance automatique des formes et des fontes pour l’identification des imprimeurs. L’IRHT entend développer avec l’INRIA des processus similaires adaptés pour les écritures manuscrites et leur variabilité.

Dans le domaine de l’héraldique, on développera le module déjà construit dans e-Signa (SAPRAT, EPHE-PSL), qui permet de formaliser les informations héraldiques et de les restituer sous forme d’un dessin normalisé et d’une description standardisée. L’interface de recherches héraldiques permettra d’interroger par image ou texte les ressources du portail à l’aide d’un outil simple de reconstruction graphique.

Une méthodologie très proche est en cours de développement à AOROC pour les monnaies, en collaboration avec les Mines ParisTech. AOROC poursuivra l’acquisition des données des monnaies celtiques et italiques (pré-romaines) – acquises à l’aide d’un scanner 3D de grande précision – et leur mise en ligne sur des outils assurant le libre accès (Chronocarto, Sketchfab, Nakala/Huma-Num). Le CRAHAM participera à l’effort de référencement et d’indexation d’empreintes représentant des monnaies ou des types monétaires.