L’intelligence artificielle au chevet des collections imprimées : un outil d’alerte pour la conservation-restauration

Surveiller des fonds, préparer des chantiers de collections, trier des reliures nécessitant des restaurations : et si ces tâches fondamentales du travail de conservation et de restauration pouvaient bénéficier des avancées de l’intelligence artificielle ? Et si des réseaux de neurones 1

Le projet est mené en partenariat avec les Archives nationales, la médiathèque du musée du quai Branly et Bibliothèque et Archives nationales du Québec (BAnQ). Les résultats de ce travail pourront bénéficier à de nombreuses communautés professionnelles. Pour le Bulletin des bibliothèques de France, Valérie Lee et Camille Simon Chane expliquent les enjeux et les développements futurs de leur travail de recherche.

Valérie Lee est responsable de la spécialité arts graphiques-livre au Département des restaurateurs de l’Institut national du patrimoine (INP) depuis 2012. Diplômée de l’INP en 1997, elle s’est formée aux techniques de restauration des peintures chinoises grâce aux bourses Lavoisier et Kress puis a été restauratrice à la Freer Gallery of Art, Washington DC, de 1997 à 2003. Elle a ensuite travaillé comme restauratrice d’arts graphiques au Musée national de Tokyo, de 2005 à 2011, où elle a mis en place des traitements de conservation préventive adaptés aux peintures asiatiques sur soie et papier. Elle est actuellement doctorante en deuxième année à CY Cergy Paris Université où elle développe, en collaboration avec le laboratoire ETIS UMR 8051 (CY Cergy Paris Université, ENSEA, CNRS), un outil basé sur les technologies de l’intelligence artificielle qui permet de quantifier automatiquement les altérations des reliures à partir de photographies de livres sur leur étagère.

Camille Simon Chane est maîtresse de conférences à l’École nationale supérieure de l’électronique et de ses applications (ENSEA) au sein du laboratoire ETIS, spécialisée dans le traitement de données issues de capteurs non conventionnels, en particulier pour l’étude du patrimoine culturel et pour la santé. Son doctorat, soutenu en 2013, portait sur l’intégration de systèmes d’acquisition de données spatiales et spectrales haute résolution dans le cadre de la génération d’informations appliquées à la conservation du patrimoine et, en particulier, sur le recalage de données multispectrales et 3D décrivant des fresques et bas-reliefs.

*

BBF : Dans quels buts documentaires peut-on utiliser la solution en cours de développement ?

Valérie Lee : Les bibliothèques sont dépositaires d’un patrimoine écrit à la fois volumineux et fragile qui doit être surveillé régulièrement à cause de la sensibilité des matériaux du livre aux manipulations et aux variations hygrométriques. Jusqu’à présent, la documentation de l’état de conservation des livres se déroule à la main en étudiant systématiquement un fonds ou en utilisant des méthodes de sondage lorsque le volume est trop important. Un document Excel signalant les fragilités sert d’outil de décision pour envoyer les livres en restauration ou limiter leur consultation. Cependant, ces méthodes sont chronophages et il est humainement impossible de suivre individuellement l’état de conservation des ouvrages dans les bibliothèques de plus de 100 000 livres.

Il nous a semblé pertinent d’explorer les technologies de l’intelligence artificielle pour obtenir automatiquement des données précises sur l’état de conservation des fonds. Nous sommes partis du constat que les livres qui présentaient des altérations structurelles sur le dos de la reliure étaient trop fragiles pour être manipulés ou numérisés sans aggraver grandement leur état. Or ces altérations sont visibles à l’œil ou sur des photographies lorsque les livres sont placés sur les rayonnages. Elles correspondent à des fentes le long des mors, des tranchefiles et des coiffes lacunaires ou bien des pertes de matériaux sur le dos qui laissent voir les fonds de cahiers. La prise de vues des livres sur leurs rayonnages permet d’avoir rapidement des données en évitant les manipulations. On peut ainsi à la fois gagner du temps et limiter le danger d’agrandir les altérations.

Notre recherche se place dans le cadre d’un doctorat par le projet de l’École doctorale 628 « Arts, Humanités, Sciences sociales » de CY Cergy Paris Université, en collaboration avec le laboratoire ETIS UMR 8051 (CY Cergy Paris Université, ENSEA, CNRS) et en partenariat avec les Archives nationales, la médiathèque du musée du quai Branly et Bibliothèque et Archives nationales du Québec (BAnQ). Notre but est d’obtenir un outil d’alerte pour un premier tri et un comptage des reliures posant d’importants problèmes de manipulation. Le concept est de prendre des photographies des livres sur leur étagère et de les verser sur un site en ligne. L’outil analysera automatiquement les photographies et produira un document Excel avec la cote de chaque livre et son état de conservation. En mai 2022, nous avons envoyé un sondage aux membres de l’association BiblioPat pour savoir si l’outil leur semblait intéressant. Nous avons reçu 47 réponses positives (2,5 % des sondés) ce qui est très encourageant. La majorité (76 %) s’en servirait pour trier les reliures qui doivent être restaurées. La surveillance des fonds (66 %) et la préparation de chantiers de collections (61,7 %) sont aussi des utilisations souhaitées.

Cette solution est-elle adaptée uniquement aux fonds patrimoniaux ou permet-elle de travailler sur tous types de fonds imprimés ?

VL : Nous souhaitons développer un outil générique qui puisse être adapté aux fonds patrimoniaux et courants mais cela présente un challenge particulier à cause de la variété des reliures existantes. Cependant, si nous réussissons, la majorité des bibliothèques pourrait en bénéficier, ce qui nous donnerait une grande satisfaction.

Quels sont les apports de votre recherche pour les activités de conservation-restauration par rapport à d’autres projets impliquant aussi de l’intelligence artificielle ?

VL : En effet, il existe des projets de conservation-restauration impliquant l’IA depuis quelques années. Je pense en particulier à l’application ArchAIDE conçue pour les archéologues. Lors de fouilles, les fragments de céramique découverts peuvent être photographiés avec un téléphone, leurs caractéristiques envoyées à une collection comparative qui active le système de reconnaissance automatique d’objets basé sur l’IA, aboutissant à une réponse avec toutes les informations pertinentes liées aux fragments. En plus de son utilité pour la recherche archéologique, l’outil est une aide pour les conservateurs-restaurateurs lorsqu’ils doivent assembler des fragments disparates. Notre projet se place dans une démarche similaire qui est attentive aux contraintes du terrain. En effet, nous souhaitons que l’outil soit facile d’accès et utilisable par tous, sans connaissance particulière en informatique. Nous développons l’outil pour qu’il soit capable d’analyser des photographies prises avec des téléphones ou des appareils numériques et puisse donner une information rapide, simple de lecture et tout de suite utilisable. Ainsi, les premiers tests que nous avons faits sur le fonds des registres du Parlement de Paris nous ont permis d’analyser l’état de 100 reliures en 10 secondes.

Un autre projet récent impliquant l’IA est intitulé Dalgocol. Il se place dans la recherche doctorale d’Alaa Zreik du laboratoire DAVID de l’université de Versailles Saint-Quentin-en-Yvelines en collaboration avec la Bibliothèque nationale de France (BnF). Il vise à croiser les données détaillées comme l’âge, la nature des matériaux, les événements de dégradation et de traitements sur un échantillon de livres pour ensuite pondérer les événements permettant de prédire l’évolution de l’état de chaque livre à l’aide de l’IA. Cette recherche est particulièrement adaptée à la BnF qui possède de nombreux rapports de conservation-restauration car elle se base sur l’extraction de données. Les résultats sont très prometteurs puisque les premiers tests ont permis de prédire l’état physique de 90 % des deux millions de documents étudiés. Notre recherche a la même finalité que Dalgocol, qui est d’aider les bibliothèques à repérer les livres particulièrement fragiles. Notre approche est cependant différente car nous souhaitons aboutir à un outil générique qui puisse être utilisé par des bibliothèques qui manquent de personnel pour suivre régulièrement l’état de conservation de leur fonds. Nous ne nous appuyons pas sur des données écrites déjà existantes, comme des rapports de conservation-restauration, mais sur la réalité du terrain, à un instant T. Par ailleurs, une autre facette de l’outil que nous souhaiterions développer est le suivi des fonds dans le temps. Des photographies des livres pourraient être comparées chaque année et les bibliothèques alertées si des altérations se sont étendues ou sont apparues.

De quelle manière les anomalies et détériorations sont-elles détectées ? Quelles sont les technologies mises en œuvre ?

VL : Nous sommes partis de réseaux de neurones généralistes que nous avons adaptés et entraînés à reconnaître différents types d’altérations sur les dos des reliures. Nous avions donc besoin d’une base de données photographiques avec des exemples de dos abîmés pour l’entraînement. Nous avons d’abord choisi de travailler sur un cas simple pour mettre l’outil en place car nous étions les pionniers de cette étude et nous ne savions pas si nous aurions des résultats concluants. Sur les conseils d’Éric Laforest, chef de travaux d’art et restaurateur de documents graphiques et de livres aux Archives nationales, nous avons sélectionné le fonds des registres du Parlement de Paris qui présentait des reliures très homogènes avec des altérations bien visibles et variées. Après discussion avec Michel Ollion et Amable Sablon du Corail, conservateurs et responsables du fonds, nous avons défini cinq classes d’altérations à repérer : les mors fendus, les lacunes de cuir sur le dos, les fonds de cahier apparents, les coiffes et tranchefiles lacunaires. Les registres les plus abîmés étaient placés dans des boîtes ou des chemises en papier. Certains étaient maintenus avec des sangles. Ces deux classes de conditionnement ont été ajoutées car elles étaient le signe d’une grande fragilité pour les registres concernés. Ensuite, deux cents photographies comportant en tout mille deux cents registres ont été prises avec un téléphone portable. Les altérations dangereuses situées sur le dos des reliures ont été relevées directement sur les photographies par des traits ou des aplats de couleur avec le logiciel Photoshop, comme si nous faisions un constat d’état sur une photographie. Chaque classe d’altération correspondait à un masque, ou plan. En tout, trois mille masques ont été créés et confiés au laboratoire ETIS.

Chaîne de traitement

Camille Simon Chane : La chaîne de traitement développée s’appuie sur plusieurs briques : détection d’instance d’ouvrages ; détection et reconnaissance de texte ; classification entre livre en boîte ou pas ; segmentation d’altérations. Ainsi, différents types d’algorithmes de deep learning sont utilisés. Si on se concentre sur la tâche de segmentation des altérations, le travail s’appuie sur des réseaux existants et est pré-entraîné sur des images génériques provenant de très grosses bases de données (plus d’un million d’images). Cela nous permet partiellement de contourner la difficulté que nous avons relativement peu de données annotées. Surtout, il y a peu d’images qui comportent des altérations. D’autres problèmes apparaissent lorsque ces altérations couvrent une zone restreinte. Ainsi, nous arrivons bien mieux à détecter les tranchefiles de tête ou de queue lacunaires que les charnières extérieures fendues, qui sont par essence des altérations très fines.

Quelle est la marge d’erreur actuelle de la solution ? Comment la réduire ?

VL : Les études par sondage sur l’état de conservation des fonds permettent d’avoir des résultats avec une marge d’erreur d’environ 5 %. Nous souhaitons nous rapprocher de ce pourcentage afin que l’outil soit comparable aux études faites manuellement. Bien sûr, l’intérieur du livre qui peut présenter des altérations dangereuses n’est pas analysé et l’outil ne pourra pas remplacer entièrement l’expertise humaine. Cependant, il est adapté au repérage des reliures très abîmées dans un fonds volumineux, et surtout il donnera une information sur chaque livre puisque les altérations sont liées à la cote. Nous avons posé une question sur la marge d’erreur attendue par ce type d’outil aux membres de BiblioPat. Les réponses sont comparables à notre objectif puisque 67 % des sondés souhaitent travailler avec une marge d’erreur comprise entre 5 % et 10 %.

CSC : Aujourd’hui, la segmentation des livres, la détection et reconnaissance de texte, et la classification des livres en boîte sont trois briques très solides, avec une marge d’erreur comprise entre 2 % et 10 %. La détection des altérations a une marge d’erreur plus élevée car la tâche est difficile : nous souhaitions dans un premier temps détecter exactement la position et la taille des altérations. Une discussion avec Michel Ollion et Amable Sablon du Corail nous a permis de redéfinir notre objectif : il apparaît plus important de détecter de façon fiable si un livre comporte l’une où l’autre des altérations. Ainsi, nous sommes actuellement en train de tester des algorithmes de classification qui devront définir quelles altérations sont présentes sur chaque livre, sans les localiser ni quantifier. Cette approche pourrait réduire la marge d’erreur de la solution actuelle.

Au terme de votre travail de recherche, la solution sera disponible en ligne pour tout professionnel. Très concrètement, comment cela va-t-il fonctionner pour les professionnels ayant besoin de travailler sur leurs fonds ? Quelles installations prévoir ? Faut-il des compétences informatiques avancées pour interpréter les résultats ?

VL : La mise en ligne de l’outil demandera un travail d’ingénierie qui ne pourra pas être conduit pendant la recherche doctorale. Nous attendons la fin des tests pour savoir si l’outil sera assez robuste pour pouvoir être utilisé à grande échelle. Si c’est le cas, il sera nécessaire de trouver une aide financière pour créer une application. Comme nous souhaitons que l’outil soit utilisable par un maximum de bibliothèques, son fonctionnement doit être le plus simple possible. Le versement de photographies sur un site en ligne en glissant, par exemple, un dossier dans une fenêtre serait idéal. Les résultats des photographies analysées seraient ensuite rassemblés dans un fichier Excel comportant la cote du livre et les altérations repérées. Des niveaux d’alertes pourraient être aussi générés. Par exemple, si un livre comporte des fonds de cahier apparents et des plats retenus avec des sangles, il sera marqué à traiter en priorité.

CSC : En effet, une piste de valorisation du travail de doctorat de Valérie est la mise en place d’une plateforme en ligne où les professionnels viendraient déposer les images et obtiendraient, après traitement, un fichier qui soit facilement interprétable.

Les structures qui le souhaitent auront-elles la possibilité de faire évoluer l’outil pour des besoins spécifiques ?

VL : Une évolution est toujours possible mais elle implique des moyens humains et financiers. L’entraînement des réseaux de neurones ne peut se faire sans des informaticiens hautement spécialisés et des données annotées par des experts. Je souhaite personnellement que l’outil puisse se déployer et être adapté à des besoins spécifiques car les priorités de traitements de conservation diffèrent selon les types de fonds. Les réponses à notre sondage sur l’outil ont montré que 74 % des professionnels voudraient connaître précisément les matériaux des reliures (cuir ou papier par exemple). Cette évolution serait possible car nous avions fait quelques tests sur la reconnaissance des différents types de cuir de reliure en 2017 et nous avions obtenu de très bons résultats.

Quels sont les objectifs scientifiques de votre collaboration avec la médiathèque du musée du quai Branly et BAnQ ?

VL : Après la première année de tests sur des reliures homogènes, nous avons cherché un fonds de reliures hétérogènes plus proche de la réalité de terrain des bibliothèques. Le fonds de monographies de la médiathèque du quai Branly était parfaitement adapté car il comportait des reliures de tailles, d’époques et de matériaux variés. Éléonore Kissel, responsable du pôle conservation-restauration au musée du quai Branly, Lucile Grand, directrice adjointe du département du patrimoine et des collections et responsable de la médiathèque du musée du quai Branly, et Paul-Emmanuel Bernard, responsable de la bibliothèque, ont soutenu notre recherche en nous permettant de prendre des photographies in situ et surtout en finançant un stage de M2 pour ajuster l’outil sur un corpus de 5 220 reliures hétérogènes de la médiathèque.

La collaboration avec BAnQ qui débutera à l’automne a pu se faire grâce aux liens professionnels que j’entretenais avec Andréa Criollo, restauratrice d’arts graphiques et de livres à BAnQ. Andréa Criollo et Lisa Miniaci, cheffe du service de la préservation des collections patrimoniales, sont intéressées par l’outil car le fonds de monographies comprenant 500 000 ouvrages doit être prochainement numérisé à un rythme de 15 000 livres par an. Or BAnQ n’a pas suffisamment d’employés pour compter le nombre de livres par tablettes ni pour connaître le nombre de reliures endommagées qui nécessitent une restauration pour être numérisées. De plus, certaines reliures comme les brochés ou les reliures avec des spirales en plastique prennent un temps supplémentaire à numériser car le système d’attache doit être retiré. Pour ce projet, les cotes ne doivent pas être reconnues car elles sont majoritairement placées sur des signets qui ne sont pas visibles du dos des livres. En revanche, le système de rangement en tablettes distinctes permet de retrouver facilement la localisation des reliures fragiles. Un repérage des tablettes par l’algorithme sera à développer.

CSC : Le travail réalisé sur le fonds du Parlement de Paris des Archives nationales nous a permis de mettre en place toute une chaîne de traitements sur un cas d’étude relativement simple. Désormais nous souhaitons robustifier cette chaîne pour garantir qu’elle fonctionne dans des cas plus complexes, en particulier pour des fonds qui présentent une grande diversité de reliures. Ces deux collaborations nous permettent donc de constituer des bases d’images annotées plus représentatives de la variété des reliures.

Les discussions avec ces institutions nous permettent aussi d’envisager des cas d’usages différents. Certains besoins sont communs à tous nos interlocuteurs et paraissent donc indispensables à un premier prototype, d’autres nous fournissent des pistes d’amélioration.

Valérie Lee, vous êtes responsable de l’atelier Arts graphiques du département des restaurateurs de l’INP. Vous avez choisi de mobiliser des méthodes d’intelligence artificielle dans le cadre de la thèse que vous avez commencée en 2020. Comment avez-vous développé les compétences informatiques nécessaires ?

VL : Je porte ce projet de mobiliser des méthodes d’intelligence artificielle pour la conservation-restauration du patrimoine graphique depuis plus de cinq ans. L’idée m’est venue durant le temps passé à préparer des constats d’état sur des photographies de dessins pour des prêts. Je savais qu’il existait des méthodes d’IA de reconnaissances d’images et il me semblait qu’un outil qui marquerait automatiquement les altérations pourrait faire gagner un temps précieux. Habitant à Grenoble, j’avais accès à des spécialistes de l’IA et j’ai pu poser de nombreuses questions sur la faisabilité de ce projet. Je me suis rendu compte que les méthodes n’étaient pas adaptées aux dessins car les traits pouvaient être reconnus comme des déchirures et les altérations étaient souvent assez petites. En revanche, les altérations sur les livres offraient une piste intéressante car elles étaient plus larges et bien distinctes par rapport à celles des dessins. De plus, l’IA apportait une plus-value par rapport à l’expertise humaine pour analyser une masse importante de données comme les centaines de mètres linéaires de livres que conservent les bibliothèques.

Je ne possédais pas de compétences particulières en informatique et encore moins en intelligence artificielle. C’est pourquoi, dès le départ, j’ai voulu travailler en équipe avec un spécialiste. Mais ces derniers sont peu nombreux et il faut bien reconnaître que le patrimoine n’est pas un domaine très porteur. En 2017, après de longues recherches, j’ai été mise en contact avec David Picard qui était alors maître de conférences à l’ENSEA au sein du laboratoire ETIS. Il a accepté de tester des réseaux de neurones sur un petit corpus de photographies de reliures annotées. Les très bons résultats obtenus nous ont motivés à continuer la recherche. Nous avions cependant besoin d’un cadre pour déployer les moyens nécessaires aux tests. Celui d’un doctorat par le projet de CY Cergy Paris Université s’est imposé naturellement. Les compétences entre le laboratoire et moi-même continuent à être bien définies puisqu’il faut au minimum un niveau de master en informatique pour pouvoir travailler sur des réseaux de neurones. Mon rôle est de choisir au travers d’enquêtes de terrain et de recherches bibliographiques l’axe du développement de l’outil et de préparer les bases de données photographiques. La partie IA est entièrement confiée à l’équipe ETIS. Cependant, afin d’acquérir un vocabulaire commun et de suivre la recherche, j’ai lu de nombreux articles sur la segmentation sémantique et j’ai participé à des formations en ligne.

Pourriez-vous nous expliquer comment les tâches sont réparties au sein de l’équipe mobilisée par le projet de recherche ?

VL : Nous nous sommes réparti les tâches en nous basant sur la structure de la recherche doctorale par le projet. Julien Longhi et David Picard sont codirecteurs de la thèse et Camille Simon Chane est encadrante. Michel Jordan participe aussi activement à la recherche.

Julien Longhi est professeur des universités à CY Cergy Paris Université, AGORA EA7392 et à l’Institut des humanités numériques (IDHN) FED4284. Depuis 2020, il est directeur adjoint de l’IUT de CY Cergy Paris Université en charge de la recherche, de la valorisation et de la communication. Il suit la méthodologie de la recherche ainsi que la structure de la thèse et aide à la prise en compte des enjeux scientifiques des humanités numériques dans le traitement du sujet et dans les résultats obtenus.

David Picard est directeur de recherche au laboratoire LIGM de l’École des Ponts ParisTech. Il a un intérêt particulier pour l’apprentissage automatique et pour la vision par ordinateur et, plus précisément, l’apprentissage profond. De 2010 à 2019, il a été maître de conférences à l’ENSEA, au sein du laboratoire ETIS. Il a pour rôle principal d’orienter notre équipe dans la méthodologie de recherche.

Michel Jordan est ingénieur de recherche à CY Cergy Paris Université, laboratoire ETIS. Ses sujets de travail portent sur l’analyse d’images et la restitution 3D pour les applications dans le domaine du patrimoine et de l’archéologie, en collaboration avec les Archives nationales, le Centre de recherche du château de Versailles, la BnF, etc. Il a été responsable pour ETIS du projet de recherche VERSPERA.

CSC : Michel et moi-même assurons un suivi plus fin du projet avec Valérie. Notamment à travers l’encadrement des étudiants ingénieurs ou en master qui participent au développement des algorithmes. Ainsi, l’année dernière, dans le cadre de son stage de M2, financé par la Fondation des sciences du patrimoine, Lachen Yamoun a développé la première chaîne de traitement comportant des modules de détection de livres, reconnaissance de texte et détection des altérations. Cette année, nous avons deux étudiants ingénieurs qui travaillent sur le projet : Axel Heyd, dont le stage est financé par le laboratoire ETIS, doit développer une interface pour que la chaîne de traitement soit utilisable par des non-informaticiens ; Jinda Wu développe des nouveaux algorithmes de détection des altérations adaptés aux images plus complexes de la médiathèque du musée du quai Branly-Jacques Chirac, qui finance ce stage de six mois.