thesis

Digital Cultural Heritage Preservation : enrichment and Reconstruction based on Hierarchical Multimodal CNNs and Image Inpainting Approaches

Defense date:

July 15, 2020

Edit

Institution:

Lyon

Disciplines:

Computer sciences

Authors:

Directors:

Abstract EN:

Cultural heritage plays an important role in defining the identity of a society. Long-term physical preservation of cultural heritage remains risky and can lead to multiple problems related to destruction and accidental damage. Digital technologies such as photography and 3D scanning provided new alternatives for digital preservation. However, adapting them to the context of cultural heritage is a challenging task. In fact, fully digitizing cultural assets (visually and historically) is only easy when it comes to assets that are in a good physical shape and all their data is at possession (fully annotated). However, in the real-world, many assets suffer from physical degradation and information loss. Usually, to annotate and curate these assets, heritage institutions need the help of art specialists and historians. This process is tedious, involves considerable time and financial resources, and can often be inaccurate. Our work focuses on the cost-effective preservation of cultural heritage through advanced machine learning methods. The aim is to provide a technical framework for the enrichment phase of the cultural heritage digital preservation/curation process. Through this thesis, we propose new methods to improve the process of cultural heritage preservation. Our challenges are mainly related to the annotation and enrichment of cultural objects suffering from missing and incomplete data (annotations and visual data) which is often considered ineffective when performed manually. Thus, we propose approaches based on machine learning and deep learning to tackle these challenges. These approaches consist of the automatic completion of missing cultural data. We mainly focus on two types of missing data: textual data (metadata) and visual data.The first stage is mainly related to the annotation and labeling of cultural objects using deep learning. We have proposed approaches, that take advantage of cultural objects’ visual features as well as partially available textual annotations, to perform an effective classification. (i) the first approach is related to the Hierarchical Classification of Objects to better meet the metadata requirements of each cultural object type and increase the classification algorithm performance. (ii) the second proposed approach is dedicated to the Multimodal Classification of cultural objects where any object can be represented, during classification, with a subset of available metadata in addition to its visual capture. The second stage considers the lack of visual information when dealing with incomplete and damaged cultural objects. In this case, we proposed an approach based on deep learning through generative models and image data clustering to optimize the image completion process of damaged cultural heritage objects. For our experiments, we collected a large database of cultural objects. We chose to use fine-art paintings in our tests and validations as they were the best in terms of annotations quality.

Abstract FR:

Le patrimoine culturel joue un rôle important dans la définition de l'identité d’une société. La préservation physique à long terme du patrimoine culturel reste fragile et peut induire de multiples risques liés à la destruction et aux dommages accidentels. Les technologies numériques telles que la photographie et la numérisation 3D ont fourni de nouvelles alternatives pour la préservation numérique. Cependant, les adapter au contexte du patrimoine culturel est une tâche difficile. En effet, la numérisation complète des objets culturels (visuelle avec une copie digitale et historique avec des métadonnées) n'est facile que lorsqu'il s'agit d’objets physiquement en bon état possédant toutes leurs données (entièrement annotés). Cependant, dans le monde réel, de nombreux objets culturels souffrent de dégradation physique et de perte d'informations. Habituellement, pour annoter et conserver ces objets, les institutions culturelles font appel à des spécialistes de l'art, à des historiens et à d'autres institutions. Ce processus est fastidieux, nécessite beaucoup de temps et de ressources financières et peut souvent s’avérer inexact. Notre travail se concentre sur la préservation effective et rentable du patrimoine culturel, basée sur des méthodes avancées d'apprentissage automatique. L'objectif est de fournir un Framework à la phase d'enrichissement du processus de préservation numérique du patrimoine culturel. A travers cette thèse, nous proposons de nouvelles méthodes permettant d’améliorer le processus de préservation des objets culturels. Nos défis sont principalement liés au processus d'annotation et d'enrichissement des objets dont les données sont manquantes et/ou incomplètes (annotations et données visuelles) ; ce processus est souvent inefficace lorsqu’il est effectué manuellement. Nous introduisons diverses approches basées sur l'apprentissage automatique et l'apprentissage profond pour compléter automatiquement les données culturelles manquantes. Nous nous concentrons principalement sur deux types essentiels de données manquantes : les données textuelles (métadonnées) et les données visuelles.La première étape est principalement liée à l'annotation et à l'étiquetage des objets culturels à l'aide de l'apprentissage profond. Nous avons proposé des approches exploitant des caractéristiques visuelles et textuelles disponibles des objets culturels pour effectuer efficacement leur classification. (i) La première approche est proposée pour la Classification Hiérarchique des objets afin de mieux répondre aux exigences de métadonnées de chaque type d’objets et augmenter les performances de classification. (ii) La seconde approche est dédiée à la Classification Multimodale des objets culturels où un quelconque objet peut être représenté, lors de la classification, avec les métadonnées disponibles en plus de sa capture visuelle. La deuxième étape considère le manque d'informations visuelles lorsqu’il s’agit d’objets culturels incomplets et endommagés. Nous avons proposé dans ce cas, une approche basée sur l'apprentissage profond à travers des modèles génératifs et le clustering d’images pour effectuer la reconstruction visuelle d’objets culturels. Pour nos expérimentations, nous avons collecté une grande base de données culturelles mais nous avons sélectionné les tableaux d’arts pour nos tests et validations car ils possèdent une meilleure qualité d’annotation et sont donc mieux adapté pour mesurer les performances de nos algorithmes.