Représentation des images au moyen de motifs fréquents et émergents pour la classification et la recherche d'images
Institution:
CaenDisciplines:
Directors:
Abstract EN:
In this thesis, our aim is to achieve better results in several tasks in computer vision by focusing on the image representation part. Our idea is to integrate feature dependencies to the original feature representation. Although feature dependencies can give additional useful information to discriminate images, it is a nontrivial task to select a subset of feature combinations from the power set of the features which has an excessively large cardinality. We employ pattern mining techniques to efficiently produce a tractable set of effective combinations. Pattern mining is a process that can analyze large quantities of data and extract interesting patterns such as groups of data records (cluster analysis), unusual records (anomaly detection) and dependencies (association rule mining). The first encountered problem is how to encode image features which are typically real valued as binary transaction items suitable for pattern mining algorithms. We propose some solutions based on local thresholding. The number of extracted patterns is still very high and to use them directly as new features for inferring a supervised classification models leads to overfitting. A solution by aggregating the patterns and have a compact representation which does not overfit to the training data is presented. We have achieved state-of-the-art results on several image classification benchmarks. Along the path of exploration, we realize pattern mining algorithms are suitable especially for large scale tasks as they are very efficient and scale gracefully to the number of images. We have found two suitable applications. The first one is to detect groups of duplicates in very large dataset. In order to run our experiment, we created a database of one million images. The images are randomly downloaded from Google. We have discovered the duplicate groups in less than three minutes. Another application that we found suitable for applying pattern mining techniques is image re-ranking. Our method can improves the original ranking score by a large margin and compare favorably to existing approaches.
Abstract FR:
Cette thèse a pour but d'améliorer les performances sur différentes tâches de vision par ordinateur en se focalisant sur l'étape de représentation des images. Notre idée clé est d'intégrer des relations entre les descripteurs de l'image à sa représentation originelle, ces relations apportant une information additionnelle par exemple pour discriminer des images. La recherche de telles relations n'est pas simple compte-tenu de la grande combinatoire entre descripteurs. Nous proposons d'employer des techniques de fouille de données fondées sur la recherche de motifs pour mettre en évidence des relations pertinentes entre les descripteurs d'images. En effet, le fouille de données est appropriée pour l'analyse de grandes quantités de données et la découverte des motifs intéressants traduisant des dépendances, le regroupement de données, la détection d'anomalies. Un premier obstacle à l'emploi de techniques de fouille de données en vision par ordinateur porte sur le recordage des descripteurs des images. Ces dernières possèdent usuellement des valeurs réelles alors que les méthodes d'extraction de motifs sont appropriées aux données discrètes. Pour traiter ce problème, nous proposons des techniques fondées sur des seuillages locaux. Le nombre de motifs extraits étant élevés, ceux-ci ne peuvent pas être directement utilisés dans une tâche comme la classification supervisée. Aussi, nous présentons une méthode d'agrégation des motifs permettant d' obtenir une représentation compacte évitant le sur-apprentissage. Les résultats expérimentaux sur de nombreuses bases d'images montrent que notre approche est largement au niveau de l'état de l'art. Nous montrons que les caractéristiques de la fouille de données sont aussi propices à d'autres tâches de vision par ordinateur. Ainsi, nous avons conçu une méthode de détection de doublons reposant sur l'utilisation de motifs fermés dans de grandes bases d'images. Nous avons testé notre méthode sur une base de 1 million d'images obtenues avec Google image : les doublons sont découverts en moins de 3 minutes. Enfin, nous avons développé une méthode de re-classer d'images fondée sur le nombre de motifs fréquents que chaque image supporte, cette méthode permet d'améliorer le classement initial.