Morphological colour image analysis : Applied to content-based image description, annotation and retrieval
Institution:
Université Louis Pasteur (Strasbourg) (1971-2008)Disciplines:
Directors:
Abstract EN:
This thesis concentrates mainly on the extension of mathematical morphology to colour images. The resulting morphological operators are then applied to the problem of general purpose content-based colour image retrieval. First the choice of a colour space is discussed and polar spaces of type luminance-saturation-hue are endorsed on the grounds of their intuitiveness, as far as the human visual perception is concerned. The rest of the first part focuses on the sole requirement for the extension of mathematical morphology to multivariate data: a vector ordering. Specifically, due to its multiple positive properties, we concentrate on the lexicographical approach. We further introduce several variations to it, with the purpose of rendering possible a finer tuning of the processing balance among image channels, and between chromatic and achromatic information in the particular of colour images. Their practical interest is illustrated through a comparative study, that is carried out on the properties of several vector orderings. Moreover, considering the periodic nature of hue values, that does not lend itself to scalar ordering, an image specific approach based on multiple reference hues is proposed. This part is concluded with the extension of the hit-or-miss transform to colour images, as an example based on its findings. The second part is dedicated to the application of colour morphology to the problem of content-based image retrieval. To this end, novel morphology based colour and texture descriptors, using the principles developed in the first part, are presented and compared against state-of-the-art approaches with multiple image databases. In particular, multiscale histogram variations are studied as global colour descriptors, whereas the information extracted by granulometry and morphological covariance is combined with the purpose of texture characterisation. Finally a semi-supervised, keyword-based image annotation and retrieval architecture is developed, based on the aforementioned operators, leading to a flexible solution in terms of adaptability to various image collection heterogeneity levels, providing feedback support and capable of semantic queries.
Abstract FR:
Cette thèse porte principalement sur l'extension de la morphologie mathématique aux images couleur. Les opérateurs morphologiques qui en dérivent sont ensuite appliqués au problème de la recherche d'images par le contenu. L'étude de ce problème débute avec le choix d'un espace de couleurs pertinent, et il a été décidé d'utiliser les espaces de couleurs s'appuyant sur un triplet luminance-saturation-teinte, plébiscités pour leur intuitivité et leur bonne représentation du système de la vision humaine. Suite au choix d'espace de couleurs, nos efforts se sont portés sur le seul prérequis pour permettre l'extension de la morphologie mathématique aux données multivariées : un ordre et des opérateurs d'extremums pour des données vectorielles. Plus précisément, nous nous sommes intéressés à l'approche lexicographique, du fait de ses propriétés théoriques intéressantes et de sa capacité d'adaptation à différents contextes applicatifs. Plusieurs solutions ont été proposées pour s'affranchir de son principal inconvénient qui consiste en la prioritisation extrême de la première bande spectrale ou couleur. En outre, une attention particulière a été portée au traitement de la teinte, susceptible de poser des problèmes si elle est ordonnée comme une valeur scalaire alors que sa nature est périodique. Par conséquent nous présentons une approche utilisant plusieurs teintes de référence. Cette partie se termine par l'extension aux images multivariées de la transformée en tout-ou-rien, découlant des résultats obtenus précédemment. La deuxième partie de ce travail concerne l'application de la morphologie couleur au problème de la recherche d'images par le contenu. Dans ce but, nous avons introduit plusieurs descripteurs globaux de couleur et de texture. Plus précisément, nous nous sommes intéressés au concept d'histogramme multi-échelles et avons élaboré deux méthodes permettant leur intégration avec les opérateurs morphologiques. En outre, des granulométries spécifiques aux images couleur ont aussi été étudiées. Pour la description de texture, nous avons combiné les deux principaux outils morphologiques de caractérisation de texture, la granulométrie et la covariance. Finalement, nous avons proposé l'architecture d'un système pour la description, l'indexation et la recherche par le contenu à base de mots-clés, qui fournit une solution flexible en termes d'adaptabilité aux différents niveaux d'hétérogénéité de collections d'images.