thesis

Taking into account inclusion and adjacency information in morphological hierarchical representations, with application to the extraction of text in natural images and videos

Defense date:

Dec. 13, 2018

Edit

Institution:

Sorbonne université

Disciplines:

Authors:

Directors:

Abstract EN:

The inclusion and adjacency relationship between image regions usually carry contextual information. The later is widely used since it tells how regions are arranged in images. The former is usually not taken into account although it parallels the object-background relationship. The mathematical morphology framework provides several hierarchical image representations. They include the Tree of Shapes (ToS), which encodes the inclusion of level-line, and the hierarchies of segmentation (e.g., alpha-tree, BPT), which is useful in the analysis of the adjacency relationship. In this work, we take advantage of both inclusion and adjacency information in these representations for computer vision applications. We introduce the spatial alignment graph w.r.t inclusion that is constructed by adding a new adjacency relationship to nodes of the ToS. In a simple ToS such as our Tree of Shapes of Laplacian sign, which encodes the inclusion of Morphological Laplacian 0-crossings, the graph is reduced to a disconnected graph where each connected component is a semantic group. In other cases, e.g., classic ToS, the spatial alignment graph is more complex. To address this issue, we expand the shape-spaces morphology. Our expansion has two primary results: 1)It allows the manipulation of any graph of shapes. 2)It allows any tree filtering strategy proposed by the connected operators frameworks. With this expansion, the spatial graph could be analyzed with the help of an alpha-tree. We demonstrated the application aspect of our method in the application of text detection. The experiment results show the efficiency and effectiveness of our methods, which is appealing to mobile applications.

Abstract FR:

Les relations d'inclusion et d'adjacence des regions dans l'images comportent des informations contextuelles. Le relation d'adjacence est largement utilisé car il indique comment les régions sont organisées dans l'images. La relation d'inclusion n'est généralement pas prise en compte, bien qu'il assimile la relation d'objet-fond. Il existe plusieurs représentations morphologiques hiérarchiques: l'arbre des formes (AdF) qui représentent l'inclusion de lignes de niveaux d'image, ainsi que les hiérarchies de segmentation (i.e. la hiérarchie des quasi-zones plates) qui est utile dans l'analyse de la relation d'adjacence. Le but de ce travail est de tirer partie à la fois des relations d’inclusion et d’adjacence dans ces representations pour mener à bien des tâches de vision par ordinateur. Nous introduisons le graphe d'alignement spatial (GAS) qui est construit à partir de l'inclusion et de l'arrangement spatial des régions dans l'AdF. Dans un cas simple tel que notre l'AdF de Laplacien, le GAS est réduit à un graphe déconnecté où chaque composant connecté est un groupe sémantique d'objets. Dans d’autres cases, e.g., l'AdF classique, le GAS est plus complexe. Pour résoudre ce problème, nous proposons d'élargir notre raisonnement à la morphologie basée sur la forme. Notre extension permet de manipuler n'importe quel graphe des formes et permet n'importe stratégie de filtrage dans la cadre de opérateurs connexes. Par conséquent, le GAS pourrait être analysé par une hiérarchie des quasi-zones plates. Les résultats de notre méthode dans la reconnaissance de texte montrent l'efficacité et la performance, qui sont attrayantes notablement pour les applications mobiles.