Comparaison des documents audiovisuels par matrice de similarité
Institution:
Toulouse 3Disciplines:
Directors:
Abstract EN:
The work of this thesis relates to the comparison of video documents. The field of digital video is in full expansion. Videos are now present in large quantity even for personal use. The video comparison is a basic analysis operation in complement of classification, extraction and structuring of videos. Traditional approaches of comparison are primarily based on the low-level features of the videos to be compared, considered as multidimensional vectors. Other approaches are based on the similarity of frames without taking into account neither the temporal composition of the video nor the audio layer. The main disadvantage of these methods is that they reduce the comparison role to a simple operator robust to noise effects. The originality of our approach lies in the introduction of the of style similarity notion, taking as a starting point the human criteria into the comparison. These criteria are more flexible, and do not impose a strict similarity of all the studied features at the same time. We define an algorithm of extraction of the similarities between the audiovisual low-level features. The algorithm is inspired by the dynamic programming and the time series comparison methods. We propose a representation of the data resulting from this processing in the form of a matrix pattern suitable for the visual and immediate comparison of two videos. This matrix is then used to propose a generic similarity measure. We developed several applications to demonstrate the behavior of the comparison method and the similarity measure.
Abstract FR:
Les travaux de cette thèse concernent la comparaison des documents vidéo. Dans le domaine en pleine expansion de la vidéo numérique, les documents disponibles sont maintenant présents en quantité importante même dans les foyers. Opération de base de tout type d'analyse de contenus, en complément de la classification, de l'extraction et de la structuration, la comparaison dans le domaine de l'audiovisuel est d'une utilité qui n'est pas à démontrer. Des approches classiques de comparaison se basent essentiellement sur l'ensemble des caractéristiques bas niveaux des documents à comparer, en les considérant comme des vecteurs multidimensionnels. D'autres approches se basent sur la similarité des images composants la vidéo sans tenir compte de la composition temporelle du document ni de la bande son. L'originalité de notre démarche réside dans le fait que nous introduisons la notion de la similarité de style en s'inspirant des critères humains dans la comparaison des documents vidéo. Ces critères sont plus souples, et n'imposent pas une similarité stricte de toutes les caractéristiques étudiées à la fois. En nous inspirant de la programmation dynamique et de la comparaison des séries chronologiques, nous définissons un algorithme d'extraction des similarités entre les caractéristiques audiovisuelles de bas-niveau. Nous proposons une représentation des données issues de ces traitements sous la forme d'un schéma matriciel propre à la comparaison visuelle et immédiate de deux contenus. Cette matrice peut être également utilisée pour définir une mesure de similarité générique. Plusieurs applications ont été mises en place pour démontrer le comportement de la méthode de comparaison et de la mesure de similarité, ainsi que leur pertinence.