thesis

Développement de méthodes de rapprochement physionomique par apprentissage machine

Defense date:

Jan. 1, 2016

Edit

Institution:

Caen

Disciplines:

Computer sciences

Authors:

Directors:

Abstract EN:

The work presented in this PhD thesis takes place in the general context of face matching. More precisely, our goal is to design and develop novel algorithms to learn compact, discriminative, domain invariant or de-identifying representations of faces. Searching and indexing faces open the door to many interesting applications. However, this is made day after day more challenging due to the rapid growth of the volume of faces to analyse. Representing faces by compact and discriminative features is consequently es- sential to deal with such very large datasets. Moreover, this volume is increasing without any apparent limits; this is why it is also relevant to propose solutions to organise faces in meaningful ways, in order to reduce the search space and improve efficiency of the retrieval. Although the volume of faces available on the internet is increasing, it is still difficult to find annotated examples to train models for each possible use cases e. G. For different races, sexes, etc. For every specifie task. Learning a model with training examples from a group of people can fail to predict well in another group due to the uneven rate of changes of biometrie dimensions e. G. , ageing, among them. Similarly, a modellean1ed from a type of feature can fail to make good predictions when tested with another type of feature. It would be ideal to have models producing face representations that would be invariant to these discrepancies. Learning common representations ultimately helps to reduce the domain specifie parameters and, more important!y, allows to use training examples from domains weil represented to other demains. Hence, there is a need for designing algorithms to map the features from different domains to a common subspace -bringing faces bearing same properties closer. On the other band, as automatic face matching tools are getting smarter and smarter, there is an increasing threat on privacy. The popularity in photo sharing on the social networks has exacerbated this risk. In such a context, altering the representations of faces so that the faces cannot be identified by automatic face matchers -while the faces look as similar as before -has become an interesting perspective toward privacy protection. It allows users to limit the risk of sharing their photos in social networks. In ali these scenarios, we explored how the use of Metric Leaming methods as weil as those of Deep Learning can help us to leam compact and discriminative representations of faces. We build on these tools, proposing compact, discriminative, domain invariant representations and de-identifying representations of faces crawled from Flicker. Corn to LFW and generated a novel and more challenging dataset to evaluate our algorithms in large-scale. We applied the proposed methods on a wide range of facial analysing applications. These applications include: large-scale face retrieval, age estimation, attribute predictions and identity de-identification. We have evaluated our algorithms on standard and challenging public datasets such as: LFW, CelebA, MORPH II etc. Moreover, we appended lM faces crawled from Flicker. Corn to LFW and generated a novel and more challenging dataset to evaluate our algorithms in large-scale. Our experiments show that the proposed methods are more accurate and more efficient than compared competitive baselines and existing state-of-art methods, and attain new state-of-art performance.

Abstract FR:

Ce travail pr'esent'e dans cette th'ese se d'eroule dans le contexte g'en'eral de l'appariement de visage. Plus pr'ecis'ement, notre but est de concevoir et de d'evelopper de nouveaux algorithmes pour apprendre des repr'esentations compactes, discriminatives, invariantes au domaine ou de pr 'evenir l'identification de visages. La recherche et d'indexation de visages ouvre la porte a' des nombreuses applications int'eressantes. Cepen-dant, cela est devenu, jour apr'es jour, plus difficile en raison de la croissance rapide du nombre de vis- ages a' analyser. La repr'esentation des visages par des caract'eristiques compactes et discriminatives est, par cons'equent, essentielle pour en traiter cette ensemble de donn'ees tr'es volumineux. De plus, ce volume augmente sans limites apparentes ; C'est pourquoi il est'egalement pertinent de proposer des solutions pour organiser les visages de faccon s'emantique, afin de r'eduire l'espace de recherche et d'am'eliorer 1'efficacit'e de la recherche. Bien que le volume de visages disponibles sur Internet augmente, il est encore difficile de trouver des exem- pies annot'es pour former des mod'eles pour chaque cas d'utilisation possible, par exemple, pour la classifi-cation de diff'erentes races, sexes, etc. L'apprentissage d'un mod'ele avec des exemples construites a' partir d'un groupe de personnes peut ne n'ecessairement pas prédire correctement les exemples d'un autre groupe en raison, par exemple, du taux in'egal entre exu de changements de dimensions biom'etriques produites par le vieillissement. De m eme, un mod'ele obtenu d'un type de caract'eristique peut'echouer a' faire de bonnes pr'edictions lorsqu'il est test'e avec un autre type de fonctionnalit'e. Il serait id'eal d'avoir des mod'eles pro­ duisant des repr'esentations de visage qui seraient invariables a' ces'ecarts. Apprendre des repr 'esentations communes aide finalement a' r'eduire les param'etres sp'ecifiques au domaine et, encore plus important, permet d'utiliser des exemples construites par un domaine et utilis'es dans d'autres. Par cons'equent, il est n'ecessaire de concevoir des algorithmes pour cartographier les caract'eristiques de diff'erents domaines a' un sous-espace commun, qui am'ene des visages portant les m emes propri'et'es a' etre repr'esentes plus prochement. D'autre part, comme les outils automatiques de mise en correspondance de visage sont de plus en plus intelligents, il y a une menace croissante sur la vie priv'ee. La popularit'e du partage de photos sur les r'eseaux sociaux a exacerb'e ce risque. Dans un tel contexte, modifier les repr 'esentations des visages de faccon a' ce que les visages ne puissent pas Aetre identifi'es par des correspondants automatiques- alors que les visages semblent ne pas etre modifi'es -est devenu une perspective int'eressante en mati'ere de protection de la vie priv'ee. Il permet aux utilisateurs de limiter le risque de partager leurs photos dans les r'eseaux sociaux. Dans tous ces sc'enarios, nous avons explor'e comment l'utilisation des m'ethodes d'apprentissage m'etrique (Metric Learning) ainsi que celles d'apprentissage profond (Deep Learning) peuvent nous aider a' apprendre les repr'esentations compactes et discriminantes des visages. Nous construisons ces outils en proposant des repr'esentations compactes, discriminatives, invariantes au domaine et capables de pr'evenir l'identification de visages. Nous avons appliqu'e les m'ethodes propos'ees sur une large gamme d'applications d'analyse faciale. Ces applications comprennent: recherche de visages a' grande'echelle, estimation de l'aAge, pr'edictions d'attribut et identification de l'identit'e. Nous avons'evalu'e nos algorithmes sur des ensembles de donn'ees publics standard et stimulants tels que: LFW, CelebA, MORPH II etc. De plus, nous avons ajout'e des visages lM de Flicker. Com a' LFW et g'en'er'e un jeu de donn'ees nouveau et plus difficile a"evaluer nos algorithmes en grande-'echelle. Nos expériences montrent que les m'ethodes propos'ees sont plus pr'ecises et plus efficaces que les méthodes de r'ef'erences compar'ees et les m'ethodes de !"etat de 1'art et atteignent de nouvelles performances de pointe.