Les moteurs de recherche de nouvelle génération permettront de formuler des requêtes autrement qu'avec du texte, notamment à partir d'informations visuelles représentées sous forme d'images ou de modèles 3D. En particulier, ces technologies appliquées à la recherche 3D permettront d'ouvrir de nouveaux domaines d'applications spécialisés. L'objectif de la recherche par le contenu est de développer des moteurs de recherche permettant aux utilisateurs d'effectuer des requêtes par la similarité du contenu. Cette thèse aborde deux problèmes fondamentaux de la recherche d'objets 3D par le contenu:

(1) Comment décrire une forme 3D pour en obtenir une représentation fiable qui facilite ensuite la recherche par similarité? (2) Comment superviser le processus de recherche afin d'apprendre les similarités inter-objets pour une recherche plus efficace et sémantique?

Concernant le premier problème, nous développons un nouveau système de description de formes 3D basé sur la densité de probabilité d'attributs surfaciques locaux multivariés. De manière constructive, nous relevons des caractéristiques locales des points 3D sur une surface 3D et résumons l'information locale ainsi obtenue sous forme d'un descripteur global. Pour l'estimation de la densité de probabilité, nous utilisons la méthode d'estimation de densité par noyaux, associée avec un algorithme d'approximation rapide: la transformée de Gauss rapide. Le mécanisme de conversion des attributs locaux en la description globale évite le problème de mise en correspondance entre deux formes et se révèle robuste et efficace. Les expériences que nous avons menées sur diverses bases d'objets 3D montrent que les descripteurs basés sur la densité sont très rapides à calculer et très efficaces pour la recherche 3D par similarité.

Concernant le deuxième problème, nous proposons un système d'apprentissage des similarités incorporant une certaine quantité de supervision au processus de requête pour rendre la recherche plus efficace et sémantique. Notre approche est basée sur la combinaison de scores de similarité multiples en optimisant une version convexe régularisée du critère de risque de mauvais classement empirique. Cette approche de fusion de scores à l'apprentissage des similarités peut être appliquée à divers problèmes de moteur de recherche utilisant tous types de modalités de données. Dans ces travaux, nous démontrons son efficacité pour la recherche d'objets 3D.

Next generation search engines will enable query formulations, other than text, relying on visual information encoded in terms of images and shapes. The 3D search technology, in particular, targets specialized application domains ranging from computer aided-design and manufacturing to cultural heritage archival and presentation. Content-based retrieval research aims at developing search engines that would allow users to perform a query by similarity of content.

This thesis deals with two fundamentals problems in content-based 3D object retrieval:

(1) How to describe a 3D shape to obtain a reliable representative for the subsequent task of similarity search? (2) How to supervise the search process to learn inter-shape similarities for more effective and semantic retrieval?

Concerning the first problem, we develop a novel 3D shape description scheme based on probability density of multivariate local surface features. We constructively obtain local characterizations of 3D points on a 3D surface and then summarize the resulting local shape information into a global shape descriptor. For probability density estimation, we use the general purpose kernel density estimation (KDE) methodology, coupled with a fast approximation algorithm: the fast Gauss transform (FGT). The conversion mechanism from local features to global description circumvents the correspondence problem between two shapes and proves to be robust and effective. Experiments that we have conducted on several 3D object databases show that density-based descriptors are very fast to compute and very effective for 3D similarity search.

Concerning the second problem, we propose a similarity learning scheme that incorporates a certain amount of supervision into the querying process to allow more effective and semantic retrieval. Our approach relies on combining multiple similarity scores by optimizing a convex regularized version of the empirical ranking risk criterion. This score fusion approach to similarity learning is applicable to a variety of search engine problems using arbitrary data modalities. In this work, we demonstrate its effectiveness in 3D object retrieval.