Beaucoup d'efforts de recherche en imagerie médicale 3D ont été dirigés vers la définition d'outils efficaces et rapides de traitement, de mise en correspondance et de visualisation. Des résultats très encourageants sont disponibles pour améliorer l'accès et l'utilisation médicale du contenu des images. L'objectif de mon travail a été d'étendre le champ d'utilisation des méthodes de fusion de données à des fins d'applications précises (radiothérapie, chirurgie de l'épilepsie, neurochirurgie conventionnelle, neuro-imagerie cognitive, etc.). L'amélioration de l'utilisation des données 3D conduit à un effort de recherche plus poussé dans le domaine de la fusion d'informations. Le problème de fusion de données est posé ici dans un contexte d'aide à l'interprétation des images où l'utilisateur intervient dans la boucle de décision. Il est abordé à la fois sous l'angle de la combinaison d'images et/ou de données génériques: problème du recalage multimodalités et la mise en correspondance d'images entre individus (modèles de déformation appliqués au cerveau humain), sous l'angle de l'identification de structures anatomiques présentes sur les images (segmentation et étiquetage sémantique) et enfin sous l'angle de la représentation 3D des différentes informations. Cette problématique est appliquée et illustrée dans le domaine de l'imagerie cérébrale à la fois sous son aspect d'aide à la clinique (neurochirurgie, neuroradiologie) que sous son aspect d'aide à la recherche en neurosciences cognitives. Des perspectives sont enfin tracées concernant les besoins en matière de coopération entre méthodes numériques d'analyse d'images et méthodes de représentation symboliques du contenu de ces images.

Many research efforts in 3D medical imaging have been directed towards the definition of efficient and fast processing, matching and display tools. Some very promising results are already available allowing a better access and a better use of the contents of medical images. The objective of the works presented here was to extend the use of existing data fusion methods toward their application in medicine (radiation therapy, epilepsy surgery, conventional neurosurgery, etc.). Data fusion facilitates a better use of 3D image data by providing methods for the fusion of data from multiple modalities e.g., multimodal registration and fusion between anatomical and functional data, the fusion of data from different patients or with a priori knowledge (models and/or atlases) and the recognition of complex anatomical structures and their symbolic identifications, when they are not explicitly described by the image contents. Three aspects of data fusion are considered here with a particular emphasis on brain imaging. The first one concerns the combination of images and/or generic data; specifically, methods for multimodality registration and matching of data from different individuals by means of warping models. The second aspect concerns the identification of anatomical structures. Finally, the paper presents a state of the art of 3D display technique to render the combined data. Perspectives are presented concerning the links between these numerical fusion procedures and their complementary symbolic procedures (data bases and knowledge representation systems).