Traitement d’images : une approche innovante de reconstruction stéréo 3D

Pour ses recherches dans le domaine des catalyseurs, IFPEN a co-développé, dans le cadre d’un travail de thèse, une nouvelle approche de reconstruction stéréo à partir d’images de matériaux prises en microscopie électronique. La méthode mise au point a également démontré ses performances hors de ce contexte initial, ce qui ouvre des perspectives intéressantes dans d’autres domaines d’application.

Que ce soit pour déterminer le relief de zones urbaines, fournir des informations tridimensionnelles à des robots industriels ou à des voitures autonomes, ou encore pour caractériser la surface de petits objets industriels, tels que des grains de catalyseurs, obtenir la topographie 3D d'objets ou de lieux suscite un intérêt croissant dans de nombreux domaines.

De ce fait, les méthodes dites de reconstruction stéréo, qui fournissent une représentation 3D à partir de similitudes entre deux images (ou plus) de la même scène, font de plus en plus d’émules. Ces méthodes sont basées sur la mise en correspondance de points similaires entre les images. Les différences de positionnement entre ces points — on parle de carte de disparité — permet ensuite de reconstituer une information 3D concernant des surfaces.

En appliquant ces méthodes de reconstruction stéréo à des images obtenues par microscopie électronique à balayage, pour la reconstruction 3D de matériaux granulaires comme les catalyseurs de raffinage (par exemple à base de zéolithe), les chercheurs ont développé une nouvelle approche. Celle-ci utilise une première carte de disparité calculée par une méthode standard, puis la corrige et la complète.

L’originalité de l’approche réside ainsi dans la combinaison de deux étapes :

• d’abord la réalisation d’une segmentation robuste et multi-échelle de l’image en petites zones - ce qui permet de regrouper des mises en correspondance et de supprimer des disparités aberrantes - suivie de la propagation de cette information sur les zones occluses (zones seulement visibles sur une seule des deux images) ;
• puis le calage, sur chacune de ces zones, des paramètres d’un modèle géométrique(plans 3D par exemple) permettant une réduction supplémentaire des disparités aberrantes.

Cette approche a fait l’objet d’une communication orale [1] lors du récent congrès ISMM 2017.

Cette nouvelle approche a également été transposée à des images satellitaires, dans le cadre du concours Multi-View Stereo 3D Mapping Challenge organisé par l’agence américaine IARPA (Intelligence Advanced Research Projects Activity) en deux volets : Explorer et Master. Elle a été classée première dans la partie Explorer et troisième de la partie Master, ce qui a valu à l’équipe une présentation invitée lors d'un colloque de IARPA en novembre 2016 à Washington.

La méthode peut être également utilisée sur des photographies de scènes courantes et a été évaluée sur la base Middlebury (base d’images stéréo de référence). Elle s’est avérée comparable à l'état de l'art, oscillant dans le classement officiel entre la 1^re et la 3^e place selon les critères retenus. 

Ces travaux ont été réalisés dans la cadre de la thèse de Sébastien Drouyer sous la direction de Serge Beucher et Michel Bilodeau (Centre de morphologie mathématique / PSL-Mines ParisTech), ainsi que de deux chercheurs d’IFPEN : Loïc Sorbier (direction Physique et Analyse) et Maxime Moreaud (direction Mécatronique et Numérique). Les algorithmes de traitement d’images développés pendant cette thèse seront valorisés dans le cadre d’un projet de recherche fondamentale conduit à IFPEN, et seront disponibles prochainement dans une plateforme interne de traitement d’images, Indigo.
 

Contact scientifique : Maxime Moreaud

Publication

1.  S. Drouyer, S. Beucher, M. Bilodeau, M. Moreaud, L. Sorbier. Sparse stereo disparity map densification using hierarchical image segmentation. 13th International Symposium on Mathematical Morphology, Fontainebleau ( France), 15-17 Mai 2017.
   >> hal-01484143