Accueil

Projet Semapolis — Analyse sémantique visuelle et reconstruction 3D d’environnements urbains

Le but du projet Semapolis (1/10/2013-30/09/2017) est de développer des techniques avancées d’analyse d’images et d’apprentissage à grande échelle pour la sémantisation de photos urbaines et la construction de modèles 3D sémantisés d’environnements urbains, avec un rendu visuel amélioré. Le projet Semapolis est cofinancé par l’Agence Nationale de la Recherche (ANR).

Les modèles 3D géométriques de villes ont une large gamme d’applications comme la navigation ou les décors virtuels réalistes pour les jeux vidéo et les films. Des acteurs comme Google, Microsoft et Apple ont commencé à produire de telles données. Cependant, elles ne consistent qu’en de simples surfaces, texturées à partir d’images. Cela limite leur usage dans les études urbaines et l’industrie de la construction, excluant des applications comme le diagnostic ou la simulation. En outre, géométrie et texture sont souvent fausses quand des parties sont invisibles ou discontinues, comme lors d’occultations par un arbre, une voiture ou un réverbère, objets omniprésents dans les scènes urbaines.

Nous voulons aller plus loin en produisant des modèles 3D sémantisés, qui identifient des éléments architecturaux tels que fenêtres, murs, toits, portes, etc. Les aprioris sémantiques sur les images analysées nous permettrons aussi de reconstruire des géométries et rendus plausibles pour les parties invisibles. La sémantique est utile dans un plus grand nombre de scénarios à l’échelle du bâtiment ou de la ville : diagnostic et simulation dans des projets de rénovation, étude d’impact précise de l’ombre portée sur des fenêtres, déploiement de panneaux solaires, etc. La navigation dans des villes virtuelles peut aussi être amélioré, avec des rendus visuels spécifiques aux objets identifiés. Les modèles peuvent également être compactés en encodant la répétition (p. ex. fenêtres) et en substituant aux textures d’origine des textures données par la sémantique ; cela permet une transmission moins coûteuse et plus rapide dans la faible bande passante de réseaux mobiles, et un stockage efficace sur GPS embarqué.

L’objectif principal du projet est de faire des avancées majeures dans les domaines suivants :

  • Apprentissage pour la reconnaissance d’objets : Nous développerons des algorithmes innovants d’apprentissage à grande échelle pour reconnaître divers styles et éléments architecturaux dans des images. Ces méthodes seront capables d’exploiter de très grandes quantités de données mais ne nécessiteront que peu d’annotations manuelles (apprentissage faiblement supervisé).
  • Apprentissage de grammaires de formes : Nous développeront des techniques pour apprendre des grammaires de formes stochastiques à partir d’exemples. Les grammaires apprises permettront de s’adapter à la grande variété de types de bâtiments sans toujours recourir à des experts. Grâce aux paramètres appris, les analyses seront aussi plus rapides, plus précises, plus robustes.
  • Analyse grammaticale : Nous développeront de nouvelles méthodes de minimisation d’énergie sur la base d’indices visuels pour maîtriser le nombre exponentiel d’analyses. Les propriétés visuelles statistiques précédemment apprises seront agrégées pour évaluer avec précision les analyses.
  • Reconstruction 3D sémantisée : Nous développerons des techniques robustes originales pour synchroniser une reconstruction 3D multi-vues avec l’analyse sémantique, garantissant ainsi des alignement de toits ou de fenêtres à l’angle de façades.
  • Rendu visuel et sémantique : Nous développerons des méthodes de rendu à base d’images qui s’appuieront sur la sémantique de la scène pour améliorer la qualité graphique : estimation de profondeur, fusion adaptative, remplissage de trous et complétion de régions.

Pour valider notre recherche, nous conduirons des expériences sur des données concernant des grandes villes, en particulier Paris (grande quantité de panoramas, images plus denses et géoréférencées à plus petite échelle, plan cadastral, dates de construction).