Encore à leurs balbutiements, les appareils photo ‘plénoptiques’ produisent un contenu visuel très riche permettant à l’utilisateur de choisir a posteriori parmi différents points focaux, différentes profondeurs de champ, différentes ouvertures de diaphragme… Mais la dimensionnalité et la complexité de ces données soulèvent de multiples défis scientifiques. Créé dans le cadre du programme européen Actions Marie Skłodowska-Curie, Plenoptima est un Réseau de formation innovante qui initie actuellement les 15 premiers chercheurs d’une nouvelle génération à cette technologie émergente. Inria fait partie des cinq partenaires constituant le noyau académique du projet.
Le 29 février 2012 restera dans les annales de la photographie. Ce jour-là, l’entreprise américaine Lytro lançait un appareil aux formes rectangulaires disposant d’une matrice de micro-lentilles devant son capteur. D’une seule exposition, il capturait 11 millions de rayons de lumière. Une profusion de données offrant ensuite de multiples choix dans l’image. L’utilisateur pouvait, par exemple, sélectionner un point focal à sa convenance parmi tous ceux enregistrés. C’était le premier appareil ‘plénoptique’. On parle aussi de systèmes ‘à champs de lumière’. Un changement de paradigme susceptible d’impacter bien des domaines applicatifs.
Pour l’instant, cette technologie prometteuse ne rencontre pas l’engouement. Mais les scientifiques, eux, s’y intéressent en raison des nombreux défis qu’elle présente. Incidemment, un des problèmes sous-jacents va consister à former une nouvelle génération de chercheurs pour ce domaine aux multiples facettes. Et voilà précisément le but de Plenoptima, un Réseau de formation innovant lancé en 2020 dans le cadre du programme européen des Actions Marie Skłodowska-Curie (MSCA).
La proposition devant la Commission européenne s’est faite à l’initiative des professeurs Mårten Sjöström, de l’Université du Centre Suède et Atanas Gotchev, de l’Université de Tampere, en Finlande. Elle intervenait après Full Parallax Imaging, un autre réseau de formation qu’ils avaient mis en œuvre peu avant. Outre les deux universités scandinaves, le réseau Plenoptima comprend trois autres partenaires dans le noyau académique : l’Institut des matériaux et technologies optiques de Bulgarie (IOMT), l’Université technique de Berlin et Inria où des travaux sur la plénoptique sont menés depuis déjà un certain temps.
Chercheuse au centre Inria de l’Université de Rennes, Christine Guillemot est une spécialiste du traitement du signal et de la compression des images. En 2016, elle a été lauréate d’une bourse du Conseil européen de la recherche (ERC) afin d’explorer des méthodes susceptibles de traiter la grande dimensionnalité de ces champs de lumière. Puis en 2020, au niveau national cette fois, elle s’est vue octroyer une chaire en Intelligence Artificielle pour exploiter les techniques d’apprentissage automatique dans ce contexte plénoptique. Le nouveau réseau de formation s’appuie également sur l’ensemble de ce travail.
Doctorats européens conjoints
“En pratique, le réseau Plenoptima doit former quinze jeunes chercheurs, explique Christine Guillemot. Ces étudiants effectuent une thèse dans le cadre d’un double doctorat. Ils sont co-encadrés par deux entités académiques délivrant donc chacune un doctorat. Outre leur université d’origine, ils effectueront une partie du cursus dans une autre, ailleurs en Europe. Ici, par exemple, dans notre équipe Inria, nous avons trois étudiants affiliés à l’Université de Rennes 1. Ils partiront plusieurs mois respectivement pour l’Université technique de Berlin, l’Université du Centre Suède et l’Université de Tampere. Réciproquement, nous recevrons pendant plusieurs mois un étudiant de thèse venant de l’Université du Centre Suède et un autre de Tampere. Par ailleurs, le programme prévoit également un stage de deux mois chez l’un des partenaires industriels.”
De caractère multi-disciplinaire, la formation est structurée autour d’ateliers et d’écoles thématiques organisés tour à tour par chacun des partenaires académiques. En mars dernier, une école a eu lieu ainsi à Tampere pour étudier les fondamentaux physiques, mathématiques et technologiques qui sous-tendent la plénoptique. Une autre s’est déroulée en septembre à Sundsvall, en Suède. Elle portait sur l’apprentissage machine.
Journée industrie en juin à Rennes
La prochaine école se déroule à Rennes en juin 2023. Elle est organisée par Inria.
Nous nous intéresserons principalement au traitement et à la compression des données plénoptiques. Une autre partie portera sur la gestion de projet et l’innovation. Le dernier jour, nous aurons aussi une session ouverte aux industriels. Pour les entreprises qui s’intéressent à cette technologie des champs de lumière, ce sera l’occasion de rencontrer des scientifiques du domaine.
Et d’apporter des cas d’usages ? “Cela ne s’est pas encore produit car on observe peu d’avancées pour l’instant du côté des applications réelles. Quelques sociétés se lancent, mais cela ne représente pas une grosse tendance. Au départ, quand la caméra de Lytro est sortie, on n’avait pas une qualité d’image comparable à ce que même un simple smartphone pouvait produire. En matière de photographie computationnelle, tout est toujours affaire de compromis entre le volume de données et la qualité d’image.”
Cela dit, les 10 dernières années ont vu “de gros progrès algorithmiques, que ce soit pour l’acquisition, la restauration des données ou la diminution de dimensionnalité.” Et ce n’est pas tout. Nous cherchons également à étendre ces recherches à des appareils qui ne sont plus des caméras projectives, mais omnidirectionnelles. Sur ces appareils, l’image ne serait plus capturée sur un plan 2D. Chaque vue plénoptique serait omnidirectionnelle. Autrement dit : une capture du champ de lumière à 360°.
This project has received funding from the European Union’s Horizon 2020 research and innovation programme under the Marie Skłodowska-Curie grant agreement No 956770
