Dans les années à venir, les avatars peupleront toutes sortes d’applications de réalité virtuelle. Mais pour l’instant, difficile de parvenir vraiment à s’incarner dans ces personnages ou d’interagir par leur biais. Trop d’obstacles subsistent. Lancé pour améliorer l’expérience utilisateur, l’Inria Project Labs Avatar se propose d’apporter une série d’améliorations tout au long du pipeline comprenant l’acquisition, la simulation, l’interaction ou encore le retour multi-sensoriel.
© Inria / Photo J.C. Moschetti
“Aujourd’hui, lorsque l’on s’incarne dans des personnages virtuels, la plupart du temps, ceux-ci demeurent très simplistes. L’animation s’avère extrêmement limitée. Et il y a également très peu de retours multi-sensoriels. Notre but est donc de fournir un ensemble de briques logicielles et de connaissances fondamentales qui permettraient d’aller au-delà de l’état de l’art afin de proposer des expériences où l’incarnation dans les personnages serait plus crédible,” résume Ludovic Hoyet, chercheur dans l’équipe MimeTIC (1) au centre Inria Rennes – Bretagne Atlantique et coordinateur du projet Avatar.
Lancé en 2018 pour une durée de 4 ans, ce projet prend la forme d’un Inria Project Labs. Les IPL sont des actions interdisciplinaires rassemblant plusieurs équipes de l’institut pour travailler sur un problème précis. En l’occurrence, Avatar implique six équipes Inria (GraphDeco, Hybrid, Loki, MimeTIC, Morpheo, Potioc avec six étudiants de thèses et post-doctorants (2)), ainsi que le professeur Mel Slater, de l’Université de Barcelone, et deux partenaires industriels (InterDigital et Faurecia).
Beaucoup de questions
“Avec le développement des visiocasques, l’utilisateur se retrouve dans une situation où il ne voit plus son corps. Alors comment allons-nous représenter son corps dans le monde virtuel ? Ses mains ? Ses bras ? Comment l’utilisateur va-t-il accepter sa représentation virtuelle ? Comment va-t-il parvenir à s’incarner dans cet avatar et s’approprier ce corps virtuel ? Comment devrions-nous capturer la représentation de cet utilisateur ? Comment ensuite l’animer ? Comment l’utilisateur pourra-t-il interagir avec ce double ? Si je bouge mon vrai corps, faut-il aussi reproduire ce mouvement sur le personnage virtuel ? Est-ce que ce mouvement doit avoir les mêmes capacités physiques dans le monde virtuel ? Ou devrions-nous plutôt recourir à des métaphores d’interactions pour que certains gestes aient une représentation différente et permettent à l’utilisateur d’interagir différemment ? Exemple : si je pointe un doigt, cela pourrait me permettre de sélectionner un objet et de le bouger. Si je serre le poing, cela pourrait me permettre de saisir un objet se trouvant à proximité du bras, etc. Enfin, que peut-on proposer à l’utilisateur comme retour sensoriel pour qu’il comprenne ce qui se passe dans le monde virtuel ? Comment lui donner l’impression qu’il est en train de toucher quelque chose soit par des formes tactiles, par le visuel, par de l’audio, etc. Comment tous ces aspects peuvent s’animer pour donner cette illusion d’action ou simplement une certaine information sur ce qui est en train de se passer ? Devrions-nous utiliser le retour pseudo-haptique ? Avoir, par exemple, un tiroir qui s’ouvre deux fois plus lentement pour donner l’impression de pénibilité ? Voilà quelques-unes des nombreuses questions qui nous intéressent.”
Préserver les points de contact
Parmi les défis, l’un porte sur le couplage de la capture de la représentation à l’animation. “Aujourd’hui, il y a toujours un problème basique : beaucoup de mouvements impliquent des contacts entre différentes parties du corps. Mais si nous rejouons le même mouvement sur un autre personnage virtuel, il est très difficile aujourd’hui de s’assurer que ces contacts vont être préservés car chacun possède une certaine morphologie et des bras d’une certaine longueur. Et, en plus, nous ne savons même pas quels points de contact sont plus ou moins importants pour le réalisme.”
Une des recherches en cours étudie “comment s’assurer que pour une certaine morphologie, les mouvements transférés vers un avatar plus menu ou d’une plus grosse carrure puissent préserver ces points de contacts importants. Si vous vous incarnez dans un avatar dont la tête est plus grosse que la vôtre, et que vous essayez de mettre vos lunettes sur la tête de ce personnage, et bien les mains vont peut-être pénétrer dans la tête. Quant aux lunettes, elles ne seront plus en face des yeux ! Et par ailleurs, il faudra identifier le fait que l’utilisateur est bien en train d’interagir avec ses lunettes et non pas simplement en train de mettre les mains sur la tête. Même chose si l’utilisateur veut se gratter le nez. Où se trouve le nez par rapport à l’avatar ? Où se trouve la main de l’utilisateur par rapport à son nez ? Toutes ces relations s’avèrent extrêmement difficiles à établir.”
Questionnaires de personnalité
La psychologie s’invite aussi dans cette alchimie. “Certaines personnes sont très rétives à leur incarnation dans un personnage virtuel. Elles n’acceptent pas la représentation de leur image, de leur corps dans le monde virtuel. Inversement, d’autres se sentent très à l’aise avec cela. Nous avons conduit récemment une expérience où plus d’une centaine de participants ont rempli des questionnaires de personnalités. Ensuite, nous avons essayé de voir dans quelle mesure on peut corréler le profil de l’utilisateur à sa capacité à plus ou moins s’incarner dans l’avatar. Le but est d’estimer avec quelle facilité ou pas, une personne pourrait s’incarner dans un personnage réaliste bien que non personnalisé. Donc estimer à quel point le facteur personnalité facilite ou entrave l’incarnation.”
Formation professionnelle et cinéma immersif
Pour ce projet, deux domaines d’application industrielle ont été retenus. “La formation professionnelle en collaboration avec Faurecia, et le cinéma immersif avec InterDigital.” Équipementier automobile de premier plan, Faurecia possède quelque 320 usines aux quatre coins du monde. Cette présence planétaire implique beaucoup de transports pour les formateurs. “D’où l’idée de développer la formation par la réalité virtuelle. Dans ce cadre, les formateurs et les stagiaires pourraient s’incarner dans des avatars afin d’interagir avec des environnements de travail virtuels.”
Concepteur de technologies numériques pour la télévision et le cinéma dont la division R&D a été récemment rachetée par InterDigital, Technicolor possède un centre de recherche à deux pas d’Inria. “Initialement, ce qui nous intéressait, c’était leur retour d’expérience sur l’incarnation dans le cinéma immersif. L’entreprise a beaucoup travaillé sur ce sujet. Elle pouvait nous fournir des cas d’usages, des spécificités pour les démonstrateurs, ce genre de choses. En avançant dans le projet, ils ont décidé de renforcer leur collaboration en finançant aussi une thèse Cifre (3) sur le thème des avatars et plus précisément sur l’aspect capture. La question est de savoir comment réussir à transférer un certain nombre de caractéristiques de la personne sur un avatar qui n’est pas forcément réaliste, mais dans lequel l’utilisateur va quand même pouvoir s’identifier et dire : oui, c’est un peu ma forme de visage, ma couleur de peau, etc.”
Ces démonstrateurs concerneront des domaines différents mais ils “s’appuieront sur la même base technologique pour permettre d’étendre, plus tard, leur usage à d’autres champs applicatifs?” Est-ce l’annonce d’un futur nouveau standard ? “Non, mais l’absence de standards est aussi un problème. Aujourd’hui, par exemple, il demeure difficile de prendre un modèle d’animation réalisé dans une application et de l’utiliser dans une autre. Cela dit, notre intention est plus de fournir des technologies et des paradigmes d’interaction qui, dans trois ans d’ici, permettront aux utilisateurs de bénéficier d’un meilleur sentiment d’incarnation dans les avatars.”
|
