On la désigne sous le signe XR. La réalité étendue se situe au carrefour de la réalité virtuelle et de la réalité augmentée. Cet espace hybride partagé accueille à la fois des avatars, incarnations d’humains réels, et des humains virtuels autonomes souvent chargés d’effectuer des tâches. Le projet européen ShareSpace ambitionne de conférer aux uns et aux autres de meilleures facultés d’interaction sociale en s’appuyant pour ce faire sur la communication sensorimotrice humaine et sur une architecture cognitive pilotée par Intelligence Artificielle. Dans ce contexte, au Centre Inria de l’Université de Rennes, l’équipe MimeTIC élabore un cas d’usage où des coureurs cyclistes vont s’entraîner à réussir leur échappée du peloton.
Dans le cyclisme de compétition, on appelle cela l’échappée. C’est un moment clé où le coureur d’une équipe va tenter de s’éjecter du peloton en se glissant dans la roue d’un coéquipier qui démarre brusquement une attaque devant lui. Il va ainsi profiter de son appel d’air pour s’en aller chercher la victoire. Cette chorégraphie bien huilée repose sur l’effet de surprise. Elle exige une parfaite synchronisation entre les deux protagonistes. Le coureur doit guetter le démarrage de son coéquipier pour se lancer au plus vite derrière lui. Comment réussir cette manœuvre ? En détectant le plus tôt possible les signaux faibles qui annoncent le départ de l’action. Mais avec une contrainte supplémentaire : l’attaquant doit masquer son intention aux adversaires. Car il ne faut pas que ceux-ci puissent anticiper ce qui va se produire.
Pour aider le coureur à affûter son sens de l’observation et à mieux détecter ces signaux annonciateurs de l’attaque, des chercheurs du Centre Inria de l’Université de Rennes, en collaboration avec le laboratoire M2S de l’Université Rennes 2, élaborent actuellement un dispositif innovant de formation par réalité étendue.
Spécialisée dans l’analyse et la synthèse du mouvement pour la simulation d’humains virtuels, l’équipe de recherche MimeTIC* s’est forgée un nom dans les méthodes immersives au service de la santé, de l’ergonomie, mais aussi du sport. Dans le domaine du football, par exemple, les scientifiques ont conçu une simulation utilisée aujourd’hui par le Stade Rennais pour entraîner les gardiens de but à mieux suivre la situation de jeu avant un tir au but, ou optimiser le placement d’un mur en situation de coup-franc.
Les informations transportées par les mouvements du corps
Les travaux qui débutent sur le cyclisme s’inscrivent dans le cadre de ShareSpace. Ce projet européen vise à doter les avatars des utilisateurs et les agents virtuels autonomes de capacités d’interaction sociale basées sur la communication sensorimotrice. Autrement dit : tous ces signifiants transportés par les mouvements du corps, les expressions faciales ou encore les gestes de la main.
Trois cas d’usages vont illustrer ces travaux. Le premier pour la rééducation à distance de patients souffrant de mal de dos. Le second dans l’univers artistique. Le troisième dans le cadre sportif avec une simulation d’échappée de peloton cycliste.
“Aujourd’hui, la réalité virtuelle et la réalité augmentée arrivent à une certaine maturité, explique Franck Multon, responsable de MimeTIC. La société peut donc commencer à s’en emparer. C’est d’ailleurs ce qui se passe avec l’arrivée des métavers. Des gens vont s’immerger dans ces mondes et interagir entre eux via leurs avatars. Mais nous allons aussi les aider à évoluer dans ces univers en déployant des humains virtuels autonomes qui serviront de collaborateurs ou de guides. Cela peut être un personnage qui passe par une porte et suggère ainsi une direction à suivre, tout simplement. Et en l’occurrence, l’utilisateur ne sait pas forcément qu’il s’agit d’un humain virtuel autonome. Il le considère parfois comme l’incarnation de quelqu’un existant vraiment.”
Le projet ShareSpace s’intéresse à l’interaction sociale dans ces espaces hybrides partagés, où vont donc évoluer “des incarnations de vrais humains, des humains complètement virtuels pilotés par Intelligence Artificielle, mais aussi des représentations de vrais humains dont on a modifié le mouvement pour faciliter l’interaction avec les autres. On peut ainsi exagérer des caractéristiques du geste d’un participant, via son avatar, pour que ces caractéristiques soient plus visibles par les autres. Ces derniers peuvent alors mieux collaborer avec lui car ils comprennent ses actions et ses intentions. ” Dans certaines situations, l’information livrée par la gestuelle est bien disponible pour comprendre l’action d’un individu, mais pas perçue par les autres, ce qui altère la collaboration entre eux.
Amplifier les signaux faibles
C’est sur ce ressort que les scientifiques vont construire leur séquence d’entraînement pour le coureur cycliste. “Quand l’attaquant s’apprête à démarrer, il y a des signaux qui le montrent. Par exemple, le coureur va être obligé de changer légèrement de posture, de s’avancer un peu sur sa selle, de s’appuyer sur le guidon, etc. Mais le coéquipier qui le suit ne le perçoit pas forcément. Nous allons identifier et détecter automatiquement ces signes et les amplifier pour que le coureur s’habitue à lire cette information. Puis, nous diminuerons cette amplification au fur et à mesure de l’apprentissage pour qu’il monte en compétence petit à petit au cours de l’entrainement en réalité mixte.”
Par ailleurs, en tête de peloton, se trouvera un humain virtuel autonome piloté par IA. “Comme dans la vraie vie, à un moment donné, il va donner des signes de fatigue. L’attaquant va devoir, lui aussi, repérer ces signes qui indiquent un moment propice pour déclencher son attaque.”
Des expérimentations commencent actuellement à Rennes pour capturer les mouvements des cyclistes durant l’échappée. Objectif : identifier les variables sensorimotrices qui sont à l’œuvre. “Ces enregistrements vont permettre aussi de remonter dans le temps et de mesurer à partir de quel instant la gestuelle de l’attaquant est altérée avant même de lancer l’attaque. Donc, à partir de quand l’information est disponible, même si le coureur qui le suit, lui, ne la détecte peut-être pas encore.”
Avec les autres partenaires du projet, les chercheurs rennais vont construire ensuite une mise en situation pour comprendre comment cette prise d’information sur l’attaquant s’effectue en réel. “Le coureur regardera une vidéo que l’on pourra interrompre à tout moment, tout en demandant au participant s’il pense que la suite est une attaque ou pas. Cela va nous permettre d’identifier à quel instant et à partir de quel signe le coureur comprend que l’attaque de son coéquipier devant lui a débuté. Il a peut-être vu son coéquipier commencer à se redresser sur sa selle. Mais juste avant, il a peut-être manqué le déplacement des mains sur le guidon. Ainsi, nous allons dresser une cartographie de l’information disponible et de ce que les cyclistes perçoivent vraiment.”
Visio-casque et ergocycle
Cycliste évoluant dans un environnement virtuel grâce à un casque de réalité virtuelle et d’un home-trainer connecté
Pour les séquences d’entraînement, les scientifiques vont ensuite explorer deux approches. Dans la première, tout se déroule en réalité virtuelle. Un casque de réalité virtuelle sur les yeux, trois cyclistes coéquipiers pédalent sur un ergocycle. Tous les trois sont représentés par leur avatar et sont donc visibles pour tout le monde. Pour capter les mouvements du corps, les scientifiques prévoient d’utiliser le stricte minimum de capteurs inertiels. “L’IA va permettre de reconstruire la posture complète de l’avatar avec très peu de données : les pieds, les mains, la tête.” On rejoint ici un enjeu sous-jacent du projet : “pour que ce type d’applications puisse se démocratiser, il faut éviter de recourir à des dispositifs de capture trop onéreux »
Défi technique supplémentaire : “avec un vélo posé sur un home-trainer, on ne peut ni tourner, ni s’incliner comme on le ferait dans la réalité. Il nous faut donc introduire une métaphore qui permet aux participants en réalité virtuelle de commander la vitesse et la direction du vélo dans ces conditions contraignantes. Grâce à l’IA, nous allons alors transformer cette commande en mouvement cohérent de leurs avatars, tel qu’ils l’auraient fait eux-mêmes dans la réalité, pour la même vitesse et le même virage. ”
En réalité augmentée sur une route de campagne
Dans une phase deux, les scientifiques veulent organiser cet entraînement en réalité augmentée. “Cette fois-ci, le coureur pédale sur un vrai vélo. Il roule tout seul sur une route de campagne. Il porte des lunettes de réalité augmentée et, en superposition, il voit d’autres cyclistes comme s’ils étaient là, formant le peloton autour de lui, alors qu’en fait ceux-ci pédalent sur leur home-trainer à la maison, ou sont des humains virtuels autonomes pilotés par IA. Cela va donc permettre à des partenaires distants de, malgré tout, s’entrainer ensemble. Là aussi, le coureur pourra jouer le rôle d’attaquant et permettre à ses coéquipiers distants de s’entrainer à capter les informations qui anticipent son attaque, cette fois avec ses vrais mouvements directement joués sur son avatar, sans avoir besoin de métaphore. ”
Architecture cognitive basée IA
Ce deuxième dispositif présente quelques défis. À commencer par le fait que les autres cyclistes doivent voir la route au même moment que le coureur. “Avec le DFKI et Ricoh, nous travaillons sur un système de caméras 360° embarquées sur le vélo. Le coureur fait un premier passage pour nous permettre de capturer un tunnel d’images à 360°. Chez eux, les cyclistes vont ensuite télécharger ces images afin de pouvoir évoluer également dans ce tunnel.” Chacun devra percevoir le circuit en fonction de sa position à chaque instant. “Nos collègues du DFKI ont des résultats préliminaires là-dessus en environnement fermé. Maintenant, il faut réussir à les reproduire, dehors, sur une route.”
La simulation est ensuite orchestrée par une architecture cognitive basée sur IA et développée par le partenaire universitaire italien CRdC. Agissant comme une boîte noire, “cette brique détecte, par exemple, que des informations sont disponibles et décide de les amplifier ou pas. Elle prend en entrée les mouvements réels et donne en sortie les mouvements que l’avatar doit faire pour que ceux-ci soient plus facilement détectés.” Cette IA fonctionne à partir des primitives sensorimotrices mise en évidence par MimeTIC, en collaboration avec les partenaire allemand (UKE) et français (Université de Montpellier), spécialistes en neurosciences. “Nous allons être capables de dire que les coureurs prennent leur décision sur tel signe, qu’ils perçoivent telle chose et ne voient pas telle autre.”
Parmi les partenaires industriels du projet figure aussi Golaem. Cofondée par l’ancien chercheur Inria Stéphane Donikian en 2009, cette entreprise rennaise conçoit des logiciels d’animation permettant de programmer des personnages autonomes pour créer des figurants et des foules au cinéma. “Dans ShareSpace, Golaem nous fournit le pipeline graphique pour l’animation des humains virtuels. En particulier le retargeting. Cela consiste à adapter les mouvements qui doivent être effectués à la morphologie du personnage virtuel. Si le personnage est petit, par exemple, il faut quand même qu’il puisse toucher les pédales. Dans ce domaine, Golaem possède un moteur hyper efficace qui produit de l’animation de très haute qualité.”
À qui s’adressera ce dispositif immersif ? “Plutôt aux centres de formation. Nous allons créer un comité consultatif pour associer les entraîneurs, les sportifs de haut niveau, la Fédération, la Ligue, etc.” Le grand public pourra aussi essayer un premier démonstrateur durant les Jeux Olympique de Paris 2024 puis ensuite pendant le Tour de France 2025.
- MimeTIC, une équipe-projet Inria, ENS Rennes et Université de Rennes et Université de Rennes2. Elle fait partie des laboratoires M2S (Mouvement Sport Santé – EA1274) et Irisa (UMR CNRS 6074).
