Nouvelle équipe-projet au Centre Inria de l’Université de Rennes, Malt élabore des méthodes pour permettre à l’Intelligence Artificielle de surmonter à la fois les problèmes liés à l’apprentissage automatique sur des données temporelles et ceux posés par l’adaptation des modèles à l’évolution dans le temps des données. Les scientifiques se penchent aussi sur la fiabilité de ces modèles avec en toile de fond des implications en matière de robustesse, d’efficacité, d’explicabilité, ou encore de vie privée et d’équité.
Elle traduit. Elle écrit. Elle prédit. Elle compose de la musique. Génère des images. Répond aux questions. Et nous émerveille de mille autres façons. Mais l’Intelligence Artificielle reste à la peine dans la plupart des cas où se présentent des contraintes de temps. “Ces données posent des tas de problèmes, résume Élisa Fromont, responsable de la nouvelle équipe Malt (1). Elles sont souvent multi-variées. Il existe de multiples dépendances entre des variables ainsi que sur l’échelle de temps.”
Exemple typique de dépendance : la saisonnalité. “Si je veux prédire la consommation électrique, je dois comprendre que nous sommes l’été et pas l’hiver, que la personne travaille à l’extérieur dans la journée et rentre chez elle le soir, qu’il y a un jour férié ou qu’il y a un match de foot. Plein d’événements viennent s’imbriquer. Ce qui rend la donnée très fluctuante, très difficile à anticiper.”
Rendre l’information intelligible
En pratique, la plupart des modèles de Machine Learning ne savent pas bien traiter ces données temporelles. Pour l’instant, il faut donc utiliser des algorithmes spécialisés. Une alternative consisterait à pré-traiter cette donnée pour l’envoyer ensuite vers les outils habituels. Autrement dit, trouver une autre représentation pour extraire les informations importantes de telle manière que les données soient intelligibles et utilisables par n’importe quel algorithme de Machine Learning. Dans le jargon scientifique, on appelle cela le ‘plongement’ des données. “Là-dessus, il y a un enjeu très fort, poursuit Élisa Fromont, car une fois que l’on a appris une bonne représentation des données, chaque tâche, y compris la génération de données, devient beaucoup plus facile à appréhender. Cela dit, les spécificités des données temporelles multi-variées rendent le plongement particulièrement difficile.”
Construire un modèle polyvalent capable d’intégrer le temps
Pour résoudre ce problème de plongement, les grands acteurs du secteur cherchent à construire un modèle de fondation (2) capable d’intégrer ces séries temporelles. Google vient de s’y essayer avec TimesFM. “Mais cet outil ne parvient pas bien à généraliser pour tous types de données et tous types de tâches car il y a trop de diversités dans les séries temporelles. On se retrouve à travailler sur la spécificité des données dans un cas très particulier.”
Parmi les tâches difficiles, figure en bonne place la génération de données temporelles multi-variées. Pourtant, les applications industrielles ne manquent pas. “Pour protéger la vie privée des gens, par exemple, on peut vouloir utiliser non pas leurs données personnelles mais des données synthétiques.”
La prédiction précoce sur les données temporelle fait également partie des attendus. “Dans ce contexte, nous considérons que les données arrivent en flux continus”. Le but est de prendre une décision le plus vite possible. « Cela permet généralement d’économiser de l’argent, de gagner du temps, voire même, dans le domaine médical, de sauver des vies. Parfois, on n’est pas certain de la prédiction et l’on préfère attendre un peu. Il y a donc un compromis entre précocité et confiance dans la décision. L’évaluation de cette incertitude dans la prédiction constitue un thème important pour beaucoup de chercheurs en Machine Learning.”
Aider les modèles à apprendre dans le temps
Un deuxième axe de recherche s’intéresse, lui, à l’apprentissage dans le temps. “Prenons une usine où une IA fait de l’analyse d’images en temps réel depuis, disons, trois ans. Tout d’un coup, on change de caméra. Du coup, mes images ne sont plus tout à fait les mêmes que celles sur lesquelles l’apprentissage s’était effectué. Il y a un changement de distribution dans les données. Donc on veut transformer le modèle ou les données, mais sans devoir tout réapprendre de zéro car cela pourrait être trop cher, voire même impossible si les données d’origine ne sont plus disponibles. On peut “recalibrer” une seule fois. Cela s’appelle l’adaptation de domaine. On peut aussi ‘recalibrer’ en permanence. Le modèle fait alors de l’apprentissage continu. Dans ce cas-là, on veut qu’il continue d’apprendre mais sans oublier ce qu’il a appris dans le passé. On peut également vouloir rajouter des tâches : de nouvelles classes à reconnaître, de nouveaux types de données ou les Deux à la fois. Dans notre équipe, nous cherchons des méthodes pour faire cela.”
Il existe aussi un apprentissage dit séquentiel. “Là, on n’a pas les données au départ. Le modèle n’apprend pas en une seule fois. Il interagit avec un environnement et obtient des récompenses pour des actions. Au cours du temps, il adapte sa stratégie d’interaction pour essayer de maximaliser ces récompenses.” Un des modèles d’apprentissage pour faire cela s’appelle le bandit manchot. Ce sujet intéresse les chercheurs de Malt, mais c’est par ailleurs le cœur de recherche de Scool, une équipe-projet Inria à Lille.
Fiabilité des modèles temporels
Le troisième axe de recherche porte sur la fiabilité de ces modèles temporels. Plusieurs questions se posent. À commencer par l’explicabilité. “Souvent, le modèle est tellement complexe que quand il fait une prédiction, on ne sait pas sur quoi il se base. Difficile alors d’avoir confiance. Pour restaurer cette confiance, il faut pouvoir expliquer comment la décision s’opère.”
La confiance passe aussi par le respect de la vie privée et de l’équité. Il faut s’assurer que le modèle ne laisse pas fuiter d’informations personnelles. Quant aux données, si elles sont biaisées, le modèle peut l’être également. “En imagerie médicale, par exemple, il y a des modèles qui fonctionnent mieux pour les hommes que pour les femmes parce qu’il y a plus de données pour les hommes. Peut-on corriger cela ? Et si j’utilise un modèle équitable mais que les données évoluent dans le temps, la prédiction va-t-elle demeurer équitable ?”
Il faut s’assurer en outre que l’algorithme soit robuste. “Le modèle apprend sur un jeu de données. Si je change les données au fil du temps, va-t-il rester aussi précis ? Les modèles temporels présentent-ils des spécificités en termes de robustesse ?” Et tout cela sans oublier l’efficacité “en tous cas du point de vue sociétal. Nous voulons faire mieux avec moins : plus petits modèles, meilleures stratégies d’apprentissage, compression, systèmes embarqués, etc.”
Une forte coloration industrielle
L’équipe possède une forte coloration industrielle. “Cela va de l’imagerie médicale aux télécoms avec des partenaires comme Orange, Siemens ou encore Stellantis.” Sur les 12 doctorants actuels, 5 sont financés par des thèses Cifre (1).
À noter enfin la présence dans l’équipe d’une chercheuse venue de l’agence ministérielle pour l’IA de défense (Amiad). “Elle étudie des méthodes d’analyse de graphes temporels et la détection d’anomalie dans ces graphes.” Cette thématique trouve un écho applicatif dans le domaine de la cybersécurité.
- Malt est une équipe-projet Inria, Université de Rennes et Université Rennes 2, commune à l’Irisa. Ses membres permanents sont : Élisa Fromont, Patrick Bouthemy, Romaric Gaudel, Simon Malinowski, Romain Tavenard, Paul Viallard et Barbara Pilastre.
- Un modèle de fondation est un très grand modèle qui a appris sur tellement de données qu’il peut effectuer des quantités de tâches différentes, y compris des tâches pour lesquelles il n’a pas été entraîné.
- Le dispositif Cifre permet à une entreprise de bénéficier d’une aide financière pour recruter un doctorant dont les travaux de recherche conduiront à la soutenance d’une thèse. Les dépenses peuvent être éligibles au crédit d’impôt recherche (CIR) sous certaines conditions.