{"id":146,"date":"2025-04-16T13:39:47","date_gmt":"2025-04-16T11:39:47","guid":{"rendered":"https:\/\/project.inria.fr\/sharp\/?p=146"},"modified":"2025-04-16T13:40:57","modified_gmt":"2025-04-16T11:40:57","slug":"why-does-ai-consume-so-much-energy","status":"publish","type":"post","link":"https:\/\/project.inria.fr\/sharp\/why-does-ai-consume-so-much-energy\/","title":{"rendered":"Why does AI consume so much energy ?"},"content":{"rendered":"

A note<\/a> by P. Caillon and A. Allauzen from the SHARP project published on The Conversation. <\/p>\n\n\n\n

Pourquoi l\u2019IA g\u00e9n\u00e9rative consomme-t-elle tant d\u2019\u00e9nergie ?<\/h1>\n\n\n\n

Paul Caillon<\/a>, Universit\u00e9 Paris Dauphine \u2013 PSL<\/a><\/em> et Alexandre Allauzen<\/a>, Universit\u00e9 Paris Dauphine \u2013 PSL<\/a><\/em><\/p>\n\n\n\n

DeepSeek d\u00e9fraye la chronique en proposant un mod\u00e8le dont les performances seraient comparables \u00e0 celles des mod\u00e8les pr\u00e9existants, pour un co\u00fbt tr\u00e8s r\u00e9duit en termes de puissance de calcul et de donn\u00e9es, et donc une consommation \u00e9nerg\u00e9tique moindre. Quand on sait que Microsoft a indiqu\u00e9 une hausse de 29,1 % d\u2019\u00e9mission de carbone sur l\u2019ann\u00e9e 2023<\/a> et que diff\u00e9rentes grandes entreprises du num\u00e9rique investissent dans des capacit\u00e9s de production d\u2019\u00e9lectricit\u00e9<\/a>, le tout en lien avec l\u2019essor de l\u2019IA g\u00e9n\u00e9rative, l\u2019enjeu est de taille. Pourquoi l\u2019IA g\u00e9n\u00e9rative consomme-t-elle tant ? D\u00e9cryptage.<\/strong><\/p>\n\n\n\n

\n\n\n\n

Les grands mod\u00e8les de langage (Large Language Models<\/em> ou LLM), comme ChatGPT (OpenAI), Gemini (Google\/DeepMind) ou encore les mod\u00e8les g\u00e9n\u00e9ratifs d\u2019images comme Midjourney, sont devenus en tr\u00e8s peu de temps des outils incontournables avec des usages qui ne cessent de s\u2019amplifier et de se diversifier. Il est vrai que la fluidit\u00e9 des \u00e9changes avec ChatGPT impressionne, et que les promesses de d\u00e9veloppement sont enthousiasmantes.<\/p>\n\n\n\n

N\u00e9anmoins, ces promesses cachent des co\u00fbts de calcul, et donc \u00e9nerg\u00e9tiques, consid\u00e9rables. Or, aujourd\u2019hui l\u2019id\u00e9e dominante dans l\u2019industrie des mod\u00e8les g\u00e9n\u00e9ratifs est : \u00ab Plus grand est le mod\u00e8le, mieux c\u2019est. \u00bb Cette comp\u00e9tition s\u2019accompagne d\u2019une croissance de la consommation \u00e9nerg\u00e9tique<\/a> et, donc, de l\u2019empreinte \u00e9cologique qui ne peut plus \u00eatre ignor\u00e9e et qui questionne quant \u00e0 sa p\u00e9rennit\u00e9 et sa viabilit\u00e9 pour la soci\u00e9t\u00e9.<\/p>\n\n\n\n

Pourquoi un tel co\u00fbt ?<\/h2>\n\n\n\n

Un mod\u00e8le g\u00e9n\u00e9ratif de texte comme un chatbot est un ensemble de param\u00e8tres num\u00e9riques ajust\u00e9s \u00e0 partir de donn\u00e9es pour accomplir une t\u00e2che sp\u00e9cifique. L\u2019architecture dominante s\u2019appuie sur les \u00ab transformers<\/em> \u00bb<\/a>.<\/p>\n\n\n\n

Les transformers<\/em> prennent une s\u00e9quence en entr\u00e9e, par exemple un prompt (soit votre question), pour la transformer num\u00e9riquement. En empilant les couches de transformers<\/em><\/a>, le mod\u00e8le multiplie ces transformations afin de construire la r\u00e9ponse en prolongeant son entr\u00e9e. Cet empilement de couches conf\u00e8re au mod\u00e8le son efficacit\u00e9 et fait cro\u00eetre le nombre de param\u00e8tres. C\u2019est pourquoi un mod\u00e8le tel que GPT-4 contient au moins 1 tera (1 000 milliards) de param\u00e8tres et n\u00e9cessite donc au moins 2 tera octets (To) de m\u00e9moire vive pour \u00eatre utilisable.<\/p>\n\n\n\n

Que ce soit pour l\u2019entra\u00eenement, pour le stockage des donn\u00e9es et des param\u00e8tres, ou pour le calcul d\u2019une r\u00e9ponse, des infrastructures de calcul de plus en plus puissantes sont donc indispensables. En d\u2019autres termes, contrairement \u00e0 ce que l\u2019on croit souvent, ce n\u2019est pas juste pour entra\u00eener le mod\u00e8le que ces techniques sont tr\u00e8s co\u00fbteuses.<\/p>\n\n\n\n

Des donn\u00e9es \u00e9merge la \u00ab connaissance \u00bb<\/h2>\n\n\n\n

Avant tout, un mod\u00e8le g\u00e9n\u00e9ratif doit \u00eatre \u00ab appris \u00bb. Pour cela des donn\u00e9es (textes, images, sons, etc.) lui sont pr\u00e9sent\u00e9es \u00e0 maintes reprises afin d\u2019ajuster ses param\u00e8tres. Plus il y a de param\u00e8tres, plus la phase d\u2019apprentissage est co\u00fbteuse en donn\u00e9es, mais aussi en temps et en \u00e9nergie.<\/p>\n\n\n\n

Ainsi, pour un LLM (grand mod\u00e8le de langage), on parle par exemple de l\u2019ordre de la dizaine de trillions de donn\u00e9es (environ 10 trillions pour GPT-4<\/a> et 16 trillions pour Gemini<\/a>) et aux alentours de trois mois de pr\u00e9apprentissage sur environ 20 000 puces A100 de NVIDIA pour le dernier-n\u00e9 d\u2019OpenAI. Ces mod\u00e8les les plus performants sont en fait une combinaison de plusieurs \u00e9normes mod\u00e8les (les \u00ab Mixture of Experts<\/em> \u00bb), GPT-4 \u00e9tant ainsi le r\u00e9sultat de 16 experts de 110 milliards de param\u00e8tres, selon les rares informations disponibles<\/a>.<\/p>\n\n\n\n

Apr\u00e8s cette phase d\u2019apprentissage, le mod\u00e8le est d\u00e9ploy\u00e9 afin de r\u00e9pondre aux utilisateurs dans une phase dite d\u2019\u00ab inf\u00e9rence \u00bb. Pour faire face \u00e0 la demande (ces syst\u00e8mes construits pour r\u00e9pondre \u00e0 plusieurs personnes en m\u00eame temps) avec un temps de r\u00e9ponse satisfaisant, le mod\u00e8le est alors dupliqu\u00e9 sur diff\u00e9rents clusters de calcul. Un article de recherche<\/a> constate \u00e9galement que les architectures g\u00e9n\u00e9ratives polyvalentes consomment significativement plus d\u2019\u00e9nergie \u00e0 l\u2019inf\u00e9rence que les syst\u00e8mes sp\u00e9cifiques \u00e0 une t\u00e2che, m\u00eame \u00e0 taille de mod\u00e8le \u00e9quivalente.<\/p>\n\n\n\n

Ce survol des besoins en termes de calcul donne une id\u00e9e des ordres de grandeur qui se cachent derri\u00e8re nos interactions \u2014 qui semblent si rapides et efficaces \u2014 avec ces \u00e9normes mod\u00e8les. Il permet surtout de poser diff\u00e9remment la question de l\u2019\u00e9valuation de ces mod\u00e8les, en y incluant la question de la soutenabilit\u00e9 en termes \u00e9nerg\u00e9tiques et \u00e9cologiques. Des travaux r\u00e9cents<\/a> proposent ainsi un mod\u00e8le pour \u00e9valuer les impacts environnementaux de la fabrication des cartes graphiques et une analyse multicrit\u00e8re des phases d\u2019entra\u00eenement et d\u2019inf\u00e9rence des mod\u00e8les d\u2019apprentissage automatique.<\/p>\n\n\n\n

Obsolescence et frugalit\u00e9<\/h2>\n\n\n\n

Ainsi les grands mod\u00e8les g\u00e9n\u00e9ratifs n\u00e9cessitent des infrastructures mat\u00e9rielles colossales.<\/p>\n\n\n\n

Au-del\u00e0 de consid\u00e9rations \u00e9conomiques, il a \u00e9t\u00e9 montr\u00e9<\/a> que pass\u00e9 un certain point, les gains de performances ne justifient pas une telle explosion du nombre de param\u00e8tres. Toutes les applications ne n\u00e9cessitent pas d\u2019\u00e9normes mod\u00e8les et des approches plus modestes peuvent \u00eatre aussi performantes, plus rapides et moins co\u00fbteuses.<\/p>\n\n\n\n

Sur le plan environnemental, l\u2019apprentissage et l\u2019inf\u00e9rence de mod\u00e8les massifs ont un co\u00fbt \u00e9nerg\u00e9tique qui n\u00e9cessitent r\u00e9flexion. Les travaux de certains auteurs<\/a> soulignent la complexit\u00e9 de mesurer avec pr\u00e9cision l\u2019empreinte carbone de ces grands mod\u00e8les, tout en montrant leur impact consid\u00e9rable : 50,5 tonnes \u00e9quivalent CO2<\/sub> (CO2<\/sub> eq) pour un mod\u00e8le de 176 milliards de param\u00e8tres, appris en 2023\u2026 et pratiquement consid\u00e9r\u00e9 comme obsol\u00e8te aujourd\u2019hui. Pour rappel, si un Fran\u00e7ais moyen rejette actuellement environ 10 tonnes CO2<\/sub> eq par an, l\u2019objectif \u00e0 l\u2019horizon 2050 pour respecter l\u2019engagement des accords de Paris est d\u2019environ 2 tonnes CO\u2082 eq par Fran\u00e7ais et par an<\/a>.<\/p>\n\n\n\n

Quant \u00e0 la phase d\u2019inf\u00e9rence (ou d\u2019utilisation, quand on pose une question \u00e0 GPT), lorsqu\u2019elle est r\u00e9alis\u00e9e des millions de fois par jour, comme c\u2019est le cas pour un assistant conversationnel, elle peut engendrer un co\u00fbt \u00e9nerg\u00e9tique consid\u00e9rable, parfois bien sup\u00e9rieur \u00e0 celui de l\u2019entra\u00eenement.<\/p>\n\n\n\n

Ainsi, un outil<\/a> d\u00e9velopp\u00e9 en 2019 a permis d\u2019estimer qu\u2019une inf\u00e9rence de ChatGPT 3.5 produisait environ 4,32 grammes de CO2<\/sub>.<\/p>\n\n\n\n

\u00c0 l\u2019heure o\u00f9 les assistants conversationnels sont peut-\u00eatre en passe de remplacer les moteurs de recherche standards (Google, Bing, Qwant), la question de son utilisation se pose, car ces derniers ont un co\u00fbt 10 \u00e0 20 fois moindre (0,2 gramme de CO2<\/sub> la recherche, d\u2019apr\u00e8s Google).<\/p>\n\n\n\n

Enfin, la concentration de pouvoir entre quelques acteurs disposant des ressources n\u00e9cessaires pour d\u00e9velopper ces mod\u00e8les \u2014 data centers, donn\u00e9es, comp\u00e9tences \u2014 pose des probl\u00e8mes scientifiques en limitant la diversit\u00e9 des recherches, mais aussi strat\u00e9giques et politiques.<\/p>\n\n\n\n

Les recherches en IA frugale<\/h2>\n\n\n\n

La frugalit\u00e9<\/a> consiste \u00e0 se fixer d\u00e8s le d\u00e9part une enveloppe de ressources (calcul, m\u00e9moire, donn\u00e9es, \u00e9nergie) et \u00e0 concevoir des mod\u00e8les capables de s\u2019y adapter. L\u2019id\u00e9e n\u2019est pas de sacrifier les performances, mais de privil\u00e9gier la sobri\u00e9t\u00e9 : optimiser chaque \u00e9tape, du choix de l\u2019architecture \u00e0 la collecte des donn\u00e9es, en passant par des m\u00e9thodes d\u2019apprentissage plus l\u00e9g\u00e8res, afin de r\u00e9duire l\u2019empreinte environnementale, d\u2019\u00e9largir l\u2019acc\u00e8s \u00e0 l\u2019IA et de favoriser des applications r\u00e9ellement utiles.<\/p>\n\n\n\n

La recrudescence de travaux de recherche sur ce th\u00e8me illustre la volont\u00e9 de penser l\u2019IA sous l\u2019angle de la sobri\u00e9t\u00e9. Il s\u2019agit ainsi de replacer la pertinence, l\u2019impact soci\u00e9tal et la soutenabilit\u00e9 au c\u0153ur de la recherche.<\/p>\n\n\n\n

Concr\u00e8tement, de nombreuses pistes \u00e9mergent. Sur le plan de l\u2019apprentissage, il s\u2019agit d\u2019explorer des alternatives algorithmiques au paradigme actuel<\/a>, h\u00e9rit\u00e9 du milieu des ann\u00e9es 1980 et qui n\u2019a jamais \u00e9t\u00e9 remis en question alors m\u00eame que les quantit\u00e9s de donn\u00e9es et la puissance de calcul n\u2019ont plus rien \u00e0 voir avec celles qui pr\u00e9valaient aux d\u00e9buts de ces mod\u00e8les.<\/p>\n\n\n\n

Ainsi, au-del\u00e0 des optimisations techniques, une r\u00e9flexion m\u00e9thodologique de fond s\u2019impose, tant le contexte scientifique a \u00e9volu\u00e9 depuis les ann\u00e9es 1980. Cette r\u00e9flexion est au c\u0153ur, par exemple, du projet Sharp<\/a>, financ\u00e9 par le programme France 2030. L\u2019\u00e9tude d\u2019architectures plus compactes et sp\u00e9cialis\u00e9es est \u00e9galement abord\u00e9e avec le projet Adapting<\/a> du m\u00eame programme.<\/p>\n\n\n\n

Les math\u00e9matiques appliqu\u00e9es peuvent jouer un r\u00f4le cl\u00e9 en proposant des \u00ab repr\u00e9sentations parcimonieuses \u00bb<\/a>, des m\u00e9thodes de factorisation<\/a>, ou en optimisant l\u2019usage de donn\u00e9es faiblement annot\u00e9es<\/a>.<\/p>\n\n\n\n

Ainsi, en travaillant avec des contraintes de ressources, ces recherches visent un d\u00e9veloppement en IA plus frugal et donc durable, ainsi que plus accessible, et ind\u00e9pendant de l\u2019hyperconcentration du march\u00e9. Elles limitent les externalit\u00e9s n\u00e9gatives \u2014 environnementales, \u00e9thiques, \u00e9conomiques \u2014 li\u00e9es \u00e0 la course effr\u00e9n\u00e9e vers le gigantisme.<\/p>\n\n\n\n

Mais pour atteindre ces objectifs, il est aussi important d\u2019avancer sur les crit\u00e8res et les m\u00e9thodes d\u2019\u00e9valuations en IA : avec le paradigme dominant actuel, la dimension de frugalit\u00e9 peine encore \u00e0 s\u2019imposer, que ce soit du c\u00f4t\u00e9 de la recherche ou industriel. Il ne faut d\u2019ailleurs pas confondre la r\u00e9cente explosion des outils de DeepSeek<\/a> avec de la frugalit\u00e9, les co\u00fbts en calcul et en donn\u00e9es \u00e9tant eux aussi extr\u00eamement \u00e9lev\u00e9s, avec des m\u00e9thodes probablement \u00e9thiquement r\u00e9pr\u00e9hensibles<\/a>.<\/p>\n\n\n\n

Ainsi, le monde acad\u00e9mique doit mieux int\u00e9grer cette dimension afin d\u2019am\u00e9liorer la visibilit\u00e9 et la valorisation des travaux qui visent la frugalit\u00e9.<\/p>\n\n\n\n

L\u2019IA que nous d\u00e9veloppons est-elle vraiment utile ?<\/h2>\n\n\n\n

La frugalit\u00e9 en IA n\u2019est pas un simple concept, mais une n\u00e9cessit\u00e9 face aux enjeux actuels. Les travaux r\u00e9cents sur son empreinte carbone illustrent l\u2019urgence de repenser nos m\u00e9thodes. Avant m\u00eame d\u2019envisager les mani\u00e8res de rendre l\u2019IA plus sobre, il est l\u00e9gitime de se demander si l\u2019IA que nous d\u00e9veloppons est vraiment utile.<\/p>\n\n\n\n

Une approche plus frugale, mieux pens\u00e9e et mieux orient\u00e9e, permettra de construire une IA tourn\u00e9e vers le bien commun, s\u2019appuyant sur des ressources ma\u00eetris\u00e9es, plut\u00f4t que sur la surench\u00e8re permanente en taille et en puissance de calcul.<\/p>\n\n\n\n

\n\n\n\n

Cet article a \u00e9t\u00e9 \u00e9crit dans le cadre de la troisi\u00e8me \u00e9dition des Dauphine Digital Days<\/a> qui a eu lieu \u00e0 l\u2019Universit\u00e9 Paris Dauphine \u2014 PSL, du 18 au 20 novembre 2024<\/em>.<\/p>\n\n\n\n

\n\n\n\n

Le projet PEPR Sharp IA (ANR-23-PEIA-0008)<\/a> est soutenu par l\u2019Agence nationale de la recherche (ANR), qui finance en France la recherche sur projets. L\u2019ANR a pour mission de soutenir et de promouvoir le d\u00e9veloppement de recherches fondamentales et finalis\u00e9es dans toutes les disciplines, et de renforcer le dialogue entre science et soci\u00e9t\u00e9. Pour en savoir plus, consultez le site de l\u2019ANR<\/a>.<\/em><\/p>\n\n\n\n

Paul Caillon<\/a>, Docteur en intelligence artificielle , Universit\u00e9 Paris Dauphine \u2013 PSL<\/a><\/em> et Alexandre Allauzen<\/a>, Professeur des Universit\u00e9s, Apprentissage Machine et Traitement automatique des langues, Universit\u00e9 Paris Dauphine \u2013 PSL<\/a><\/em><\/p>\n\n\n\n

Cet article est republi\u00e9 \u00e0 partir de The Conversation<\/a> sous licence Creative Commons. Lire l\u2019article original<\/a>.<\/p>","protected":false},"excerpt":{"rendered":"

A note by P. Caillon and A. Allauzen from the SHARP project published on The Conversation. Pourquoi l\u2019IA g\u00e9n\u00e9rative consomme-t-elle tant d\u2019\u00e9nergie ? Paul Caillon, Universit\u00e9 Paris Dauphine \u2013 PSL et Alexandre Allauzen, Universit\u00e9 Paris Dauphine \u2013 PSL DeepSeek d\u00e9fraye la chronique en proposant un mod\u00e8le dont les performances seraient comparables \u00e0\u2026<\/p>\n

Continue reading<\/span><\/i><\/a> <\/p>\n","protected":false},"author":1112,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-146","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/project.inria.fr\/sharp\/wp-json\/wp\/v2\/posts\/146","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/project.inria.fr\/sharp\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/project.inria.fr\/sharp\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/project.inria.fr\/sharp\/wp-json\/wp\/v2\/users\/1112"}],"replies":[{"embeddable":true,"href":"https:\/\/project.inria.fr\/sharp\/wp-json\/wp\/v2\/comments?post=146"}],"version-history":[{"count":1,"href":"https:\/\/project.inria.fr\/sharp\/wp-json\/wp\/v2\/posts\/146\/revisions"}],"predecessor-version":[{"id":147,"href":"https:\/\/project.inria.fr\/sharp\/wp-json\/wp\/v2\/posts\/146\/revisions\/147"}],"wp:attachment":[{"href":"https:\/\/project.inria.fr\/sharp\/wp-json\/wp\/v2\/media?parent=146"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/project.inria.fr\/sharp\/wp-json\/wp\/v2\/categories?post=146"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/project.inria.fr\/sharp\/wp-json\/wp\/v2\/tags?post=146"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}