Coût de l’entraînement
Benjamin Dauvissat : Le coût d’un entraînement qui va tourner sur du GPU [Graphical Processing Unit] souvent Nvidia, parce que c’est vrai que c’est le leader sur le marché et une carte de type Nvidia H100, pour un entraînement, si on considère qu’il en faut 50 000, ça représente 162 millions de kilowattheures, donc rien qu’en consommation électrique, c’est quelque chose d’assez énorme, qui va drainer beaucoup de ressources. Récemment, j’ai vu que l’État du Maine, aux États-Unis, vient de passer une loi qui fait que la construction des data centers> est maintenant soumise à moratoire parce que ça fait grimper la facture d’électricité pour tous les habitants de l’État quand on construit des data centers.
Pietro Mele : Encore une fois, c’est une estimation. Quand on cherche sur Internet, on a mis les sources, même là on est entre 50 000 H100 et 100 000 H100 ce qui peut faire doubler le coût de l’énergie. Et quand on regarde le coût de l’énergie pour un modèle comme GPT-5 sur trois mois, apparemment il a fallu trois mois pour entraîner GPT-5, on est sur un coût astronomique. L’énergie dépensée, celle qu’on vient de voir, sur 50 000 H100, c’est la même énergie dont on a besoin pour aller de la Terre à Jupiter et revenir en arrière en Tesla, bien sûr. J’ai pris en compte le modèle 3, l’énergie consommée par le modèle 3.
Benjamin Dauvissat : La prochaine fois, on prendra une voiture française, on prendra une Peugeot !
Pietro Mele : C’est comme si on prenait un Tesla et qu’on fasse 1000 milliards de kilomètres, donc aller-retour. Par contre, si on regarde au niveau d’une journée, c’est l’énergie que consomme une ville comme Lyon, donc 500 000 habitants. C’est énorme !
Coût de l’inférence
Benjamin Dauvissat : Le coût de l’inférence va également varier en fonction des modèles qui sont plus ou moins gourmands en énergie. On va arriver à des rapports de 65 fois par rapport à des systèmes plus efficaces. Mais, comme on s’obstine à vouloir utiliser des modèles, on utilise des systèmes qui vont consommer énormément d’éléments.
On a cette fameuse requête courte qui consomme 0,42 watt-heure, mais, lorsqu’on la rapporte à 700 millions de requêtes par jour, on en arrive à la consommation annuelle de 35 000 foyers américains, qui, on va dire, ne sont pas les plus économes. Ça permet d’avoir un petit aperçu, un petit ordre de grandeur de ce qui est utilisé pour nos usages, quand on demande à ChatGPT de nous faire un résumé de la réunion ou quand on demande à Grok de faire des choses totalement immorales avec des photos.
Un LLM comme moteur de recherche
Pietro Mele : Comme nous travaillons dans le secteur des moteurs de recherche, nous avons voulu aussi comparer un peu une recherche classique avec une recherche avec un LLM [Large Language Model]. J’avoue que moi aussi je fais des recherches avec les LLM. avec Gemini par exemple. L’estimation du coût d’une recherche hybride sur Google, lexicale et sémantique, va être dix fois inférieur au coût estimé pour un modèle comme Gemini. Donc, chaque fois qu’on cherche quelque chose avec Gemini, cela coûte dix fois plus.
Le paradoxe de Jevons
Benjamin Dauvissat : On va arriver au paradoxe de Jevons [1] qui nous dit qu’à mesure que les améliorations technologiques augmentent l’efficacité avec laquelle les ressources qui sont employées, on consomme de plus en plus de ces ressources au lieu de diminuer leur consommation parce que notre utilisation augmente de manière exponentielle.
Là on a une petite carte des capacités des data centers dans les différents pays au cours du temps. En vert fluo, ce sont les États-Unis, sans surprise. La Chine est en rose et l’Europe est en vert olive, on va dire vert foncé. Nous sommes encore plus raisonnables que nos voisins, mais nous ne prenons pas le chemin pour rester raisonnables. On a une projection jusqu’en 2035 de cette évolution suivant les usages actuels. Mais on sait que les usages vont évoluer, vont varier, donc c’est juste une projection.
Une électricité, plusieurs manières de la produire
Pietro Mele : Quand on parle d’électricité, comme vous savez sûrement, le problème n’est pas l’électricité qu’on consomme, c’est d’où vient cette électricité. On a de l’électricité qui vient de sources qui génèrent plus de CO2, on a des énergies qui sont plus propres.
On a mis une image, un screenshot d’Electricity Maps [2], un site sur lequel on peut observer comment est produite notre électricité. On voit, sans surprise, que la France est plutôt en vert, nous sommes très contents. Cela va aussi nous donner des informations sur certains choix qu’on peut faire. Par exemple, si on veut héberger nos modèles ou même pour utiliser un data center pour des services qui ne sont pas forcément liés à la GenAI [IA générative].
Sur la droite, vous voyez aussi le fait que, comme je disais, chaque façon de produire l’énergie a un coût en CO2 différent. J’ai été un peu étonné quand j’ai vu cette étude qui date de 2023, de voir que même les énergies comme le nucléaire ou le solaire produisent,génèrent quand même un minimum de CO2, mais ce n’est rien comparé à ce qu’on voit au niveau du charbon qui est quelque chose que nous savons tous et c’est très clair. C’est étonnant.
Benjamin Dauvissat : D’ailleurs, ce qui me surprend quand je regarde cette carte Electricity Map, c’est de voir que l’Allemagne, qui est complètement sortie du nucléaire, est fortement retombée dans le charbon, n’est pas en rouge. Je m’attendais à la voir beaucoup plus rouge que ça.
Utilisation de l’eau dans un data center
Benjamin Dauvissat : Nos médias, plus ou moins généralistes, commencent à s’inquiéter du sujet. En Angleterre, Forbes côté États-Unis, Le Point en France. Ils commencent surtout à s’inquiéter de la consommation hydrique de ces différents modèles.
Pietro Mele : On ne va pouvoir qu’estimer, encore une fois, la consommation hydrique. On n’a pas vraiment des données par rapport à cela et, surtout, on n’a pas de données par rapport à la consommation d’eau de la GenAI. Je pense que ça va être très compliqué de savoir combien d’eau, techniquement, la GenAI consomme. On a une estimation de la consommation d’eau pour les data centers. De manière générale, vous voyez dans la slide, les différentes typologies de refroidissement qu’on peut avoir [Par évaporation et en circuit fermé, NdT]. Mais il faut vraiment regarder au niveau micro : 10 prompts pour ChatGPT vont consommer environ une petite bouteille d’eau, donc 500 millilitres, c’était une estimation faite pour GPT-3. Imaginons que maintenant, c’est pire, c’est probablement un litre. Au niveau macro, on va vers la consommation de 6600 milliards de litres d’eau, qui est environ 10 fois la consommation de l’eau en bouteille de la planète Terre.
Usages indirects de l’eau
Benjamin Dauvissat : Il y a aussi des usages indirects de l’eau pour la production d’électricité, on a encore de l’hydroélectrique, et la fabrication de matériels, les GPU vont consommer également de l’eau au niveau de leur conception et pas de leur fonctionnement.
Extraction des minéraux et exploitation des sols
Pietro Mele : On a parlé de l’électricité, de l’eau, mais on a aussi, bien sûr, un usage du sol, des minéraux. Comme on a de plus en plus la nécessité de créer de nouveaux modèles, de déployer de nouveaux modèles, on a toujours besoin de plus de GPU et de plus de CPU [Central Processing Unit] pour les faire. La production de silicium pour les semi-conducteurs a augmenté pas mal ces derniers temps. Cela va impacter le sol, cela va impacter tout l’environnement parce qu’on va creuser la terre pour récupérer les différents matériaux qu’on voit ici [Silicium, Germanium, Gallium].
Que pouvons-nous faire ?
Benjamin Dauvissat : Que pouvons-nous faire à ce niveau-là ?
On peut faire en sorte que ces étapes [Entraînement et inférence] consomment moins.
Typiquement, par exemple, le pré-entraînement. Quand on va entraîner un nouveau modèle, on peut se baser sur des entraînements précédents pour ne pas avoir à le refaire. Ça va permettre d’économiser pas mal de choses.
On peut travailler sur le raffinement, sur l’inférence.
Le but, c’est vraiment de réduire la consommation de tout ça.
Si vous voulez créer votre propre LLM
Benjamin Dauvissat : Si vous voulez créer votre propre LLM, à vous, rien qu’à vous.
Pietro Mele : Ce n’est pas quelque chose que tout le monde va vouloir faire, bien sûr. On va toujours partir un peu des principes de base de la vie de tous les jours pour s’améliorer.
La première chose, ça va être d’avoir une infrastructure écoresponsable. Donc, comme on a montré avant, on peut regarder ElectricyMap pour voir quels pays génèrent de l’électricité plutôt verte.
Après, on peut aussi optimiser, avoir une architecture optimisée : nettoyer les données en amont pour éviter d’avoir trop de cycles d’entraînement de son modèle et utiliser une architecture comme mixture of experts [3] qui va aider à réduire les coûts énergétiques, donc, aussi, au niveau de la facture, au niveau de l’argent.
J’ai découvert un truc assez bluffant, une application, CodeCarbon [4], vous trouverez les liens plus tard. Elle sert justement à regarder la consommation d’électricité de son application. C’est quelque chose de très intéressant.
Si vous consommez des API
Optimisation du prompt
Benjamin Dauvissat : Si vous consommez des API Application Programming Interface], on peut travailler sur le prompt : plus c’est court, moins c’est cher. On ne raconte pas sa vie au modèle en lui expliquant le temps qu’il fait parce qu’on veut un modèle de base de données, on va directement au but, là, je schématise. Des systèmes de cache permettent de réduire tout ça, des systèmes de mémoire et de compression également. On peut donc commencer à utiliser ça.
On peut également utiliser des seuils pour limiter le nombre de paramètres pour faire en sorte de consommer moins et apprendre à être plus économe.
Jouer avec le cache
Pietro Mele : Il y a aussi la possibilité d’utiliser du prompt caching. La plupart des fournisseurs vont vous offrir cela. C’est très important. Avec cette technique, on garde un prompt qui est plus ou moins uniforme parce que le modèle ne va pas générer les clés-valeurs à chaque fois qu’il récupère vos prompts, il va les réutiliser, ça fonctionne comme un cache. Et toujours une estimation, ça va réduire le coût de la facture d’électricité de 10 fois.
Benjamin Dauvissat : On peut également utiliser un cache sémantique qui va permettre avant de requêter votre base, de vectoriser votre question et de faire les éléments de vérifier si ces éléments sont déjà présents dans le cache et de les réutiliser plutôt que de repasser par une phase d’embedding au niveau de la requête.
Pietro Mele : On va utiliser bien sûr de la recherche sémantique pour ça.
Si vous hébergez votre modèle
Pietro Mele : Si vous hébergez votre modèle, vous pouvez le choisir plus petit, bien sûr, donc vous pouvez opter pour des SLM [Small Langage Models]. Pas mal de modèles sont disponibles sur Hugging Face [5],vous pouvez regarder et choisir. On n’a pas toujours besoin d’avoir le grand modèle de langage, on peut utiliser quelque chose de plus petit.
Puis-je le faire tourner ?
Benjamin Dauvissat : On peut se poser la question : si je veux l’héberger moi-même, est-ce que j’ai ce qu’il faut pour le faire tourner ?
Il y a quelque temps, j’ai découvert un repository GitHub, qui s’appelle LLMFit, qui permet de tester son système. Il va se baser sur les modèles de Hugging Face pour vous dire « tel modèle va tourner sans problème, tel modèle pourra tourner doucement et tel modèle ne tournera pas. » Cela permet de savoir exactement où on en est, savoir ce qu’on va pouvoir faire tourner. Il y a aussi quelques informations sur la qualité du modèle, quand on le sélectionne, on a des éléments.
Le cache
Pietro Mele : Et si vous hébergez votre modèle chez vous, vous avez aussi le cache. Donc, vous pouvez utiliser le prompt-caching, encore une fois, c’est disponible avec la dernière librairie de Transformer de Hugging Face. Vous pouvez aussi mettre en place le cache sémantique.
Autoscaling
Benjamin Dauvissat : Vous pouvez jouer à l’autoscaling. Je pense que, par ici, des gens connaissent Kubernetes [6], ils savent ce qu’est l’autoscaling. On peut commencer à mettre en place un autoscaling horizontal ou vertical pour aider à optimiser la consommation de ressources. Il y a plusieurs solutions, à vous de voir celle qui correspond le plus à ce que vous voulez.
À retenir
Pietro Mele : Pour résumer ce qu’on doit retenir de cette présentation.
Le coût de la GenIA, ce n’est pas juste de l’argent, c’est aussi un coût de type énergétique, hydrique et au niveau des minéraux.
On peut optimiser tout cela, améliorer tout cela en optimisant les systèmes.
Si on héberge son modèle, si on l’entraîne ou si on utilise une API externe, c’est à nous d’avoir la responsabilité d’optimiser et d’améliorer, donc d’avoir un impact positif sur la Terre.
Références
Benjamin Dauvissat : On vous a mis quelques références. Je n’ai pas mis les QR Codes, on aurait eu une mosaïque sur le slide, mais vous pourrez les retrouver en les récupérant sur les différents éléments qui nous ont permis d’alimenter ces slides.
Nous avons une minute pour les questions. Lancez-vous.
[Applaudissements]