Pour ce mois-ci, le thème souhaité vient de notre apprenti Amirreza et nous nous demandons si la protection du climat et l’utilisation de grands modèles d’IA sont compatibles.
Quiconque s’est penché de près sur la consommation de CO2 ces derniers temps a certainement remarqué l’impact environnemental de l’IA générative. Des études indiquent que les besoins en électricité des centres de données d’IA seront onze fois plus élevés d’ici 2030 qu’en 2023. Une augmentation des besoins en eau d’un facteur trois est également prévue. Une simple requête à ChatGPT, par exemple, nécessite dix fois plus d’énergie qu’une simple recherche sur Google. Plus la réponse générée par un modèle linguistique est longue, plus la consommation d’énergie est élevée. En avril de cette année, Sam Altmann a évoqué les coûts immenses causés par des formules de politesse techniquement inutiles telles que « S’il vous plaît » et « Merci ». On parle du fait que les grandes entreprises technologiques veulent à l’avenir exploiter elles-mêmes des centrales nucléaires.
Tout cela donne l’impression que les entreprises qui s’efforcent de maintenir leur empreinte carbone faible doivent renoncer à l’IA générative. Mais n’y a-t-il vraiment pas d’alternative ?
En fait, les entreprises devraient se poser quelques questions économiques et écologiques avant d’utiliser l’IA générative, par exemple : L’utilisation de l’IA générative est-elle proportionnée ? Les tâches que le modèle doit résoudre ne peuvent-elles pas être résolues par une autre technologie ?
Par ailleurs, il existe également des moyens d’influencer l’impact climatique de l’IA générative. Un facteur important est bien sûr le choix de l’opérateur et de son emplacement. Car il existe aussi des opérateurs qui exploitent des systèmes d’IA dans des centres de données climatiquement neutres. Ainsi, chez Splitbot, nous misons également sur des centres de données qui, par exemple, sont alimentés par des énergies renouvelables et qui réutilisent de manière judicieuse la chaleur résiduelle produite. De plus, nous offrons à nos clients la possibilité d’exploiter KOSMO sur site. La solution idéale si votre propre informatique ou votre propre bâtiment est déjà climatiquement neutre.
Un autre aspect passionnant est l’entraînement des modèles eux-mêmes. Des scientifiques ont découvert que pendant l’entraînement des modèles d’IA, certaines parties des calculs sont effectuées inutilement rapidement. Le travail de calcul lors des entraînements d’IA est réparti sur plusieurs GPU, mais de manière inégale. Cela conduit à ce que les GPU moins sollicités doivent « attendre » les plus sollicités. Étant donné que ce temps d’attente se produit de toute façon, le calcul rapide est inutile. En ajustant la vitesse de calcul, il serait possible de réduire la consommation d’énergie. Les chercheurs ont directement fourni la solution appropriée : Le logiciel open source Perseus contrôle la fréquence GPU de chaque calcul et maintient ainsi la consommation d’énergie aussi faible que possible.
Sources : https://t3n.de/news/ki-stromverbrauch-energie-perseus-1656380/
https://reset.org/sprachmodelle-nachhaltig-nutzen-sparsamer-genai-gruen/
