L'industrie de l'intelligence artificielle est souvent comparée à l'industrie pétrolière : une fois extraites et raffinées, les données, comme le pétrole, peuvent être une marchandise très lucrative. Maintenant, il semble que la métaphore puisse s'étendre encore plus loin. Comme son homologue fossile, le processus d'apprentissage en profondeur a un impact environnemental démesuré.Dans un nouvel article, des chercheurs de l'Université du Massachusetts à Amherst ont effectué une évaluation du cycle de vie pour former plusieurs grands modèles d'IA courants. Ils ont découvert que le processus peut émettre plus de 626 000 livres d'équivalent en dioxyde de carbone, soit près de cinq fois les émissions à vie d'une voiture américaine moyenne (et cela inclut la fabrication de la voiture elle-même).
Microsoft Bing s'est récemment associée à OpenAI pour proposer un bot basé sur l'intelligence artificielle de type ChatGPT. Le chatbot a ouvert une nouvelle porte à des idées plus innovantes, alors que le poids lourd de la navigation Google a commencé à planifier de lier l'IA à son moteur de recherche.
En conséquence, les résultats contenant des informations complexes seront disponibles dans une version plus facilement compréhensible. Microsoft avait déjà prévu d'introduire ChatGPT sur Bing, tandis que Google travaille sur son propre service expérimental d'intelligence artificielle conversationnelle. Initialement, la société a nommé le service Bard.
Cependant, avec la technologie qui progresse de jour en jour, l'environnement est potentiellement plus à risque de subir son impact. Il a été rapporté que les ressources nécessaires pour instruire un seul système d'IA peuvent entraîner l'émission de 1 000 livres de carbone. Jusqu'à présent, la consommation d'Internet représentait près de 4 % de l'effet de serre total.
C'est en tout cas ce que suggère une étude dont le résumé est celui-ci :
Les progrès récents du matériel et de la méthodologie de formation des réseaux de neurones ont inauguré une nouvelle génération de grands réseaux formés sur des données abondantes. Ces modèles ont obtenu des gains de précision notables dans de nombreuses tâches de PNL. Cependant, ces améliorations de précision dépendent de la disponibilité de ressources de calcul exceptionnellement importantes qui nécessitent une consommation d'énergie tout aussi importante. En conséquence, ces modèles sont coûteux à former et à développer, à la fois financièrement, en raison du coût du matériel et de l'électricité ou du temps de calcul dans le cloud, et environnementalement, en raison de l'empreinte carbone nécessaire pour alimenter le matériel de traitement de tenseur moderne. Dans cet article, nous portons cette question à l'attention des chercheurs en PNL en quantifiant les coûts financiers et environnementaux approximatifs de la formation d'une variété de modèles de réseaux neuronaux récemment réussis pour la PNL. Sur la base de ces résultats, nous proposons des recommandations concrètes pour réduire les coûts et améliorer l'équité dans la recherche et la pratique de la PNL.
L'impact environnemental du processus de formation du modèle pour le traitement du langage naturel
L'article examine spécifiquement le processus de formation du modèle pour le traitement du langage naturel (PNL), le sous-domaine de l'IA qui se concentre sur l'enseignement des machines à gérer le langage humain. Au cours des deux dernières années, la communauté PNL a atteint plusieurs jalons de performance remarquables dans la traduction automatique, la complétion de phrases et d'autres tâches d'analyse comparative standard. Le tristement célèbre modèle GPT-2 d'OpenAI, par exemple, excellait dans la rédaction de fake news convaincantes.
Mais de telles avancées ont nécessité la formation de modèles toujours plus grands sur des ensembles de données tentaculaires de phrases récupérées sur Internet. L'approche est coûteuse en calcul et très gourmande en énergie.
Les chercheurs ont examiné quatre modèles sur le terrain qui ont été à l'origine des plus grandes avancées en matière de performances : Transformer, ELMo, BERT et GPT-2. Ils se sont entraînés chacun sur un seul GPU, parfois...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Envoyé par Stéphane le calme
Quels compromis seriez-vous prêt à accepter pour permettre l’innovation en IA tout en protégeant les droits des auteurs ?
