La formation d'un modeste modèle d'apprentissage automatique utilise plus de carbone que la fabrication et l'utilisation à vie de cinq automobiles

Dans NLP ( Considérations sur l’énergie et les politiques pour un apprentissage approfondi en PNL) , trois chercheurs en informatique de UMass Amherst étudient le bilan carbone des modèles d’apprentissage automatique pour le traitement du langage naturel et reviennent avec le chiffre époustouflant de 78 468 lb pour effectuer une formation de base. opération de raffinement.

C’est environ cinq fois la durée de vie et le bilan carbone de bout en bout pour une voiture, y compris sa fabrication.

La majeure partie du carbone est dépensée au stade de la mise au point, ce qui implique de nombreux essais et erreurs. Des modèles plus complexes, comme le modèle Transformer (utilisé dans la traduction automatique) utilisent encore plus de carbone – 626,155 livres.

Le traitement du texte et du langage n’est en aucun cas la forme de modèle d’apprentissage automatique la plus intensive en termes de calcul (et donc de carbone); des éléments tels que les systèmes de vision sont encore plus complexes.

Une implication explorée par les auteurs: l’intensité informatique de la recherche actuelle sur l’apprentissage automatique l’a exclu du domaine de la plupart des chercheurs universitaires, transférant le travail le plus important du secteur aux entreprises privées dont la recherche ne contribue pas nécessairement à notre stock de connaissances collectif.

De plus, les chercheurs notent que les chiffres ne doivent être considérés que comme des bases. «Former un seul modèle représente le minimum de travail possible», déclare Emma Strubell, candidate au doctorat à l’Université du Massachusetts, à Amherst, et auteur principal du document. En pratique, il est beaucoup plus probable que les chercheurs en intelligence artificielle développent un nouveau modèle à partir de zéro ou adaptent un modèle existant à un nouvel ensemble de données, ce qui peut nécessiter beaucoup plus de cycles de formation et de réglage.

Pour mieux comprendre l’avenir du pipeline de développement en termes d’empreinte carbone, Strubell et ses collègues ont utilisé comme modèle un modèle qu’ils avaient produit dans un précédent article. Ils ont constaté que le processus de création et de test d’un modèle final digne de papier nécessitait la formation de 4 789 modèles sur une période de six mois. Converti en équivalent CO2, il a émis plus de 78 000 livres et est probablement représentatif du travail typique effectué sur le terrain.

L’importance de ces chiffres est colossale, surtout si l’on considère les tendances actuelles de la recherche sur l’IA. «En général, une grande partie des dernières recherches sur l’IA négligent l’efficacité, car de très grands réseaux de neurones se sont avérés utiles pour une variété de tâches, et les entreprises et institutions disposant d’un accès abondant à des ressources informatiques peuvent en tirer parti pour obtenir un avantage concurrentiel. ”, Déclare Gómez-Rodríguez. “Ce type d’analyse devait être fait pour sensibiliser les gens sur les ressources dépensées […] et susciterait un débat.”

Considérations énergétiques et politiques pour un apprentissage en profondeur en PNL [Emma Strubell, Ananya Ganesh et Andrew McCallum / 57ème réunion annuelle de l’Association de linguistique computationnelle (ACL)]

Former un seul modèle d’intelligence artificielle peut émettre autant de carbone que cinq voitures au cours de leur vie. [Karen Hao / MIT Technology Review]

( via /. )

Lees Meer

0

Your Cart