Het training van een Deep Learning AI netwerk heeft een significante impact op het klimaat.

Artificiële intelligentie heeft sinds 2007 een grote vlucht genomen. Door verbeterde algoritmen met steeds toenemende complexiteit zijn nieuwe toepassingen mogelijk, waaronder het herkennen en manipuleren van taal, welke tot voorheen onmogelijk leken. Onderzoekers van de universiteit van Massachusetts, Amherst (USA) zijn tot de vaststelling gekomen dat het trainen van één enkel complex artificieel netwerk (AI) om taal te herkennen even veel CO2 uitstoot als vijf wagens gedurende hun totale levensduur.

Benchmark:

Activiteit Uitstoot in ton CO2 equivalenten
Heen en terugvlucht New York / San Fransisco
(1 passagier)
0,90
Menselijk leven (gemid. 1 jaar) 5,00
Amerikaans leven (gemid. 1 jaar) 16,40
Amerikaanse wagen inc. brandstof
(gemid. 1 leven)
57,15
AI Transformer algo. (213 mil. parameters) met architectuur search 284,02

In hun paper vergeleken de onderzoekers meerdere NLP algoritmen qua stroomverbruik en kost. Hierbij konden zij het verbruik terugrekenen naar equivalente koolstofemissies voor de benodigde energie. Dit deden ze aan de hand van de gemiddelde koofstofintensiteit van stroom in de USA.

De onderzoekers merken op dat het eenmalig trainen van een artificieel netwerk eerder kan bekeken worden als het minimum werk dat wetenschappers in dit veld uitvoeren. Eerder zullen AI ontwikkelaars meerder modellen uittesten en bijstellen, waardoor de uitstoot vele malen hoger ligt.

Om een betere grip te krijgen op hoe de volledige ontwikkelingspijplijn eruit zou kunnen zien in termen van koolstofuitstoot, gebruikten Strubell en haar collega’s een model dat ze in een eerdere paper hadden gemaakt als een case study. Ze vonden dat het proces van het bouwen en testen van een laatste paper-waardig model training vereist van 4.789 modellen gedurende een periode van zes maanden. Omgerekend naar CO2-equivalenten bleek dat dergelijk onderzoek meer dan 35 ton CO2 uitstoot en is waarschijnlijk representatief voor typisch werk in het veld.

De onderzoekers benadrukken dat er nog veel werk nodig is om de uitstoot van deze technologie te drukken.

Paper: Energy and Policy Considerations for Deep Learning in NLP
Artikel: Training a single AI model can emit as much carbon as five cars