Op 20 september publiceerde Slate een interview met A.I. wetenschapper Roy Schwartz. Hierin legt Roy uit:

“Artificiële intelligentie wordt steeds slimmer, maar niet groener. Om voorspellingen te maken over het weer, het sorteren van sociale media of je Uber op te roepen, moet A.I. worden getraind op grote hoeveelheden data. Slechts enkele jaren geleden had een A.I. systeem nood aan enkele miljoenen woorden om een taal proberen te leren, maar vandaag zal dergelijk systeem mogelijks 40 miljard woorden oefenen terwijl het aanleert, volgens Roy Schwartz, die A.I. modellen onderzoekt aan het Allen Institute voor Artificial Intelligence en aan de universiteit van Washington. Het verwerken vergt heel veel energie.”

“Sommige onderzoekers beginnen zich af te vragen hoe dit te veranderen. In een eerder verschenen paper maken Schwartz en drie andere onderzoekers, Jesse Dodge van Carnegie Mellon universiteit, Noah Smith van de universiteit van Washington en Oren Etzioni van het Allen Institute, een betoog voor het standaardiseren van hoe we de koolstofintensiteit van artificiële intelligentie meten. Het team wil dat alle toekomstige A.I. onderzoeken zulke meting uitvoeren, en ze geloven dat dit een aanzet zal zijn tot innovatie om de technologie minder belastend te maken voor het milieu. In een interview legt Schwartz uit dat systemen enkel worden gerangschikt op hoe goed ze wel zijn in hun functie. Maar het kan moeilijk enkel en alleen over nauwkeurigheid meer gaan, argumenteert Schwartz, het moet ook gaan over energie efficiëntie. ‘We willen niet in een situatie komen waarin A.I. een significante factor wordt in de klimaatsverandering’, zegt hij.”

“Een eenvoudige manier om een model dat reeds redelijk goed is te verbeteren is het gewoon groter te maken, zegt Schwartz. Denk bijvoorbeeld aan auto’s. Indien je een sneller wagen wil bouwen, kan je eenvoudig weg de motor twee maal zo krachtig maken. Maar het vanzelfsprekende probleem is dat we dan niet nadenken over de energetische prijs welke hiermee gepaard gaat. Het veld van de artificiële intelligentie is sterk gegroeid in de laatste jaren, en ik merkte een problematische trend in deze groei betreffende energie verbruik. Er is onderzoek van de universiteit van Massachusetts juist enkele maanden geleden gepubliceerd waar men één van de grootste A.I. systemen nam welke we hebben en hiermee experimenteerde. De hoeveelheid CO2 dat het systeem uitstootte gedurende dit ene experiment was gelijk aan vijf jaar met de wagen rijden, wat voor velen in het vakgebied een verrassing was. En deze systemen worden steeds groter en groter, dit is slechts het begin.”

“Indien je nadenkt over de technologie van Deep Learning, de onderliggende technologie van A.I., dan merk je dat fundamenteel deze bestaat uit het vermenigvuldigen van matrixen met elkaar. En dit is de fundamentele eenheid in elk van deze systemen. En deze matrixen worden gewoon groter en groter, met steeds meer data te leren. We zien dat slechts enkele jaren geleden de grootste systemen werden getraind in de groot orde van enkele miljoenen woorden. En daarna werd het tientallen miljoenen en honderden miljoenen. En vandaag bestaat het trainen uit wel 40 miljard woorden, dus het neemt steeds meer en meer tijd in beslag. En we groeien in elk mogelijke dimensie. Grotere matrixen welke vermenigvuldigd worden nemen meer tijd en energie in beslag, en dit proces wordt 40 miljard keer herhaald. En de derde factor is dat elk van deze volledige experimenten meerdere keren wordt uitgevoerd. Dus, indien je ze tweemaal traint, krijg je misschien een beter resultaat, dus je hebt meerdere dimensies waarin we groeien.”

“Eén van de dingen welke we proberen te doen aan het Allen Institute is het bekomen van een eenvoudige manier om wetenschappers toe te laten om een nummer te bekomen dat hun vertelt hoeveel energie ze gebruikt hebben. Eens personen beginnen deze nummers te rapporteren zal het anderen aanzetten om te verbeteren en groenere en meer efficiënte oplossingen te bedenken, of we nu matrixen kleiner maken via gesofisticeerde methoden, of dat we minder data gebruiken of op een slimmere manier of we minder experimenten kunnen laten lopen, bijvoorbeeld door het herkennen of een experiment gaat falen.”

“Tegen het einde van het jaar willen we een framework voor natuurlijk taal herkenning hebben, welke de basis bouwsteen voor vele van de taal technologieën is vandaag de dag. We hopen deze functionaliteit toe te voegen aan ons NLP systeem zodat via deze manier iedereen die onze tools gebruikt een nummer krijgt over hun milieukost tegen het einde van het jaar. En volgend jaar gaan we werken aan iets meer algemeen wat elke persoon welke zo een systeem ontwikkeld kan gebruiken.”

PDF - Computers can’t think without poluting
HTML - Computers can’t think without poluting