Er jaguar et kjøretøy eller kattedyr? Algoritmer pøser ut CO2for å forstå språket vårt

656 MWh. Så mye strøm har det ifølge ny forskning gått med for å utvikle og trene den såkalte Transformer-algoritmen. Det tilsvarer over 280 tonn CO₂ sluppet ut til atmosfæren, hvis beregningene er foretatt med strøm fra en energimiks som i det amerikanske strømnettet. Transformer-algoritmen er bare én blant en rekke algoritmer som alle har vist seg veldig energikrevende å utvikle og optimere.

– Dette er enormt talltungt, og spesielt Transformeren har krevd mye regnekraft og mye energi. Men hvis man aksepterer at denne forskningen er viktig for menneskeheten, må man også akseptere at det koster en masse energi, sier Ole Winther, som er professor ved Danmarks Tekniske Universitet DTU Compute og Københavns Universitet.

Han er selv en del av oppstartsbedriften raffle.ai og forsker i NLP-algoritmer (se faktaboks). NLP-algoritmer fokuserer på å forstå menneskelig språk. Ole Winther understreker, at selv om trening av kompliserte algoritmer tar tid, ekstremt mye regnekraft og slipper ut en raus porsjon CO₂, er man i forskerkretser veldig bevisste på hvor mye energi utregningene krever – og at dette ikke er noe man bagatelliserer.

– Det blir brukt veldig mye tid på å optimere modellene våre, nettopp fordi vi ønsker å få mest mulig ut av regnekraften vår. Det betyr også at det er prosjekter som vi ikke gjennomfører, fordi de ville kreve flere ressurser enn vi har, sier han:

– Det har naturligvis også stor betydning hvis man vil flytte en trent modell over i et høreapparat eller en bil, hvor man ikke kan bruke i nærheten av den energien som brukes til treningen.

Trening av algoritmer

Forskerne har sett på forskjellige NLP-modeller som ELMo, BERT, og GPT-2. De har testet hver enkelt i én time, målt strømforbruket, og deretter ganget resultatet opp med den mengden treningstimer og antall tilsvarende GPU-er som de ulike forskningsresultatene viser at det opprinnelig har blitt regnet på i algoritmen.

Slik får man et tilnærmet energiforbruk. Deretter har man omregnet strømforbruket til CO₂-utslipp for det nordamerikanske strømnettet, og slik får man CO₂-utslippene for hver algoritme.

– I den sammenhengen er det også relevant å nevne at hvis all strømmen var grønn, ville det store energibehovet slett ikke ha vært så problematisk – så dette kan også ses som en god grunn til å få litt mer grønn strøm, sier Ole Winther.

– Men jeg må jo innrømme at jeg nok er en anelse forutinntatt, siden jeg jobber med AI og synes at det er en langt bedre bruk av energien vår enn å bruke den på store biler eller hus uten isolering, utdyper han.

Større regnekraft hos it-gigantene

Ifølge MIT Technology Review er en av konsekvensene av de enorme utregningene at det i økende grad er it-gigantene som utfører mesteparten av forskningen.

– Vi spøker med at når vi virkelig presser GPU-ene våre, har våre 30 forskere nesten den samme regnekraft som én enkelt forsker på Deep Mind (Googles forskningsbedrift, red.) – og det selv om vi også bruker en stor porsjon energi når vi gjennomfører et prosjekt, sier Ole Winther.

Dermed flyttes utvikling og trening av algoritmene fra universitetene og inn i industrien. Men det utelukker likevel ikke at generell forskning forbedres av den jobben som for eksempel Google Deep Mind utfører.

– Vi kan generelt se at de fleste private forskningsgruppene er flinke til å dele og publisere resultatene sine. Det gjør at vi også kan bruke dem i forskningen vår, og åpenhet er et viktig kriterium for it-bedrifter, siden det gjør det lettere for dem å rekruttere talenter, sier han.

I tillegg kommer også den store og veldig energikrevende forskningen andre forskere til gode. For eksempel bruker raffle.ai noen encoder-elementer som Facebook har utviklet ved å trene LASER-algoritmene sine, og etterpå har forskningen blitt gjort offentlig tilgjengelig.

– Det er selvfølgelig noen som er mer åpne med forskningsresultatene sine enn andre, men generelt er AI for tiden noe det er åpenhet rundt. Derfor kan også de energikrevende prosjektene senere hjelpe andre forskere i arbeidet deres, noe som kan spare oss for en masse beregninger i fremtiden, sier han.

Saken ble først publisert på danske Ingeniøren, og gjøres tilgjengelig på norsk for abonnenter av Digi Ekstra gjennom vår samarbeidsavtale med Teknologiens mediehus/Ingeniøren.