Én økt kan bruke like mye strøm som å kjøre mikrobølgeovnen i tre og en halv time

Det er en kjensgjerning at den moderne KI-teknologien sluker energi, og nå foreligger det en ny studie som gir oss større innsikt i akkurat hvor mye strøm en økt med de velbrukte KI-modellene faktisk konsumerer.

Det var MIT Technology Review (via Techradar) som ønsket å komme til bunns i KI-teknologiens strømforbruk, og resultatene er mer oppsiktsvekkende enn mange tror.

MIT Technology Review, et medieselskap som eies av det anerkjente teknologiuniversitetet MIT, var i dialog med over to dusin eksperter på KI-teknologiens energikrav i arbeidet med studien.

Store språkmodeller krever klart mest

De evaluerte ulike KI-modeller og instrukstyper, gikk gjennom hundrevis av sider med prognoser og rapporter, og stilte ledende KI-utviklere en rekke spørsmål.

Det man fant ut var at når man benytter KI-modellene til rene tekstinstrukser, er strømforbruket heller beskjedent. Teamet testet Metas modell Llama 3.1 405B, som er blant de største åpen kilde-modellene i dag, og fant at den krevde cirka 6700 joule i snitt per svar.

Dette tilsvarer ifølge MIT å kjøre en mikrobølgeovn i cirka 7-8 sekunder, eller kjøre en e-sykkel cirka 120 meter.

Størrelsen på KI-modellen, altså antallet såkalte parametere, har svært stor betydning for hvor mye energi som brukes. Metas minste modell, Llama 3.1 8B, med kun 8 milliarder parametere, brukte bare 114 joule per respons i snitt.

Dette tilsvarer å drive en mikrobølgeovnen i cirka ett tiendelssekund, eller kjøre e-sykkel over en avstand på under to meter.

Video er ekstremt krevende

Når det gjelder generering av bilder peker forskerne på at dette ikke krever så mye energi som man skulle tro, på grunn av at disse modellene har en annen arkitektur enn språkmodellene og krever langt færre parametere.

Med Stable Diffusion 3 Medium, en av de ledende åpen kilde-KI-modellene for bildegenerering med kun 2 milliarder parametere, brukte 1141 joule med GPU-energi på å lage et bilde i standard kvalitet med en oppløsning på 1024 x 1024 piksler.

Det er imidlertid med video at tallene virkelig fyker i været. Forskerne testet den nyeste versjonen av den kinesiske, åpen kilde-generatoren CogVideoX, som lager fem sekunders videoer med 16 bilder per sekund – altså lavere enn standard kvalitet.

Denne modellen skal bruke 3,4 millioner joule i snitt på én video, som tilsvarer rett under 1 kilowattime – eller rundt 700 ganger mer energi enn å generere ett høykvalitetsbilde. Dette forbruket tilsvarer å drive en mikrobølgeovn i over én time, eller kjøre e-sykkel over en avstand på mer enn 60 kilometer.

Dersom man antar at en litt ivrig KI-bruker stiller 15 spørsmål i løpet av en økt, og i tillegg gjør ti forsøk på å lage et bilde og tre forsøk på å lage en fe sekunders video – vil det totale energiforbruket ifølge forskerne ende på rundt 2,9 kilowattimer.

Energikrevende KI-utbygging

Dette tilsvarer å kjøre en e-sykkel over 160 kilometer, eller ha mikrobølgeovnen på i over tre og en halv time.

Forskerne studerte altså primært åpen kilde-modeller i arbeidet, og det påpekes at de ledende, lukkede videogeneratorene på markedet i dag – som kan lage opptil 30 sekunders videoer med ekstrem realisme – bruker langt mer energi. Et eksempel er Open AIs Sora-modell.

Siden de lukkede modellene ikke alltid deler antallet parametere, er det imidlertid vanskeligere å anslå energiforbruket til slike modeller.

Den enorme KI-utbyggingen vi er vitne til i dag, vil kreve vanvittige mengder energi. Nylig rapporterte Digi at et nytt, digert KI-datasenter som er planlagt i De forente arabiske emirater – sponset av blant andre Open AI – vil bruke strøm tilsvarende den samlede produksjonen til fem atomreaktorer.