Dette er verdens største prosessorbrikke – skal trene fremtidens KI-modeller

Cerebras Systems er navnet på et selskap som spesialiserer seg på skikkelig store – og dermed også raske – prosessorbrikker som er særlig beregnet på kunstig intelligens-anvendelser. Nå har selskapet avduket en ny monsterbrikke, melder nettstedet Live Science.

Den nye brikken representerer tredje generasjon av Cerebras' såkalte Wafer Scale Engine-brikker (WSE), og heter simpelthen WSE-3.

4 billioner transistorer

WSE-3-brikken har ytre dimensjoner på solide 21,5 x 21,5 centimeter, som et gir et areal på rett over 462,5 kvadratcentimeter. Dette er den samme størrelsen som forgjengeren WSE-2, som Digi.no rapporterte om i 2021.

Brikken skilter med hele 4 billioner, eller fire tusen milliarder, transistorer. Dette er et kraftig steg opp fra forgjengeren, som «bare» bød på 2,6 billioner transistorer.

Grunnen til at produsenten har klart å stappe mange flere transistorer inn på det samme arealet som før, er at selskapet denne gangen tok steget fra 7 nanometers produksjonsprosess til 5 nanometer.

WSE-brikken kan ellers skryte på seg 900.000 KI-optimaliserte prosessorkjerner og 44 GB SRAM. Den leveres også med 1,5 terabyte, 12 terabyte eller 1,2 petabyte med eksternt minne.

Den nye kjempebrikken utgjør hjertet i produsentens eget KI-superdatamaskinsystem Cerebras CS-3, som skal være i stand til en toppytelse på 125 petaflops når det gjelder KI-relaterte oppgaver.

Ifølge Cerebras er dette omtrent dobbelt så høy ytelse som forgjengeren presterte, og det med mer eller mindre samme energiforbruk. CS-3-systemene er designet spesifikt for KI-arbeidsoppgaver fra bunnen av, og er laget for å enkelt kunne installeres i eksisterende datasentre.

Får fart på KI-treningen

WSE-3-brikken og CS-3-systemene er blant annet beregnet på trening av KI-modeller, en oppgave som er i ferd med å bli svært maskinvarekrevende med den pågående, raske utviklingen på dette feltet.

Cerebras hevder at CS-3-systemet er designet for å trene de neste generasjonene av KI-modeller, helt opp til modeller som er 10 ganger større enn Open AIs GPT-4, målt i antall parametere.

Som et eksempel sier selskapet at Metas modell Llama-2, som skilter med 70 milliarder parametere, kan trenes helt fra grunnen av på bare én dag. Dette er vel å merke om man bygger ut et CS-3-klyngesystem til maksgrensen, som er på 2048 enheter.

For å sette dette i perspektiv tar det ofte uker eller måneder å trene moderne KI-modeller.

En superdatamaskin som benytter Cerebras maskinvare er for øvrig allerede under utbygging. Som selskapet opplyser i en separat pressemelding har 64 CS-3-systemer blitt levert til en KI-superdatamaskin kalt Condor Galaxy, som bygges i samarbeid med KI-selskapet G42.

Disse 64 enhetene utgjør det tredje klyngesystemet til superdatamaskinen og har en samlet KI-ytelse på 8 exaflops. Totalt har Condor Galaxy nå en ytelse på 16 exaflops.