Metas nye KI-modell skal være blant de kraftigste – skiller seg fra andre på et viktig punkt

Kunstig intelligens-teknologien har utviklet seg til å bli et forrykende kappløp mellom en rekke ressurssterke aktører. Facebook-eieren Meta har jobbet hardt med å minske forspranget til de øvrige deltakerne, og nå ser det ut til at selskapet tar et stort skritt i den retningen.

På tirsdag avduket Meta sine splitter nye Llama 3.1-modeller, de aller mest potente som selskapet noensinne har utviklet.

– Kraftigste åpne modellen

I motsetning til mange av konkurrentene sine har Meta valgt å satse på modeller basert på åpen kildekode, som Mark Zuckerberg personlig begrunner i et eget innlegg.

Den mest muskuløse modellen i den nye familien, Llama 3.1 405B, er ifølge Meta den første åpne modellen som kan konkurrere med noen av de kraftigste, lukkede KI-modellene på markedet, deriblant GPT 4.0.

Llama 3.1 405B skilter med, som navnet antyder, 405 milliarder parametere, som er et høyt tall for en åpen modell. Til sammenligning opererer for eksempel GPT 3.5, som gratisversjonen av Chat GPT er basert på, med kun 175 milliarder parametere.

GPT 4.0 ligger riktignok et godt stykke høyere med rundt én billion, eller tusen milliarder, parametere. Elon Musks Grok-1, opererer på sin side med 314 parametere, og er i likhet med Meta sine modeller blant de få som er basert på åpen kildekode.

Meta sier de har kjørt Llama 3.1 gjennom en lang rekke ytelsesverktøy, og på flere av målingene skal 405B-utgaven ha danket ut Open AIs GPT 4.0. Dette gjelder blant annet i MMLU-målingen («Massive Multitask Language Understanding»), et utbredt verktøy for testing av kunnskapen og problemløsningsegenskapene til KI-modeller.

Trent på 16.000 Nvidia-prosessorer

I tillegg kommer den bedre ut i et ytelsesverktøy for koding, kalt HumanEval, og i to utbredte ytelsesmålinger for matematiske ferdigheter. Med verktøyet Arc Challenge, som måler resonneringsferdigheter, gjør Llama 3.1 405B det også bedre enn GPT 4.0.

Metas nye modell ligger også på nivå med, eller høyere, enn Anthropics Claude 3.5 Sonnet – en av de kraftigste Chat GPT-konkurrentene for øyeblikket, som også er lukket.

Av øvrige egenskaper skilter Llama 3.1 405B med et stort kontekstvindu på 128K, som er det samme som GPT 4.0 Turbo har. Kontekstvindu refererer til mengden tekst som snakkeroboten er i stand til å håndtere når det gir sine svar, og 128K tilsvarer flere hundre sider med tekst.

Modellen er trent med over 16.000 Nvidia-grafikkprosessorer av typen H100, som er spesialdesignet for nettopp KI-anvendelser.

At modellen er åpne innebærer at den kan lastes gratis ned, noe som kan gjøres fra denne siden, og utviklere kan blant annet tilpasse modellene etter behov og applikasjoner, trene dem på nye datasett og utføre ytterligere finjusteringer.

Om man ikke har behov for den kraftigste modellen, består den nye familien også av to svakere modeller med 8 milliarder og 70 milliarder parametere.