Metas nye modell lar deg kjøre KI-agenter lokalt på PC-en – med vanlig maskinvare

De lukkede KI-modellene får mesteparten av oppmerksomheten, men Meta er blant de som har spesialisert seg på åpne modeller – og nå har de nettopp lansert det nyeste medlemmet i denne kategorien.

«Muse Glimmer» er navnet på en ny, åpen modell som byr på et knippe uvanlige egenskaper.

Først og fremst er modellen designet for å kjøre lokalt på PC-en til brukeren, i motsetning til i skyen – noe som ikke minst har sikkerhets- og personvernmessige fordeler. I tillegg er det en agentisk modell, som betyr at den er designet for å befolke PC-en med KI-agenter som kan bistå med ulike oppgaver.

30 milliarder parametere – på vanlig PC

Dette er kanskje ikke oppsiktsvekkende i seg selv, men på toppen av disse egenskapene, er Muse Glimmer også bemerkelsesverdig lettkjørt.

Modellen opererer med 30 milliarder parametere, noe som vanligvis ville krevd temmelig heftig maskinvare – blant annet over 55 gigabyte med minne, ifølge Meta. Takket være ulike optimaliseringer og arkitektoniske nyvinninger har selskapet imidlertid klart å gjøre det mulig å kjøre modellen på en normal PC med bare ett skjermkort.

Akkurat hva slags ytelse vi kan forvente er uvisst, men Meta sier modellen er i stand til «praktisk» ytelse på vanlig forbrukermaskinvare uten å ofre kvalitet i nevneverdig grad.

Den er altså optimalisert for agenter, og her bedyrer Meta at modellen har gjennomgått de viktigste ytelsestestene og gjort det skarpt. Den er også designet for omfattende verktøybruk, resonnering i flere skritt, og den har multimodale ferdigheter som setter den i stand til å tolke skjermbilder, grafer og dokumenter i tillegg til samtaler.

Meta sier videre at Muse Glimmer er trent på data fra mer enn 100 språk, og formodentlig er norsk også blant disse.

Slapp flere Muse-modeller

Modellen er tilgjengelig allerede nå, og kan lastes ned fra Hugging Face. Selskapet sier de også jobber med maskinvarepartnere som AMD, Arm, Dell, Intel og NVIDIA for å optimalisere ytelsen på tvers av ulike enheter.

Modellen er den foreløpig seneste i en serie andre «Muse»-produkter som er lansert den siste tiden. Muse Spark 1.1 – oppfølgeren til toppmodellen Muse Spark fra april i år – kom for en måneds tid siden, og bare et par dager før det ble video- og bildemodellene Muse Image og Muse Video sluppet.

Lanseringen av Muse Glimmer sammenfaller for øvrig med et langt blogginnlegg som Meta-sjefen Mark Zuckerberg publiserte på mandag, hvor han redegjør for de store hovedlinjene i selskapets KI-satsing.

Zuckerberg gjentar blant annet budskapet om at «superintelligens» står for døren, og at det er avgjørende å demokratisere KI-teknologien for å forhindre store maktkonsentrasjoner – og der kommer åpne modeller inn i bildet som et viktig bidrag.

– Vi foreslår en filosofi som bygger på individuell myndiggjøring som kilden til velstand, oppfinnsomhet som superintelligensens fremste formål, og maktbalanse som grunnlaget for sikkerhet, skriver Zuckerberg.