Først ute: Den norske nettleseren Opera lar deg laste ned KI-modeller på PC-en

Den galopperende utviklingen innen kunstig intelligens har tvunget teknologiaktører til å finne nye måter å tilpasse produktene sine til KI-teknologien på. Nå har den delvis norske nettleseren Opera kunngjort en interessant nyhet.

På bloggen sin kunngjør Opera at utviklerutgaven av Opera One-nettleseren nå får støtte for lokale KI-modeller – noe ingen andre nettlesere så langt har, ifølge Opera.

150 modeller

KI-modeller fungerer vanligvis ved at informasjonen som oppgis, for eksempel tekstinstruksene, sendes til en ekstern server. Lokale modeller innebærer altså at alle instruksene og prosesseringen skjer lokalt på PC-en uten at noen av dataene sendes ut.

Den nye støtten, som ennå er på det eksperimentelle stadiet, omfatter til sammen 150 lokale modeller fra rundt 50 ulike familier. Blant disse er Llama fra Meta, de åpne Gemma-modellene som Google lanserte i februar og Mixtral-modellene fra det franske selskapet Mistral.

Det hele fungerer ved at brukeren får muligheten til å velge hvilken lokale språkmodell man ønsker å bruke til oppgaven fra et eget vindu i chatvinduet. Denne modellen vil da erstatte Operas innebygde KI-funksjon, kalt Aria.

Etter at man har foretatt et valg vil den lokale modellen lastes ned til maskinen din, og ifølge Opera vil modellene kreve en lagringsplass på mellom 2-10 gigabyte på PC-en.

Selskapet understreker at prosesseringen trolig vil være tregere enn de serverbaserte versjonene på grunn av lokale maskinvarebegrensninger. Det vil med andre ord selvsagt være en fordel å sitte på en rimelig muskuløs rigg om man ønsker solid ytelse.

Demper sikkerhetsbekymringer

Initiativet er et ledd i Operas AI Feature Drops-program, hvor selskapet gir brukere mulighet til å teste ut tidlige, eksperimentelle utgaver av nye KI-funksjoner.

Blant de lokal modellene som Opera trekker frem som verdt å teste ut er Code Llama, en variant av Metas Llama-modell som er designet for generering av kode i en rekke språk som Python, C++, Java, PHP, Typescript (Javascript), C#, Bash og flere.

En annen modell Opera anbefaler å sjekke er Microsofts Phi-2, en liten språkmodell på 2,7 milliarder parametere som ifølge Microsoft gjør det ekstra skrapt innen resonnering og språkforståelse.

Den store fordelen med Operas nye løsning er bedre ivaretakelse av personvernet. Data som mates inn i KI-modeller sendes vanligvis tilbake til utviklernes servere hvor de blant annet brukes til videre trening av modellene, og mange har uttrykt bekymring for at denne prosessen kan lekke sensitive data.

Blant andre Apple har forbudt ansatte å bruke Chat GPT på dette grunnlaget, og den amerikanske kongressen nedla nylig forbud mot Microsofts Copilot-tjeneste.