Folket har talt: Googles nye KI-modell er den beste på markedet

Google fikk hastverk med å få fart på sin egen KI-satsing etter at Open AI lansert Chat GPT, og siden den gang har selskapet gjort store fremskritt i å minske forspranget. Nå ser det ut til at Google har tatt igjen mange av konkurrentene sine.

Som blant andre Venturebeat rapporterer har den kraftigste utgaven av Googles egen KI-modell – Gemini 1.5 Pro – nå klatret til topps på en populær ytelsesrangering for KI-modeller.

Førsteplassen på Chatbot Arena

Selskapet kunngjorde nylig lanseringen av en ny, eksperimentell utgave av Gemini 1.5 Pro, og den har allerede inntatt førsteplassen på den prestisjetunge Chatbot Arena-rangeringen.

Ifølge rangeringen har den nye Gemini 1.5 Pro-modellen i skrivende stund 1300 poeng etter det såkalte Elo-poengsystemet. Det betyr at den har vippet Open AI-modellen GPT-4o av tronen.

GPT-4o sitter med en total poengsum på 1286 når alle testkategoriene er tatt i betraktning, fulgt av GPT-4o mini og Claude 3.5 Sonnet, som skilter med henholdsvis 1280 og 1271 poeng.

Chatbot Arena rangerer en lang rekke ulike KI-modeller basert på tilbakemeldinger fra personer som bruker modellene, og ikke på de mer kjente, tekniske ytelsesmålingene som MMLU (Massive Multitask Language Understanding) og lignende.

Rangeringen inneholder 123 modeller og er basert på nesten 1,6 millioner stemmer.

Stemmene fra brukere gis på bakgrunn av tester hvor anonymiserte snakkeroboter parvis «kjemper» mot hverandre ved at brukerne gir de samme tekstinstruksene til begge modellene, og deretter velger hvilken som ga det beste resultatet.

Enormt kontekstvindu

Plattformen er utviklet av LMSYS Org (Large Model Systems Organization), en åpen forskningsorganisasjon etablert av flere amerikanske universiteter.

Når det gjelder Gemini 1.5 Pro ble denne først lansert i februar i år. Siden den gang har modellen gjennomgått en rekke forbedringer og fått mange nye funksjoner og egenskaper, deriblant støtte for 180 språk – inkludert norsk.

En av de mest fremtredende egenskapene ved den nye, eksperimentelle versjonen av Gemini 1.5 Pro er det svære kontekstvinduet på hele to millioner såkalte «tokens» – eller enheter som man kan kalle det på norsk.

Dette refererer i korte trekk til mengden tekstenheter som modellen bruker til å prosessere og generere språk.

Til sammenligning opererer noen av kraftigste, konkurrerende KI-modellene på markedet med «bare» 128.000 enheter, deriblant GPT 4.0 Turbo og Metas nylig lanserte Llama 3.1 405B.

Inntil videre befinner Googles nye modell deg dermed i en egen klasse når det gjelder kontekstvindu, men utviklingen går som kjent i et forrykende tempo på KI-feltet, så det spørs hvor lenge selskapet kan holde på fortrinnet.