Anthropic-sjefen: Vi forstår ikke hvordan KI-teknologien fungerer

Kunstig intelligens-teknologien (KI) har allerede tatt verden med storm, og i likhet med mye annen teknologi er nok de fleste av oss komfortable med ikke å ha detaljert innsikt i hvordan de nye KI-systemene fungerer.

Noe mer oppsiktsvekkende er det nok at selv ikke de som utvikler teknologien, har oversikt over den indre virkemåten. Sjefen for et av de sentrale KI-selskapene har nå innrømmet at dette faktisk er tilfelle – og at det utgjør en betydelig fare.

– KI-systemene er ugjennomsiktige

Som blant annet nettstedet ZME Science nylig fanget opp, forfattet Dario Amodei, som er sjef og medgrunnlegger av Anthropic, nylig en tekst på sin personlige nettside hvor han tar til orde for større gjennomsiktighet innen KI-teknologi. Anthropic er KI-selskapet som står bak Chat GPT-konkurrenten Claude.

– Folk utenfor fagfeltet blir ofte overrasket og urolige når de får vite at vi ikke forstår hvordan våre egne KI-kreasjoner fungerer. Det er all grunn til bekymring: Denne mangelen på forståelse er i stor grad uten sidestykke i teknologiens historie, skriver Amodei i innledningen til teksten.

Han påpeker at moderne, generative KI-systemer er «ugjennomsiktige» på en måte som er fundamentalt forskjellig fra tradisjonell programvare.

– Når et generativt KI-system gjør noe, for eksempel oppsummerer et finansdokument, har vi ingen anelse – på et spesifikt eller presist nivå – om hvorfor det tar de valgene det gjør: Hvorfor det velger visse ord fremfor andre, eller hvorfor det iblant gjør en feil til tross for at det vanligvis er nøyaktig, fortsetter Anthropic-sjefen.

Vil ha «MR-skanner» for KI

Amodei sier det er mer presist å se på generative KI-systemer som noe som «dyrkes», snarere enn noe som «bygges» – i den forstand at de interne mekanismene er «fremvoksende» (emergent) og ikke designet i en direkte forstand.

Anthropic-sjefens hovedpoeng er at denne mangelen på gjennomsiktighet er en viktig faktor bak mange av bekymringene og risikoene som ofte assosieres med generativ KI-teknologi.

Disse problemene og bekymringene ville derfor vært langt enklere å løse dersom teknologien var mer forståelig og tolkbar, mener Amodei.

Han opplyser at Anthropic allerede har startet arbeidet med å finne en teknologisk løsning, som han i overført betydning refererer til som en «MR-skanner for kunstig intelligens» – hvor målet altså er å kaste lys på den indre virkemåten til teknologien.

Svært bekymret

Amodei tror at en ekte «MR for KI» kan komme på plass innen fem til ti år og brukes som en pålitelig metode for å diagnostisere problemer i selv svært avansert KI-teknologi. Problemet er imidlertid at selve KI-teknologien utvikles så raskt at vi muligens må finne en løsning fortere enn dette.

Ifølge Amodei går utviklingen nå så raskt at vi kan ha KI-systemer som tilsvarer et helt «land av genier» i ett datasenter så snart som 2026 eller 2027.

– Jeg er svært bekymret for å ta i bruk slike systemer uten å ha bedre kontroll på tolkbarhet. Disse systemene vil bli helt sentrale for økonomien, teknologien og nasjonal sikkerhet, og de vil ha så høy grad av autonomi at jeg i bunn og grunn mener det er uakseptabelt at menneskeheten skal være fullstendig uvitende om hvordan de fungerer, skriver Anthropic-sjefen.

Hele teksten finner man på Amodeis personlige hjemmeside.