AI-modeller skaper algoritme-innavl

AI-utviklere i dag trenger bare en sjelden gang å starte på null. I stedet kan de finne enorme modeller på nett som allerede er trent på gigantiske datamengder og finjustere dem til akkurat den oppgaven de prøver å løse.

Transfer learning – som teknikken kalles – kan senke kravene om å klare å lage en tilstrekkelig god AI-modell. Det krever langt mindre datakraft enn å trene en tilsvarende modell fra bunnen av og gjør det mulig å bygge AI-systemer for områder der det ellers aldri ville blitt samlet inn nok data.

Det er med andre ord en snarvei til AI-suksess. Men den har en pris. For etter hvert som modellene blir større, vokser også ofte slagsiden – skjevheten – deres. Og mengden data som trengs for å trene dem, vokser til databasene er så store at ingen mennesker klarer å gjennomskue hva modellene mates med. Treningen er dessuten så dyr at bare teknologigigantene har råd.

Flere og flere AI-systemer bygges i dag på toppen av den samme lille gruppen av effektive, forhåndstrente modeller. Dette betyr at forbedringer av en av de store modellene kan ha innvirkning på et bredt spekter av NLP-oppgaver. NLP er en forkortelse for Natural Language Processing, en del av språkteknologien som handler om forståelsen av språk.

Men det kan også føre til en form for algoritmisk innavl, hvor søkemotorer, chatbots, oversettelsestjenester med mer risikerer å arve de samme problematiske skjevhetene som finnes i de store, forhåndstrente modellene. For mange av disse modellene har problematiske skjevheter.

En lenestol inspirert av en avocado

Ved Stanford University, som har vært et kraftsenter innen AI-forskning i flere tiår, kom over 100 forskere sammen i august for å produsere et nesten 200 sider langt dokument som beskriver mulighetene og risikoene forbundet med disse store modellene, som de samlet har kalt foundation models – grunnmodeller eller fundamentmodeller Navnet alene har utløst heftig debatt, men det skal vi komme tilbake til.

Felles for modellene er at de er trent på datakraft og på en enorm mengde data – og at de er mye større enn tidligere modeller.

Da forskningsinstituttet OpenAI i 2019 utviklet den dengang spektakulære språkmodellen GPT-2, hadde den i sin største versjon 1,5 milliarder parametere. Da etterfølgeren GPT-3 kom året etter, hadde tallet steget til 175 milliarder. I oktober 2020 presenterte Microsoft og Nvidia i fellesskap språkmodellen Metatron-Turing NLG, som kan skilte med 530 milliarder parametere.

Det er når modellene kommer opp i denne skalaen at det oppstår funksjonalitet som ikke sees i de mindre modellene. Funksjonalitet som selv utviklerne av modellene ikke har forutsett.

GPT-3 er kun opplært til å generere språk. Hvis du gir den et stykke tekst, kan den komme med et plausibelt forslag til hva neste ord bør være. Men den er også i stand til å lære å løse nye oppgaver ad hoc – som for eksempel oversettelser fra engelsk til fransk og sammendrag – utelukkende basert på den tekstbiten som setter den i gang.

Og det slutter ikke med språk. OpenAI har laget DALL-E, som er en versjon av GPT-3 trent på en kombinasjon av bilder og tekst. Også her ble forskerne overrasket over evnene som modellene utviklet – for eksempel muligheten til å «oversette» et bilde til et annet med en tekst. Og muligheten til å kombinere vidt forskjellige konsepter i bildegenerering – som for eksempel «En lenestol som etterligner en avocado».

Disse «fremvoksende evnene» er med på å karakterisere den nye typen gigantiske modeller som har flyttet grensene for AIs evne til å behandle språk og som raskt er i ferd med å nå andre domener.

Men selv om forskerne er positivt overrasket over funksjonene som plutselig dukker opp etter hvert som modellene blir større, vekker det også bekymring. For modellene er vanskelige å forstå, og det er fortsatt ikke klart hva de er i stand til og når de feiler.

Store modeller = store problemer

Et godt eksempel er den beryktede GPT-3 – en språkmodell utviklet av forskningsinstituttet OpenAI for å generere språk. Ber du GPT-3 om å fullføre setningen «To muslimer går inn i ...», vil modellen i de fleste tilfeller dikte videre med voldelige historier. Hvis du erstatter muslimer med for eksempel kristne eller jøder, er de fleste fortsettelsene fredelige.

Selv når forskere prøvde å lede GPT-3 inn på en mer fredelig vei med en oppfordring som «To muslimer går inn i en moské for å tilbe fredelig», fant språkmodellen konsekvent kreative måter å pense historien inn på vold.

Flere versjoner av språkmodellen BERT har på en rekke språk vist en større tendens til å generere nedlatende språk om kvinner når de blir bedt om å fullføre setninger som for eksempel «Mannen/kvinnen er kjent som en ...».

Andre forskere har dokumentert at flere språkmodeller assosierer funksjonshemming og en rekke fysiske trekk med negativt språk, og den samme typen «fordommer» kommer til uttrykk hvis disse modellene brukes til en klassisk språkoppgave – som sentimentanalyse, hvor man vurderer om en tekst er positiv eller negativ. Dersom man bruker en slik modell til for eksempel automatisk å moderere en nettdebatt, kan skjevheten bety at legitime innlegg om funksjonshemming blir markert som hatefulle.

Husmor eller astronaut?

Det samme problemet dukker opp når de store modellene er trent på store mengder bildedata. For eksempel er OpenAIs multimodale språkmodell Clip ifølge laboratoriet selv tilbøyelig til å klassifisere svarte mennesker som «gorilla», «tyv» og «kriminell». Og hvis du ber den om å vurdere en beskrivelse som følger et bilde av den kvinnelige astronauten Eileen Collins, foretrekker den ordene «smilende husmor» fremfor «astronaut». Akkurat som den foretrekker B-teksten fremfor A-teksten (se bildet under) når den beskriver Barack Obama.

Et annet eksempel er iGPT – en modell som kan generere bilder ved å bygge videre på en bildebit på samme måte som GPT-3 kan skrive videre på en tekst.

Nylig har forskere dokumentert at modellen har en tendens til å fullføre et bilde av et mannsansikt med en kropp som er fullt påkledd, mens et kvinneansikt langt oftere får en kropp med utringede klær eller bikini.

Disse funnene bør være en advarsel til dem som jobber med bildeanalyse og bruker transfer learning, skriver forskerne og fortsetter:

«Modellene kan inkludere alle slags skadelige menneskelige skjevheter fra måten folk presenteres på i treningsdata, og beslutninger om modelldesign kan avgjøre om og hvordan skjevhet kan føre til skadelige effekter videre ut i systemet.»

Er i bruk mange steder

Mens forskere fortsatt prøver å skjønne dybden i og konsekvensen av den sosiale skjevheten som modellene implisitt har lært av de enorme mengdene treningsdata, er modellene for lengst tatt i bruk. For eksempel har Google implementert språkmodellen Bert i selskapets søkemotor, noe som skal gi tjenesten bedre mulighet til å forstå søkeord i sammenheng. Men modellen brukes også av utallige bedrifter til blant annet å analysere kundehenvendelser.

OpenAI har utviklet Codex, som bruker GPT-3 for å generere programmeringsspråk, og nylig presenterte OpenAI-forskere en GPT-3-basert modell finjustert for å skrive sammendrag av hele bøker.

Flere oppstartsselskaper har bygget AI-produkter på API'et (grensesnittet) til GPT-3. Som Copy.AI, som lover hjelp til å skrive markedsføringstekster hvis du bare gir den et produktnavn og en kort beskrivelse. Eller Voxable, som utvikler avanserte chatbots.

– Vi har ikke funnet noen andre teknikker som kan gjenskape GPT-3s ytelse, sier teknologidirektør Matt Buck i Voxable.

Det er dataene, dumming

En av nøklene til å kunne skape de flotte forhåndstrente modellene er evnen de har til å trene seg selv. Dette betyr at modellen ikke er avhengig av at bilder blir manuelt merket som «katt» og «hund» eller setninger som «negative» og «positive».

Det fjerner den flaskehalsen som AI-utviklere hittil har vært hindret av. Men det er også en kilde til problemer å bygge modeller på enorme mengder stort sett uredigerte data hentet fra hver krik og krok av internett.

Da et stort antall forskere nylig forsøkte å dykke ned i dataene som de store modellene er trent på, fant de data av usedvanlig lav kvalitet. Det flerspråklige datasettet CCAligned skulle i teorien inkludere tekst på språket katalansk, slik at man kan trene modeller til å lage oversettelser. Men null prosent av teksten viste seg faktisk å være katalansk.

Forskerne fant også at nesten halvparten av språkene i Oscar-datasettet har en overvekt av ubrukelige data fordi oversettelsen er feil, språket er feil eller fordi det ikke er brukbart språk i det hele tatt, men navn og symboler.

– Dette er ikke nisjeeksempler. Dette er ofte brukte datasett, og de har store problemer med kvaliteten, sier en av forskerne bak prosjektet, Stella Biderman, som er matematiker i Booz Allen Hamilton og seniorforsker i forskningskollektivet EleutherAI.

– Den nåværende hovedtilnærmingen til å samle inn data for å trene store språkmodeller, er å laste ned store mengder data fra internett og kaste ut det som blir feil-lest, og så kalle det et datasett, sier hun.

– Det er sånn det aller meste av dataene som GPT-modellene er trent på, blir til. Det er et stort antall studier som dokumenterer at mangel på undersøkelse og validering skaper problemer.

En av de største synderne i denne sammenhengen er det såkalte Common Crawl-datasettet, som består av tekst som ukritisk er skrapt fra internett. Nylig tok kanadiske forskere en tilfeldig stikkprøve av datasettet og fant at rundt 6 til 7 prosent kan kategoriseres som hatprat – selv etter en grunnleggende filtrering.

EleutherAI har laget en åpen kildekode-versjon av GPT-3 kalt GPT-Neo. Den er trent på et nytt datasett kalt The Pile, som prøver å samle de mer verdifulle kildene til tekstdata. GPT-Neo er heller ikke fri for sosial skjevhet, men det er en strategi som gir forbedringer.

– Det er 100 prosent sikkert bedre måter å produsere bedre data på, men det er noe de fleste ikke gidder, sier Stella Biderman.

Skrevet av menn

I tillegg til kvaliteten på data er mangelen på variasjon i språkdata i seg selv en kilde til innebygd skjevhet.

Wikipedia og nyhetsnettsteder er populære kilder til data, men flere studier har for eksempel vist at det store flertallet av Wikipedia-artikler er skrevet av menn. Det er også godt dokumentert at etniske minoriteter tar svært liten plass både i journalistmiljøet og som kilder i nyhetsartikler.

Men denne variasjonen er viktig fordi vi ikke kan regne med at en språkmodell trent på én type tekst fungerer godt på et annet domene, påpeker Barbara Plank, som er professor i språkteknologi ved IT-Universitetet i København.

– Ta en oppgave som anaphora resolution, hvor du prøver å finne ut hva et pronomen refererer til. Det er en relativt harmløs oppgave, men hvis du gjør det feil og modellen for eksempel er tilbøyelig til å velge mannsnavn, er det et problem, sier hun.

– Det er veldig viktig å forstå at teknologien ikke er klar til å brukes på et hvilket som helst problem. Du må virkelig tenke over hva du vil finne ut, hvordan dataene dine er og hva som er de beste dataene du kan få til oppgaven.

På bildesiden rår de samme problemene. Forskerne bak det ikoniske datasettet ImageNet har jobbet i årevis med å rydde opp i det problematiske innholdet i datasettet, men har ennå ikke nådd målet.

Pornografi, vold og rasisme

I fjor valgte forskere ved MIT permanent å fjerne datasettet 80 Million Tiny Images, som i 14 år har blitt brukt til å trene AI-modeller. Først da datasettet ble gjennomgått av de eksterne forskerne Vinay Prabhu, som er sjefforsker ved UnifyID, og Abeba Birhane, som er doktorgradsstudent ved University College Dublin, innså MIT-forskerne at det inneholdt tusenvis av bilder beskrevet med ord som «hore», «bitch» og «pedofil».

Og nye datasett kommer fortsatt til. I oktober kunne Prabhu og Birhane sammen med AI-forsker Emmanuel Kahembwe demonstrere hvordan det splitter nye multimodale datasettet Laion-400M er fylt med pornografi, vold og rasisme.

Ved å søke i datasettet med vanlige, plausible nøkkelord, fant forskerteamet en høy andel bilder som viser grafiske fremstillinger av seksuelle overgrep og andre urovekkende motiver. Selv ganske nøytrale ord som «liten» og «stor» førte til pornografisk materiale. Det samme gjorde ord som «aunty», «mummy», «asian» og «black woman».

– Folk vet egentlig ikke hva som er i disse store datasettene. Og jo større de er, jo mer problematisk blir det, sier Abeba Birhane om arbeidet.

– Enten det gjelder bilder eller tekst, går folk for større og større datasett. Store datasett betyr at du ikke har noen måte å se nærmere på hva de inneholder, så da gjør folk vanligvis ikke det. Og det gjenspeiles også i de resultatene modellen produserer.

Spør du Abeba Birhane, ligger nøkkelen til bedre resultater i bedre datasett og ikke – som mange ellers prøver – i å løse problemet senere.

– Datasettet er avgjørende for hva en modell produserer. Det er ikke en bærekraftig løsning å prøve å kontrollere i etterkant hva en modell skal og ikke skal generere, sier hun.

Vanskelig å filtrere

Et eksempel på hvordan problemer i modellene er nedarvet til den løsningen som bygges utenpå, kan sees i OpenAIs Codex. Codex er basert på GPT-3 og finjustert på kodelinjer lastet ned fra GitHub. Dette har gjort det mulig for systemet å skrive fungerende kode i Python.

Tanken er å lage en intelligent assistent for utviklere slik at de raskt kan definere hele seksjoner av kode som deretter genereres av modellen. Men også her slår GPT-3s rasistiske tendenser gjennom, opplyser OpenAI-utviklerne selv i sin artikkel om Codex. Modellen kan nemlig ledes til å generere «rasistisk, nedverdigende eller på annen måte skadelig output» som kommentarer til koden.

Et annet eksempel kommer fra spillselskapet Latitude, som var blant de første til å la brukere måle krefter mot GPT-3 i spillet AI Dungeon.

Spillet lar brukerne utforske fiktive verdener og historier med den store språkmodellen som gamemaster. Spillere har lenge rapportert at de episke eventyrene kan utvikle seg til pornografisk innhold.

Latitude har forsøkt å komme det uønskede innholdet til livs med et filter som skulle hindre modellen i å delta i samtaler om forbudte emner. Men det betød at spillet nektet å svare på helt kurante meldinger fordi det feilaktig oppfattet dem som ulovlige hentydninger.

En lukket klubb

En annen konsekvens av at de store modellene blir større og derfor dyrere å trene, er at det stort sett bare er gigantene i tech-verdenen som har råd til å utvikle dem.

Bert og T5 kommer altså fra Google, Roberta fra Facebook og Megatron Turing fra Nvidia og Microsoft. Sistnevnte har blitt beregnet til å koste rundt 100 millioner dollar hvis den skulle gjenskapes av andre – noe det er praktisk talt umulig å finansiere for uavhengige forskerteam.

Mens noen modeller – som Bert – er laget med åpen kildekode, har andre blitt holdt tett til brystet av eierne. For eksempel har Microsoft en avtale med OpenAI som gir selskapet eksklusiv lisens til å bruke GPT-3, mens andre må nøye seg med et API.

På et akademisk budsjett kan man fortsatt drive meningsfull forskning på mindre modeller. Men på grunn av de fremvoksende egenskapene som først oppstår ved en viss størrelse, er det spørsmål man ikke kan få besvart på den måten.

Det betyr også at det er problemer man risikerer at forblir uløst, bemerker Stanford-forskere.

– Akkurat som legemiddelindustrien har begrenset insentiv til å bruke store ressurser på forskning og utvikling av malariabehandling fordi fattige mennesker ikke har råd til medisinen, har teknologiindustrien kun et lite insentiv til å dedikere betydelige ressurser til teknologier utviklet for å hjelpe fattige og marginaliserte mennesker, skriver de.

Fra Big Tobacco til Big Tech

Problemet med denne sentraliseringen ble tydelig da to av Googles ledende AI-etikere, Timnit Gebru og Margaret Mitchell, var med på å skrive en forskningsartikkel som setter søkelys på problemene med store, forhåndstrente språkmodeller.

Lederne i Google ville ikke ha selskapets navn på artikkelen, og det endte med at både Gebru og Mitchell ble sparket fra Google og fra AI-etikkteamet de hadde satt sammen. Ifølge Google sa Timnit Gebru opp selv, og selskapet viste til brudd på sikkerhetspolitikken i forbindelse med sparkingen av Margaret Mitchell.

Gebru forsøker nå å skaffe penger – uavhengig av teknologikjemperne – til å forske på AI-etikk. På en konferanse sammenlignet hun Big Techs evne til å påvirke akademisk og offentlig debatt med metodene Big Tobacco – de store tobakkselskapene – tidligere brukte.

Et solid fundament

Alt dette fører oss – som lovet – tilbake til spørsmålet om navnet «foundation models» – grunnmodeller eller fundamentmodeller. De over hundre Stanford-forskerne har valgt denne formuleringen i et forsøk på å fange opp det de ser på som en mer eller mindre sentral klasse av modeller.

For andre forskere – som Margaret Mitchell – er det et begrep som skaper problemer.

– Å si at noe er fundamentet skaper en selvoppfyllende profeti fordi målet er at disse modellene skal være fundamentet, sa hun på en Stanford-workshop om emnet.

– Men disse modellene har klare risikoer. De sentraliserer makt til dem som er privilegerte nok til å trene dem. Så hvorfor er det en god idé å sementere dem som et fundament? spurte Margaret Mitchell.

Andre kritikere, som Meredith Whittaker, som er professor ved New York University og medgründer og fakultetsdirektør ved AI Now Institute, har advart om at en «rebranding» av store språkmodeller kan gjøre det vanskeligere for folk å finne den legitime kritikken som har blitt rettet mot teknologien.

Imens er motargumentet fra Stanford-forskere at disse forhåndstrente modellene, uansett hva de kalles, trolig vil danne grunnlaget for en rekke AI-systemer. Og ordet fundament antyder dermed viktigheten av at de er robuste og ikke slår sprekker.

Uansett navn, sier Abeba Birhane, vil ikke de store, forhåndstrente modellene forsvinne.

– Vi kommer til å ha større modeller, større datasett. Og disse modellene vil bli tatt inn på alle mulige områder, inn i alle mulige sfærer. Det er noe som skjer, og det kommer ikke til å slutte.

Denne artikkelen ble først publisert på Ingeniøren for deres abonnenter. Den er tilgjengelig på norsk for abonnenter av Ekstra gjennom vår samarbeidsavtale.