Professor om store språkmodeller: – De er bare papegøyer

– Jeg prøver alltid å gå inn i det ukjente, det er det som jeg synes er gøy. Hvis det er en oppskrift allerede, synes jeg det er kjedelig, sier professor og oppfinner Ole-Christoffer Granmo.

Gjennom arbeidet ved Universitetet i Agder har Granmo bygget opp et internasjonalt forskningsmiljø fra Grimstad, og teknologien hans tas nå i bruk både i helsesektoren, industri og etterretning.

Siden 2018 har Granmo blåst liv i en 60 år gammel, nesten glemt algoritme – og ved å kombinere den med setningslogikk fra filosofien – bygget sin egen maskinlæringsmodell fra bunnen. Resultatet er Tsetlin-maskinen – en metode som skiller seg grunnleggende fra de nevrale nettverkene som den generative kunstige intelligensen vi kjenner i dag er basert på.

I stedet for å etterligne hjernen med massive mengder matematikk og flyttall, bygger Tsetlin-maskinen på enkel, forståelig logikk. Den lærer ved hjelp av straff og belønning, og justerer seg gjennom grunnleggende logiske operasjoner. Granmo mener dette gir en kunstig intelligens som er langt mer energieffektiv og transparent, og som kan forbigå dagens kunstige intelligens basert på nevrale nettverk i nytteverdi.

Nå jobber de for å få på plass den siste viktige byggesteinen de mangler for å konkurrere med dagens store språkmodeller, den såkalte «transformeren».

Science fiction og programmering

Hans vei inn i den da smale og lite anerkjente forskningsgrenen kunstig intelligens startet allerede i 10-årsalderen.

Under oppveksten i Porsgrunn ble han fascinert av science fiction-filmer som Terminator og RoboCop, som hadde kunstig intelligens som tema.

– Da skjønte jeg plutselig at alt det spennende jeg ser som bare er fremtidsvisjoner, er ting jeg kan begynne å tenke på å lage med programmering. Det inspirerte meg veldig, forteller han.

Som tiåring fikk han sin første datamaskin, en Sinclair ZX Spectrum, og lærte seg å programmere med språkene BASIC og Z80 Assembly.

Det var som hobby i mange år først, og da var egentlig karrieren lagt – han skulle jobbe med kunstig intelligens.

Upopulært

Kunstig intelligens har eksistert som forskningsfelt siden 50-tallet og før det, men i Norge var det svært lite aktivitet under Granmos forskningkarrieres spede begynnelse rundt tusenårsskiftet.

Onkelen, som var professor ved NMBU, syntes det var ille at han kastet bort evnene sine på noe så unyttig som kunstig intelligens. For det var ikke noe som var populært i det hele tatt, forteller Granmo.

Etter utdanningen i informatikk på Universitetet i Oslo med fordypning i kunstig intelligens på master og PhD-nivå, fikk han muligheten til å komme til Grimstad og bygge opp noe nytt på Universitetet i Agder. Han bestemte seg for å bygge opp et KI-miljø, og begynte å ansette folk og starte forskningsaktiviteter og prosjekter, med en visjon om å bygge opp noe stort.

Gradvis har KI-forskningen vokst fra år til år. Interessen fra media har vært begrenset, men tatt helt av de siste årene, forteller han.

Granmo har hele veien hatt et ben i næringslivet, og ledet en startup som utviklet metoder med kunstig intelligens for feilfinning i kommunikasjonsnettverkene i Telenor frem til dotcom-boblen sprakk i 2001.

Da han kom til Grimstad begynte han med kunstig intelligens for språkforståelse, og utviklet en teknologi som ikke var basert på nevrale nettverk som dagens teknologier, med på sannsynlighetsberegninger. Verktøyet ble til selskapet Ansys Technologies, som i dag blant annet har Helsearkivet som kunde.

Startet med et tilfeldig møte

Navnet stammer fra den russiske matematikeren Michael Lvovitch Tsetlin, som på i 1961 publiserte et arbeid med en læringsalgoritme som kunne lære fra straff og belønning, basert på et rotteeksperiment, men modellert matematisk («Tsetlin-automaten»).

– Det var en utrolig elegant læringsenhet, men den gikk litt i glemmeboken i akademia fordi artikkelen var på russisk og fordi Tsetlin døde ung, 41 år gammel, forteller Granmo.

Men en forskningsgruppe i India plukket opp arbeidet og jobbet litt videre med det. Gruppen hadde en student som het John Omen, som senere ble professor ved University of Calton i Canada og traff Granmo på en konferanse i 2001.

– Han fortalte meg om Tsetlin, og da jeg så det, ble jeg utrolig fascinert. Læring fra straff og belønning er grunnbyggesteinen i maskinlæring, men jeg har ikke sett noe så elegant og enkelt som den.

Granmo ble overbevist om at det vil det gå an å bygge veldig kraftig kunstig intelligens med, og Oman ble Granmos første ansatte ved UIA.

På 60-tallet var slik forskning som regel rent teoretisk og akademisk interessant, men ikke i bruk på datamaskiner. Rundt samme tid kom de første nevrale nettverkene, og mens det ble et enormt forskningsfelt som har tatt oss dit vi er i dag, hadde det skjedd omtrent ingenting med Tsetlins algoritme frem til 2018, ifølge forskeren.

Det var ingen som trodde på den byggestenen, fordi den så for enkel ut til å kunne fungere, ifølge Granmo. Men det var noen indikasjoner på at flere Tsetlin-automater satt sammen kunne løse vanskelige oppgaver.

Før Granmo fant opp Tsetlin-maskinen, fortalte han studentene sine hvert år at Tsetlins læringsalgoritme fra 1961 var utrolig kraftfull.

– Jeg tenkte at jeg må knekke den nøtten om hvordan det kan brukes til mønstergjenkjenning, som er det nevrale nettverk brukes til i dag, sier han.

I dag jobber 50 forskere og stipendiater med å videreutvikle Tsetlin-maskinen i Grimstad. Her er Granmo sammen med postdoktor Runar Helin og doktorgradsstipendiatene Paul Clark og Mayur Shende.

Fikk ideen på skogstur

Det var under en skogstur i 2017 ideen til Tsetlin-maskinen oppstod: Å få Tsetlin-automatene til å skrive setningslogikk, den aller enkleste formen for logikk fra filosofien, for å løse oppgaver. Setningslogikk er et språk som kan beskrive resonnementer og kunnskap, og som er forståelig for mennesker. Logikken var tidligere forsøkt brukt i KI-forskning til utvikling av såkalte ekspertsystemer på 80-tallet, men uten å kunne håndtere usikkerhet, ifølge Granmo.

Ved å koble på Tsetlin-automaten og å få det til å spille sammen, kunne det både brukes til mønstergjenkjenning og håndtere usikkerhet og støy i dataene.

– Da løste jeg egentlig grunnleggende problemer med logikken i maskinlæring, sier han.

– Man må bare få idéen, og før man får idéen er det umulig.

– Når jeg får den ideen tenker jeg på det og analyserer det matematisk, og prøver å komme litt i dybden på det, før jeg programmerer det og lager tester for å evaluere hvordan det oppfører seg i ulike sammenhenger.

Da satt han dag og natt i ukesvis og eksperimenterte, og fikk bedre og bedre bekreftende resultater. Den siste innspurten før fullføring av den første artikkelen tilbrakte han på foreldrenes hytte ved Møsvatn i Tinn kommune.

Tsetlin-maskinen prøver å finne noe som forklarer hva noe er. Setningslogikken prøver å beskrive hva for eksempel en bil er, og Tsetlin-automaten gir den feedback som den justerer seg etter.

– Alt er basert på ren logikk og kan utføres med logiske kretser i datamaskinen og ikke nevrale nettverk. Da kan det gå lynraskt, fordi det er datamaskinens eget språk, understreker Granmo.

– Tsetlin-automatene er også superenkle ved at datamaskinen kun trenger å huske på et heltall med +1 og -1 på det tallet. Nevrale nettverk er basert på flytall og gangestykker i mange lag (matrisemultiplikasjon) som koster veldig mye mer å utføre, sier Granmo.

Programkoden i Tsetlin-maskinen blir dermed veldig kort, uten gangestykker og bare «og», «eller» og «ikke»-instruksjoner, men det viser seg å være en veldig kraftfull kombinasjon.

Det er enkelt å finne veien tilbake til dataene som ligger til grunn for konklusjonene maskinen gjør, i motsetning til læring med nevrale nettverk, forteller han. Og hvis konklusjonen er usikker vil den kunne dokumentere hvilke indikasjoner som peker i hvilke retninger.

Hvis det er lite data i nevrale nettverk kan det føre til uforutsigbare konklusjoner, mens Tsetlin-maskinen vil kunne si at den mangler data eller identifisere usikkerhet, forteller forskeren. Nevrale nettverk har også en måte å minimere feil ved små justeringer av resultatet som ikke er særlig intuitivt, og det gjør det vanskelig å forstå hvordan den kom frem til resultatet.

Vil ta igjen forspranget

Nå er det flere titalls forskere i Grimstad som jobber dedikert for å videreutvikle oppfinnelsen. Ambisjonen er å gå forbi nevrale nettverk i hva den er i stand til å gjøre. Utviklingen av Tsetlin-maskinen startet i 2018, over 50 år senere enn utviklingen av kunstig intelligens basert på nevrale nettverk, men forskerne i Grimstad gjør stadig nye fremskritt.

Med fordeler som lavere energiforbruk og høyere transparens, tror Granmo oppfinnelsen lett kan ta igjen nevrale nettverk i nytteverdi.

– Skritt for skritt har vi begynt å ta igjen forspranget til dyp læring og nevrale nettverk som har blitt utviklet siden 60-tallet, forteller Granmo.

– Tsetlin-maskinen fra 2018 tilsvarer et nevralt nettverk fra rundt 1980 i arkitektur og evner. Jeg går gjennom gjennombruddene som har kommet for nevrale nettverk siden da, og prøver å gjenskape det med logikk. Da får jeg alle de fordelene jeg har, og kan gjøre de samme oppgavene.

– Det første jeg prøvde på var å få Tsetlin-maskinen til å kjenne igjen håndskrevne tall. Deretter skjønte jeg hvordan jeg kunne gjøre såkalt konvolusjon for analyse av bilder, som hadde blitt oppdaget for nevrale nettverk på 90-tallet.

– Det er ingen som vet hvordan man kan gjøre det med logikk og Tsetlin-automater, for det er helt forskjellig. Så alt må finnes opp på nytt. Men det er veldig greit å se at noen har fått det til før med nevrale nettverk.

– Den siste tingen som mangler og som vi jobber med nå er det som kalles for Transformer, som er en byggestein i dagens store språkmodeller.

– Målet er å gå forbi det nevrale nettverk kan gjøre. I det vi knekker denne siste byggesteinen vil de andre fordelene med at det er gjennomsiktig, raskt og energieffektivt, fort gjøre at vi går forbi, mener han.

– Dagens store språkmodeller er som papegøyer

Granmo har egentlig ikke den store troen på de store språkmodellene slik de er bygget i dag.

– De er bare papegøyer som hermer etter menneskeskapt tekst, og det er veldig overfladisk. Jeg har mye mer tro på en kunstig intelligens som bruker vitenskapelige prinsipper for å bygge kunnskap, som en forsker, ikke bare en som prøver å memorisere og herme etter det den leser.

– Når man har studert mennesker har man oppdaget at spedbarn bruker logikk allerede før de har lært språk. Logikk er veldig fundamentalt for mennesker. Mens nevrale nettverk prøver å simulere nevroner i hjernen, prøver jeg å automatisere den logiske tenkningen vår, og tror det er mer effektivt for en datamaskin enn å simulere hjernen.

Europeisk visjon

Alle funnene legges ut på Github, og artiklene legges ut på Archive under MIT-lisens. Granmo har heller ikke tatt noen patenter. Tanken er at algoritmen skal være tilgjengelig for alle, forteller han.

– Visjonen min har vært å lage en europeisk AI som er bygget på europeiske verdier, demokrati, rettferdighet, gjennomsiktighet og etterprøvbarhet.

I de urolige tidene vi nå lever i er denne visjonen enda viktigere, mener Granmo.

– Ikke-demokratiske land som Kina kommer mer kraftfull kunstig intelligens. Det er tvil om USA lenger er en alliert og om man stole på kunstig intelligens fra USA. Det er viktig å få en europeisk kunstig intelligens som er vår, og som er pålitelig og trygg og sikker å bruke. Å ha det transparent, gjennomsiktig, etterprøvbart. Der er også åpen kildekode viktig. Ikke bare koden, men også algoritmen skal være gjennomsiktig og en ressurs for alle.

– David mot Goliat

I 2017 samlet de alle KI-ressursene på UiA, og etablerte forskningssenteret CAIR. Nå er over 50 akademiske stillinger knyttet til senteret og ulike prosjekter som går. Det meste av ressursene går til å forske på Granmos oppfinnelse fra 2018, Tsetlin-maskinen.

– Det har vært en eventyrlig vekst. Men det startet med mye motstand. Jeg er på en måte David mot Goliat, og fremdeles er det motstand blant en del av de som jobber med dyp læring, sier Granmo, og viser til en oppfatning om at regel-basert logikk ikke fungerer på store data eller når det er stor usikkerhet.

Han har også skrevet en lærebok for å møte denne oppfatningen, som er åpent tilgjengelig.

Kommersialisering og egen maskinvare

Tsetlin-maskinen får stadig bredere anvendelse og kommersiell interesse internasjonalt. Teknologien brukes allerede av Nkom til jamming-deteksjon og av et sykehus i Kina for å diagnostisere hjertesykdommer. Politihøgskolen har testet teknologien, og Europol vurderer bruk i etterforskning. Stortinget har også nylig vist interesse gjennom en intern workshop.

Tsetlin-maskinens årlige internasjonale konferanse ble sist arrangert i Pittsburgh i USA i fjor, og skal holdes i Roma neste år.

Newcastle University jobber med å utvikle spesialtilpasset maskinvare for Tsetlin-maskinen.

Den nyeste chipen kan klassifisere 64.000 bilder per sekund og bruker ekstremt lite energi, så lite at den kan være selvforsynt via solenergi, sier han.

Selskapet Literal Labs i England jobber med kommersialisering, særlig innen maskinfeildeteksjon. De har oppnådd betydelig forbedring i effektivitet og hastighet sammenlignet med andre teknikker. Flere forskningsmiljøer utforsker nå bruksområder innen helse, blant annet for å oppdage blodforgiftning, forteller Granmo.