Har laget dataspill for raskere trening av kunstig intelligens

Førsteamanuensis Per-Arne Andersen har i sitt doktorgradsprosjekt utviklet algoritmen Oracle som kan brukes til å trene opp kunstig intelligens. Vanligvis kreves det mye regnekraft for å trene opp algoritmer som skal brukes i industrielle miljøer.

I sin doktoravhandling har Andersen vist hvordan kunstig intelligens i dataspill kan fungere godt selv med lite regnekraft. Han har utviklet kunstig intelligens-algoritmer som kan bli brukt i systemer der en må ta hyppige beslutninger. Her er dataspill mye brukt til å trene opp kunstig intelligens, i spillmiljø som er utviklet etter kompliserte industrimiljø.

Mindre regnekraft

Andersen forklarer i et intervju med Digi.no hvordan det er mulig å lære opp en algoritme til å ta beslutninger med mindre regnekraft enn det som hittil har vært mulig. Han forteller at man i kunstig intelligens og forsterkende læring er interessert i å lage en beslutningsalgoritme som forbedrer seg ved at man gir den ros ved gode beslutninger og ris ved dårlige beslutninger. Algoritmen tar i betraktning slik ris og ros og forsøker å maksimere ros og minimere ris.

– Om man skal gjøre dette i et fysisk miljø, så er man begrenset av tid – altså hvor fort den virkelige verden beveger seg, påpeker Andersen.

– I den digitale verden kan vi simulere, og det gjør at man kan teste langt kjappere.

Videre understreker Andersen at man i simulerte miljøer kan prøve og feile uten at det har konsekvenser for utstyr som ellers hadde risikert skade i virkelige eksperimenter.

– I samhandling med virtuelle verdener har jeg utviklet en algoritme som kan lære seg hvordan et miljø oppfører seg, ved å være «flue på veggen», forklarer han.

– Når den har vært flue på veggen lenge nok, kan denne algoritmen «drømme» om hva den tidligere har sett og skape variasjoner om dette.

Drømmealgoritme

De nye dataspillene er i virkeligheten en videreutvikling av Drømmealgoritmen som Andersen presenterte for tre år siden. Den er basert på forsterkende læring og gjør observasjoner og lærer seg mekanikken i miljøet. Når den har gjort slike observasjoner i en viss tid, blir den i stand til å forutse hva som kan skje videre i spillet. Dermed kan algoritmen brukes til å forutse mulige konsekvenser og videreutviklinger i et industrimiljø, og også konsekvenser av å skape variasjoner.

Andersen forklarer at det med å skape variasjoner, er brukt flere steder i dyp læring.

– Jeg kan vise et konkret eksempel. Alle har sett hvordan en kanin ser ut og hvordan et menneske ser ut på bilde før, men jeg er rimelig sikker på at ingen har sett et menneske med kaninhode før, forteller han.

– Med kunstig intelligens kan vi finne det ut med modeller som for eksempel Dall-E 2 fra OpenAI. Litt av samme prinsippet i min algoritme: Algoritmen ser hvordan et miljø fungerer og lager variasjoner av virkeligheten. Et annet eksempel er Eiffeltårnet med en vannsklie.

Simulering sparer tid

Det er et kjent faktum at kunstig intelligens normalt trenger store mengder data for å lære og bli velfungerende. Andersen har gått motsatt vei og viser hvordan kunstig intelligens kan læres opp med lite data.

– Det er helt riktig, og spesielt i dyp læring-datamodeller trenger man mye data for kunne oppnå gode resultater, bekrefter han.

Andersen nevner som eksempel på dette kunstig intelligens som nylig lærte seg å spille Minecraft etter å ha sett 33 år med videoer av Minecraft på Youtube. Læringen fungerer slik at en beslutningsalgoritme ser på disse Youtube-videoene og lærer seg å spille Minecraft direkte.

– Min beslutningsalgoritme trenger også mye data, men til forskjell trener jeg opp en algoritme som kan lage drømmescenarioer som ligner på de ekte dataene, forklarer Andersen.

– Det som også er fordelen med en slik måte, er at det er kjappere å lage drømmescenarioer enn at en beslutningsalgoritme skulle prøve og feile i et virkelig miljø slik at treningen av går kjappere.

Det betyr med andre ord at man med Andersens drømmealgoritme kan simulere de 33 årene med Minecraft-trening og oppnå akkurat det samme på mye kortere tid. Selv om Andersen presenterte sin drømmealgoritme allerede for tre år siden, har han nå videreutviklet den slik at den kan forstå mer komplekse miljøer.

– Før kunne den bare lære seg problemer som labyrinter og enkle spill med lite animasjon. I den nye versjonen av Oracle kan den også lære seg spill som er animerte, forklarer han.

– Jeg har også utviklet et testmiljø for logistikkroboter der jeg har testet algoritmen, og også her viser den et stort potensial, forteller UIA-forskeren, som er tilknyttet universitetets senter for kunstig intelligens, CAIR.

Positiv respons

Andersen forteller at han har fått flere henvendelser fra industrien på forskningen sin, og at han opplever responsen som veldig positiv.

– Det er veldig gøy at industrien ser verdien av kunstig intelligens og arbeidet mitt. Målet mitt er at forskningen min kan tas i bruk i industrien og at det kan bidra til videre innovasjon i industrien. Generelt sett ser jeg flere muligheter enn begrensninger for å benytte slike metoder i industrien, så jeg tror det er mange som kan innovere ved bruk av lignende kunstig intelligens, avslutter AI-forskeren fra UIA.