På kinoer verden over kan vi for tiden se Jack Black i hovedrollen i A Minecraft Movie. Samtidig har Dreamer, en ny KI-modell fra Google Deepmind, inntatt hovedrollen i selve spillet Minecraft.
– Dreamer er et viktig steg på veien mot generelle KI-systemer, sier Danijar Hafner, forsker hos Google Deepmind, til det vitenskapelige tidsskriftet Nature.
Diamanter er den mest sjeldne ressursen i Minecraft. I senere år har utvinning av den digitale edelstenen også blitt et viktig mål i KI-forskning.
Minecraft består av enorme, tilfeldig genererte verdener, og det å skaffe diamanter krever mange trinn. Med andre ord byr spillet på en betydelig utfordring for KI-modeller.
Tidligere KI-systemer har lært å spille Minecraft etter å ha fått servert videoer av mennesker som spiller, eller ved hjelp av instruksjoner. Dreamer måtte klare seg uten slik støtte. I en vitenskapelig artikkel publisert i Nature, skriver Google Deepmind at Dreamer sannsynligvis er den første algoritmen som har klart å samle diamanter på denne måten.
Bygger en indre verdensmodell
Ved hjelp av forsterkningslæring fikk modellen utforske og forstå spillverdenen på egen hånd. Men i stedet for å tilfeldig prøve seg frem, bygget Dreamer opp en indre modell av spillverdenen – en slags verdensmodell – som gjorde det mulig å forutsi konsekvenser før den handlet.
Denne indre modellen var nødvendig fordi forskerne tilbakestilte hver spilløkt etter 30 minutter – en tidsgrense basert på hvor lang tid det vanligvis tar for menneskelige spillere å finne diamanter. Dreamer måtte da begynne på nytt – i en ny Minecraft-verden. Likevel klarte modellen å generalisere godt nok til å bruke kunnskap fra tidligere omganger i nye omgivelser.
– Det var ikke mulig å bare huske én bestemt strategi, sier Danijar Hafner til Nature.
Etter ni dagers spilletid klarte Dreamer å finne sin første diamant.
Det endelige målet er selvsagt ikke å få KI-systemer til å bli gode i Minecraft, men å utvikle evnen til å generalisere over lange tidshorisonter. Det øker sjansen for å utvikle KI-modeller som kan gjøre praktisk nytte i den virkelige verden.
Artikkelen ble ført publisert av Ny Teknik
Data som lagres i diamanter, kan holde i millioner av år
