Professor spår: De store datasettenes tidsalder er forbi

I to tiår har de raske fremskrittene innen «deep ­learn­ing» blitt målt med såkalte «benchmark»-datasett.

Enorme samlinger av millioner av bilder, tekster, videoer, lydfiler og mer har gitt opplæringsmateriell for alle slags AI-løsninger og fungert som en referanseramme for ny forskningsinnsats. Og de har selv blitt en integrert del av historien om deep learning, som da nevrale nettverk AlexNet i 2012 slo ut konkurrenter i ImageNet-utfordringen - å gjenkjenne objekter i bilder - som virkelig åpnet omverdenens øynene for teknologiens potensial.

Men til tross for nytten og bidraget til store datasett, så er deres tid som det fremste innen AI-forskning snart over. Dette mener Serge Belongie, som inntil nylig var professor ved Cornell Tech ved Cornell University i New York og nå vil lede Pioneer Center for Artificial Intelligence i Danmark.

– AI-miljøet har blitt for knyttet til støvete bench­mark-datasett, og hver gang «state-of-the-art» flyttes én promille, har det kostet ufattelige mengder ressurser å komme dit.

– I stedet for å hamstre data i datasett må vi endre perspektivet vårt til en forståelse av at data hele tiden flyter, sier Belongie, og snakker om et paradigmeskifte fra datasett-AI til «Embodied AI».

Embodied AI er i utgangspunktet ideen om å la AI-systemer lære gjennom interaksjoner med et miljø - enten fysisk, simulert eller en hybrid mellom de to. I stedet for å lære av statiske datasett, omhyggelig annotert og sortert i kategorier, kan en innebygd AI lære kontinuerlig gjennom interaksjon med omverdenen.

Belongie understreker at det for noen oppgaver rett og slett ikke er realistisk at et AI-system kan lære å løse dem ved hjelp av et øyeblikksbilde av verden i et datasett.

– Hvis du f.eks. vil takle spredningen av feilinformasjon på nettet, så er det ikke et felt der du bare kan si at svaret er «transformer» eller «deep learning». Det er et enormt komplekst landskap og det involverer så mange menneskelige interessenter at det ikke er noe der du bare kan si ‘bruk metode XYZ’. Det er en levende organisme og en blink i konstant bevegelse.

Tapt i obskure hjørnetilfeller

En av de ikoniske referansene for datasettet-AI, MNIST, ble utarbeidet i 1998 av deep learning-pioner Yann LeCun. Datasettet samler tusenvis av håndskrevne sifre, som må sorteres i ti kategorier, og har ved flere anledninger blitt beskrevet som en slags ‘Hello world’ oppgave innenfor deep learning.

– Da jeg holdt doktorgradsavhandlingen på slutten av 1990-tallet, var det fortsatt et utfordrende datasett, sier Belongie.

– Folk oppdaget spesifikke eksempler som forårsaket problemer - som et bestemt femtall og et bestemt tretall som ofte ble byttet rundt. Og selvfølgelig endte mange forskningsgrupper med å overtilpasse datasettet.

Det er symptomatisk, mener han.

– Som felt har vi i noen år vært fokusert på hjørnetilfeller - virkelig uklare og vanskelige eksempler, som er artefakter av at disse datasettene er så statiske.

Alternativt kan man forestille seg en simulering med et innlemmet system som kan bevege seg og få et litt annet syn på objektet som forårsaker problemer. Eller vente til skyene beveger seg og lyset faller på en annen måte.

– Dette er aspekter som simpelthen ikke dukker opp i klassisk datasett-AI, sier Belongie.

– Hvis du må konkurrere på de gamle «benchmarks», har du ikke annet valg enn å hamre løs på det med mer og mer datakraft. Jeg tror i fremtiden folk vil spørre seg hvorfor vi har brukt så mye energi på ett eksempel når vi kan bruke en tusendel av datakraften hvis vi bare får en litt annen vinkel på den. På samme måte som du legger hodet på skrå når du prøver å løse et problem.

For mange forskere er Embodied AI også veien videre hvis AI skal utvikle seg til en «Artificial General Intelligence» i det lange løp. Nylig kalte informatikkprofessor Melanie Mitchell ideen om at intelligens kan isoleres til hjernen som en av de største feilene i AI-feltet.

Forskere innen kognitiv psykologi og nevrovitenskap har lenge funnet bevis for at kognisjon er knyttet til kroppen, påpekte Mitchell.

Serge Belongie er enig i det perspektivet:

– Det er ikke sikkert at man kan få en moden forståelse av intelligens uten handling som en del av det. Det kan være at du trenger å ha sanser og evne til å påvirke verden.

Fra datasett til miljøer

I fremtiden vil forskere slutte å frigjøre datasett som MNIST, mener Belongie.

I stedet vil de frigjøre en kombinasjon av ekte og simulerte habitater eller miljøer. Den multiinstitusjonelle innsatsen bak f.eks. Image NEt vil bli til multiinstitusjonelt partnerskap for å skape mer og mer realistiske læringsmiljøer.

– Du kan lage fotorealistiske bilder av byer, snakke med klimatologer for å lage simuleringer av været, lære om handlingsmønstrene til fotgjengere, sier han.

Bedrifter som Facebook, Google, Unity og OpenAI har allerede gitt ut forskjellige simuleringsmiljøer for AI-trening. Her råder blant annet teknikker som Deep Reinforcement Learning, som har latt DeepMind bygge AlphaStar, som har slått verdens beste menneskelige spillere i StarCraft.

Belongie vil ikke spå hvilke teknikker som vil være avgjørende for Embodied AI. Imidlertid forventer han at feltet blir mindre avhengig av de komplekse black box-modellene når data blir tilgjengelige på en dynamisk måte.

– Da er det fullt mulig at algoritmer fra ti år siden kan levere de resultatene du trenger, sier han.

15-binds leksikon - hvorfor?

Serge Belongie sammenligner skiftet fra datasett AI med hvordan noen generasjoner i dag kan ha vanskelig for å forstå at barnebarn ikke vil arve antikke møbler og leksikon i 15 bind. De unge vet at de kan få den informasjonen hvis de trenger den, påpeker han.

Belongie selv går på ingen måte fri. Hans egen forskningsgruppe har bidratt med mange datasett innen visjonsdomenet «fine grain visual categorization», som en del av Visipedia-prosjektet, som samler inn data om dyr, planter, museumsgjenstander, klær og mer.

– Jeg har jobbet i Visipedia i omtrent ti år, der disse dype læringsmetodene har slått alle andre metoder av banen. Og det er fantastisk, sier han, men legger til:

– I dag betyr forskjellige apper som identifiserer fugler eller planter at det til enhver tid vil være en million brukere mobilisert og online. Det betyr ikke at du kan skrive til dem tilfeldig og be dem ta et bilde av en fugl for deg. Men poenget er at det er en konstant strøm av data som kan fanges og brukes. Og det er en enorm mulighet.

Det kulturelle skiftet vil være vanskelig for noen, bemerker AI-professoren.

– Studentene som er fanget midt i overgangen vil ha det vanskelig. De tar øyeblikksbilder av simulering for å prøve å gjøre det om til et datasett, for det er det de er vant til. Men den nye generasjonen vil forstå det: At verden hele tiden gir dem data.

Denne artikkelen ble først publisert på Ingeniøren for deres abonnenter. Den er tilgjengelig på norsk for abonnenter av Ekstra gjennom vår samarbeidsavtale.