WINOGRAD SCHEMA CHALLENGE

Ny test avslører at snakkende roboter er dumme som brød

Test viser at kunstig intelligens fortsatt har en fryktelig lang vei å gå.
Test viser at kunstig intelligens fortsatt har en fryktelig lang vei å gå. Bilde: NTB Scanpix
19. juli 2016 - 07:54

Kunstig intelligens har kommet langt de seneste årene, men det er fortsatt en lang vei igjen å gå.

Det kommer frem etter at man i konkurransen «Winograd Schema Challenge» spør en datamaskin om den kan få setninger uten en klar kontekst til å stemme. Setningene er relativt enkle for oss mennesker å forstå meningen av. Det skriver Technologyreview.

Helt åpenbart

- Kommunepolitikerene nektet å skrive ut tillatelse til demonstrantene fordi de fryktet tumulter, er et eksempel på en slik setning der det er uklart hvem det er snakk om når man referere til «de».

For oss mennesker er det ganske åpenbart at man referer til kommunepolitikerne, men det er det ikke for datamaskinen.

De to beste dataprogrammene i konkurransen hadde 48 prosent riktige svar - henholdsvis utviklet av forskeren Quan Li ved Universitetet for forskning og teknologi i Kina og forskeren, Nicos Issak, ved det åpne universitetet på Kypros.

25 000 dollar i premie

Det er ikke veldig imponerende, spesielt med tanke på at man klarte å få 45 prosent riktig når man helt tilfeldig valgte et svar. 

For å vinne premiepengene på 25 000 dollar, må dataprogrammet ha minst 90 prosent riktige svar.

- Ikke overaskende er maskiner fortsatt bare litt bedre enn ren tilfeldighet, sier psykolog, Gary Marcus, ved Universitetet i New York til Technologyreview.

Det skyldes ifølge ham fordi det er utrolig vanskelig å lære en datamaskin å tolke nyansert kunnskap.

Google og Microsoft var ikke med

Han mener at det nesten er en umulig oppgave å skrive ut kunnskap i form av kode. Dermed er det heller ikke så lett for en datamaskin å lære seg om verdenen vi mennesker lever bare ved å analysere tekst. 

Forskere ved Google, Facebook, IBM, Amazon og Microsoft jobber alle med å lage forskjellige versjoner av snakkende roboter. Men ingen av de store foretakene var med i årets «Winograd Schema Challenge».

Og Marcus er ikke i tvil om hva han tror om den uteblivelsen:

- Det ville aldri skjedd at de bare valset inn her og fikk 100 prosent riktig, men det ville virkelig ha tatt pusten fra meg om det skjedde, konstaterer han til den amerikanske teknologiavisen.

Snakkende robot kommer i år

Men selv og teknologirådgiveren ikke helt tror på de store gigantene, skal Google allerede i år presentere kunstig intelligens som er i stand til å føre en intelligent samtale med oss mennesker. 

Utviklingsdirektør, Ray Kurzweil, i Google jobber nemlig på spreng med et prosjekt hos selskapet hvor de lager snakkende roboter.

Artikkelen fortsetter etter annonsen
annonse
Innovasjon Norge
Store muligheter for norsk design i USA
Store muligheter for norsk design i USA

- Vi forventer å lansere snakkende roboter allerede i år, sa han da han holdt et foredrag på den amerikanske konferansen Exponential Manufacturing tidligere i mai.

Den kinesiske forskeren, Liu, bruker som Google forskjellige former for dyp læring for å få den kunstige intelligensen til å forstå sammenhengen i diffus tekst. 

Fikset bug, fikk 60 prosent rett

Oppsiktsvekkende nok skal forskerne ha fått den kunstige intelligensen til å forstå 60 prosent av spørsmålene da de endret på en bug i programvaren.

- Men 60 prosent er fortsatt langt unna hva et menneske oppfatter, sier en av initiativtakerne til konkurransen, Leora Morgenstern. 

«Winograd Schema Challenge» er en motvekt til Turing Testen som ble utviklet på 50-tallet av Alan Turing. Problemet med Turing testen er nemlig det at den er lett for en maskin å lure, men med Winograd Schema-testen er ikke det mulig uten å ha noen form for generell kunnskap om ting, skriver Technologyreview.

Del
Kommentarer:
Du kan kommentere under fullt navn eller med kallenavn. Bruk BankID for automatisk oppretting av brukerkonto.