Kunstig intelligens: Slik lærer Alexa japansk fra engelske språkdata

For Amazons digitale assistent Alexa er evnen til å erobre nye markeder mer eller mindre det samme som evnen til å lære nye språk.

Men gode språkdata til å trene de nevrale nettverkene med, er notorisk vanskelige eller dyre å få tak i, og derfor har Alexa-utviklerne konsentrert kreftene sine inn mot transfer learning. Med andre ord innebærer dette å la systemet overføre kunnskap om ett språk til et annet språk for å lære det raskere og bedre.

Strategien er effektiv, forteller Researsh & Development Program Manager ved Amazon, Alexa AI Lucie Flekova, på konferansen Women in Data Science, som ble arrangert for 14 dager siden.

Cross lingual transfer learning kan benyttes i både liten og stor skala, og kan forbedre prestasjonen både på setnings- og ordnivå. Den kan i vårt tilfelle også spare oss for mer enn halvparten av treningsdataene, sier Lucie Flekova om erfaringene så langt.

Fra stort til lite datasett

Transfer learning er vanligvis nyttig i situasjoner hvor du har ett stort datasett og ett datasett som i seg selv er for lite til å trene en modell.

– Det store datasettet hjelper deg med å lære noe, og overføre det til det mindre datasettet uten at det trenger å lære det igjen, forklarer Lucie Flekova.

I Alexas tilfelle er det store datasettet – kalt source – som regel engelske språkdata, hvor mengdene av treningsdata er enorme, mens det mindre datasettet – kalt target – for eksempel kan være tysk eller japansk.

I praksis innebærer dette at man først trener modellen på source-datasettet (engelsk) og deretter bruker target-datasettet til å finjustere nettverket. Dermed får man en modell som forstår target-språket bedre enn hvis den bare var trent på target-datasettet.

– Tidligere forskning har pekt på at verdien av transfer learning faller når språkene er lingvistisk forskjellige. Men erfaringen vår er at transfer learning mellom japansk og engelsk fungerer like bra godt som mellom tysk og engelsk, sa Lucie Flekova på konferansen.

Halvering av treningsdata

Selv hvis du har tilgang til et relativt stort datasett fra target-språket ditt, er det gevinst å hente ved å starte med å trene på det språket hvor det finnes treningsdata i overflod.

– Vi har sett på hva grensene er for hvor mye data det må være i target-datasettet. Om det finnes en grense hvor det er mening i å trene modellen bare på target-språket. Det vi fant ut, var at det var det faktisk ikke, sier Lucie Flekova.

– Modellen lærer fremdeles mer hvis du starter med informasjonen fra source-språket.

Alexa-utviklerne utga tidligere i april en forskningsartikkel om arbeidet med transfer learning fra et språk til et annet. Her skjelner utviklerne først og fremst mellom intention classifisation – formålet med en setning – og såkalt slot tagging, som er dataemnene som setningen handler om.

Hvis en Alexa-bruker sier «Alexa, play «High Hopes» «by Panic! at the Disco,» er intensjonen PlayMusic, og «High Hopes» og «Panic! at the Disco» fyller de to slotsene SongName og ArtistName, forklarer utviklerne i en blogg.

Av arbeidet til utviklerne går det fram at et treningssett med én million engelske utsagn og 10.000 tyske utsagn skapte en modell som var bedre i stand til å forstå intensjonen med en tysk setningen, enn en modell som var trent bare på 20.000 tyske utsagn.

Når det dreide seg om å forstå hva det ble snakket om – slots tagging – klarte modellen seg fire prosent bedre hvis den først ble trent på source-datasettet; uansett om utviklerne deretter brukte de 10.000 eller 20.000 tyske utsagnene som target-datasett.

Flere klasser krever mer data

Alt i alt baner teknikken vei for å overføre Alexa til nye språk med mindre treningsdata, skriver utviklerne.

Hvor mye treningsdata som man egentlig har bruk for fra target-språket, avhenger av oppgaven, understreker Lucie Flekova.

– Det avhenger av hvor mange klasser du i siste rekke vil kunne klassifisere. Hvis du har tusenvis av klassifikasjoner, må du helst ha flere setninger enn du har kategorier. Det varierer også mye fra språk til språk, understreker hun.

Alexa er i skrivende stund tilgjengelig på engelsk, tysk, japansk, fransk, spansk, italiensk og ytterligere seks varianter av disse språkene. Flekova ville på konferansen ikke avsløre hvilke språk Amazon har på gang videre for Alexa.

Saken ble først publisert på danske Datatech, og gjøres tilgjengelig på norsk for abonnenter av Digi Ekstra gjennom vår samarbeidsavtale med Teknologiens mediehus/Ingeniøren.