Sommerstudenter utviklet AR-app for å bedre integrering

En gruppe på fire NTNU-studenter og tre veiledere fra Accenture har utviklet en AR-app som skal hjelpe flyktninger å lære norsk og komme seg raskere ut i jobb.

Appen er hittil en prototype eller «proof of concept» testet hos Rosenhof voksenopplæring.

Simulerer jobbsituasjoner

– Vi hadde et sommerprosjekt hos oss i Accenture, der vi hadde fire studenter fra NTNU som fikk en løst beskrevet oppgave om å bruke AR-teknologi til å forbedre integreringen av flyktninger, forteller en av studentenes veiledere, Benjamin Vallestad.

– Vi var interessert i teknologien, og ønsket å gjøre et veldedig, samfunnsnyttig prosjekt.

En klasse ved Rosenhof som fikk norskopplæring rettet mot en jobb i hotellbransjen, ble brukt som testgruppe.

– I løpet av fem uker lagde vi en mobilapp for Android, som gikk ut på at man satte ut en slags avatar som du kunne snakke med, og som skulle simulere forskjellige situasjoner som kunne oppstå i arbeidssammenheng, forklarer Vallestad til digi.no.

For å være sikre på at svarene deres ble forstått riktig, kunne de velge å se dialogen skriftlig, men fikk ikke skrive til appen – kun svare muntlig.

– Vi var veldig spent på hvor bra appen ville klare å fange opp språket til innvandrere i tillegg til ulike norske dialekter, men det gikk bedre enn vi først hadde forventet, sier Vallestad.

Laget med ARCore

En av studentene bak prosjektet, Ole Bøe Andreassen, syntes det var gøy å jobbe med prosjektet, og har tro på at det kan bli en nyttig app for innvandrere.

– Det er en veldig kul idé, å lære bort språket ved bruk av mobilen på den måten. Du har jo Duolingo og sånn, hvor du oversetter spesifikke setninger, men jeg vil tro du lærer mye mer når du har et konsept med å føre faktiske samtaler.

Det var imidlertid ikke bare-bare å jobbe med en såpass ny teknologi.

Andreassen forteller at det var så lite dokumentasjon å finne, at de måtte løse de aller fleste problemene de støtte på selv.

– Vi jobbet i Androids AR-plattform, ARCore, og brukte Androids innebygde tekst-til-tale-motor for å fange opp brukernes svar og gjøre om til tekst. Så brukte vi Googles Dialogflow til å generere svar, som igjen ble gjort om til tale, forklarer han.

Vil videreutvikle konseptet

Rektor ved Rosenhof voksenopplæring, Petter Yttereng, er svært positiv til app-prosjektet, og tror det kan ha stor nytteverdi.

– Dette er et positivt bidrag til å hjelpe flere som kommer til Norge ut i arbeidslivet. Så vi synes det er kjempespennende. Det syntes også deltakerne, forteller Yttereng.

– Vi er fortsatt i dialog med Accenture om hvordan vi kan ta dette videre. Dette er nok en retning som vi må se på hvordan vi kan fortsette i fremover.

Også Accenture er interessert i å videreutvikle konseptet, og jobber med å sikre støtte fra selskapet på internasjonal skala, eventuelt i samarbeid med andre aktører.

– Appen viser potensialet i teknologien. For å lykkes med en fullgod løsning, så er det nødvendig at flere blir med på satsingen, sier Øyvind Ofstad, nordisk bærekraftssjef i Accenture.

– Det er ikke klart hvem som skal eie en slik dugnad for noe vi alle kan ha utbytte av. Vi ønsker gründere, næringsliv og myndigheter velkommen til å bli med på denne reisen med oss. Det er klar overføringsverdi til andre læringsområder, noe som bør motivere til investering.