Dansk oppstartsbedrift vil ha maskinlæring som forteller når den er usikker

Mange maskinlærings- (ML-) teknologier bygges til alltid å gi et svar, uansett hvor usikre de måtte være. Og det er problematisk og potensielt farlig, mener den danske oppstartsbedriften Desupervised, som jobber med et ML-rammeverk som skal bygge modeller som kan innrømme det hvis de er på gyngende grunn.

– Hvis du bygger et dataspill, kan usikkerheten sikkert være stor før det får store konsekvenser. Men i situasjoner hvor du må forutsi omsetning, stille diagnoser eller noe tilsvarende, trenger du å være veldig trygg på den anbefalingen du får, forklarer Michael Green, som er medstifter og CEO i Desupervised.

– Hvis du bygger en modell som skal finne hunder og katter på bilder, bygger du ikke en modell som skal kunne forstå bilder generelt. Du bygger en algoritme som kan kjenne igjen hunder og katter. Men hva skjer så når den ser et bilde som ikke er av en hund eller katt? Da vil den for eksempel si 90 prosent hund, selv om det ikke er en eneste hund på bildet.

Det er veldig vanskelig å styre hva det nevrale nettverket ser, bemerker Michael Green, som har en ph.d. i Teoretisk Fysik. Derfor er det beste alternativet å få modellen til å melde tilbake at den muligens ser en hund, men at den er svært usikker.

– På den måten får du kunnskap om at det kanskje slett ikke er en hund på bildet. Og det er den eneste måte som vi kan «redde» disse veldig meget spesifikke modellene på.

De spesifikke modellene, som den i eksempelet overfor, kan være uproblematiske hvis de er implementert i et fullstendig kontrollert miljø. Hvis man for eksempel vet at bildene som modellen utsettes for alltid har en hund eller en katt.

– Men i en reell situasjon er det svært sjeldent tilfelle, sier Desupervised medstifter Jens Skoustrup-Jacobsen.

– Det vil alltid finnes uforutsette ting og «svarte svaner» (uforutsette konsekvenser, overs. anm.) og så videre. Og hvis ikke vi tar høyde for dette, havner vi ut å kjøre.

Kvantifisert usikkerhet

Desupervised jobber med et rammeverk som kunder kan bruke til å utvikle modeller til en lang rekke bruksmønstre (use cases). Og en konkret kvantifisering av modellens usikkerhet skal være med på å gjøre dette rammeverket sikkert å bruke. For flere av kundene til Desupervised har dette blitt en kritisk funksjonalitet.

– Jeg var redd for at budskapet ville være litt for mye matematikk og bremset litt der. Men det har fått veldig bra respons hos beslutningstakere som står overfor å skulle bruke AI, men som ikke er helt trygge på hvordan det fungerer, sier Michael Green.

Jens Skoustrup-Jacobsen fortsetter:

– Denne kvantifiseringen av usikkerhet er viktig for dem som skal bruke informasjonen. AI-systemer blir vanligvis brukt som input i viktige prosesser, og der er du nødt til å vite hvor sikker modellen er på prediksjonene sine, slik at de usikre kan sorteres ut og ikke resultere i fatale feil i prosessen.

For eksempel jobber Desupervised blant annet sammen med et selskap som utvikler programvare til droner, og som vil benytte input fra dronens kamera til å styre adferden dens i forhold til den konkrete konteksten som dronen befinner seg i, og den oppgaven den skal utføre.

I dag er det vanligvis dronepiloten som kontinuerlig manuelt analyserer de informasjonene (for eksempel videostrømmer) som dronen sender ned til styrepulten mens den er i aksjon. På den bakgrunnen beslutter dronepiloten om det er en situasjon det må reageres på – og i et gitt fall, hva som må gjøres. Problemet er bare at bildene kan være dårlige, slik at piloten ikke kan se hva som foregår, eller piloten kan være uoppmerksom eller trøtt – alt sammen forhold som forringer kvaliteten av analysen og den påfølgende prosessen som resultatene blir brukt i.

Ideen hos selskapet er å legge inn en algoritme på selve dronen, som ikke bare sjekker at videostrømmen er av god kvalitet, men også gjennomfører en innledende første sjekk av om det er noe i de mottatte dataene som ikke er slik de skal være – eller ser mistenkelige ut. Hvis det er tilfellet, kan dronen bruke outputen fra algoritmen til automatisk å korrigere flygningen sin og/eller aktivere relevante tiltak fra dronepiloten eller andre eksterne aktører.

I den situasjonen – og generelt – ser Desupervised usikkerhetsberegningen som et unique selling point overfor kundene sine, fordi de ikke risikerer å overse vesentlige forhold ved gjennomføringen av en oppgave, og dermed at kunden kanskje taper penger ved manglende korrekt tiltak.

Markering av usikkerhet kan også i seg selv være informativt i situasjoner hvor det som man ikke har sett før, er det som er interessant.

– Forestill deg hva som finnes i dag av videoovervåkningsløsninger der personer prøver å ha oversikt over mange forskjellige skjermer på én gang. Vi kan ta en videostrøm og vise hva modellen er usikker på, for eksempel ved å gi den en farge som er mer intens desto mer usikkert systemet er, forteller Jens Skoustrup-Jacobsen.

– Informasjon om usikkerhet er relevant i alle prosesser som virkelig betyr noe, og hvor konsekvensene av en usikker prediksjon kan være omfattende og vidtrekkende. Med andre ord: Der hvor man veldig gjerne vil ha svar på spørsmålet: «Hvor sikker er du?» før man foretar et valg.

Vender alltid tilbake med et svar

Problemet rundt manglende rapportering av usikkerhet ble tidligere i år tatt opp av Genevera Allen, som er statistiker ved Rice University, hvor hun leder Center for Transforming Data to Knowledge.

I februar advarte hun mot modeller som er konstruert for alltid å komme med en forutsigelse.

«De kommer aldri tilbake med: «Jeg vet det ikke», eller: «Jeg oppdaget ingenting», for det er de ikke konstruert for», sa Genevera Allen, som pekte på cluster-algoritmer i helseforskning som et eksempel.

«Det finnes tilfeller hvor oppdagelsene ikke er reproduserbare. Clusters som er funnet i ett studium er helt annerledes enn clusters funnet i et annet. Hvorfor? Fordi de fleste maskinlærings-teknikkene i dag alltid sier: «Jeg har funnet en gruppe». Noen ganger er det langt mer nyttig hvis de sier: «Jeg tror at disse hører sammen, men jeg er svært usikker på de andre her».

Michael Green har samme perspektiv på utfordringen:

– Ofte snakker vi ikke om usikkerhet. Men usikkerhet er noe av det beste som vi har å lene oss på når vi tar viktige beslutninger. Det er ingen som kjenner hele sannheten. Men det vi kan gjøre, er å skape modeller som forteller når de er veldig usikre på en bedømmelse.

Muligheten for å kvantifisere usikkerhet åpner uunngåelig for et annet spørsmål: Hvordan formidles usikkerheten videre til sluttbrukere?

– I de fleste tilfellene vil det ikke være noen løsning å sende et prosenttall videre til sluttbrukeren, mener Michael Green.

– Tanken min er at det må håndteres av programvaren på kundens side, og den må sette grensen for når usikkerheten blir for stor. Så hvis algoritmen for eksempel er mindre enn 50 prosent sikker, kan programvaren returnere et svar til sluttbrukeren om at den ikke har et svar. Og eventuelt be brukeren om mer data eller et bilde fra en annen vinkel.

For de fleste av Desuperviseds kunder er det slik at modellene brukes som en del av et større system, og at resultatet sjeldent går direkte til en sluttbruker.

Saken ble først publisert på danske Datatech, og gjøres tilgjengelig på norsk for abonnenter av Digi Ekstra gjennom vår samarbeidsavtale med Teknologiens mediehus/Ingeniøren.