Mener KI-bruken i banker øker raskere enn kontrollen

Banker og fintech tar i bruk kunstig intelligens i høyt tempo. Fallgruvene er mange, og konsekvensene kan bli store, skal vi tro programvareselskapet Speednet.

– Når KI feiler, kan det se ut som det fungerer, sier Paavo Pauklin i Speednet.

Det er kanskje ikke verdens undergang om KI putter inn en feil i en bedrifts markedsføringsmateriell. Men det kan potensielt føre til konkurs om banken ikke vil låne penger til samme bedrift fordi bankens KI-modeller har gjort feil.

– Når KI kommer inn i produksjonen og blir en del av beslutninger, som å forberede kredittvurdering eller om noen får lån, kan konsekvensene bli store, sier han.

Feilene KI gjør trenger ikke nødvendigvis være synlige. For sluttbruker kan det fremstå som en «magic 8-ball» som produserer et ja eller nei. Men også banken kan ha samme opplevelse. Hva som er feil, er ikke alltid synlig.

– Systemet kan bruke data det ikke burde brukt, uten at banken vet det, sier Pauklin.

Estlenderen har tidligere vært innom Digi-spaltene, da han i 2015 spådde at videobanking ville bli det neste store. Når vi denne gang møter ham under Norway Fintech Festival i Bergen, er budskapet at KI må kontrolleres.

Ser ut som det virker

Det er måten KI feiler på som gjør det vanskeligere å håndtere enn tradisjonell programvare. Det kan tilsynelatende se ut til at alt fungerer som det skal.

– Den kan gi deg et veldig selvsikkert svar som er feil, sier han.

Dette er typen feil som bekymrer mest. For folk har en tendens til å spile på at noe som har fungert én gang også fungerer neste gang. Og det er ikke lett å fange opp at modeller endrer seg over tid (model drift), eller at ett av flere sammenkoblede KI-systemer begynner å generere feil svar.

Bruken av KI øker raskt i finanssektoren, forteller Pauklin. Raskere enn systemene for kontroll og styring. Og ifølge ham mangler mange virksomhet grunnleggende oversikt over hva de ulike KI-systemene faktisk driver med.

– Hvis de ikke har synlighet på hva som finnes i organisasjonen, hvor det er, og hvem som er ansvarlig, kan de få kaos, sier han.

Når vi spør om han kjenner til konkrete hendelser, viser han til et eksempel fra Air Canada, hvor en chatbot diktet opp nye regler for refusjon. Det endte med at selskapet måtte betale ut.

Spørsmål om tid

Han tror det bare er snakk om tid før vi får se noe lignende i finans.

– Vi kan få en «hva var det jeg sa»-situasjon om et halvt år, sier Pauklin.

Risikoen øker når flere KI-systemer tas i bruk.

– Hvis du ser på hvor mange løsninger som er i produksjon i dag, og hvordan det utvikler seg, så vil det skje hendelser, sier han.

Oppfordringen er å ikke falle for fristelsen til å behandle KI som annen programbare. Det holder ikke med en årlig kontroll. Modellene endrer seg hver dag, og virksomhetene må ha kontinuerlig kontroll på hvordan systemene oppfører seg, sier han.

– Men blir ikke det uhåndterlig?

– Nei, ikke med riktig verktøy, sier han.

Et slikt verktøy selger selvsagt Speednet selv, men poenget er at man ikke skal være nødt til å generere rapporter kontinuerlig. Men bedriften må være i stand til å gjøre det om de blir spurt om det.

Det er dette EUs AI Act forsøker å adressere. Det stilles krav til dokumentasjon, transparens og mulighet for menneskelig kontroll. Åpenbart noe mange vil oppleve som en byrde, men det er også en mulighet til å bygge tillitt, mener Pauklin.

– Hvis du kan vise hvordan systemene dine fungerer, er det lettere å bruke dem i større skala, sier han.

KI tar ikke beslutningene

Stian Karlsen, teknologidirektør i Sparebanken Norge, kjenner igjen problemstillingen.

– Språkmodellene er laget for å gi gode, troverdige svar. Men det er ikke sikkert at de har rett, sier han.

Sparebanken Norge bruker KI blant annet i interne arbeidsprosesser, systemutvikling og arbeid med antihvitvasking.

– Vi bruker ikke KI til å ta beslutninger for oss, men det kan være bra for å lage et grunnlag effektivt, sier Karlsen.

Han sier at banken har en risikobasert tilnærming. Mennesker skal fortsatt være med og kvalitetssikre.

Men han avviser ikke Pauklins hovedpoeng. Ansatte er ivrige på å ta i bruk KI, og det må holdes under kontroll.

– Vi kan ikke først sikre oss i alle retninger og så begynne å bruke det. Vi må lære hva som skal til for å gjøre det sikkert, samtidig som vi tar det i bruk.

Høyere risiko

Karlsen viser særlig til agentisk utvikling som et område med høyere risiko.

– Når du jobber på den måten, er det vesentlig høyere risiko. KI-agentene har i utgangspunktet alle mulige rettigheter på maskinen din, sier han.

Han tror ikke bank- og finansnæringen har sett de store KI-skandalene ennå.

– Det kommer garantert til å skje flere ting fremover, sier Karlsen.

Han mener det er lett å bli mer opptatt av å bruke KI enn av å ha kontroll på hvordan teknologien brukes ansvarlig.

– I Sparebanken Norge har vi valgt en retning hvor vi gradvis øker bruken, for å sikre både kontroll og læring underveis, sier Karlsen.