Microsoft advarer mot KI-manipulering

Generativ kunstig intelligens (KI) har fått en enorm oppmerksomhet etter at OpenAI lanserte tekstgenereringsmodellen ChatGPT på tampen av 2022.

Denne og lignende teknologi på full fart inn i forretningsapplikasjoner, vanlige apper, operativsystem og mye annet.

Utviklere, virksomheter og stadig flere vanlige mennesker kan ta i bruk store språkmodeller (LLM), som er ferdig trent, for å gjøre ting som å forbedre produktivitet eller å automatisere bort kjedelige oppgaver.

I kjølvannet har vi fått debatter om alt fra behov for lovregulering til frykt for tap av arbeidsplasser, som kan bli gjort overflødige av prateroboter.

Vern mot manipulasjon

Nils-Ove Gamlem i Microsoft savner en dimensjon. Sikkerhetseksperten etterlyser mer bevisstgjøring rundt farene ved manipulering og angrep.

– Hvordan skal vi beskytte KI-tjenester? En ting er treningsdata og testdata, man må også beskytte selve modellen eller algoritmene, og selvsagt resultatet. Alt henger sammen, sier Gamlem.

De fire områdene må beskyttes, uansett om du belager deg på bruk av en skytjeneste som ChatGPT – eller bygger andre modeller med virksomhetens egne data.

Treningsdata ivaretas gjennom informasjonsbeskyttelse. Det handler om riktig merking av data, men også tilgangskontroll eller hva den enkelte har lov til å gjøre, mener han.

– Tilgangen er gitt, men har du lov til å endre noe? Er det etablert logging og monitorering, hvem har endret data? Det handler om å kunne ettergå hva som er gjort.

Uønsket innblanding trenger ikke å dreie seg om tukling med noe eksisterende. Det kan like gjerne være introduksjon av falske data, som en slags forgiftning.

Må tidlig inn i prosessen

Det skorter ikke på produkter som er laget for å ivareta dataintegritet og beskyttelse av arbeidslast i servere, lagringstjenester, databaser og mikrotjenester. Når det gjelder beskyttelse av algoritmer er vi kommet mye kortere.

– Utfordringen i dag er at altfor få har et bevisst forhold til det å bygge sikkerhet rundt KI-modellene, sier Gamlem.

Slik bekyttelse kommer ofte som en ettertanke og for sent i prosessen, tror han.

– Vi har lenge snakket om at utviklere bør tenke sikkerhet mye tidligere. «Shift left» er et begrep som handler om å få sikkerhet helt fra starten (til venstre i) i et utviklingsløp. Dette bør på plass også for utviklere og arkitekter som utvikler KI-tjenester for organisasjonen.

Gamlem nevner at det finnes etablerte rammeverk, blant annet Atlas fra Mitre, som er lagd spesifikt for KI med en prosessflyt som gjerne er tilpasset et enterprisemiljø. Det er observert en økende trend med angrep mot maskinlæring-systemer i produksjon.

Ketchup-effekt

Han uttaler seg som sikkerhetsekspert. Innen kunstig intelligens ser Gamlem på seg selv mer som en nysgjerrig oppdager.

Generativ kunstig intelligens har nærmest fått en ketchupflaske-effekt etter all mediedekningen av fenomenet det siste halvåret, mener han, som minner om at de har jobbet med dette en stund.

– I Microsoft har vi drevet med maskinlæring og kunstig intelligens veldig lenge. Alt fra funksjoner innen bildegjenkjenning, tekst til tale, tale til tekst, den typen ting. Så har vi investeringen i OpenAI. Det har røsket opp i hele markedet.

Microsoft har lansert sin ChatGPT-drevne tekstrobot «copilot» i en mengde produkter og assistenten er også på vei til Windows. Dette er også byggeklosser man kan kjøpe i skyplattformen Azure.

Google jobber på sin side med å utvikle alternativet Bard. Salesforce er på banen med EinsteinGPT. Oracle har nylig kunngjort planer om å ta i bruk Cohere i en bred satsing på store språkmodeller som kan minne om Microsofts samarbeid med OpenAI. Det norske teknologiselskapet Cognite har akkurat avduket en KI myntet på industrielle data.

– Pass på i iveren

Dette er teknologi som ved å trenes opp på milliarder av tekstlinjer gir oss modeller som kan spytte ut tekst, eller tale for den saks skyld, som tilsynelatende gir mening for oss mennesker.

Modellene kan sammenligne, oppsummere, oversette og produsere lange, mer eller mindre fornuftige tekster om nær sagt hva som helst. Kritikere har pekt på at ChatGPT fremstår som en plagierende tekstrobot med hallusinasjoner, som kan drømme opp ting og hendelser eller personer som aldri har eksistert i virkeligheten.

Det skyldes at språkmodellene har en matematisk tilnærming til hvilke ord som skal stables etter hverandre, og at sannsynlighet og statistikk inngår i beregningene. Når nok ord settes sammen får man en setning, men den trenger ikke å være sann eller fakta.

Nils-Ove Gamlem er teknologioptimist. Det er helt andre ting han sikter til når han frykter manipulering av KI.

– Det jeg frykter er konsekvenser som følge av data som havner på avveie eller sikkerhetsbrister som gjør at resultatene som kommer ut ikke er riktige, men manipulerte. Hvis vi bygger algoritmer og systemer vi tester og stoler på, som på et senere tidspunkt er blitt endret, uten at vi kan vite hva, sier han.

Nesten daglig kan man lese i avisen om en virksomhet eller organisasjon som har blitt kompromittert, som har mistet data, kanskje som følge av utpressingsvare. Dette har virket oppdragende, mener Gamlem.

– Vi har fått en høyere grad av bevissthet rundt sikkerhet, nettopp på grunn av situasjonen. Det er kommet høyt på agendaen hos ledere og de fleste styrerom. Nå må vi passe på i dagens iver etter å ta i bruk KI at det ikke går tre-fire-fem år, før man oppdager at det er lurt å tenke sikkerhet også på det området, konstaterer bransjeveteranen, som jobbet 17 år i Cisco og var innom både IT-ledelsen i Nav og rollen som teknologidirektør i Check Point før han gikk til Microsoft.