Fra hype til verdi av store språkmodeller: − Det er veldig mye vanskeligere

− Det er kort vei til et vellykket eksperiment med store språkmodeller. Men å virkelig få verdi ut av dem, det er veldig mye vanskeligere.

Erik Bakstad, administrerende direktør i Ardoq snakker av erfaring. Digi møter ham sammen med Nick Peters, operasjonsdirektør i selskapet. De to tror vi overvurderer hvor raskt vi kan dra nytte av fersk KI-teknologi.

Det siste året har selskapet, som leverer programvare bygget for å støtte virksomhetsarkitektur og større transformasjoner, jobbet med store språkmodeller i interne prosesser, i egne produkter og ute hos kundene.

Erfaringen er tydelig: Det som kreves for å lykkes med KI, er mye av det samme som kreves for å lykkes med annen digitalisering: Å være god på devops og hyppige leveranser, og ha stålkontroll på systemporteføljen, dataflyten, jussen og ikke minst egne prosesser.

Kjenner presset

Mens 2023 var året for den store hypen etter lanseringen av flere generative KI-modeller, er 2024 året for å ta det ned og begynne å trekke ut verdien, merker selskapet. De merker økende etterspørsel.

Og det er IT-sjefene som kjenner presset: Ledelsen og styret vil ha fart på KI-bruken. Ansvaret og risikoen om noe går galt, hviler ofte på IT-avdelingens skuldre.

Å sette KI på toppen av teknisk gjeld og en uoversiktlig systemportefølje, er ikke bare vanskelig, det kan være direkte uansvarlig. Og har du ikke oversikt har du ikke kontroll. Da får du heller ikke nytte av ny teknologi, mener Bakstad.

Den raske utviklingen på området, gjør det også mer krevende å finne ut hvor man skal plukke hyllevare, og hvor man skal jobbe med innovasjon.

− Det du aldri kommer til å angre på er å konsolidere, få kontroll på data, sørge for å ha det juridiske på plass, og strømlinje prosessene så du blir flink til å eksperimentere raskt, sier Bakstad.

Selskapet har øremerket over 20 millioner til KI-investeringer i 2024. Kontroll på prosesser og prosedyrer sto sentralt da 220 egne ansatte skulle begynne å ta i bruk nyvinningene i store språkmodeller.

Start med retningslinjer

− I april i fjor forsto vi at det var på tide å få på plass noen retningslinjer, og sørge for opplæring av de ansatte, sier Nick Peters, som har vært ansvarlig for den interne KI-satsingen i Ardoq.

Vi må eie dataene selv, ansatte kan stille generelle spørsmål, men ikke mate KI-en med egen informasjon, slo selskapet fast. Og det var viktig å starte med en forståelse av hva modellen kan og ikke kan.

Selskapet gikk til anskaffelse av GPT Enterprise, som er basert på GPT 4.

− Det er første gang vi har opplevd at vi ikke kunne få selgeren til å ringe oss opp igjen. Hele verden ville ha tak i programvaren, ler Peters.

Men i desember 2023, fikk Ardoq kjøpt lisenser.

− Når vi visste at alle hadde grunnleggende forståelse for teknologien og rammene våre, og at de ansatte kjenner egne prosesser mye bedre enn ledelsen, så kunne vi lene oss tilbake og se hva de ansatte valgte å bruke teknologien til, sier Peters.

Ganske raskt fikk selskapet opp 70 eksperimenter. Så kunne de måle hvor godt de ulike eksperimentene fungerte, og prioritere mellom dem.

− Folk kan ivrig selge inn KI-bruk som sparer dem fem minutter i måneden. Men målet må være å finne grepene som sparer fire timer i uka, hos tjue ansatte, sier Peters.

Det klarte de. Men selv de mest vellykkede eksperimentene støtte på noen begrensninger.

Viser hvor kompleks teknologien er

Et av forsøkene gikk rett i kjernen på det store språkmodeller er ganske gode på, å lese PDF-dokumenter. Selskapet fikk satt en enkel løsning som skulle lese dokumenter, og sjekke dem opp mot et rammeverk med 40 punkter. Det fungerte veldig bra. I starten.

− Men etter hvert ga den seg etter tjue sjekkpunkter, så etter 10, sier Peters og fortsetter:

− Det var frustrerende få se at teknologien fungerer, men at kvaliteten gikk ned.

Ardoq kontaktet Open AI med problemet. Heller ikke de hadde svar på hvorfor modellen blir lat etter å ha gjort samme oppgave noen ganger. De var selv på jakt etter løsninger på problemet.

− Det viser bare hvor kompleks denne teknologien faktisk er, at vi fortsatt er på eksperiment-stadiet, sier Peters.

Om teknologien ikke kan løse reelle oppgaver i egen arbeidsflyt, på en måte som kan skaleres, har den ingen verdi. Det er langt fra et vellykket eksperiment til skalerbar nytte i egne prosesser.

− Det er den siste biten som er kjempevanskelig, sier Bakstad.

Kommer til å ta tid

For tjue år siden sto mange i starten av større satsinger på digitalisering. Transformasjonen skulle mellom fem og ti år, trodde mange. Ti år senere, sier de fleste at de fortsatt har langt igjen å gå. Slik kommer det også til å være med kunstig intelligens, tror selskapet.

For heller ikke den teknologien fikser underliggende problemer. Du må alltid kunne bevise hvordan og hvorfor du har tatt en beslutning, og prosesser må kunne gjøres igjen og igjen på samme måte.

− Derfor kan du ikke starte med teknologien, du må starte med arbeidsflyten. Du må starte med «Jeg trenger å gjøre dette, i høyt volum med høy kvalitet». Så finner du ut hvilke systemer og data som må integreres, sier Peters.

Dermed er det kanskje ikke de store modellene som vil bli de som gir størst verdi.

Krever annen infrastruktur

− Skal vi gjøre dette i større skala, så er ikke Chat GPT svaret, det er en fin måte å sikre at alle har en assistent, men det kan ikke være måten vi gjør alle oppgavene våre, sier Peters.

Det som vil gi fart på innovasjonen, er å bygge en egen infrastruktur og prosesser for å kjøre mindre språkmodeller i tillegg til de store. Og støtte løpende testing, verifisering og forbedring av resultatene fra språkmodellene, mener selskapet.

Det handler om å kunne levere raskere, men med færre overraskelser.

− En annen ting som har blitt tydelig er at alle driver og skyter spurv med kanoner. Om man bruker Open AI på småting, er det risiko for at kostnaden til innføring spiser opp vinningen, sier Bakstad.

Svært få selskaper er med i konkurransen om hvem som skal utvikle den neste store språkmodellen. For vanlige bedrifter, handler konkurransefordelen om å skaffe seg fleksibilitet i hvilke modeller og teknikker de bruker, mener Bakstad.

− Å ha full oversikt over hvilke modeller du bruker, hvor de modellene henter data, og hvilke regler du må ta hensyn til, det er så viktig, sier Bakstad, som merker at disse, kanskje litt kjedeligere delene av virksomhetsarkitektur, nå har blitt tema helt opp til styrenivå, sier han.

Samtidig er ikke investeringsviljen nødvendigvis veldig høy. Få får store økninger i IT-budsjetter for å innovere med store språkmodeller.

− Du må få ned drifts- og forvaltningskostnaden din, og bruke det du sparer på å faktisk innovere, sier Bakstad.