Bedrifter kjøper KI-verktøy og forventer at utviklingsmiljøene skal levere mer på kortere tid. En utvikler kan få kodeforslag på sekunder. En KI-agent kan opprette komponenter, koble til databaser, skrive tester og endre flere deler av et system i én operasjon. Dette gjør det mulig å utvikle langt mer på kortere tid.
Den samme kapasiteten øker også den tekniske kompleksiteten. Hver ny komponent må integreres, sikres, testes, driftes og vedlikeholdes. Den trenger riktige data, tilganger, grensesnitt, logging og feilhåndtering. Den påvirker andre komponenter og blir selv påvirket når noe rundt den endres.
Integrasjonskostnaden vokser med antallet forbindelser og avhengigheter. Ti komponenter betyr langt mer enn ti isolerte enheter som skal forvaltes. En ny tilgangsregel kan stoppe en hel arbeidsflyt. En oppgradering av en modell kan gi andre resultater og skape konsekvenser i flere fagsystemer.
Virksomheten får dermed høyere utviklingstakt og svakere oversikt. På et tidspunkt mister den kontroll over hvordan systemene henger sammen, hvilke data de bruker og hvilke konsekvenser en endring kan få.
Uhåndterlig helhet
KI løser oppgaven den får presentert. Kvaliteten på løsningen avhenger av konteksten modellen får. Modellen kjenner sjelden virksomhetens samlede systemlandskap. Den vet ikke om en funksjon brukes i flere systemer, hvilken kilde som inneholder autoritative kundedata, eller hvorfor to applikasjoner tidligere ble holdt adskilt.
En KI-generert løsning kan derfor fungere godt for den konkrete oppgaven og samtidig skape duplisert funksjonalitet, inkonsistente data, tette avhengigheter og nye sikkerhetsflater. Denne utviklingen skjer gradvis. Hver endring virker avgrenset og fornuftig. Den samlede konsekvensen blir synlig når virksomheten skal feilsøke, endre eller erstatte noe. Produktivitet kan derfor ikke måles i genererte kodelinjer, gjennomførte oppgaver eller tiden frem til første demonstrasjon. Virksomheten må også vite om løsningen kan forstås, testes, endres og fjernes på en kontrollert måte.
God arkitektur avgrenser ansvar og reduserer hvor langt konsekvensene av en endring sprer seg. Høyere utviklingstakt krever tydeligere rammer for hva som skal bygges, hvor det skal plasseres, hvilke data det kan bruke, og hvordan det skal samhandle med eksisterende systemer. Modelltilgang, data, identitet, logging og sikkerhetsregler bør organiseres som felles tekniske lag. Det gir gjenbruk og gjør det mulig å bytte modell eller leverandør uten å bygge om hvert enkelt fagsystem.
Lesbar for KI
Erfarne utviklere og fagpersoner bærer ofte på kunnskap som aldri er skrevet ned. De vet hvilket systemer som inneholder de riktige kundedataene, hvilke unntak som gjelder, og hvilke tekniske løsninger som tidligere har skapt problemer. Denne kunnskapen er gjerne spredt mellom kildekode, dokumenter, Teams-tråder og hodene til noen få nøkkelpersoner.
KI får bare tilgang til den konteksten virksomheten klarer å gjøre tilgjengelig. En teknisk KI-klar organisasjon må derfor beskrive sin egen virkelighet presist. Den trenger oppdaterte oversikter over systemer, datakilder, grensesnitt og avhengigheter. Den må definere hvilke data som er autoritative, hvem som eier dem, og hvilke kvalitetskrav som gjelder. Dokumentasjonen må brukes aktivt og oppdateres når systemene endres. Målet er en pålitelig referansemodell som forklarer hvilke tekniske byggeklosser virksomheten har, hvordan de skal brukes og hvordan godt arbeid ser ut.
Dette er også avgjørende ved bruk av oppslagsbasert KI, ofte kalt RAG, hvor modellen henter informasjon fra virksomhetens egne kilder før den svarer eller handler. Motstridende, utdaterte og dårlig eide kilder gir modellen et usikkert grunnlag. En teknisk KI-klar virksomhet gir KI et kontrollert bilde av hvordan virksomheten faktisk fungerer.
Nye kontrollmekanismer
Generative modeller produserer resultater som kan variere når modellen, instruksen eller datagrunnlaget endres. Virksomheten trenger derfor representative testsett med kjente oppgaver og forventede resultater. Den må måle presisjon, feil og konsekvensene av feilaktige svar. Evalueringene må gjentas når modeller, instrukser og datakilder endres.
For agentiske systemer må også handlingsrommet testes. Virksomheten må undersøke hva agenten gjør når data mangler, et verktøy feiler eller to regler peker i ulike retninger. Kritiske handlinger må kunne stoppes og reverseres. Resultatet må kunne spores tilbake til modellen, instruksen, datagrunnlaget og godkjenningen.
KI kan også skape kognitiv gjeld. Det skjer når systemet fortsatt fungerer, mens menneskene gradvis mister forståelsen av hvordan det er bygget og hvorfor bestemte valg ble tatt. KI kan produsere kode raskere enn mennesker kan gjennomgå og forstå den. Virksomheten kan bli avhengig av KI for å forklare og vedlikeholde det KI selv har produsert.
Kode og automatiserte arbeidsflyter må derfor ha menneskelige eiere. Arkitekturbeslutninger må dokumenteres, eksisterende komponenter må gjenbrukes, og foreldreløs kode må fjernes. Omfanget av KI-genererte endringer må stå i forhold til virksomhetens kapasitet til å forstå, teste og ta ansvar for dem.
Teknisk KI-klarhet måles gjennom tiden fra en endring bestilles til den er i stabil drift, graden av gjenbruk, feilraten etter produksjonssetting og hvor raskt en endring kan spores, stoppes og reverseres. KI gjør det mulig å utvikle raskere. Den tekniske grunnmuren avgjør om virksomheten beholder kontrollen.
Enda en KI-modell hacket utenfor testmiljøet
