Kodere brukte mer tid med KI-hjelp

Blir du mer eller mindre effektiv av å bruke store språkmoeller (LLM-er) til kodejobben? Derom strides de lærde, bokstavelig talt.

Å estimere tidsbruk er notorisk vanskelig. Nå viser det seg at utviklere heller ikke er særlig gode til å estimere tid spart med bruk av kunstig intelligens (KI), skal vi tro en fersk undersøkelse fra Metr, en ideell forskningsinstitusjon i Berkeley, California.

Forskerne ville finne ut hvordan KI-støtte i programvareutvikling påvirker effektivitet. Forsøket er et av få som er gjort på LLM-bruk til koding ute i felten, på et reelt prosjekt.

Bremset utviklerne

Forskerne ga 16 utviklere, som hadde i snitt fem års erfaring fra samme prosjekt, til sammen 246 oppgaver i prosjektet de allerede var godt kjent med. Oppgavene ble tilfeldig delt i to: De det var tillatt å bruke KI-støtte til, og de det ikke var tillatt å bruke KI-støtte til. Utviklerne fikk velge hvor mye de ville bruke KI-støtten, fordelingen var kun etter hvorvidt KI-støtte var tillatt eller ikke.

Da forskerne spurte utviklerne på forhånd, anslo de i snitt at KI-verktøyene de brukte, for det mest Cursor Pro med Claude 3.5/3.7, ville hjelpe dem å skjære bort nesten en fjerdedel av tidsbruken.

Etter at oppgavene var løst, mente utviklerne at LLM-støtten hadde spart dem for cirka 20 prosent av tiden.

Men til forskernes overraskelse økte tidsbruken hos utviklerne som brukte KI med 19 prosent.

− KI-verktøy bremset utviklerne, skriver forskerne i artikkelen.

Det er i sterk kontrast til hva ekspertene som forskerne hentet inn, hadde forutsett. Økonomene og eksperter i maskinlæring mente effektiviteten ville øke med nærmere 40 prosent.

Andre er slett ikke overrasket:

− Vi har mer enn 70 år med kvalitetskontroll-studier som viser at det å fjerne feilkilder er mye mer effektivt enn å prøve å fikse feilene midt i utviklingen, skriver en bruker på Reddit.

At utviklere bruker mer tid på å automatisere en kjedelig oppgave enn de noen gang ville klare å bruke på den kjedelige oppgaven, er ikke KIs feil, kommenterer en annen tørt.

Tidssluk

At utviklerne var så optimistiske om KI-støtten, kan i seg selv ha gjort dem mindre produktive, hinter forskerne. Om du antar at det å bruke LLM-en hjelper deg med å jobbe raskere, er det stor sannsynlighet for at du bruker den mer, også der den ikke hjelper deg.

Spesielt på oppgaver der utviklerne selv mente de kjente godt til oppgaven og allerede hadde verktøyene de trengte, var KI-en til lite hjelp. Det samme gjaldt komplekse oppgaver der utviklerne måtte forholde seg til en større kodebase.

Et av tidsslukene forskerne fant, var at når Cursor foreslo noe som ikke ville funke, brukte utviklerne likevel ganske mye tid på å gå gjennom forslaget før de justerte prompten.

En av utviklerne fortalte at han på en av oppgavene hadde brukt én time på å løse et spesifikt problem med KI, før han ga opp og løste det på egen hånd.

Mens utviklerne brukte mest tid på den faktiske kode-jobben når de ikke brukte KI, brukte de mer tid på å prompte, vente på svar og gå gjennom svarene fra Cursor når de fikk bruke KI.

Delte meninger

Tidligere undersøkelser på bruk av KI i programmeringsarbeid har gitt motstridende resultater.

En undersøkelse fra 2024, basert på data innhentet fra 800 utviklere som bruker Github Copilot, konkluderte med at effektivitets- og kvalitetsforskjellene var små, og KI-assistenter kan også bidra til nye problemer.

Studien kom frem til at KI-assistentene i snitt introduserte 41 prosent flere feil i koden enn før verktøyet ble tatt i bruk.

Mange har selvsagt en helt annen opplevelse.

I en annen undersøkelse kommer det frem at KI-assistenten har ført til at kode i snitt skrives 55 prosent raskere enn før, og 85 prosent av utviklerne følte de hadde større tillit til kvaliteten på koden enn tidligere.