«Devin» skal være verdens første KI-baserte programvareingeniør

Flere av de mest potente KI-assistene som har dukket opp den siste tiden, har vist seg å være særskilt dyktige på programmering. Nå har en relativt ukjent aktør tatt KI-baserte programmeringsegenskaper til det neste nivået.

Et selskap ved navn Cognition Labs avduket nylig noe de kaller verdens første KI-programvareingeniør – døpt «Devin».

Det som først og fremst skiller Devin fra konvensjonelle KI-assistenter som er kompetente på koding, er at den ifølge utvikleren er fullstendig autonom – altså selvstyrt.

Kan gjøre «alt» på egen hånd

Devin er designet for å kunne planlegge og gjennomføre kompliserte oppgaver som krever flere tusen avgjørelser underveis, hevder Cognition Labs.

KI-ingeniøren skal kunne forstå den fulle konteksten av hva den driver med til enhver tid, og den kan lære av egne feil og forbedre sine egne evner – helt på egen hånd.

Den skal også kunne bruke de samme verktøyene som en menneskelig utvikler benytter seg av i sitt virke.

En annen egenskap som Cognition Labs har utstyrt ingeniøren sin med, er evnen til å samarbeide fortløpende med brukeren.

Rapporterer i sanntid

Devin kan blant annet rapportere om fremgangen sin i sanntid, lytte til tilbakemeldinger, og ta valg i samråd med brukeren.

Den kan også bygge og kjøre applikasjoner fra begynnelse til slutt, lære å bruke ukjente verktøy og teknologier ved å for eksempel lese en tekst, og den kan finne og fikse feil i kodebaser uten noe menneskelig innblanding.

Én av oppgavene Devin har blitt satt til, er å jobbe med åpen kilde-prosjekter på Github-plattformen, hvor den kan finne frem til – og fikse – koderelaterte problemer kun via en lenke til det aktuelle prosjektet.

All konteksten og de nødvendige filene finner den frem til selv.

Skal ha gjort det skarpt i krevende test

Ikke minst skal Devin være i stand til å trene seg selv og justere og forbedre sine egne KI-modeller, noe som også kan gjøres ved å simpelthen servere assistenten en lenke.

Cognition Labs har kjørt Devin gjennom den såkalte SWE-bench-testen, en krevende ytelsestest som brukes til å måle KI-modellers evne til å løse problemer i virkelige kodeprosjekter på Github.

Ifølge selskapet oppnådde Devin en suksessrate på 13,86 prosent i den uassisterte varianten av testen, hvor ingen menneskelig innblanding finner sted. Dette overgår med solid margin den forrige rekorden på 1,96 prosent – oppnådd av KI-modellen Claude 2.

Selv målt mot konkurrentenes assisterte tester, skal Devin ha vunnet med god margin. Den beste konkurrenten, Claude 2, klarte 4,8 prosent i den assisterte testen.

Assistenten befinner seg ennå i utviklingsfasen og har begrenset kapasitet, men brukere som er interessert i å prøve ut den nye KI-ingeniøren, kan sende forespørsel om tilgang via denne siden. Interessenter må blant annet oppgi hva de ønsker å bruke Devin til.

Det er ennå uvisst om eller når Cognition Labs planlegger en bredere lansering for allmennheten.