Rapport: Derfor kan KI-modellene snart «kollapse»

Den pågående KI-revolusjonen har gitt opphav til nye trusler, og noen av disse henger sammen med den store mengden KI-generert innhold som nå florerer på nettet.

En ny rapport hevder nå at den kraftige økningen i KI-innhold på nettet kan sette de populære KI-modellenes pålitelighet i fare – og det kan skje relativt raskt. Blant andre nettstedet ZDNet fanget opp saken.

Trenes på KI-innhold

Analyseselskapet Gartner publiserte nylig en dyster spådom hvor det påpekes at den enorme mengden KI-generert innhold gjør internett til en stadig mer upålitelig datakilde.

Med tanke på at KI-modellene i stor grad trenes på data som er hentet nettopp fra nettet, truer dette fenomenet dermed den fremtidige påliteligheten og kvaliteten til KI-modellene – som igjen kan føre til det Gartner omtaler som «kollaps».

– Ettersom organisasjoner fremskynder både bruken av og investeringene i KI-initiativer, vil mengden KI-genererte data fortsette å stige. Dette betyr at fremtidige generasjoner med store språkmodeller i økende grad vil bli trent på resultater fra tidligere modeller, noe som øker risikoen for «modellkollaps» – en tilstand der KI-verktøyenes svar ikke lenger gjenspeiler virkeligheten på en nøyaktig måte, skriver Gartner.

Analysebyrået spår at denne trenden vil få drastiske konsekvenser for brukere av KI-modeller, ikke minst for organisasjoner som benytter teknologien. Disse vil bli nødt til å implementere mye strengere standarder for datahåndtering.

«Zero trust»

Selskapet tror at innen år 2028 vil hele 50 prosent av organisasjoner implementere en «zero trust»-tilnærming for datastyring på grunn av spredningen av uverifiserte data generert av kunstig intelligens.

«Zero trust» refererer i grove trekk til en sikkerhetspraksis hvor det kreves verifisering i alle ledd, og hvor den automatiske «tilliten» til at en bruker eller pålogging er legitim, elimineres.

– Etter hvert som KI-generert data blir mer gjennomgripende og umulig å skille fra menneskeskapte data, vil en «zero trust»-tilnærming som etablerer autentisering og verifikasjonsløsninger bli essensielt for å trygge forretningsmessige og økonomiske resultater, sa visepresident hos Gartner, Wan Fui Chan, i en pressemelding.

Analyseselskapet mener organisasjoner må være i stand til å identifisere og merke KI-genererte data, som krever nye verktøy og arbeidere som har opplæring i datahåndtering.

Vedvarende problem

Problemene knyttet til den store mengden KI-generert innhold på nettet, har også tidligere blitt belyst. Allerede i 2024 fortalte Digi om en studie utført av forskere fra Cambridge- og Oxford-universitetene, som også konkluderte med at KI-innholdet på nettet kan true kvaliteten på KI-verktøyene.

– Vi finner at vilkårlig bruk av modellgenerert innhold i trening forårsaker irreversible feil i de resulterende modellene, der ytterkantene av den opprinnelige innholdsfordelingen forsvinner, het det i forskningartikkelen, publisert hos Nature.

Forskerne fant at modeller som ble trent på genererte data har en tendens til å produsere mindre mangfoldige og mer repetitive resultater. Det ble observert en nedgang i ytelsen, ettersom de genererte dataene i økende grad avvek fra de opprinnelige treningsdataene, noe som førte til høyere usikkerhet/forvirring og modellkollaps.