En fiktiv diagnose, introdusert som del av et eksperiment ledet av den svenske forskeren Almira Osmanovic Thunström, ble på kort tid integrert i svarene til flere ledende KI-systemer og fremsto som plausibel medisinsk kunnskap, viser en nylig publisert studie i det anerkjente tidsskriftet Nature.
Eksperimentet viser flere ting, blant annet den iboende strukturelle sårbarheten til kunstig intelligens (KI). Store språkmodeller skiller ikke mellom sant og usant i epistemisk forstand; de reproduserer mønstre som ligner autoritativ kunnskap.
Når feilinformasjon fremstår i formater som etterligner vitenskapelig legitimitet, som preprints, referanser og teknisk språk, øker sannsynligheten for at den videreføres. Studier tyder på at slik formatering ikke bare videreformidles, men også utbroderes. Og dynamikken stopper ikke her.
Kontrollmekanismer svikter
Det samme materialet ble siden sitert i fagfellevurdert litteratur, til tross for at det eksplisitt sto i originaldokumentet at hele artikkelen var oppdiktet og at 50 oppdiktede personer i alderen 20 til 50 år ble rekruttert til eksponeringsgruppen. Åpenbart fiktive referanser som henvisninger til «Professor Maria Bohm at The Starfleet Academy... and her lab onboard the USS Enterprise» og «the Professor Sideshow Bob Foundation for its work in advanced trickery. This work is a part of a larger funding initiative from the University of Fellowship of the Ring and the Galactic Triad» gikk også under radaren.
Her svikter de menneskelige kontrollmekanismene. Når ikke fagfellevurdering fanger opp slike forhold, reises et mer grunnleggende spørsmål: Hva er da sannsynligheten for at ikke-eksperter skal gjøre det? Sluttbrukeren forventes å utøve kildekritikk, men både forskning og erfaring tilsier at informasjon som fremstår faglig og konsistent, i praksis blir tillagt høy tillit. Det er i dette spennet mellom forventet kritisk vurdering og faktisk tillit at sårbarheten oppstår.
Tillit blir sårbarhet
Jeg må innrømme at jeg dro på smilebåndet selv da jeg leste disse sitatene, og samtidig er implikasjonene dramatiske. Feilinformasjon og bevisst desinformasjon er åpenbare risikoer, det samme med en gradvis uthuling av hva vi oppfatter som gyldig kunnskap.
Fra psykologien vet vi at mennesker er notorisk dårlige på kritisk analyse og sårbare for informasjon som fremstår troverdig. Vi har rett og slett et kjempeproblem.
Slik bygget de internett for 1500 gamere på fire dager
