Nyeste versjon av ChatGPT bestod legeeksamen: Stiller rett diagnose på sekunder

En lege ved Harvard sier at den fjerde versjonen av det neurale nettverket som ble lansert i mars er like god på diagnostikk som ham. Det skriver Insider.

Lege og informatiker Isaac Kohane har testet ChatGPT-4 for å se om den kunstige intelligensen har noe å stille opp med i en klinisk setting. Det neurale nettverket besvarer spørsmålene på den amerikanske legeeksamen korrekt i 90 prosent av tilfellene.

Harvard-doktoren har også matet det neurale nettverket med et klinisk scenario som han selv har diagnostisert i løpet av egen karriere. ChatGPT var kapabel til å stille korrekt diagnose på sykdommen som kun én av hundretusen spedbarn får på få sekunder.

Ikke pålitelig

Selv om Kohane er svært imponert over resultatene til nyeste versjon av den kunstige intelligensen til OpenAI, konstaterer han også at det neurale nettverket ikke er helt pålitelig.

Det finner opp fakta, gjør enkle regnefeil og overser viktig, men subtil informasjon i en klinisk setting, konstaterer han til Insider.

Kohane mener det på sikt er mulig å ta i bruk teknologien i medisinsk profesjon, og at AIen på et tidspunkt kommer til å bedre skikket til å gjøre kliniske vurderinger enn svært spesialiserte mennesker.

OpenAI er etablert av stiftelsen med samme navn, som ble grunnlagt av Sam Altman og Elon Musk med flere i 2015. I januar kjøpte Microsoft seg opp i selskapet gjennom en investering på rund 100 milliarder kroner.

Testet norske eksamener

Selskapet er allerede i gang med å implementere teknologien i en rekke tjenester på tvers av produktporteføljen. Blant disse er søkemotoren Bing, Word, PowerPoint og Outlook – i tillegg til en rekke andre skytjenester.

Norske forskere ved Universitetet i Agder (UiA) har også undersøkt hvor godt ChatGPT kan svare på eksamensspørsmål.

Forskerne ba 15 kollegaer om å vurdere ti besvarelser på et spørsmål fra en eksamen som hadde blitt holdt ved universitetet i 2022. Halvparten av svarene var ekte studentbesvarelser, mens resten var AI-genererte.

Besvarelsene fra ChatGPT fikk C i karaktersnitt. En av besvarelsene ble bedømt til B+, mens en annen fikk D. Det totale karaktersnittet var nøyaktig det samme som studentbesvarelsene.

– Må få nasjonalt regelverk

40 prosent av ChatGPT-besvarelsene gikk gjennom uten at sensorene avslørte at de var skrevet av et neuralt nettverk.

– Det er dessverre betydelige muligheter for studenter som ønsker å jukse. Dette er noe som bør forskes intensivt på i tiden som kommer, sa førsteamanuensis Peter André Busch ved Institutt for informasjonssystemer ved UiA i mars.

Forskerne har etterlyst et nasjonalt lovverk for bruk av kunstig intelligens i en akademisk sammenheng.

– Et nasjonalt regelverk bør gjelde for både universitet- og høgskolesektoren, og for den videregående utdanningen, sa førsteamanuensis Geir Inge Hausvik ved UiA da.