Mann innlagt med sjelden sykdom – hadde fulgt Chat GPT-råd

Med Chat GPT har det blitt enkelt og raskt å stille egne diagnoser og få helserelaterte råd, og mange bruker den hyppig som en ny «nettdoktor».

Men det kan få alvorlige følger å gå utenom fastlegen.

En 60-åring i USA utviklet nemlig bromisme – en sykdom som oppstår etter langvarig inntak av det giftige stoffet brom. Han begynte å innta stoffet etter å ha spurt Chat GPT om råd.

Ifølge en fersk casestudie publisert i «Annals of Internal Medicine» hadde mannen lest at salt kan være helseskadelig, og han lette derfor etter et alternativ. Han valgte å spørre Chat GPT, som foreslo at man kunne erstatte bordsalt med natriumbromid. Dette stoffet spiste han i tre måneder.

Etter hvert utviklet han gradvis paranoia. Han endte til slutt opp på legevakten og fortalte at han var overbevist om at naboen forsøkte å forgifte ham.

Ifølge rapporten hadde mannen ingen tidligere psykiatrisk eller medisinsk historikk, men i løpet av det første døgnet på sykehuset opplevde han økende paranoia og hallusinasjoner. Tilstanden bedret seg under innleggelsen. Da han var stabilisert, fortalte han at han i tillegg hadde slitt med blant annet søvnløshet, begynnende koordinasjonsproblemer og ekstrem tørste.

Kan generere unøyaktigheter

Ifølge rapporten er det antatt at mannen brukte enten Chat GPT 3.5 eller 4.0 og at KI-en muligens ikke mente at natriumbromid skulle brukes som erstatning for salt i mat, men for eksempel i rengjøring.

Det har imidlertid ikke vært mulig å få innsyn i samtalen for å fastslå hva han faktisk spurte om, eller hvordan Chat GPT formulerte svaret. Likevel opplevde forskerne bak rapporten at da de selv stilte lignende spørsmål til Chat GPT 3.5, fikk de svar der natriumbrom ble foreslått som et alternativ til salt. Svaret inneholdt riktignok kontekst rundt bruksområdet, men uten noen form for advarsel om de helseskadelige effektene av brom.

– Det er derfor viktig å være oppmerksom på at Chat GPT og andre KI-systemer kan generere vitenskapelige unøyaktigheter, mangler evnen til å diskutere funn kritisk og i verste fall bidrar til spredning av feilinformasjon, heter det i rapporten.

Utelater symptomer

Tilfellet med 60-åringen som brukte Chat GPT til å få helseråd er langt fra unikt. Ifølge danske TV 2 blir det stadig vanligere blant dansker å bruke ulike chatboter for å stille egen diagnose.

Også Open Ais toppsjef Sam Altman har sagt at han er «urolig» over måten mange bruker Chat GPT på.

Og Chat GPT kan gi tenåringer farlige råd om narkotika, alkohol og selvmord, ifølge en ny studie.

Selv om denne saken illustrerer at man ikke ukritisk bør følge råd fra språkmodeller uten å rådføre seg med lege, viser en britisk studie at chatbotene er flinke til å stille riktig diagnose – så lenge pasienten ikke er involvert.

I studien plukket et legeteam ut ulike sykdommer og listet opp symptomer. Deretter fikk tre ulike språkmodeller og 1298 briter utdelt symptomene, og skulle forsøke å stille riktig diagnose. Språkmodellene kom med riktig diagnose i 95 prosent av tilfellene. Men da pasientene selv skulle samarbeide med chatboten, sank andelen riktige diagnoser til 68 prosent. Årsaken var at pasientene selv valgte hvilke symptomer de oppga og hvilke de utelot – noe som gjorde det vanskelig for modellen å gi korrekt svar.

Også forskere ved Harvard University har undersøkt om det er språkmodeller eller leger som er best til å stille diagnoser. Der fant de at legene traff riktig i 76 prosent av tilfellene, mens språkmodellen traff riktig i 92 prosent.

Men også her så man samme mønster:

Når pasientene selv brukte språkmodellen, økte antall feil betydelig.

Artikkelen ble først publisert på Version 2 for deres abonnenter. Den er tilgjengelig for Digis abonnenter gjennom vår samarbeidsavtale.