Open AI lanserer nytt verktøy som er for «farlig» til at du kan bruke det

Kunstig intelligens er i en rivende utvikling, og teknologien har allerede blitt så avansert at noen av verktøyene de store KI-aktørene bygger blir holdt igjen fra offentlig lansering på grunn av sikkerhetsbekymringer.

Dette var tilfellet med Open AI sin nye videogenerator, som kan lage særdeles realistiske videoklipp fra kun enkle tekstinstrukser. Nå har selskapet lansert et nytt verktøy, og også dette regnes som for «farlig» for offentligheten.

Lager stemmer fra korte lydklipp

På bloggen sin omtaler Open AI nå «Voice Engine» – en ny KI-modell som kan generere naturlig tale fra kun en enkelt tekstinstruks og et 15-sekunders opptak av stemmen. Stemmen som genereres skal ifølge selskapet være svært lik originalen.

Den nye stemmegeneratoren ble utviklet allerede i 2022, og har siden den gang blitt brukt til å levere stemmer i diverse tekst-til-tale-API-er og den nye stemmefunksjonen til ChatGPT.

Teknologien har også vært tilgjengelig for et begrenset antall betrodde aktører som har brukt den i en rekke ulike applikasjoner, blant annet til leseassistanse og oversettelser av for eksempel videoer. Open AI selv sier de er imponerte over resultatene så langt.

Open AI er nå ute etter å starte en dialog med aktører på markedet for å samle inn informasjon om hva teknologien kan brukes til og ikke minst hvordan man kan unngå farene.

Selskapets innrømmer at denne teknologien har stor risiko knyttet til seg, som er hovedgrunnen til at Voice Engine ikke har fått en bred lansering. Open AI sier de ennå ikke har bestemt seg for om teknologien skal bli offentlig tilgjengelig.

Skummel «deepfake»-teknologi

– Vi erkjenner at generering av tale som ligner på folks stemmer har seriøse risikoer, noe som spesielt gjelder i et valgår. Vi er i dialog med amerikanske og internasjonale partnere på tvers av regjeringer, media, underholdning, utdanning, sivilsamfunnet og flere for å sikre at vi inkorporerer tilbakemeldingene deres mens vi bygger, sier selskapet.

Risikoen som Open AI omtaler er formodentlig først og fremst knyttet til «deepfake»-fenomenet, hvor ondsinnede aktører etterligner stemmen til virkelige personer for å blant annet svindle til seg penger.

Digi.no har rapportert om denne type svindel både i 2019 og i 2021. I sistnevnte tilfelle benyttet gjerningspersonene KI-basert deepfake-teknologi til å etterligne stemmen til direktøren i et større selskap, og klarte på den måten å svindle til seg hele 300 millioner kroner.

Teknologien er i mange tilfeller så realistisk at selv familiemedlemmer til personen som har fått stemmen sin stjålet på denne måten lar seg lure, som Digi.no rapporterte om i fjor.

Mer informasjon om Open AI sin nye stemmeteknologi, og eksempler på teknologien i aksjon, kan du finne på selskapets offisielle blogg.