Annonse
indeksering
Slik stanser du søkeroboten til Open AI
OpenAI lar nettsteder oppgi at de ikke ønsker å bli indeksert og brukt til trening av store språkmodeller.
Open AI har i det stille publisert detaljer om sin indekseringsrobot, GPTBot, som blir brukt til å høste inn websider for å trene opp kunstig intelligens.
Alle nettsteder kan legge inn en kommando i en tekstfil kalt «robots.txt» på domenets rotnivå, noe som vil blokkere roboten fra å skrape innholdet. Her er et fungerende eksempel:
User-agent: GPTBotDisallow: /
Flere amerikanske nettsteder har valgt å stanse GPTBot på denne måten, deriblant The Verge.
Robots.txt er et hjelpemiddel som vanligvis brukes til å fortelle søkemotorer som Google hvilke nettsider og mapper det er lov eller ikke lov å indeksere. Protokollen har en nesten 30 år lang historie.
Open AI har for øvrig også publisert en oversikt over hvilke IP-adresser som deres bot vil kjøre med, noe som åpner for å blokkere GPTBot også i en brannmurkonfigurasjon, for eksempel.
Ingen tilbakevirkende kraft
Selskapet oppgir i dokumentasjonen at websider som indekseres, kan bli brukt til å forbedre framtidige modeller.
Annonse
Muligheten for å blokkere søkeroboten kom for sent til å gjelde Chat GPT eller det nåværende datagrunnlaget for GPT 4, som ble skrapet for flere år siden uten at noen ble informert, påpeker tidsskriftet Ars Technica.
300 milliarder ord er matet inn i GPT 3-modellen, som skal være trent på bøker, Wikipedia, nyhetsartikler, tekstdatabaser og annet webinnhold.
Juridisk kattepine
I USA har flere forfattere anlagt gruppesøksmål mot Open AI, som står bak Chat GPT, med påstand om brudd på opphavsretten.
Microsoft er trukket inn som medsaksøkt, fordi de utøver «betydelig kontroll» med Open AI etter å investert titalls milliarder i foretaket, viser stevningen.
Det anføres at Microsoft Azure fungerer som eksklusiv skyplattform for Open AI. Microsoft har innført chatroboten på bred front i egne produkter og forventes å tjene gode penger på samarbeidet.
Annonse
Flere lignende søksmål mot Facebook-eier Meta og Googles eierselskap Alphabet, som også anklages for brudd på opphavsrett, er under oppseiling. Kunstnere har gått til sak mot KI-baserte bildegeneratorer som Stable Diffusion og Midjourney med tilsvarende argumenter.
En føderal domstol vil på et tidspunkt få høre at forfatterne aldri har gitt samtykke til at bøkene deres kan inngå som treningsgrunnlag til store språkmodeller, som ligger til grunn for den kunstige intelligensen.
Chat GPT ble for alvor kjent for verden på tampen av 2022. Open AI fikk raskt et par hundre millioner brukere. I kjølvannet av lanseringen har selskapet blitt verdsatt til 30 milliarder dollar.
