indeksering
Slik stanser du søkeroboten til Open AI
Open AI utgir dokumentasjon som tyder på at de vil respektere robots.txt, og dermed hvilket innhold de får lov til å trene på i fortsettelsen.
Illustrasjon: Google
Open AI har i det stille publisert detaljer om sin indekseringsrobot, GPTBot, som blir brukt til å høste inn websider for å trene opp kunstig intelligens.
Alle nettsteder kan legge inn en kommando i en tekstfil kalt «robots.txt» på domenets rotnivå, noe som vil blokkere roboten fra å skrape innholdet. Her er et fungerende eksempel:
User-agent: GPTBotDisallow: /