Cloudflare blokkerer KI-robotene som skraper data fra nettet

Den hektiske KI-revolusjonen som nå pågår, har sine fordeler, men den intense konkurransen har også klare ulemper – hvorav én er den omfattende datainnsamlingen som de populære KI-modellene har nødvendiggjort.

Det umettelige behovet for data som karakteriserer de store språkmodellene, har fått KI-aktørene til å benytte automatiserte, datainnsamlende bot-er i et enormt omfang – kalt «AI crawlers», eller KI-søkeroboter på norsk.

Disse robotene opererer ofte på en uautorisert måte og kan utgjøre en trussel for personvernet.

Cloudflare starter blokkering

Digi har tidligere skrevet at selskapet Cloudflare har hatt høner å plukke med søkerobot-fenomenet, som altså har eksplodert i omfang, og de kom opp med en kreativ løsning som innebar å forvirre og forstyrre robotene med falske data for å gjøre jobben deres vanskeligere.

Nå har Cloudflare imidlertid gått enda lengre i sin trusselvurdering av KI-søkerobotene og kunngjør på nettsidene sine at de har begynt å blokkere KI-søkerobotene som standard for alle kundene sine. Blant andre ZDNet har skrevet om saken.

Dette innebærer altså at robotene ikke lenger har tilgang til innholdet på nettsidene til Cloudflares kunder, med mindre eksplisitt samtykke har blitt gitt. Selskapet hevder de er de aller første som tilbyr denne typen blokkering blant infrastruktur-tilbydere.

Cloudflare er et globalt cybersikkerhets- og nettverksselskap som tilbyr tjenester som DDoS-beskyttelse, innholdsleveringsnettverk og sikre tilgangsløsninger for å forbedre nettsikkerhet, hastighet og pålitelighet.

Selskapet bruker relativt harde ord i sin omtale av KI-søkerobotene og hevder at fenomenet har «ødelagt» den veletablerte internettmodellen hvor konvensjonelle søkemotorer indekserer innhold og leder brukere til originalkildene – og på den måten genererer trafikk og annonseinntekter basert på kvaliteten på innholdet som produseres.

Mener internetts fremtid står på spill

Søkerobotene samler nemlig inn enorme mengder innhold uten å sende brukere til originalkildene, som da fratar innholdsprodusentene både inntekter og tilfredsstillelsen ved å vite at innholdet faktisk konsumeres av andre.

– Hvis det ikke finnes insentiver for å skape originalt og innhold av høy kvalitet, taper samfunnet – og internetts fremtid står på spill, skriver Cloudflare.

I en kommentar hevder toppsjef og medgrunnlegger Matthew Prince at det er avgjørende å gi kontrollen tilbake til innholdsprodusentene.

– Hvis internett skal overleve KI-alderen, må vi gi publisister den kontrollen de fortjener og bygge en ny økonomisk modell som fungerer for alle – skapere, forbrukere, morgendagens KI-gründere og selve nettets fremtid, sier Prince.

– Originalt innhold er det som gjør internett til en av de største oppfinnelsene det siste århundret, og det er avgjørende at skapere fortsetter å lage det. KI-søkeroboter har hentet innhold uten grenser. Målet vårt er å gi makten tilbake til skaperne, samtidig som vi fortsatt hjelper KI-selskaper med å innovere, legger han til.

Kan bruke masse båndbredde

I tillegg til problemene Cloudflare beskriver, har KI-søkerobotene også den effekten at de kan legge beslag på store mengder båndbredde og gjøre internett-opplevelsen vesentlig tregere.

Nettstedet Inmotion Hosting meldte for eksempel i april at søkerobotene fra selskaper som Open AI og Anthropic overvelder nettsider med trafikk, og i ett tilfelle rapporterte en bruker at Open AIs KI-søkerobot GPTBot konsumerte 30 terabyte med båndbredde på én måned.