Kjendisutvikler: Uønsket KI-skraping ødelegger nettet

Utvikler og teknologiforfatter Gergely Orosz er blant flere som har advart mot hensynsløs «skraping» av innhold på internett. Det er kopiering eller maskinell nedlasting av tekst og filer.

Tradisjonelt er dette indeksering av søkemotorer, men i økende grad også chatboter, samt KI-aktørenes innhøsting av enorme mengder innhold for å utvikle store språkmodeller.

I mars skrev Orosz på Bluesky at nettsiden hans techpays.com – et lite sideprosjekt – hadde fått båndbreddebruken syvdoblet på grunn av skraping, blant annet fra Metas KI-crawler. Økningen førte til ekstra kostnader, uten at det kom flere menneskelige lesere.

– Jeg er forbanna over å måtte hanskes med dårlig skrevne roboter som ignorerer robots.txt, skrev han, og siktet til standarden med kommandoer som forteller hvordan en crawler eller nettagent skal oppføre seg og hvilke deler av et nettsted de får besøke.

Kjendisutvikleren skrev også at KI-skrapingen nå ødelegger det åpne internettet.

Han har tidligere jobbet for Microsoft, Skype og Uber. Nå er han mest kjent for The Pragmatic Engineer på Substack, som er det mest populære teknologinyhetsbrevet på plattformen med over en million abonnenter.

Innfører blokkering – vil kreve betaling fra skrapere

Nå får han støtte fra Cloudflare, et av verdens største internettselskaper. 1. juli varslet selskapet at de heretter blokkerer KI-crawlere, med mindre disse aktørene betaler for tilgang til innholdet de skraper.

Synet er at det digitale økosystemet er i ubalanse. Innholdsskaperne pleide å få noe tilbake, for eksempel trafikk fra søkemotorene.

– Nå blir weben utarmet av KI-roboter, mens skaperne får tilnærmet ingen trafikk og derfor ingen verdi, skriver Cloudflare-sjef Matthew Prince i en kunngjøring.

Søkemotoren som sluttstasjon

Cloudflare håndterer anslagsvis opp mot 20 prosent av trafikken på internett, så tiltaket er potensielt betydningfullt.

De kaller tiltaket «Content Independence Day», og vil på sikt etablere en markedsplass hvor KI-aktører og innholdsskapere kan inngå avtaler.

Ifølge Prince er tiden over for den gamle modeller der webtrafikk var eneste byttemiddel.

– En KI-drevet web belønner ikke lenger innholdsskapere slik den gamle søkemotor-drevne weben pleide å gjøre. Det må endres, mener han.

Cloudflare peker på hvordan Googles søkemotor har gått fra å være en henviser til eksternt innhold, til å bli en leverandør av svar direkte i søkeresultatet. Denne utviklingen er blitt forsterket med funksjoner som AI Overviews, som presenterer KI-genererte sammendrag direkte på Google.com – ofte uten behov for å besøke kilden.

En lang rekke analyser og bransjeobservatører har pekt på at dette allerede har redusert klikkraten betydelig. Innen søkemotoroptimalisering (SEO) omtales fenomenet som «zero-click»-søk – altså søk der brukeren får svar uten å klikke videre. Ved enkelte typer søk kan opptil 75 prosent av brukerne nøye seg med svaret Google gir, ifølge erfaringer fra aktører i bransjen.

Et konkret eksempel (se bildet nedenfor) er søk som «Hva er BNP i Norge», der Google nå presenterer både faktabokser og KI-genererte forklaringer rett i søkeresultatet. Når svaret vises direkte, forsvinner insentivet til å besøke originalkilden – som for eksempel Statistisk sentralbyrå.

Selv om slike tall varierer med søkebegrepet og brukerens intensjon, peker utviklingen tydelig mot en ny informasjonsøkonomi der innholdet vises – men klikkene uteblir.