Opplysningene stammer fra en lengere artikkel i tidsskriftet Inter@ctive Week. Bladet siterer blant annet en webmaster ved et av USAs ti største websteder. Mot et løfte om anonymitet var han villig til å fortelle om en robot som kommer innom stedet hans hver dag, undersøker systematisk samtlige av stedets mange tusen artikler, og kopierer teksten til nesten hver artikkel til et ikke-oppgitt sted. I noen av webstedets områder, sto denne roboten for rundt 30 prosent av den samlede trafikken. Da denne roboten ble undersøkt nærmere, ble det oppdaget minst to andre roboter som systematisk klikket seg bortover all grafikk, også annonsene.
Anslaget over robotenes andel av den totale trafikken på web, stammer fra Dick Bennett i Audit Bureau of Circulation. Dette byrået leverer statistikk over hits til utvalgte kunder, og er opptatt av å skille det som leses av mennesker fra klikk generert av roboter. Folk bruker roboter for å slippe å streife på egen hånd, og det antas at mange, kanskje de aller fleste, robot-genererte hits ikke gir lesere i den andre enden.
I noen tilfeller har våkne webmastere avdekket svindel. Michael Valentin ved Pathfinder – webstedet til Time Warner – sier til Inter@ctive Week at han tok en robot på fersk gjerning i fjor. Bladet People hadde en online avstemning om utvalgte kjendisers popularitet. Roboten deltok svært ivrig, og stemte en rekke ganger på den samme kandidaten. I dag har Pathfinder sju medarbeidere på heltid for å analysere hit-statistikken og skille ut robot-genererte hits.
Det er allmenn enighet om at bruken av roboter og agenter for å lette innsamlingen av aktuell informasjon, kommer til å øke i tiden framover. En av de viktigste faktorene er utviklingen av nettlesere. Både Netscape Navigator og Microsoft Internet Explorer vil inneholde enkelt konfigurerbare personlige agenter i neste utgave.
En følge av dette er at hit-statistikk som ikke er korrigert for det faktiske innslaget av roboter, ikke kan være noe pålitelig verktøy til å måle hvor mange lesere som faktisk ser en webside med blant annet dens annonser. Upålitelig statistikk kan føre til at internettet oppfattes som et useriøst medium av annonsører.
Dick Bennett i Audit Bureau of Circulation er blant flere av Inter@ctive Weeks informanter som peker på en annen tendens. Bruken av proxy servere har også økt drastisk i det siste. Slik servere sørger for at streifere fra et lokalnett leser mye av sin web-informasjon direkte fra en lokal server, og ikke fra opphavet på internettet. Opphavet registrerer et hit, mens websiden kan leses av svært mange. Bennett mener at mellom 4 og 10 prosent av trafikken til et typisk websted ikke registreres lokalt, fordi den er fanget opp av proxy servere.
Konklusjonen synes å være at antall hits på ditt websted kan være svært forskjellig fra det antall mennesker som har lest dine sider. Det er et stort behov for analyseredskap som kan gi fornuftige anslag både på hvor stor robot-trafikken er lokalt, og på hvor mange proxy servere systematisk kaprer dine sider.
