Det er ikke første gang en rapport slippes som hevder at "Internett er mye større enn vi tror". BrightPlanet-rapporten stiller likevel i en annen klasse, idet selskapet hevder at nettet er 500 ganger større enn den ene milliarden sider søkemaskiner som Yahoo, AltaVista og Google kartlegger til sammen.
En av de første søkemaskinene på nettet, Lycos, hadde i 1994 en indeks på 54 000 sider, skriver CNet. Så det er klart at utviklingen siden da har gått i rivende fart. Likevel uttrykker mange misnøye med dagens søkemaskiner, som ofte overser akkurat de sidene man trenger, og kommer opp med masser av ubrukelige eller døde lenker isteden.
- Søkemotorene begynner å likne på været - alle klager over dem, sier Danny Sullivan til CNet. Sullivan er redaktør for Search Engine Watch, et nettsted som analyserer søkemaskiner.
BrightPlanet mener de har nøkkelen til det "usynlige" nettet, og har døpt det om til det "dype" nettet.
Vanlige søkemotorer har bare lenker til statiske nettsider, informerer BrightPlanet. Mens nettet i virkeligheten består av disse statiske sidene, pluss all informasjonen lagret i enorme, dynamiske databaser som administreres av myndigheter, universiteter og liknende.
Disse databasene er i kontinuerlig vekst, og måten tradisjonelle søkemotorer fungerer gjør at alt du får er en lenke til databasen.
Programvaren som skal muliggjøre søk også i dynamiske informasjonskilder heter LexiBot. LexiBot skal søke på samme måte som en vanlig søkemotor, og i tillegg dykke inn i databaser og hente ut informasjonen du ønsker deg. Så det høres jo flott ut - hva er haken ved systemet?
Det er ikke bare en, men flere haker ved LexiBot. Etter en prøveperiode må man betale for å få bruke systemet. Som bruker rundt 10-15 minutter på et søk. Er du uheldig kan det ta så mye som halvannen time å hente ut informasjonen du har bedt om.
Så de som vil "se" det usynlige nettet får visst smøre seg med tålmodighet...
