For tre uker siden undertegnet FAST en samarbeidsavtale med verdens nest største internettselskap, Lycos. Avtalen innebærer at Lycos drifter søkestedet, mens FAST bidrar med søkeprogramvaren. Partnerskapet gir FAST fordelen av å beholde kontrollen over søketeknologien som gjør det mulig å søke gjennom mange millioner dokumenter på en brøkdel av et sekund, og som har videre forgreninger innen blant annet komprimering av bilder og video.
- Det vanlige for søkesteder er at de utnytter egenutviklet søketeknologi på sitt eget sted uten å spre selve teknologien, forklarer Lervik. - AltaVista er et typisk for eksempel. Inktomi, som blant annet driver søkemotoren til MSN (Microsoft Network) og HotBot, er unntaket. De tjener penger på at deres søkemotor brukes på flere nettsteder. Det er også vår forretningsmodell. Følgelig er Inktomi vår egentlige konkurrent. Det er dem vi vil møte i markedet.
Kostnadene knyttet til oppbyggingen av et søkested er et sentralt moment for FAST. AltaVista har høye maskinvarekostnader: Søkemotoren springer fra Digital, og baseres naturlig nok på Alpha-tjenere. Inktomi nytter klynger av Sun-maskiner. FAST går enda et hakk lenger ned.
- Grunnenheten for vår tjener er klynger av Pentium II-maskiner som er godt utstyrt med både minne og disk. Disse PC-ene fordeles på tre typer noder: mottak av forespørsler og tilbakesending av svar ("dispatch nodes"), selve søkingen, og den siste for indeksering. Mesteparten av datakraften går til søkenodene. Vi regner en forespørselsnode per seks søkenoder, og en indeksnode per fire søkenoder. Skaléringen av søkenodene foregår etter et svært enkelt prinsipp. En Pentium II-maskin kan håndtere 5 til 7,5 millioner dokumenter eller URL-er [altså Internett-adresser] og et tilsvarende antall forespørsler per døgn. Med flere dokumenter i søkeområdet øker man tallet på noder som forespørslene skal fordeles på.
Øker trafikken, kopieres hver bolk på 5 til 7,5 millioner dokumenter til en eller flere maskiner, slik at man får "kolonner" på på opptil fire PC-er som kan håndtere over 20 millioner forespørsler per døgn.
Skalérbarheten skal gå utover en milliard dokumenter, og utover 1000 forespørsler per sekund. Til sammenlikning har AltaVista, det største søkestedet i dag, 150 millioner dokumenter. FASTs hemmelighet er programvare som gir ekstra rask søking i tekst og svært effektive indekser. I en demonstrasjon på nettstedet sitt, tilbyr FAST søking gjennom 10 millioner dokumenter kopiert fra domenet .uk, det vil si England. Prøv selv - klikker du på Fast Search & Transfer i høyre marg kan du følge pekeren derfra.
- Blant fordelene vi tilbyr, er at søkemotoren ikke krever stoppord, det vil si ord som man ikke kan knytte til søk fordi de brukes altfor ofte. En annen fordel er muligheten for å opprette nyanserte filtre. La oss si du vil sile ut porno. Da kan du definere kriterier som knytter porno til et tjuetalls nøkkelord, og der filtret trer i kraft dersom for eksempel fire eller flere av disse forekommer i teksten.
Store søkesteder kan bygge ut Pentium II-maskinene med egne "søkekort". Dette er tilleggskort etter PCI-standarden med inntil 16 av FASTs spesielle søkebrikker, og nye mengder med minne. Hver PC kan bygges ut med inntil 15 slike kort.
- Kortene øker den allmenne ytelsen til hver maskin. De kommer også til sin rette ved spesielle anvendelser. Man kan tenke seg en varslingstjeneste der nye dokumenter strømmer gjennom minnebrikkene og underkastes søkekriterier lagret i søkebrikkene. Eller omvendt, at dokumenter lagres fast i minnebrikkene, og siles etter stadig nye kriterier i søkebrikkene.
Lervik har regnet på rivalen Inktomis investeringer i maskinvare.
- Det dreier seg om 500 Sun arbeidsstasjoner fordelt på fire sentre. Den samlede søkemassen er på 110 millioner dokumenter, og sentrene håndterer til sammen 20 millioner forespørsler per dag. Investeringen per arbeidsstasjon er gjennomsnittlig 28.000 dollar. Det gir 14 millioner dollar i samlede investeringer. Jeg har ikke lyst til å offentliggjøre detaljene i et tilsvarende regnestykke for en FAST løsning med tilsvarende kapasitet og ytelse, men jeg kan garantere at den samlede investeringen vil ligge på rundt en femdel av dette.
Nettstedet til FAST inneholder også demonstrasjoner av FASTs teknologi for overføring av bilder og video. Komprimeringsteknologien er effektiv nok til å komprimere jpg-filer - som jo allerede er komprimerte i forhold til TIFF-standarden - med en faktor på ytterligere to til ti. Det overførte bildet kommer først fram i lite format, og vokser gradvis i størrelse etterhvert som flere biter overføres.
- Rundt 40 kB er tilstrekkelig til å overføre et bilde i 1024 ganger 768 punkter i 16 millioner farger. Metoden vår begynner med å overføre hele bildet i langt mindre format. Etter hvert som mer informasjon strømmer til, økes formatet. Hvis du ikke vil ha bildet når du ser hva det består av, trykker du Esc-tasten for å stanse overføringen.
FASTs bildeformat håndteres av en egen Java-applikasjon på ca. 25 kB. Den overføres når de laster ned det første bildet, og holder seg siden i nettleserens mellomlager. Video-overføringen er en annen Java-applikasjon. FAST har ikke tro på "plug-ins" da dette medfører at brukeren aktivt må laste ned og installere programvare; noe brorparten av internettbrukerne verken har lyst eller evner til å gjøre.
- Java lar oss dessuten bruke det samme programmet til Windows, Mac og Unix, sier Lervik.
Avtalen med Lycos garanterer langt på vei FASTs økonomi framover. Selskapet har et datterselskap i USA, med solide markedsarbeidere i både Boston og San Francisco. I Norge har selskapet vokst svært raskt på halvannet år. Kontorer i Trondheim og Oslo sørger for nær kontakt med de forskningsmiljøene FAST stammer fra og fortsetter å rekruttere fra.
