Forskere ved IBM Research Almaden er i ferd med å bygge verdens største lagringssystem for en ikke navngitt klient. Systemet er ifølge Technology Review nesten ti ganger større enn det lagringssystemet som finnes i dag.
IBMs system er basert på 200 000 konvensjonelle harddisker som til sammen skal tilby en lagringskapasitet på 120 petabyte. Systemet ventes å bli brukt sammen med en superdatamaskin som skal brukes til simulering av fenomener fra den virkelige verden, for eksempel vær eller klima.
Til Technology Review sier Bruce Hilberg, direktør for lagringsforsking ved IBM, at teknologiene som er utviklet for å bygge den gigantiske lagringsløsningen, også vil kunne brukes i forbindelse med mer konvensjonell databehandling.
– Dette 120 petabyte-systemet er på randen av galskap nå, men om noe få år kan det være at alle nettskysystemer er som dette, sier Hillsberg.
Blant utfordringene som har vært knyttet til utviklingen av systemet, er å finne effektive måter for å kombinere de mange tusen harddiskene. Diskene er montert i rack, men med høyere tetthet enn vanlig. For å oppnå tilstrekkelig kjøling, har IBM tatt i bruk vannkjøling av harddiskene.
For å hindre tap av data ved diskfeil, vil kopier av de samme dataene være lagret på flere harddisker. Men det tar i bruk nye teknikker for å sikre at systemet kan fortsette med omtrent samme hastighet som normalt. Dersom en enkelt harddisk «dør», vil systemet hente data fra andre harddisker og skrive dem langsomt til harddisken som erstatter den defekte.
Dersom det oppstår feil i flere nærliggende harddisker, vil prosessen for gjenoppbygging akselereres for å unngå faren for at enda flere feil oppstår og potensielt sletter data permanent.
Til Technology Review sier Hillsberg at resultatet av dette er et system hvor det ikke vil skje datatap på en million år, uten at det gjøres kompromisser i forhold til ytelsen.
Filsystemet som benyttes er GPFS (General Parallel File System). Ifølge Technology Review sprer dette individuelle filer på tvers av flere harddisker, slik at mange deler av en fil kan lese eller skrives parallelt. Filsystemet skal dessuten kunne indeksere filer svært effektivt. Under et forsøk gjort av IBM i juli, skal man ha greit å indeksere 10 milliarder filer på 43 minutter. Ifølge Technology Review var den forrige rekorden én milliard filer på tre timer.
