2000 helium-disker: Utvider kapasiteten ved tungregnemaskinene i Tromsø og Trondheim med 12 petabyte

Uninett er i gang med å oppgradere tungregnemaskinene i Sigma2-prosjektet. I løpet av april 2017 skal lagringskapasiteten utvides med 12 petabyte ved anleggene i Tromsø og Trondheim.

Årsaken: De har i lengre tid vært sprengt for kapasitet.

Dermed har ikke nye forskere kommet til på anlegget som i dag huser rundt 2 000 forskjellige forskere og prosjekter.

Lurer du på hvordan og hvorfor oppgraderingen ved Norges supercomputere trer i kraft? Da bør du få med deg denne Ekstra-saken.

Klimadata spiser plass

Den store synderen har vært forskningsprosjekter som regner på klimadata.

– Halvparten av alle dataene i dagens anlegg består av klimadata. Men vi har også forskere som driver med lingvistikk, humaniora og gensekvensering av sykdommer. Det er et veldig stort spekter av forskningsfelt som blir representert ved Sigma2, sier spesialrådgiver Andreas O. Jaunsen til digi.no.

Selv om 12 petabyte diskplass nå er i gang med å installeres, regner Uninett med at kapasiteten kommer til å utvides ytterligere hvert eneste år fremover.

Kan finne løsningen på kreftgåten

Det skyldes en eksplosjon i mengden av forskningsdata som generes i vår nye teknologiske hverdag. For at norske forskere skal følge det høye internasjonale nivået til sine kolleger ved for eksempel Universitetet i Cambridge i England kan vi ikke ligge på latsiden teknologimessig.

Med utvidet lagringskapasitet vil de norske forskerne kunne jobbe mer effektivt. Det vil gjør dem mer konkurransedyktige i internasjonal forskningssammenheng.

Den utvidede lagringskapasiteten ved de norske universitetene vil kunne gi de norske fagmiljøene flere og bedre forskningspublikasjoner. På sikt vil det kunne være med på å gi oss en løsning på for eksempel kreftgåten.

(artikkelen fortsetter under)

Alle de store er med

Sigma2-prosjektet er et samarbeid mellom Universitetet i Bergen (UiB), Norges teknisk-naturvitenskapelige universitet (NTNU), Universitetet i Oslo (UiO) og Universitetet i Tromsø (UiT).

Ved Universitetet i Bergen gleder professor Inge Jonassen seg til det nye anlegget kommer i drift.

– Vi er veldig spent på hvordan dette blir i praksis. Jeg tror den nye lagringsløsningen kan legge bedre til rette for mer integrasjon. Nå kommer det til å bli en veldig spennende fase der vi skal flytte eksisterende løsninger over til den nye, sier han til digi.no.

Jonassen leder også bioinformatikkavdelingen ved UiB. Dermed har han ansvaret for å formidle lagringsplass til de ansatte ved Bergen-universitetet.

Økt etterspørsel når alt kommer på plass

Professoren forteller at deres brukere drar stor nytte av å ha mye lagringsplass tilgjengelig.

Frem til i dag har Jonassen vært tilbakeholden med å tildele forskere ressurser på grunn av den sprengte kapasiteten ved Sigma2-prosjektet.

– Vi forventer at det skal bli mer etterspørsel etter disse tjenestene fremover. Universitetet har vært tilbakeholdne på å markedsføre at disse tjenestene faktisk eksisterer, nettopp på grunn av den begrensede kapasiteten. Forskerne estimerer selv hvor mye plass de trenger, og så tildeler vi ressurser og kapasitet etter hva som er tilgjengelig.

Hadde ikke Uninett levert denne viktige infrastrukturen måtte universitetene selv bygd tilsvarende løsninger.

(artikkelen fortsetter under)

Forskningsnettet er også sprengt

Det hadde kostet både penger og ressurser.

– For oss er disse tjenestene svært viktige for å komme i mål med arbeidet vi driver med, konstaterer professoren.

Driftingen og planleggingen av anlegget står Uninett for. De senere årene har de sett at de enormene datasettene som generes av Sigma2-prosjektet har sprengt kapasiteten i forskningsnettet. Nettet er hjørnestenen i forskningsnorge og binder høgskoler og universiteter over hele landet sammen med hverandre.

Gjør store endringer i infrastrukturen

I høst startet de med oppgraderingen av fiberforbindelsene mellom alle de store universitetene. Når alt er på plass skal det være 100 gigabit/s redundante linjer mellom alle stedene.

Derfor har teknologi-, og infrastrukturleverandøren sett seg nødt til å legge seg på en ny linje: Infrastrukturen bygges nå rundt lagringen.

– Da kan forskerne skrive og lese dataene direkte. Det har ikke vært mulig tidligere når lagringsinfrastrukturen har vært plassert rundt på de ulike universitetene, forklarer spesialrådgiver Jaunsen i Uninett til digi.no.

Ressursene må plasseres rundt lagringen

Behovet for å samlokalisere lagringsinfrastrukturen ved Universitetet i Tromsø og ved NTNU har dermed blitt en realitet.

– Forskerne kan ikke basere seg på å flytte tunge data frem og tilbake mellom de ulike universitetene i forskningsnettet. Det blir alt for store datamengder. Dataene må nå plasseres på vår infrastruktur, hvor de også blir liggende. Derfor er det veldig viktig at ressursene plasseres rundt dataene og ikke omvendt, oppsummerer han.

Å la forskerne flytte de enorme datamengdene rundt i forskningsnettet er noe man de senere år har gått mer og mer bort fra, forklarer Jaunsen.

Lite prosjekt spiser ti terabyte

Professor Inge Jonassen ved Universitetet i Bergen forklarer at et lite forskningsprosjekt eksempelvis kan være på ti terabyte. Men variasjonen er enorm. Noen prosjekter kan kreve det tidobbelte, sier han.

Om alle forskerne skulle flyttet disse massive datamengdene mellom universitetene ville nettkapasiteten vært helt sprengt, og annet viktig arbeid måtte vike.

– For å unngå at problemet blir enda større enn det allerede er, er dette noe vi nå går bort ifra, sier spesialrådgiveren.

12 petabyte må nok utvides allerede neste år

12 petabyte – eller 12 000 terabyte – er så mye lagringskapasitet at Jaunsen sliter med eksemplifisere hvor mye det faktisk er.

Allikevel anslår Uninett at det er et ganske nøkternt estimat for hvor mye data som kommer til å generes i de første driftsårene.

– Det er mye mer kostnadseffektivt å være litt nøkterne når man kjøper inn lagring enn å gå for en voldsom overkapasitet. Blir diskene stående ubrukte synker verdien veldig fort.

Mye av kapasiteten går bort i replikering og duplisering av dataene som allerede finnes, forklarer spesialrådgiveren.

IBMs Spectrum Scale i RAID

Fysisk er det satt opp to identiske lagringssystemer på universitetene i Tromsø og Trondheim.

De baserer seg på IBMs Spectrum Scale. Filsystemet benyttes i mange av verdens største tungregnemaskiner.

Fordelen med filsystemet er blant annet at det kan brukes med Linux-, Windows- og AIX-baserte klustre.

– Teknologien har mulighet for å sette opp automatiske regler for når, hvor ofte og hvilke data som skal kopieres til de forskjellige lokalisasjonene. Diskene er satt opp i RAID med den ekstrareplikeringen det gir. Dermed oppnår vi en ekstrem sikkerhet for dataene som har behov for det, forklarer spesialrådgiveren.

(artikkelen fortsetter under)

2 000 heliumfylte disker effektiviserer driften

På hver av de to lokalisasjonene er det satt opp 1 000 disker. Hver og en av diskene har en kapasitet på ti terrabyte. Samtlige disker baserer seg på heliumteknologi – altså disker fylt med helium.

Fordelen med heliumbaserte harddisker er at det er mulig å gjøre platene i disken enda tynnere. Dermed kan man få plass til enda flere plater. Lagringsplassen på hver en disk økes derfor betraktelig.

En annen fordel er at turbulensen inne i diskene minker. Dermed trenger heliumdiskene mindre motorkraft, og de genererer derfor ikke like mye varme.

Levetiden vil overraske deg

– Løsningen vi får nå er veldig kompakt. Vi fyller bare tre hele rack. Siden diskene ikke genererer veldig mye varme, er det ikke behov for noen ekstraordinære kjøleløsninger.

Anslagsvis vil de nye utstyret ha en levetid på mellom fem og seks år før det må byttes ut.

Erfaringsmessig vil Uninett vurdere å modernisere allerede etter fire år med drift.

– Da tar vi gjerne en vurdering på om vi skal bytte teknologi eller om vi skal fortsette å bygge ut den gamle og utvide kapasiteten, sammenfatter Jaunsen til digi.no.