Stadig nye fag benytter regnekraft. Nå utvides Norges største universitetseide superdatamaskin

Mange forskningsprosjekter krever tilgang til kraftige superdatamaskiner, for eksempel til simulering av ulike fysiske prosesser, opptrening av nevrale nettverk innenfor maskinlæring eller stordataanalyse.

Nå får ansatte og studenter ved Norges teknisk-naturvitenskapelige universitet (NTNU) tilgang til langt større beregningskapasitet til avanserte eksperimenter innenfor blant annet bærekraft, kunstig intelligens, biologi, fysikk og nanoteknologi.

I løpet av de siste fem årene har NTNU bygget det som blir Norges største universitetseide «superdatamaskin», Idun. I disse dager utvides kapasiteten kraftig.

Over dobler kapasiteten

Serverne benytter nå til sammen 160 Nvidia datasenter-grafikkprosessorer (GPU).

– Med utvidelsen har vi introdusert A100-GPUer, det aller siste fra Nvidia pr. nå. Nå har vi fått over 70 av disse, som langt over dobler regnekapasiteten, sier Einar Næss Jensen, senioringeniør ved NTNU og hovedansvarlig for drift av Idun.

Digi.no møter ham på Teams sammen med forsker Gunnar Tufte, IT-forvaltningsleder Guro Bråten Olsborg ved NTNU, og Edvard Edvardsen, systemkonsulent for datasenter i Dell, som har levert det meste av infrastrukturen.

– GPU-ene er mye kraftigere enn de som er der fra før. I antall GPU-er er det ikke veldig mye mer enn en dobling, men i GPU-kraft blir det veldig mye mer, sier Edvardsen.

GPU-ene er nå ferdig installert. Men lagringsutvidelsen, som skal tidoble lagringskapasiteten, venter de fortsatt på grunnet covid-19 og at det er vanskelig å få tak i deler.

Med utvidelsen vokser maskinen ut av dagens plassering: Et serverrom i kjelleren i «Lerkendalsbygget» rett nedenfor Realfagsbygget. Nå skal den opp i en maskinhall som heter Valhall, én etasje opp i samme bygg.

– I dag er det syv rack. Når vi flytter opp blir det åtte. Der har vi mulighet til å vokse til 12 ekstra rack, sier Næss Jensen.

Lavterskeltilbud

NTNU har brukt litt over 13 millioner i 2021 på alle investeringer knyttet til Idun. Investeringene er et spleiselag mellom flere forskningsmiljøer ved NTNU, og Institutt for datateknologi og informatikk har per i dag finansiert den største andelen.

De som har invester er garantert kapasitet på maskinen, men hvem som helst på NTNU, både forskere og studenter, kan logge seg på og benytte ressursene når det er ledig plass.

Akkurat nå har 1100 brukerkonto på systemet, forteller Næss Jensen. Størstedelen av dem er studenter.

– Vi har i mange år hatt et lavterskeltilbud for beregninger på NTNU. Vi hadde en maskin som het Norgrid, som kom i stand i 2006, og i 2009 kom det en maskin som het Kongull. Da Kongull ble lagt ned 2015, stod vi plutselig uten et lavterskeltilbud, og måtte da inn med Idun. Det har tatt litt tid å bygge den opp som et sånt tilbud, men nå tror jeg vi er der igjen, sier Næss Jensen.

Språk og astrofysikk

Maskinen er brukt i blant annet astrofysikk, som er et mer klassisk HPC-beregningsfag, men også i studier av språk for eksempelvis å kartlegge hatefulle ytringer.

– Språk bruker stadig mer av denne typen beregningsvitenskap. Mykere fag som sosiologi kan også bruke beregningsressurser, så lenge du har noen data å kverne på. Jeg har hørt om prosjekter fra andre land som har brukt regneressurser til å beregne folkestrømmer i konsertlokaler, og til sannsynlighetsberegninger i historiefaget, sier senioringeniør Næss Jensen.

– Det er morsomt at det dukker stadig opp nye fag og nye typer problemstillinger, sier Guro Bråten Olsborg IT-forvaltningsleder for tjenesteporteføljen for forskning ved NTNU.

Hun påpeker at hvem som helst på NTNU enkelt kan få tilgang til ressursene, noe som for eksempel åpner for at en mastergradsstudent som tenker litt innovativt kan teste ut ressursene uten å være sikre på at det er gjennomførbart å bruke dem.

Unik ressurs og supplement til Sigma2

Superdatamaskinen er et supplement til de nasjonale regnekapasitetene, som eies og driftes av det statseide selskapet Sigma2. Den nasjonale tjenesten tar seg av de aller største behovene, men har begrenset med GPU-ressurser, kun en tiendedel av det Idun har, forteller Næss Jensen, som også er teamleder for infrastruktur på de nasjonale anleggene på NTNU.

En av professorene ved NTNU, Gunnar Tufte, ved Institutt for datateknologi og informatikk, bruker regnekapasiteten til blant annet enorme simuleringer innenfor nanoteknologi. Han forteller at utvidelsen av Idun har mye å si for forskningen på universitetet.

– Typen beregninger vi kjører på Idun er veldig annerledes enn det som kjøres på Sigma2, som for eksempel værmeldingen. Vi kjører også store ting, men beregningstypen er spesielt egnet for GPU-infrastruktur, grafiske prosessorer, og akseleratorer, i motsetning til Sigma2 som i stor grad CPU-basert, sier forskeren, og legger til at maskinen kan utvides, og det kan bygges opp spesialinfrastruktur.

– Vi har for eksempel utvidet med FPGA-kort for å gjøre forskning på mikroprosessorer akkurat nå. Dermed får vi gjort forskning som ikke er tilgjengelig andre steder, sier han.

– Størst på GPU

Ifølge Edvardsen i Dell er Idun den største superdatamaskinen på GPU på universitetene i Norge.

– De fleste andre universitetene i Norge har HPC-clustere, men ingen er i nærheten av NTNU på GPU-kraft, sier Edvardsen.

– Nå har vi akkurat signert en ny årlig avtale med vår leveransepartner og håper vi blir med videre etter det, sier Edvardsen.

– NTNU er vel den kunden Dell har hatt lengst og best relasjon med i mange år i Norge, legger han til.

– Mer lønnsomt enn å bruke skyleverandører

Senioringeniør Einar Næss Jensen og forsker Gunnar Tufte ved NTNU mener det å gi alle ansatte og studenter tilgang til beregningsressurser inhouse er et mye bedre alternativ enn å kjøpe kapasitet hos noen av de store skyleverandørene.

– Skyleverandører er ganske dyre å bruke når det gjelder beregningskapasitet som dette. De nasjonale beregningsressursene er ganske greie og billige å bruke, men de leverer ikke akkurat den spesifikke beregningstypen som vi har her, sier Tufte.

– Når vi er inhouse har vi muligheten til å drive grunnforskning og forskning før ting er finansiert. Så vi kan få opp modeller og resultater som gjør at vi kan få forskningsmidler til å fortsette arbeidet, sier forskeren.

I fjor høst kjørte de et enkelt eksperiment som ville kostet flere millioner kroner å kjøre i skytjenesten, forteller Tufte.