Norske Numascale har utviklet en teknologi – NumaConnect – som de mener skal gjøre det mulig å bygge store og skalerbare servere med symmetrisk flerprosessering, med utgangspunkt i standardservere. For eksempel kan 12 fireveis Opteron-servere koples sammen, ikke til en klynge men til en ekte 48-veis server, med delt minne, koherent cache og felles I/O. Den ferdige maskinen koster det samme som en tilsvarende klynge, det vil si under 5 prosent av det en vanlig 48-veis maskin koster. Dette er svært interessant, særlig for forskere med store beregningsbehov og begrensede ressurser.
Teknologien skal nå anvendes på et nytt system ved USIT i Oslo (Universitets senter for informasjonsteknologi) i et prosjekt som kan bety et internasjonalt gjennombrudd for Numascale.
Prosjektet er et samarbeid mellom USIT, IBM og Numascale. Det er finansiert av Norges forskningsråd, Universitet i Oslo og EUs Framework Programme 7. EUs bidrag kommer gjennom programmet PRACE (Partnership for advanced computing in Europe): Poenget her er at NumaConnect skal vurderes for framtidig bruk i en all-europeisk forskningsinfrastruktur. NumaConnect-anlegget i Oslo skal brukes til å prøve ut teknologiens egenskaper med tanke på anvendbarhet og skalerbarhet. I tillegg til USIT, skal systemet vurderes av flere av kompetansesentrene i PRACE-samarbeidet, i Tyskland, Polen, Finland, Kypros og Hellas.
Etter planen skal systemet innvies rett over nyttår, og en rapport om teknologien og erfaringene skal legges fram for PRACE i løpet av september.
Anvendelsene som nevnes i første rekke er livsvitenskap, klimaforskning og solfysikk. Felles for disse anvendelsene er at tilgang til store mengder med delt minne gjør det mulig å programmere modellene under ett. Programmeringsoppgaven er langt enklere enn ved kjøring av tilsvarende modeller på vanlige klynger eller på systemer basert på MPI («message passing interface», altså teknologien forbundet med nå avdøde Scali), som krever en spesiell tilpasning av beregningene.
I teorien kan NumaConnect skaleres til opptil 4 096 noder. Ifølge Einar Rustad, teknologinestor i Numascale – han konstruerte prosessorer for Norsk Data på 1980-tallet, og har siden arbeidet for både Numascales morselskap Dolphin og Scali – er det nærmest ingen grense på tallet på prosessorkjerner per node: Med 48 kjerner per node kommer man opp i nærmere 200 000 kjerner.
Numa er en forkortelse for «non-uniform memory access». Teknologien ble utviklet av pionerer som Convex, Silicon Graphics, Sequent, Data General og Digital på 1990-tallet. Siden er Convex og Digital havnet hos HP, Sequent hos IBM og Data General hos EMC. Numascale liker forkortelsen ccNUMA, der cc står for «cache coherent».
Administrerende direktør Kåre Løchsen i Numascale sier til digi.no at han og kollegene ikke har ambisjoner om å komme på Top500-listen, men at hensikten er å gjøre regnekraft rimelig til forskere som trenger det.
– Det vi har foreløpig er betainstallasjoner, i Norge, Tyskland, Kina og Singapore. Vi viste teknologien på konferansen SC11 i Seattle for ti dager siden, og vakte enorm interesse. Vi er alene om å kunne tilby delt minne, koherent cache og felles I/O for systemer bygget opp med utgangspunkt i helt vanlige bokser.
I september 2009 leverte Numascale et første prøvesystem til USIT, der 16 HP-servere med toveis Opteron-prosessorer ble koplet sammen. Også Statoil fikk installert et prøvesystem på den tiden.
– Den nye maskinen til USIT vil bli vår hittil største maskin. Vi skal teste ut hvordan teknologien faktisk skalerer. Vi tror begrensningene vil vise seg å ligge i hvor godt Linux skalerer, og i selve applikasjonene, heller enn i maskinvaren, sier Løchsen.
NumaConnect fordrer servere med sammenkoplingsteknologien Hypertransport som AMD har gått i bresjen for, og som ifølge Løchsen er langt bedre enn noe Intel har kommet med hittil. Fysisk sett består Numa Connect av en spesiell prosessor – «NumaChip» – montert på et kort som plasseres i hver server som skal koples sammen.
Hans Eide, som har ansvaret for tungregning i USIT, sier til digi.no at Numascale-systemet lar dem stille nye muligheter til rådighet for forskerne.
– Det gjelder beregninger og modeller som fordrer mye minne og mange kjerner. Vi vil kunne gjøre ting vi ikke greier i dag. Vi vil også ha muligheten for å ta fram eldre kode beregnet på delt minne, og som ble kjørt på vår HP Superdome som gitt ut på dato for fem år siden. Det er spesielt der det er tette koplinger mellom elementene i koden, som i mange klimamodeller, at tilgang til delt minne er påkrevet.
Eide forteller at investeringen i pilotsystemet har en ramme på 400 000 euro, det vil si i overkant av 3 millioner kroner.
Pilotsystemet vil bestå av 72 IBM-servere av typen System x3755. Hver vil ha to prosessorer av typen AMD 6174, på 12 prosessorkjerner hver. Hver server vil bidra med 64 gigabyte minne.
– Det skulle tilsi et single system image (SSI) system på 1 728 kjerner og 4,5 terabyte minne hvis vi konfigurerer det slik. Teknologien tillater vilkårlig partisjonering.
Typologien for sammenkoplingen er en 3D torus. Hver server er koplet til seks andre: tre på «inn» og tre på «ut».
