Den virtuelle superklyngen Naga ble fordelt på fysiske ressurser i alle sju regioner til AWS. Bildet er ikke fra Amazons datasenter. (Bilde: Tom Raftery (http://www.flickr.com/photos/traftery/))

Bygget 50 000 kjerners klynge på Amazon

Nettskyen lar små selskaper kjøre enorme simuleringer til 5000 dollar per time.

Tre små selskaper, Cycle Computing, Schrödinger og Nimbus Discovery, gjennomførte 30. mars en tre timers beregningsintensiv simulering på den hittil største klyngen som har vært satt sammen av virtuelle servere i Amazons nettsky AWS (Amazon Web Services).

IT-ressursene som simuleringen ble kjørt representerer verdier på 20 millioner dollar. De omfattet 6742 EC2-instanser (virtuelle servere) med til sammen 51 132 kjerner og 58,78 terabyte minne. EC2-instansene ble fordelt på fysiske ressurser i alle de sju regionene i AWS (tre i USA, to i Asia, samt EU og Latin-Amerika). Leien kom på i underkant av 4900 dollar per time.

Selve oppsettet av klyngen ble gjort av Cycle Computing, en bedrift med 20 ansatte som har spesialisert seg på å utvikle programvare for å styre tungregneklynger satt sammen av virtuelle servere. De hadde tidligere gjort seg bemerket ved å sette sammen fire store tungregneklynger i Amazons nettsky, blant dem en klynge på over 30 000 kjerner for et av verdens fem største legemiddelselskaper, i oktober i fjor.

Oppdraget kom fra Schrödinger og deres datterselskap Nimbus. Schrödinger utvikler avansert simuleringsprogramvare for forskning innen legemidler og bioteknologi. Nimbus bruker denne programvaren til å avdekke nye potensielle legemidler. De skulle gjennomføre en simulering for å teste reaksjoner mellom 21 millioner mulige syntetiske molekyler mot bestemte proteiner, for å avdekke hvilke som muligens kunne komme til nytte i kampen mot kreft.

Normalt kjører Schrödinger og Nimbus slike simuleringer på en egen klynge med 1500 prosessorkjerner. I den aktuelle simuleringen var dette en praktisk umulighet: Nøyaktighetsnivået som var påkrevet tilsa at beregningene ville måtte gå døgnet rundt i et helt år.

Å sette sammen en ny klynge for å kjøre simuleringen var utelukket, av økonomiske grunner. Det var heller ikke mulig for de to små selskapene å kjøre simuleringen på en etablert tungregnesentral.

Cycle Computing forteller på sin blogg hvordan de fikk og gjennomførte oppdraget. Den virtuelle klyngen – med kodenavn Naga – ble satt opp i AWS av deres verktøy CycleCloud. De konstaterte at metoden brukt på deres 30 000 kjerner store klynge fra oktober, der alle EC2-instansene ble lokalisert i samme AWS-region, måtte Naga fordeles på alle sju regionene for å kunne kjøres så effektivt som mulig. De utviklet en ny algoritme for å fordele kapasitet avhengig av sanntidsmålinger av i hver region. Med denne algoritmen tok det under to timer å få hele klyngen operativ.

Deretter var det opptil kunden – Schrödinger og Nimbus – å kjøre selve simuleringen.

Regningen fra Amazon lød på tre timers simulering, til 4 828 dollar per time.

I sin artikkel om Naga peker fagtjenesten Silicon Angle på hvordan dette tilfellet innleder en ny æra innen legemiddelforskning gjennom å gjøre tungregning tilgjengelig for små aktører uten store ressurser. Klynger med hittil uant kapasitet kan bygges på kort tid, og stå til disposisjon for noen få tusenlapper i timen. Dette peker mot en revolusjon innen medisin, der behandlingen kan legges opp med utgangspunkt i detaljert kjennskap til den genetiske sammensettingen av hvert enkelt individ, og der all menneskelig kunnskap innen medisin gjøres tilgengelig for alle gjennom intelligente og analytiske applikasjoner.

Til toppen