BEDRIFTSTEKNOLOGI

Bygget 50 000 kjerners klynge på Amazon

Nettskyen lar små selskaper kjøre enorme simuleringer til 5000 dollar per time.

Den virtuelle superklyngen Naga ble fordelt på fysiske ressurser i alle sju regioner til AWS. Bildet er ikke fra Amazons datasenter.
Den virtuelle superklyngen Naga ble fordelt på fysiske ressurser i alle sju regioner til AWS. Bildet er ikke fra Amazons datasenter. Bilde: Tom Raftery (http://www.flickr.com/photos/traftery/)

Tre små selskaper, Cycle Computing, Schrödinger og Nimbus Discovery, gjennomførte 30. mars en tre timers beregningsintensiv simulering på den hittil største klyngen som har vært satt sammen av virtuelle servere i Amazons nettsky AWS (Amazon Web Services).

IT-ressursene som simuleringen ble kjørt representerer verdier på 20 millioner dollar. De omfattet 6742 EC2-instanser (virtuelle servere) med til sammen 51 132 kjerner og 58,78 terabyte minne. EC2-instansene ble fordelt på fysiske ressurser i alle de sju regionene i AWS (tre i USA, to i Asia, samt EU og Latin-Amerika). Leien kom på i underkant av 4900 dollar per time.

Selve oppsettet av klyngen ble gjort av Cycle Computing, en bedrift med 20 ansatte som har spesialisert seg på å utvikle programvare for å styre tungregneklynger satt sammen av virtuelle servere. De hadde tidligere gjort seg bemerket ved å sette sammen fire store tungregneklynger i Amazons nettsky, blant dem en klynge på over 30 000 kjerner for et av verdens fem største legemiddelselskaper, i oktober i fjor.

Oppdraget kom fra Schrödinger og deres datterselskap Nimbus. Schrödinger utvikler avansert simuleringsprogramvare for forskning innen legemidler og bioteknologi. Nimbus bruker denne programvaren til å avdekke nye potensielle legemidler. De skulle gjennomføre en simulering for å teste reaksjoner mellom 21 millioner mulige syntetiske molekyler mot bestemte proteiner, for å avdekke hvilke som muligens kunne komme til nytte i kampen mot kreft.

Normalt kjører Schrödinger og Nimbus slike simuleringer på en egen klynge med 1500 prosessorkjerner. I den aktuelle simuleringen var dette en praktisk umulighet: Nøyaktighetsnivået som var påkrevet tilsa at beregningene ville måtte gå døgnet rundt i et helt år.

Å sette sammen en ny klynge for å kjøre simuleringen var utelukket, av økonomiske grunner. Det var heller ikke mulig for de to små selskapene å kjøre simuleringen på en etablert tungregnesentral.

Cycle Computing forteller på sin blogg hvordan de fikk og gjennomførte oppdraget. Den virtuelle klyngen – med kodenavn Naga – ble satt opp i AWS av deres verktøy CycleCloud. De konstaterte at metoden brukt på deres 30 000 kjerner store klynge fra oktober, der alle EC2-instansene ble lokalisert i samme AWS-region, måtte Naga fordeles på alle sju regionene for å kunne kjøres så effektivt som mulig. De utviklet en ny algoritme for å fordele kapasitet avhengig av sanntidsmålinger av i hver region. Med denne algoritmen tok det under to timer å få hele klyngen operativ.

Deretter var det opptil kunden – Schrödinger og Nimbus – å kjøre selve simuleringen.

Regningen fra Amazon lød på tre timers simulering, til 4 828 dollar per time.

I sin artikkel om Naga peker fagtjenesten Silicon Angle på hvordan dette tilfellet innleder en ny æra innen legemiddelforskning gjennom å gjøre tungregning tilgjengelig for små aktører uten store ressurser. Klynger med hittil uant kapasitet kan bygges på kort tid, og stå til disposisjon for noen få tusenlapper i timen. Dette peker mot en revolusjon innen medisin, der behandlingen kan legges opp med utgangspunkt i detaljert kjennskap til den genetiske sammensettingen av hvert enkelt individ, og der all menneskelig kunnskap innen medisin gjøres tilgengelig for alle gjennom intelligente og analytiske applikasjoner.

Del
Kommentarer:
Du kan kommentere under fullt navn eller med kallenavn. Bruk BankID for automatisk oppretting av brukerkonto.