345 av 500 tester feilet på monsteret til 60 millioner kroner: Ekspert mener det hele var surrealistisk og «ekstremt»

Den 1. juli 2016 ble kontrakten – verdt 58 millioner kroner – mellom Uninett og Serit IT Partner i Tromsø signert. Det norske selskapet vant den gjeve kontrakten om å levere High–performance computing–anlegget (HPC).

32 256 kjerner

Universitetsmiljøene i Norge jublet. Endelig skulle de få nok datakraft til å jobbe med noen av de mest ressurskrevende prosjektene.

I april 2017 – 45 dager etter avtalt levering – mente Serit IT–partner at de var ferdige med installeringen av Fram.

Der har mye av konflikten stått. HPC–parken leverer 1,1 petaflop med teoretisk ytelse – eller mer enn én million milliarder flyttallsberegninger i sekundet.

Fram består av 1 006 Lenovo Nextscale–servere med til sammen 32 256 Intel–kjerner. Totalt har Fram 78 terabyte internminne, og to og en halv petabyte med lagringsplass. Systemet har også oppkoblet 16 Nvidia K80–akseleratorer.

Oppkalt etter Nansen

Det gjør Linux–klyngen – som er oppkalt etter båten Fridtjof Nansens brukte på ekspedisjonen til Nordpolen – til Norges desidert kjappeste tungregnemaskin.

Men som med Nansens ekspedisjon var leveringen av superdatamaskinen Fram krokete og vanskelig. Uninett er nemlig ikke fornøyd med oppkoblingen av monsteret. Det skyldes en rekke problemer som har oppstått med HPC–anlegget etter installasjon.

Uninett mener det har vært store ytelsesutfordringer med Fram. I godkjenningsfasen ble det avdekket at superdatamaskinens ytelse var redusert med 90 prosent sammenlignet med hvordan den oppførte seg rett etter installasjon, ifølge dommen fra Sør-Trøndelag tingrett.

345 tester feilet

En rekke tester viste at toppytelsen varierte stort. I alt ble det utført rundt 500 tester gjennom en periode på ni måneder. Totalt skal 345 av disse testene ha feilet. De første loggførte Uninett-testene ble gjennomført 9. og 10. januar 2017.

Ved den første testen ble det oppnådd en ytelse på 95 prosent, mens samme test noen timer senere viste en oppnådd ytelse på 69 prosent av makskapasitet.

Disse variasjonene var mye større enn det som ellers er vanlig under slike tester av HPC–anlegget, heter det i dommen fra tingretten.

Spesialrådgiver Jørn Amundsen i Uninett forklarte i Sør–Trøndelag tingrett at det ofte er en del merarbeid med testing og innkjøring av denne typen superdatamaskiner, men at resultatene av testene han gjennomførte var «ekstremt», og noe han aldri hadde opplevd tidligere.

Problemene ble verre og verre

Amundsen er ekspert på tungregning, parallellisering og ytelsesforbedring av applikasjoner.

Ifølge Uninett skal disse problemene bare ha blitt «verre og verre» utover i godkjenningsperioden.

Til slutt viste det seg at ytelsesproblemene skyldes problemer med IB–svitsjene som koblet nodene i Fram sammen. Disse svitsjene gjør at serverne kan snakke sammen – uten fungerende IB–svitsjene er ikke Fram noe annet enn en stor klynge med servere.

Svitsjene var levert av det amerikanske selskapet Mellanox Technologies. Ifølge en rapport fra selskapet viste de seg å inneholde en kondensatorfeil.

Powerflapping

IT–partner mener feilen skyldes en strømtest som Uninett selv utførte. I tillegg til kondensatorfeilen mener de også at Uninett har utført uautoriserte CentOS-oppgraderinger på Fram. I sum skal disse forholdene være utslagsgivende for at Fram opererte med redusert ytelse i lang tid, mener Serit IT–partner. Disse forklaringene kjøper ikke tingretten.

Strømtesten som Uninett tok initiativ til førte til at HPC–anlegget ble stående med en varierende spenningskurve – eller «powerflapping» – i flere minutter. Serit IT–Partner hevder feilen oppstod i strømforsyningen til datasenteret og til syvende og sist var med på å skade IB–svitsjene. Tingretten tar ikke argumentasjonen til følge.

I avgjørelsen skriver dommerne Brynjulf Moe, Petter Erling Bjørstad og Ragnar Holtan at «det oppstod ingen umiddelbare skader på øvrig utstyr og komponenter som var direkte tilknyttet generatorene» (...) «Skader og feil som oppstod utover våren 2017 var imidlertid kun relatert til Mellanox–switcher. Det er ikke meldt om feil på andre type switcher, elektroniske komponenter eller elektrisk utstyr».

Byttet 99 svindyre svitsjer

Bare i april sviktet 12 IB–svitsjer fra det amerikanske selskapet i løpet av en periode på 14 dager, mens ytterligere ni svitsjer ble byttet ut i mai på grunn av samme type utfordringer.

I Mellanox–rapporten konstaterer selskapet at produksjonsfeilen på de aktuelle svitsjene ville begynne å vise seg etter mellom tre til åtte måneder. Tingretten skriver at dette «var i samsvar med at disse feilene begynte å vise seg i april».

Da sommeren 2017 kom var alle 99 Mellanox–svitsjene byttet ut. Stykkprisen på 22 000 dollar – eller rundt 190 000 kroner – høres forskrekkende ut for mange. Etter utskiftningene gikk ytelsen til HPC–anlegget rett til himmels.

Spesialrådgiver Jørn Amundsen i Uninett gjennomførte flere tester i slutten av august 2017 og kunne da konstatere at Fram leverte «topp ytelse».

Vannlekkasje

Når det kommer til den uautoriserte oppdateringen av CentOS mener tingretten at det ikke er sannsynliggjort at Uninetts egne oppdateringer til ny, ikke-sertifisert programvare har hatt direkte påvirkning på leveranseproblemene med Fram.

«(...) lagt vesentlig vekt på at det ikke er ført noen bevis for at dette har vært oppdateringer som har medført annet enn helt kortvarige og marginale implementeringsproblemer», skriver dommerne.

I tillegg til ytelsesproblemene med Fram har det også vært problemer rundt prosjekteringen av HPC–anlegget. Da Fram ble koblet opp ble det raskt avdekket lekkasjer på kjøleanlegget til superdatamaskinen.

Måtte stenge Fram i to uker

Uninett mener leverandør Serit IT–partner selv er skyld i lekkasjen, og begrunner det med at Tromsø–selskapet hadde tatt dårlige materialvalg i prosjekteringen. Lekkasjen ble oppdaget i plastrørene som skulle sørge for at anlegget fikk nok kjøling.

Rørene ble først erstattet med nye plastrør, men løsningen viste seg etterhvert ikke å være god nok. Fram måtte derfor stenges ned noen uker sommeren 2017 for å bytte ut rørene av plast med kobber.

Uninett mener utbedringen ikke utgjorde en vesentlig endring av leveransen, og argumenterer for at endringen skyldes en mangel Serit IT–partner selv må stå til ansvar for.

Tingretten gir Uninett medhold også på dette punktet, og mener forsinkelsen reguleres av avtalen mellom partene.

Forlenget drift av gamle travere

Summen av alle problemene førte til at Fram ble vesentlig forsinket. Tingretten mener på lik linje med Uninett at anlegget ikke kunne godkjennes før i slutten av oktober 2017.

Universitetsleverandøren måtte derfor forlenge driften av HPC–systemene Hexagon og Vilje. Driften er av de to gamle traverne var kostbar, og Uninett måtte sette av mer penger til både husleie og strøm for maskinene som egentlig skulle pensjoneres.

Universitetsleverandøren mener at Fram–forsinkelsen har vært en stor ekstrabelastning for dem. Det skyldes at Uninett måtte bruke mye ressurser på møtevirksomhet, oppfølging, veiledning og utredninger av alternative løsninger mens Fram hanglet for halv maskin.

Dagbøter

For denne vesentlige ulempen mente universitetsleverandøren at det var rett og rimelig at de ble kompensert for alle problemene i form av erstatning. Selskapet syntes at 14 millioner kroner ville være en passende sum.

Dette inkluderer dagbøter for forsinket levering, interne administrasjonskostnader, husleie, dekningskostnader og strøm for Hexagon og Vilje. I tillegg krevde de at personalkostnader tilknyttet driftsforberedelser, oppfølging og testing av Fram ble dekket.

Fire millioner av dette kravet var allerede gjort opp mellom partene før rettssaken gikk i gang. I tillegg har Uninett holdt tilbake nærmere to millioner kroner av kjøpesummen.

Sør–Trøndelag tingrett skriver i dommen at universitetsleverandøren gjorde rett i å holde igjen deler av kjøpesummen, og frifinner dem derfor fra erstatningskravet der Serit IT–partner krevde at de utestående fakturaene ble oppgjort.

Må dele saksomkostninger

Men Uninett må nøye seg med avkortet erstatning. I dommen fra tingretten dømmes Tromsø-selskapet til å betale Uninett totalt 3,7 millioner kroner.

Det skjer etter at en rekke av erstatningspostene er redusert vesentlig på grunn av manglende dokumentasjon, og for dårlig involvering av Serit IT–partner under feilrettingen.

Siden Uninett ikke kommer ut av saken med en total seier, slipper Tromsø-selskapet unna med å bare dekke halve saksomkostningene. I tillegg deles utgiftene til fagkyndige meddommere likt mellom partene.

Serit IT–partner opplyser til digi.no at de vil bruke ankefristen på en måned sammen med sine underleverandører for å finne ut om de skal anke dommen. Utover det ønsker ikke selskapet å kommentere saken.

Heller ikke Uninett ønsker å kommentere dommen før den eventuelt skulle bli rettskraftig, opplyser daglig leder Gunnar Bøe i Sigma 2 i en SMS til digi.no.no.