Superdatamaskinene som gir deg været lagrer 140 terabyte med nye data om dagen

BLINDERN, OSLO (digi.no): Avanserte superdatamaskiner gjør det mulig å varsle uvær mange dager tidligere enn for bare noen få år siden. Meteorologisk institutt i Oslo bruker i dag superdatamaskinen Vilje ved NTNU, samt at de gjennom et samarbeid med værvarslingstjenester i Sverige også benytter superdatamaskinen BiFrost ved National Supercomputing Centre ved Universitetet i Linköping.

Men når det skal lages værvarsler som går mange dager frem i tid, da kreves det enda mer superkrefter – og en av Europas største superdatamaskiner må trå til. Vi har snakket med sjefen for datasenteret, forskningssjef Erland Källén ved ECMWF i Reading i Storbritannia.

Verdens beste tidøgns værvarsel krever enorm regnekapasitet

Meteorologisk institutt lager selv værvarsler som går 60 timer frem i tid, men varsler som går lenger frem får man fra ECMWF – European Centre for Medium-Range Weather Forecasts. Dette er en uavhengig meteorologisk organisasjon som finansieres av til sammen 22 medlemsland – inkludert Norge. I tillegg kommer 12 samarbeidsland – altså totalt 34 land. ECMWF har nylig lagt frem en tiårsstrategi slik at medlemslandene skal vite hvor man er på vei.

– ECMWF lager verdens beste tidøgns værvarsel. Det er det vel enighet om i verden, sier direktør ved Meteorologisk institutt Anton Eliassen til digi.no. Når du går inn på Yr.no så kommer alle langtidsvarslene der fra ECMWF.

– Vi hadde ikke kunnet gjøre dette med samme kvalitet uten ECMWF sine data, sier Eliassen.

Hvis man skal regne ut et værvarsel som går tre døgn frem, så må man ta med værdata for hele Nord-Amerika – siden været kommer fra vest. Og skal man regne for ti døgn må man gjøre beregninger basert på data som omfatter hele jordkloden.

Norge og Sverige ligger geografisk sett langs hverandre, noe som fører til at det er ganske smart å lage værprognosene sammen med svenskene. Derfor samarbeider Norge og Sverige tett. Ifølge Eliassen er det antagelig ingen andre nasjoner i verden som samarbeider på denne måten om værprognoser. Fagmiljøene i Norge og Sverige utfyller hverandre godt, og er gode på hver sine ting, forteller Eliassen.

Vil snart kunne lage værprognoser for to uker

Forskningssjef Erland Källén ved ECMWF forteller at organisasjonen ligger helt i verdenstoppen når det gjelder maskinvare og lager blant de beste værprognosene i verden. Men det er ikke først og fremst maskinvaren som gjør at ECMWF lager så gode værprognoser – men at man ifølge Källén er flinkere til å bearbeide data fra alle observasjonene. Det er viktig for samfunnsberedskapen, mener Källén.

Superstormen Sandy traff USA i 2012. Den startet i Mexico-gulfen og gikk opp langs østkysten av USA, og svingte deretter inn og traff byer som blant annet New York og andre tett befolkede områder. Fordi ECMWF kunne lage en prognose ni dager i forveien hadde samfunnet mulighet til å forberede seg. For eksempel hadde man i New York parkert t-banetogene langt utenfor kysten.

– Man kan altså beskytte seg mot ekstreme værhendelser om samfunnet blir varslet god nok tid i forveien, sier Källén.

Med dagens teknologi klarer man å varsle ekstreme værhendelser opp til én uke frem i tid. Källén mener imidlertid at man med dagens teknologiske utvikling innen ti år vil kunne klare å doble dette.

ECMWF er både en operasjonell organisasjon som lager prognoser, og en forskningsorganisasjon som hele tiden forsker på hvordan man kan gjøre enda bedre værprognoser. Organisasjonen samarbeider også med forskere i medlemslandene i Europa om stadig å forbedre prognosesystemet.

Budsjettet til ECMWF er på rundt 60 millioner britiske pund i året – altså rundt 613 millioner norske kroner. Av de 60 millionene brukes rundt 25 millioner hvert år til investeringer i nytt datautstyr. Datamaskinene fornyes cirka hvert 4. år.

– For å kunne nå målet vi har satt frem til 2025, så kommer vi til å trenge betydelig kraftigere maskiner enn vi har i dag. Hvor mye vet vi ikke helt ennå, sier Källén. En av hovedmålene frem mot 2025 er at organisasjonen skal kunne gjøre prognoser på ekstreme værhendelser opptil to uker i forveien.

Data fra satellitter, værballonger og målestasjoner bearbeides av 260 000 CPU-er

Utgangspunktet for alle værprognoser er observasjoner som mates inn i superdatamaskinene. En viktig datakilde er den europeiske meteorologiske satellittorganisasjonen, EUMETSAT. De driver en rekke værsatellitter som kontinuerlig mater ECMWF med værdata. I tillegg får man observasjoner fra den europeiske romorganisasjonen ESA, som også har et antall satellitter.

– Vi får også observasjoner fra medlemslandene. Hvert land har målestasjoner, både på bakken men også værballonger. Og hele tiden så mates denne informasjonen inn i våre datamaskiner som gjør beregninger. Observasjonsgrunnlaget er veldig viktig for å kunne lage værprognoser, sier Källén.

Jo flere observasjoner man har, jo bedre værprognoser kan man lage – men jo mer beregningskraft trenger man også. ECMWFs supercomputere har nå en kapasitet på å assimilere et gjennomsnitt av 40 millioner observasjoner per dag fra mer enn 70 satellitter.

En av de viktigste grunnene til at ECMWF ble startet for 40 år siden, i 1975, var at man ville kjøpe en datamaskin som var veldig kraftig, og som ingen medlemsland ville ha råd til å kjøpe selv. Den datamaskinen som ble kjøpt på 1970-tallet var en Cray-1, som på den tiden var noe av det råeste som gikk an å oppdrive. I dag har man mobiltelefoner som er mye kraftigere enn dette, så utviklingen har gått dramatisk fremover. ECMWF har hele tiden kjøpt ny datautrustning for å henge med i denne utviklingen.

– Vi kjøper kjempestore datamaskiner, men selve beregningsenheten er jo nøyaktig den samme som sitter i personlige datamaskiner. Det er bare det at det ikke er 3-4 stykk – men vi bruker flere hundre tusen som er koblet sammen i veldig kraftige nettverk, sier Källén.

Superdatamaskinen ECMWF har i dag rundt 130 000 CPU-er, og man har to av disse maskinene. Den neste de skal kjøpe rundt år 2020 kommer til å ha enda noen hundre tusen CPU-er. Nærmere bestemt er det to Cray XC40-superdatamaskiner som benyttes i dag, etter å nettopp ha oppgradert fra Cray XC30. XC40 er noe av det kraftigste som er å få tak i i dag, og er basert på Intels Xeon «Broadwell»-prosessorer.

Källén ser for seg en formidabel utvikling de neste årene.

– I 2025 er det antageligvis opp mot 1 million prosessorer.

Det er imidlertid ikke bare å pøse på med stadig flere CPU-kjerner. En av utfordringene er nemlig å utnytte all prosesseringskraften – og da må man kunne parallellisere, altså kjøre enda flere operasjoner samtidig på en så effektiv måte som mulig.

Lagrer 140 terabyte med nye data hver dag

Dagens superdatamaskiner trekker veldig mye strøm, og Källén forteller at det skjer mye når det gjelder å gjøre datamaskinene mer energieffektive. Datasenteret til ECMWF bruker rundt 4 megawatt med strøm i året. Det er like mye strøm som kreves for 4 000 eneboliger.

Også datamengden øker eksponensielt, og det er ikke mulig å ta vekk gamle data – de skal kunne brukes i analyser senere.

Ifølge ECMWF var det ved slutten av 2015 lagret rundt 140 petabyte med data, og rundt 140 terabyte med data legges til hver dag. Det at man er nødt til å lagre enorme mengder data over lang tid er en kjempeutfordring, og siden prisene på lagringsplass ikke faller like raskt som behovet for å lagre mer data øker, så ser man på hvordan man kan komprimere dataene enda mer effektivt. Databehovet er så stort at ECMWF har satt ned en arbeidsgruppe som skal se på hvordan man kan kontrollere den eksponensielle dataveksten.

(Artikkelen fortsetter under bildet.)

Grunnleggende matematikk og fysikk

Selv om det er aldri så avanserte datamaskiner som brukes til å beregne hvordan været blir, så er det grunnleggende matematikk og fysikk som er utgangspunkt for modellene som ligger i bunnen. Observasjonsinformasjon legges inn i modellene, slik at man finner ut hvor det beste punktet på kartet å starte prognosene er. Dette er hva Källén kaller en «optimal utgangstilstand», og når man har funnet det begynner man å regne seg fremover på kartet.

For å øke sannsynligheten for at den endelige værprognosen er riktig, lager man 50 slike prognoser – alle litt forskjellige. Dermed kan man gjøre en beregning av usikkerheten i varselet. Et eksempel på hvordan dette brukes kan man se hvis man går inn på et langtidsvarsel på Yr.no og ruller et stykke ned på siden. Der er det en graf som viser sannsynlighetsfordeling for temperatur – og man vil se at jo lenger frem i tid man kommer, jo mer usikker er prognosen.

Men selv om usikkerheten i mange tilfeller kan være ganske stor mot slutten av perioden, kan slike prognoser likevel være nyttige. Meteorologene kan nemlig bruke dette til å finne ut hvor stor sannsynlighet det er for at et bestemt vær inntreffer – og opptil én uke i forveien forutse ekstremvær. Det er ikke alltid man kan se nøyaktig hvor uværet vil treffe eller nøyaktig hvor ille det kommer til å bli, men man kan se om det er en høyere risiko enn normalt.

Da stormen Gudrun traff Sør-Sverge og deler av Norge i 2005 kunne man ikke forutse stormen mer enn cirka tre dager i forveien. ECMWF har nå kjørt værdataene fra den gangen gjennom dagens modeller og med dagens vesentlig kraftigere datamaskiner ville man kunnet forutse også denne stormen én uke i forveien.

Kraftigere datamaskiner har ikke bare gjort langtidsvarslene bedre, også korte 1- og 2-døgns værprognoser har blitt mye bedre, ifølge Källén.

Bearbeider værdataene lokalt

De ulike medlemslandene bruker regionale modeller med mye høyere oppløsning enn det ECMWF har. Men disse modellene drives av globale data fra ECMWF, som har en oppløsning på 10 kilometer. I 2025 forventes oppløsningen å kunne reduseres til 5 kilometer.

10 kilometers nøyaktighet kan imidlertid være for dårlig når man skal lage værprognoser for et land som Norge, et kupert land hvor det kan være store variasjoner i været selv på steder som ikke ligger langt fra hverandre. Derfor bruker Meteorologisk institutt ECMWF-dataene bare som et utgangspunkt, og kombinerer dette med massevis av observasjoner fra lokale målestasjoner og kunnskap om lokale forhold rundt i landet.

Når været for Norge skal regnes ut, deler man inn et område i et 2,5 kilometers numerisk gitter hvor man kan regne ut været for hvert punkt på overflaten, og også oppover i atmosfæren. Det siste betyr at gitteret har mange lag oppover – og dermed blir det ganske store datamengder og mange utregninger som skal gjøres. Dette gjør man som nevnt i starten av artikkelen på superdatamaskiner hos NTNU og ved National Supercomputing Centre ved Universitetet i Linköping.

Det man gjør er at man ser på hva slags vær som kommer inn i randen av det aktuelle området – og så kan man basert på disse dataene og hva man vet om topografi og forhold klare å regne ut hvordan været blir i resten av området.

– Vi hadde ikke kunnet regne den fine prognosen som heter «time for time» på Yr uten at vi hadde hatt hjelp fra ECMWF til å gi oss randbetingelsene. Det er et veldig nært samarbeid mellom ECMWF og Norge i måten vi gir værvarsler til befolkningen på, sier Eliassen.

Eliassen sier imidlertid at 2,5 kilometers oppløsning egentlig ikke er bra nok for Norge, men jo mer finmasket man skal forsøke å gjøre beregningene, jo større blir usikkerheten. Likevel bruker man det som kalles postprosessering på dataene, slik at man få inn lokale korreksjoner basert på observasjoner og lokal kjennskap til topografien. Da kan man komme helt ned i 500 meter og likevel få noenlunde nøyaktige prognoser.

To uker er rundt det man tror er mulig å kunne lage gode værprognoser, prøver man å lage prognoser for lenger tid enn dette blir usikkerheten for stor. Det er imidlertid mulig å se på klimaendringer over mye lenger tid enn to uker hvis man ser på jordkloden som helhet, ved at man baserer seg på data fra havet. Årsaken er at temperaturen i havet endrer seg mye tregere enn atmosfæren.

– For enkelte værfenomener kan vi gi prognoser opptil et halvt år i forveien, sier Källén og nevner El Niño som eksempel. Dette er imidlertid enklest i tropiske strøk – mens det er vanskelig å lage veldig lange prognoser for våre nordlige breddegrader.

Vil du lære mer? Se flere Digi Ekstra-saker i arkivet »