Det er ikke de fysiske formatene som er den største utfordringen ved langtidslagring av data

SOGNSVANN, OSLO (digi.no): Mye av de digitale dataene som produseres i dag, kan være av interesse også for ettertiden. Men i motsetning til informasjon trykket på papir, er det ikke umiddelbart gitt at innholdet som er lagret i ulike digitale dokumentformater er lesbart for forskere og andre om noen tiår eller enda lenger fram i tid.

Selv enkelte filformater som var svært utbredt for bare noen titalls års siden, kan være vanskelig å få gjengitt korrekt i dag.

Et separat, men likevel høyst relatert problem, er de fysiske lagringsformatene. Med disse er det primært den begrensede levetiden som er problemet.

Enorme mengder

Dette er problematikk som Arkivverket, som blant annet skal ta vare på et bredt og allsidig utvalg av samfunnets arkiver, er spesielt engasjert i.

– Det er et vedlikeholdsproblem, sier Erik Aaberg, seniorrådgiver i Arkivverket, når digi.no nevner filformater og bevaring.

– Jeg tror vi til dels har underestimert omfanget av arbeidet som er relatert til dette i tiden framover. Vi mottar mer og mer digitalt materiale, det bygger på seg eksponentielt, så det kommer til å bli en kjempejobb å holde dette vedlike. Vi har rutiner for det, og har holdt det unna foreløpig, men dette blir en utfordring på sikt, mener Aaberg.

Kriterier

Arkivverket har derfor utarbeidet en del kriterier for formatene som dagens materiale må baseres på når det skal bevares digitalt. Målet er at det skal være lesbart også om hundre år.

Blant kravene er at spesifikasjonen må være åpen, at det følger en internasjonal standard, at det ikke er lisensbelagt, at det er fullstendig åpent og dokumentert, at det er mye brukt og gjerne over lang tid.

I tillegg skal formatet være uavhengig av operativsystem og presentasjonsplattform, og det må ikke inneholde eksterne avhengigheter.

Det sistnevnte betyr at at all informasjon som er nødvendig for fremtidig presentasjon, skal være inneholdt i selve dokumentet. For eksempel kan PDF blant annet lenke til plattformspesifikke fonter, i stedet for at de er integrert i dokumentet.

Formatet PDF/A forbyr slik funksjonalitet og er derfor egnet for langtidsbevaring av digitale dokumenter.

– Disse kriteriene har vi brukt ved valget av alle formatene som vi vil ha. Men det er mulig å søke om unntak, forteller Aaberg.

Konverteringsverktøy

– Hvis et digitalt format har levd lenge, for eksempel TIFF (Tagged Image File Format, journ. anm.), så vil det sikkert leve en stund til. Men det at noe er åpent og dokumentert og tilfredsstiller alle disse kravene, betyr ikke at det vil være standard om 40 år. Men med stor utbredelse vil det høyst sannsynlig finnes konverteringsverktøy som kan ta det over i de nye standardene, fortrinnsvis uten stort informasjonstap, sier Aaberg.

Han mener at selv om det er fordeler med digitaliseringen, er det også ulemper.

Aaberg forteller at Arkivverket har en paverull fra 1189 som er i fin stand, mens de første digitale uttrekkene fra rundt 1980 er til dels ganske vanskelige å tolke i dag. Han viser til at den tidligere riksarkivaren, Ivar Fonnes, har uttalt at «papir er en tålmodig informasjonsbærer».

Det kan man nok vanskelig si om dagens digitale formater, heller ikke de fysiske.

Begrenset levetid

– Ingen av våre fysiske medier i dag varer særlig lenge. De har begrenset levetid, sier han og viser til at harddisker i snitt lever i 3 til 7 år, mens tape (LTO) har en gjennomsnittlig levetid på 5 til 15 år.

Best levetid av de etablerte løsningene, kan være optiske medier, som kanskje kan bevare dataene i mer enn 100 år. Men dette benyttes ikke av Arkivverket.

– Vi har rutiner for løpende å sjekke friskheten til mediene, forteller Aaberg.

– Vi har alltid tre kopier, lagret to forskjellige steder. To kopier er lagret på tape og én på disk. Men vi har vel alle hørt om at ekstreme solstormer kan påvirke magnetiske data, sier han.

Virkelig store solstormer kan få store konsekvenser for magnetisk lagrede data, men Aaberg mener det ikke vil berøre materialet som er lagret dypt nede i kjellerne til Arkivverket.

Også på den fysiske siden er det en utfordring med at datamengdene som skal bevares, vokser eksponentielt.

Likevel optimist

– Men der tror jeg man finner løsninger som kan vare litt lenger, sier han.

Han nevner blant annet M-DISC, som han personlig har mest tro på nå når det gjelder lang tids holdbarhet for større mengder data

– Det er faktisk et CD-/DVD-/Blu-ray-format som nok er garantert å vare i hvert fall i hundre år, kanskje 500, sier Aaberg.

– Brennere som kan lage dette er tilgjengelig her og nå, forteller han.

Platene har tilsvarende lagringskapasitet som de ordinære utgavene av de samme mediene og kan også leses av vanlige spillere. Forutsetningen er selvfølgelig at det fortsatt finnes slik lesere når levetiden til platene begynner å nærme seg slutten.

Norsk alternativ

En annen teknologi Aaberg trekker fram, er utviklet av Drammen-selskapet Piql. De lagrer data på filmruller. Det er velkjent at både levende film og mikrofilm kan spilles av mange år etter at det har blitt spilt inn.

– De står for en ganske unik teknologi og har fått til en del. Jeg tror teknologien deres virker. Den grad vi har lurt på noe, er det faktorer som pris, hastighet og kapasitet. Vi har ikke noe formelt samarbeid med dem i dag, men det er det andre i arkivverdenen i Norge som har, sier Aaberg. Han nevner blant annet Interkommunalt Arkiv Kongsberg.

– Det er artig når noen prøver seg på noe som er fundamentalt nytt.

Saken fortsetter under bildet.

Det mest eksotiske Aaberg har sett, er det Hitachi som står bak.

– I laboratoriet har de nå greid å svi digitale punkter inn i kvartskrystaller. Da er du garantert varighet et sted mellom 100 og 300 millioner år. Da begynner det å ligne noe, spøker Aaberg.

– Men så langt har de bare fått lagret noen få byte. Poenget med alt dette er at det jobbes ganske mye med dette, så det fysiske tror jeg at vi klarer å løse. Med det logiske er jeg redd at vi kommer til å slite med i alle fall så lenge jeg lever, sier han.

For det kommer nye formater hele tiden.

Digi.no har besøkt Piql. Les om det her:

Det har tatt helt av for det norske datalagringsselskapet (Digi ekstra)

Vanskelig å estimere

– Det er slutt på vår hukommelse dersom vi ikke tar vare på dette på en anstendig måte. Vi tenker mye på dette, men det er mulig at vi ikke tenker nok – at vi ikke planlegger for fremtidig, nødvendig prioritering av ressurser, sier Aaberg.

Han forteller at det heller ikke er så enkelt å estimere hvor mye ressurser som vil være nødvendige en del år fram i tid, men Arkivverket har likevel noen tall på forventet digitalt mottak de neste årene.

– Ut fra levetiden på formater og så videre kan man kalkulere noe. Men så legger vi heller ikke budsjetter fem år fram i tid. Foreløpig holder vi unna, forteller Aaberg.

Les også: Her foregår et av Norges virkelig store digitaliserings­prosjekter (Digi ekstra)

Minimale utgifter til maskinvare

På spørsmål om Arkivverket har fysisk plass til lagringsenhetene som kreves for å lagre det som mottas i årene framover, svarer Aaberg at det ikke er noe problem.

– Disker tar jo ekstremt liten plass. Men vi er fulle i papirhyllene våre, så et prosjekt der er å digitalisere, eller å frigjøre plass ved å kassere – dersom det ikke er av historisk interesse. Men plass til et serverrom til og eventuelt en tape-robot eller to til, det er ikke noe problem, forteller han.

– Det er klart det skal kjøpes disker. Men utgiftene til hardware og software er nok minimale i den store sammenhengen. Det er manuelle rutiner rundt dette som krever mer.

Bedre støtte for digitale kart og 3D

Det er langt fra bare tekst som skal bevares. Kart er et eksempel på data med helt egne standarder. Inntil en ny forskrift for Riksarkivaren kom i fjor, var det kun ett eneste kartformat som ble godtatt for bevaring hos Arkivverket. Dette heter SOSI-formatet (Samordnet Opplegg for Stedfestet Informasjon), stammer fra 1980-tallet og er en særnorsk kartstandard.

– Nå godtar vi og nærmest foretrekker GML (Geography Markup Language), som er den internasjonale standarden for kartformater, sier Aaberg.

Nytt er også 3D-formater.

– Byggteknisk, for eksempel, har ikke i det hele tatt kunnet levere inn noe til oss som avspeiler tre dimensjoner. Det har vært et problem, for da har de projisert det ned i flate PDF-filer, og da mister en ganske mye informasjon. I forbindelse med den nye forskriften har vi godtatt noe som heter IFC, Industry Foundation Classes. Dette er i ferd med å bli utvekslingsformatet for 3D-objekter, spesielt innen byggindustrien, sier Aaberg.

– Nå er vi i stand til å motta arkitekturdata på en anstendig måte. Det var vi ikke før, sier han.

Foreløpig har ikke Arkivverket mottatt noe av dette.

– Men det kommer det. Vi er i tett dialog med Statsbygg, forteller han.

Aaberg understreker at disse valgene og de nevnte kriteriene for utvalg er gjort i dialog med mange eksterne institusjoner, inkludert Statsbygg, Kartverket og en rekke tilsvarende institusjoner i utlandet, for å se på blant annet beste praksis.

– Så vi lever ikke i et vakuum. Vi prøver å holde oss til standarder, og helst i dialog med andre, forteller han.

Avgjørende metadata

Metadata knyttet til dataene som skal lagres, er også noe Arkivverket jobber med i et stort prosjekt om hvilke metadata og metadatastandarder som anses som viktige for at noen i framtiden skal skjønne hva dataene faktisk er. Ifølge Aaberg finnes det en masse internasjonale standarder for dette.

– Noen ganger tar man bare en rå databasedump for å redde databasen før den forsvinner. Da kan man risikere at man om noen år ikke lenger aner hva dette var. For eksempel kan det i en pasientjournal står verdien «217», og så kan det vise seg at det er en kode for en spesiell diagnose. Det skjønner du ikke hvis du ikke har med forklaringene, forteller Aaberg.

Helt nytt prosjekt

Det er ikke bare gamle og støvete data som tas vare på av Arkivverket. Aaberg forteller at Arkivverket siden i fjor sommer har hatt et pilotprosjekt som går ut på å samle ytringer i sosiale medier fra blant annet statsministeren, samtlige partiledere og alle stortingsrepresentantene. Til sammen mer enn 200 personer eller organisasjoner.

– Det dreier seg om 50-60 tusen ytringer som vi kommer til å legge ut søkbart. Det tror vi er ganske artig. Til dette blir det knyttet litt statistikk og slikt. Noen er ekstremt aktive, forteller Aaberg.

I tillegg til fritekstsøk, vil det i tjenesten være mulig å filtrere på blant annet person, parti og tidsperiode.

Lite web

Arkivverket har ikke standard rutiner for bevaring av webinnhold.

– Norsk web skal i hovedsak bevares av Nasjonalbiblioteket. Men vi tror det er noen nisjer som ikke dekkes, og det kan være ting som faller innunder vår sfære, for eksempel hyppigere høsting av departementene. Det kan være intranett som man ikke kommer til fra utsiden. Der har vi en litt stillestående diskusjon med Nasjonalbiblioteket om fordeling av oppgaver, forteller Aaberg.

Arkivverket har i noen tilfeller høstet data fra weben, men det har foreløpig ingen definert policy for dette.

– Men dette er i støpeskjeen. For web er vår tids viktigste presentasjonsmedium, understreker Aaberg.

Presentasjonslaget

Han forteller videre at det internt også foregår en diskusjon om viktigheten av presentasjonslaget i tillegg til innhold.

– Tradisjonelt har vi tatt vare på databaseinnhold, altså det som står inne i selve databasen. Men jeg personlig er av den oppfatning at måten databaseinnholdet blir presentert på utad, er relevant samfunnsdokumentasjon for fremtiden, sier Aaberg.

Han viser til ett spesielt tilfelle hvor nettopp presentasjonen har blitt tatt vare på, og det er i forbindelse med nettstedet pandemi.no, som handlet om svineinfluensaen.

– Folk trodde jo at det var ganske farlig, og det speiles ganske godt i dette nettstedet. Men så var det jo ikke så farlig likevel. Det er ganske stor forskjell på formidlingen av offentlig informasjon som er flagget med store typer på første side, sammenlignet med det som er gjengitt med font 10 etter sju klikk, mener Aaberg.

Webinnhold kan være problematisk

Også med bevaring av webinnhold er det formatproblem, da det inne i en HTML-side kan ligge alle mulig objekter.

– Det har vi gått for en standard som er definert av Internet Archive, som heter WARC. Den bevarer alt av en webside og pakker det inn i metadata. Rare objekter, som ikke er etter arkivstandard, henger også med, forteller Aaberg.

Et alternativ er å lagre websiden som en PDF, men da kan mye gå tapt. Det samme var tidligere tilfellet med regneark. Også disse skulle lagres som PDF.

– Men dreier det seg om Microsoft Office etter 2007, så godtar vi også Office-formater, for da er det i et XML-format som i prinsippet er i alle fall 98 prosent åpent dokumentert.

Tingenes internett

Aaberg forteller at også data fra tingenes internett er noe som kan være aktuelt å bevare.

– Hva er bevaringsverdig av alle disse eksotiske informasjonselementene som flyter ute ett eller annet sted i nettet?

Han nevner spesielt én diskusjon i forbindelse med den store tsunamien i 2004.

– Det var en svær diskusjon om når Utenriksdepartementet kom på banen. Da brukte man som bevis det tidspunktet lyset ble slått på hos UD. Hadde de da hatt Internet of Things, med intelligente lyspærer, så kunne du ha sett helt nøyaktig når de kom på banen, sier Aaberg.

Programvare og emulering

Et annet eksempel han nevner, er bevaring av programvare.

– Det kan kanskje være nødvendig for å få presentasjonslaget riktig. En alternativ strategi til å konvertere fra gamle til nye formater, er emulering, at du vedlikeholder og simulerer gamle operativsystemer og programvare for å vise fram innholdet. Dette har vært lite brukt i arkivverdenen, men det er til en viss grad på vei inn i noen sammenhenger.

– Internet Archive er veldig gode på akkurat det der, sier Aaberg og viser blant annet til Console Living Room, hvor man i nettleseren kan få opp bortimot alt som fantes av gamle spillkonsoller og spille spill slik man gjorde for flere tiår siden.

– Internet Archive er etter mitt syn ledende i mye av tankegangen. De er ekstremt langt framme og har en hårete ambisjon om å bevare alt, fortsetter han.

Om Arkivverket kommer til å ta i bruk emulering, er ikke avgjort ennå.

– Men det er slike tanker vi må tenke etter hvert, forteller Aaberg.

Gamle datamaskiner

På spørsmål om Arkivverket også har en samling med gamle datamaskiner som kan brukes til å kjøre den gamle programvare, svarer han i utgangspunktet nei, men legger til at de likevel har noen eldre og spesielle maskiner.

– Vi har blant annet de gamle Mac-ene til Kristen Nygaard, fra tilbake til 1980-tallet. Der er det et arkivarprosjekt som går ut på å redde disse dataene. Men ellers har vi minimalt med gammel hardware, sier han og viser til Teknisk Museum.

– Vi hadde for noen år siden hatt bruk for min gamle datamaskin fra Norsk Data, for det kom opp noe fra 1980-tallet som vi den gang ikke klarte å lese. Vi har klart å konvertere dem i ettertid. Jeg hadde en slik maskin, men den gikk på fyllinga for noen år siden, forteller han.

– Vi har også en del taperuller som vi ikke har leseutstyr for, men det finnes jo der ute. Men vi har også masse, annet for eksempel VHS-kassetter. Det burde gjøres noe med dette også. Det er fortsatt mulig å få tak i VHS-spillere, men det begynner å bli vanskelig, avslutter han.

Les også: Her har de tatt vare på all verdens websider i 20 år