Nasjonalbiblioteket må på Ebay for å skaffe utstyr til digitaliseringen

Gjennom mer enn 200 år har Nasjonalbiblioteket, som fram til 1989 var en del av Universitetsbiblioteket i Oslo, samlet norske utgivelser av både aviser, tidsskrifter og bøker. I litt nyere tid har dette også inkludert audiovisuelle innspillinger og kringkasting. Det meste av alt dette er analogt materiale, noe som betyr at målsetningen fra 2006 om å digitalisere alt sammen, innebærer en svært stor oppgave.

Det som er helt klart, er at selv om digitaliseringen har pågått i mer enn ti år, og svært mye materialet nå har blitt digitalisert, så er det fortsatt enorme mengder som gjenstår.

Digi.no har snakket med Svein Arne Solbakk, avdelingsdirektør for digital bibliotekutvikling hos Nasjonalbiblioteket, om digitaliseringen.

Alt som publiseres

Han leder en avdeling med 60 personer som står for hele IT-aktiviteten i Nasjonalbiblioteket. Disse står for drift av eksisterende tjenester, samt utvikling av støtteapparatet for digitaliseringen og de tjenestene som man finner på nettet. I tillegg har Solbakk 80 ansatte som jobber med selve digitaliseringen, altså betjener de skannere og annet utstyr. Digitaliseringsprogrammet, som ble startet i 2006, har en årlig ramme på mellom 60 og 80 millioner kroner.

– Oppdraget til Nasjonalbiblioteket er å ta vare på det som publiseres i nåtiden, både for at det skal kunne brukes til forskning og dokumentasjon i nåtiden, og for at det skal være tilgjengelig for kommende generasjoner, sier Solbakk.

– Vi skal prøve å dokumentere helheten i det norske samfunnet så godt som mulig, for at det skal være mulig for forskere og andre interesserte å forstå totaliteten og konteksten i framtiden, forteller han.

Pliktavlevering

Ifølge Solbakk har vi en ganske moderne pliktavleveringslov i Norge som sier at dersom du publiserer noe til offentligheten, så skal dette også avleveres til Nasjonalbiblioteket, som så skal ta vare på det.

– Dette er uavhengig av formater, så det gjelder ikke bare bøker, aviser og tidsskrifter – noe som en kanskje forbinder mest med et bibliotek – men det er også det som kringkastes på radio og det som publiseres på internett, i tillegg til blant annet film og musikk, forteller han.

I tusen år

Det er et tusenårsperspektiv på samlingen. Akkurat som for Arkivverket, som digi.no tidligere har omtalt, vil det for Nasjonalbiblioteket kunne være betydelige utfordringer når innhold som er lagret i et døende format, må overføres til noe mer moderne.

Dette gjelder både logiske dokumentformater, som PDF, og fysiske lagringsformater.

– Spesielt audiovisuelle formater er veldig sårbare, fordi du må ha det rette avspillingsutstyret for å få digitalisert det. Vi har selv definert det som en 15-års-satsing hvor vi skal ha digitalisert alle fysiske, magnetiske og audiovisuelle bærere. Det er en internasjonal forståelse av at det om femten år kommer til å bli relativt vanskelig å skaffe avspillingsutstyr, sier Solbakk.

Ett av disse årene har nå gått, og ifølge Solbakk er Nasjonalbiblioteket i rute dersom de ikke får ytterligere veldig mange store samlinger innlevert. Men jobben krever blant litt utradisjonelle metoder.

Les mer: Det er ikke de fysiske formatene som er den største utfordringen ved langtidslagring av data (Digi ekstra)

DAT-spillere på Ebay

– Vi bruker mye ressurser på å skaffe utstyr via Ebay. Dette pusser vi opp slik at det brukes til å spille av den fysiske samlingen, sier Solbakk.

– Fordi vi har samlet mye dokumentasjonsopptak fra kringkastere på DAT (Digital Audio Tape, journ. anm.), så har vi en av verdens største DAT-samlinger. Det er litt vanskelig å få tak i DAT-spillere på Samvirkelaget i dag. Så vi kjøper masse DAT-spillere og prøver å lete etter utstyr som har vært lite brukt.

Selv om DAT-perioden nok må regnes som et lite blaff i forbrukermarkedet, ble formatet brukt ganske mye i radiosammenheng.

– Perioden var lang nok. Vi har mange hundre tusen timer med radioopptak på DAT. Vi har nå en rigg med 36 DAT-spillere som står og kjører i hvert fall ti timer i døgnet, altså med 36 lydstrømmer, sier Solbakk.

– Det er jo radiohistorie. Går det tomt for DAT-spillere, er dette tapt. For spillerne blir jo utslitt.

Solbakk forteller at i forslaget til statsbudsjett har Nasjonalbiblioteket også fått midler til en ganske storstilt satsing på digitalisering av audiovisuelt materiale i ABM-institusjoner (arkiv, bibliotek og museer). Dette betyr i så fall 10 millioner kroner i 2019 til å starte arbeidet. Det gjøres nå en kartlegging for å få oversikt over det som finnes.

Mer kommer inn digitalt

En svært stor del av digitaliseringsjobben hos Nasjonalbiblioteket handler likevel om trykksaker. Estimatet i 2006 var at det ville ta 30 år å digitalisere alt. Heldigvis er det ikke lenger slik at alt som gis ut må skannes av Nasjonalbiblioteket.

– Vi fikk en liten endring i pliktavleveringsloven i 2016, som nå i sommer ble presisert gjennom forskrifter. Den var liten i tekst, men i prinsipp var den utrolig viktig for oss. Den sier at vi i tillegg til å få det som publiseres, så kan vi kreve å få det digitale grunnlaget for publikasjonen. Praktisk talt alt som publiseres i dag er jo produsert digitalt i forkant, forteller Solbakk.

I stedet for at Nasjonalbiblioteket får for eksempel en bok på papir og må skanne den og tolke bokstavene, så kan de i stedet få en PDF-fil hvor alt innholdet allerede er digitalt i trykkekvalitet og som inkluderer grunnlag for blant annet søk i fritekst.

– Vi er nå i ferd med å implementere konsekvensene av dette. Det betyr at vi etter hvert stopper tilveksten av materialet som skal digitaliseres, og at ambisjonen vår om å digitalisere hele samlingen blir litt mer oversiktlig, sier Solbakk.

Må lage standarder

Det er likevel en omfattende prosess, for det er veldig mange som publiserer materiale i Norge. Det vil være helt håpløst å tilpasse seg til hver og en utgiver, så målet er derfor å finne mer eller mindre standardiserte måter å hente inn materialet på.

– Vi startet med avisene. Det er vel 26 aviser av de cirka 250 aktive avisene som vi ennå ikke får digitalt. Så vi føler at vi har kommet ganske langt på det området, sier Solbakk, selv om det fortsatt er mye av det som utgis på andre områder som ikke innleveres digitalt.

Over en halv million norske bøker

Da digitaliseringsprosjektet startet, estimerte Nasjonalbiblioteket at det var rundt 400 000 bøker i Norge. Dette tallet vokser selvfølgelig med nye utgivelser. Men senere har det også blitt tatt med det som i bibliotekverdenen har blitt kalt for småtrykk, noe som var definert som trykksaker med færre enn 40 sider. Mye av dette regnes i dag som bøker, og det gjør at Nasjonalbiblioteket nå anslår at vi har rundt 600 000 forskjellige bøker i Norge.

– Vi har fram til i dag digitalisert 545 000 bøker. Det er litt over 90 prosent, sier Solbakk.

På andre områder er det langt mer som gjenstår. Solbakk nevner spesielt tidsskrifter, hvor det riktignok har blitt digitalisert noen titusen sider. Der er det veldig mye materiale som gjenstår.

Nasjonalbiblioteket har så godt som komplett samling av norske aviser siden 1763. Rundt to millioner, eller omtrent 40 prosent av disse, har blitt digitalisert. Etter planen skal digitaliseringen av avisene være ferdig om ti år.

– Det betyr at vi ser at ting har en ende. Vi blir ferdige, lover Solbakk.

Les også: Nå kan du lese nesten alle norske bøker utgitt før 2000 gratis på nett

Manuelt og automatisk

Selv om en god del av digitaliseringen av trykksaker må gjøres manuelt, brukes det også skannere som blar automatisk.

– Mange bøker er i så god tilstand at dette går veldig greit, forteller Solbakk. I andre tilfeller har Nasjonalbiblioteket hatt så mange eksemplarer av bøkene at de har demontert ett av disse før skanningen. Da har de kunnet kjøres gjennom en mer ordinær dokumentskanner.

Digitalisering av nyutgitte aviser er sjelden noe problem. Eldre aviser kan være verre. Solbakk nevner spesielt perioden mellom 1880 og 1920, hvor det ble brukt veldig dårlig papir.

– Aviser fra denne perioden kan vi stort sett ikke legge i disse automatiserte skannerne, for det blir som en makuleringsmaskin. De virkelig gamle avisene derimot, som er trykket på bomullspapir, de er av veldig god kvalitet og tåler mye, forteller Solbakk.

Det er langt mer ressurskrevende å digitalisere aviser hvor mennesker må bla forsiktig side for side under skanningen.

Det er riktignok ikke alt som digitaliseres direkte fra papir. En del digitaliseres i stedet fra mikrofilm, som var den måten aviser ble bevart på fram til og med 2007.

Skanning av mikrofilmene gjøres ved en indisk eid digitaliseringsfabrikk i Danmark. Strukturanalysen og OCR-tolkningen (Optical Character Recognition) gjøres av firmaet i India.

Vansker med gotisk

Solbakk forteller at tolkingen av skriften blir mer utfordrende jo lenger man går tilbake i tid.

– Spesielt gotisk virker både mindre standardisert og dårligere trykt. Så vi sliter litt mer med dette. Det er likevel ikke verdiløst, for vi ser at vi får gode treff i de gotiske avisene i den digitale samlingen. Jeg vil nok si at OCR-programvaren er bedre enn meg til å tolke gotiske bokstaver. Men vi har lavere treffrate på gotisk skrift, mens med vanlige latinske bokstaver på god trykk med svarte bokstaver på hvit bunn, ligger vi veldig nærme 100 prosent, opplyser Solbakk.

Har gitt helt nye muligheter

Han mener det begynner å bli en del interessante effekter av at så stort volum av aviser nå er digitalt tilgjengelige.

– De var jo som sagt bare tilgjengelige på mikrofilm tidligere. Det å finne ting betydde jo at du måtte spole deg gjennom manuelt og følge på skjermen i full fart. Det var en teknikk som mange behersket godt. Men det å kunne søke i fritekst gjør jo at du kan finne igjen ting i gamle aviser som har vært helt umulig fram til nå, sier Solbakk.

Petabyte

I dag har Nasjonalbiblioteket et digitalt sikringsmagasin som inneholder 8 petabyte med unike, digitale objekter. Dette består av en kombinasjon av det Nasjonalbiblioteket har digitalisert selv, og det biblioteket har fått inn digitalt fra utgivere. Dette legges i et arkivsystem som automatisk sørger for at det legges én kopi på disk og to tilleggskopier på hver sin tape-robot.

Tape-systemet skal dog byttes ut i løpet av de kommende årene, siden Oracle har lagt ned utviklingen av systemet som brukes i dag.

– Det er for øvrig slik at når vi får en fil direkte fra utgiveren, så er den kanskje på et par megabyte per avisside. Men hvis vi digitaliserer den selv, så er den på hundre megabyte for å oppnå den samme kvaliteten. Så det vi har digitalisert selv utgjør en ganske stor andel av det digitale sikringsmagasinet, forklarer Solbakk.

Stor vekst

Tilveksten er i gjennomsnitt på mellom 5 og 10 terabyte per døgn.

– Heldigvis har den teknologiske utviklingen vært relativt forutsigbar i denne perioden, så vårt budsjett for digital lagringskapasitet har vært nokså flatt. På grunn av utviklingen går «footprinten» ned, strømforbruket per terabyte går ned, samtidig som at prisen per terabyte har sunket relativt lineært i perioden, forteller Solbakk.

– Dette har gjort det mulig for oss å fortsette den digitale satsingen såpass tungt.

Fysisk plass vil heller ikke bli noe problem med det første. I Mo i Rana, hvor magasinene til Nasjonalbiblioteket er lokalisert, er det et stort magasinprosjekt på gang. Ifølge Solbakk bygges det nå ett nytt fjellmagasin til fysisk samling, en veldig stor fjellhall for arkivmateriale, samt en ny datahall for digitalt sikringsmagasin.

– Det betyr at vi får plass og fysisk infrastruktur til å skalere det digitale sikringsmagasinet for mange, mange år framover, forteller Solbakk.

Men hva med internett?

Internett og da særlig weben, har i løpet av noen få tiår blitt den viktigste publiseringskanalen av alle. Nasjonalbibliotekets samlinger ville vært temmelig ufullstendige dersom alt som kun publiseres på weben, ignoreres.

– Internett er en viktig del av mandatet vårt. Mer og mer blir kanalisert over til nettpublisering. Så det å ikke få tatt vare på dette, ville være en fallitt, sier Solbakk.

Innsamlingen har foregått siden begynnelsen av 2000-tallet. Nå samles det inn fra de rundt 3000 viktigste domene i Norge tre ganger i døgnet. Mye av dette er nettstedene til media og offentlige institusjoner.

Skal utvides

Nasjonalbiblioteket har startet utviklingen av en ny plattform som skal gjøre det mulig å samle inn fra hele .no-toppdomenet, i tillegg til norskrelaterte dokumenter som finnes andre steder på nettet.

– Vi er nå i operativ drift med innsamling av norske, offentlige nettsteder på den nye infrastrukturen. Vi jobber med å skalere ytterligere. Det er rundt 700 000 domener i Norge, så det er en del igjen, sier Solbakk.

Dagens samling med innhold fra internett er nå på nesten en petabyte. Noe av det som har bidratt til størrelsen, er at kvaliteten på innhold som bilder og video, stadig har økt.

Og gjøres mer tilgjengelig

Foreløpig er ikke samlingen med internettinnhold tilgjengelig for noen, men Nasjonalbiblioteket har fått en åpning i den nye pliktavleveringsloven for å gjøre tilgjengelig deler av dette arkivet. En slik hjemmel har Nasjonalbiblioteket ikke hatt tidligere.

Det som nå kan gjøres tilgjengelig, er alle statlige og offentlig eide nettsteder.

– Vi er ikke helt klare for dette ennå, men vil jobbe med dette framover. Resten av innholdet vil det bli mer begrenset tilgang til, forteller Solbakk.

Internet Archive

Digi.no påpeker at det kanskje er litt rart at Internet Archives og deres Wayback Machine kan gjøre tilgjengelig svært mye arkivert innhold, også norsk, som Nasjonalbiblioteket ikke har lov til å tilby.

– Det kan du si. De er jo en ideell organisasjon. Deres strategi har vært at dersom noen kommer til dem og sier «det ikke er greit du gjør tilgjengelig nettstedet mitt», så tar de det bort. De har unngått å bli saksøkt fordi de har vært responsive. Men det viser i praksis at de aller, aller fleste syns det er helt greit at det ligger der. Vi som offentlig institusjon kan ikke gjøre tilgjengelig noe dersom departementet sier at det ikke er lovhjemmel i Norge for å gjøre dette, forklarer Solbakk.

Han legger til at det er litt forskjellige filosofier for dette i ulike land. Blant annet har Island og Portugal åpne webarkiver. Etter innføringen av den nye lovgivningen i Norge, er det nå også land som er strengere enn Norge på dette området.

Solbakk opplyser at Nasjonalbiblioteket har hatt et nært samarbeid med Internet Archive i mange år.

– En av våre IT-utviklere har til og med jobbet hos dem et halvt år i forbindelse med verktøyet for å laste inn internett.

Emulering av dataspill

I 2016 ble dataspill inkludert i den nye pliktavleveringsloven. Solbakk regner dataspill blant de vanskeligste typer innhold å bevare.

– Dette representerer nye utfordringer for meg, for her er programvare og programvareplattformer og operativsystemer involvert. Så fort et informasjonssystem er avhengig av et operativsystem, har du et større problem med å bevare det tusen år fram i tid, sier Solbakk.

Han har registrert at det er en del fellesskap rundt om i verden som jobber med gamle dataspill. Sentralt hos disse er emulering av gamle plattformer.

– Det er mange som jobber med å få til emulering på en god måte. Vi har i liten grad jobbet med dette, men vi har fulgt litt med på det som skjer og tenkt at emulering egentlig er den eneste måten vi kan gjenskape dette på i framtiden, sier Solbakk.

Han sier videre at den mest sannsynlige måten å dokumentere nettbaserte spill på, vil være videoopptak over skulderen på gode spillere.

– Vi ser ikke for oss at vi skal etablere et teknisk museum med datamaskinteknologi. Jeg tror det vil være helt umulig å være i stand til å gjenskape alle varianter av operativsystemer og teknologier.

Modernisert nettbibliotek

Nasjonalbiblioteket tok relativt nylig i bruk en redesignet og nyutviklet versjon av nettbiblioteket. Foreløpig er det primært digitale utgaver av bøker, aviser og tidsskrifter som er tilgjengelig der. På spørsmål om når overgangen til den nye utgaven skal være ferdig, svarer Solbakk ikke noe konkret om dette, utover å si at det jobbes kontinuerlig med å flytte mer over.

Han viser til at det også finnes en betautgave av tjenesten, hvor mer er tilgjengelig.

– Det som glimrer litt mer sitt fravær, er spesielt strømmet informasjon, altså lyd og levende bilder. Vi har en plan om å etablere dette nå, og kommer å jobbe med musikk fra november av, sier Solbakk.

Han vil ikke love noe lanseringstidspunkt for musikktjenestene, men regner med at det vil skje tidlig i 2019. Med dette bygges også plattformen som er nødvendig for strømming av lyd og video, så senere utvidelser av det som tilbys, vil primært handle om hvordan innholdet skal vises.

– Uhyre interessant materiale

Solbakk mener at spesielt samlingen på kringkastingsområdet er interessant.

– Når vi får en infrastruktur som gjør den tilgjengelig også i UH-sektoren (universitet og høgskoler, journ. anm) og norske folkebiblioteker, noe vi kan i henhold til den reviderte forskriften, så vi nok folk oppleve dette som et uhyre interessant materiale, sier han.

– Vi har jo radiosendinger tilbake til begynnelsen av 1930-tallet, lokker han.

Saken fortsetter under bildet.

Tale-til-tekst og maskinlæring

Solbakk forteller at Nasjonalbiblioteket har begynt å gjøre noen forsøk med automatisk transkribering av radioopptakene.

– Teknologien har begynt å komme ganske langt på det området, men fortsatt er det relativt kostbart i store volum. Dette er likevel ting som vi kommer til å jobbe med for ytterligere å øke gjenfinnbarheten i dette materialet, sier Solbakk.

Han legger dog til at opptakene inkluderer ganske mye metadata fra NRK om hva programmene handler om.

– Metadataene er til dels er ganske gode, og spesielt fra de tidlige årene. Men det er også mye som NRK ikke har vurdert som så relevant at de har katalogisert det. Det kan vi ha tilgjengelig som dokumentasjonsopptak, men der har vi ikke metadata utover når og på hvilken kanal det ble sendt, forteller Solbakk.

Han mener at så snart tale-til-tekst-teknologien blir god nok, så vil jo det bli en revolusjon på linje med søkbarhet i aviser.

– Vi eksperimenterer også litt med maskinlæring og kunstig intelligens for å se hvordan det kan brukes til å forbedre gjenfinningen i denne typen materiale, sier Solbakk.

Avisarkivet i nettbiblioteket

Når man søker i avissamlingen, vil mange oppleve at de bare får tilgang til deler av arkivet. En del aviser er tilgjengelig for norske IP-adresser, men mye er bare tilgjengelig i norske biblioteker, og en del kun når man sitter i lesesalene på Nasjonalbiblioteket.

Digi.no spør derfor Solbakk om hva som ligger til grunn for disse forskjellene. Han forklarer:

– Vi begynte ganske tidlig å jobbe med aviser. De to første avisene vi startet samarbeid med, var Aftenposten i Oslo og Adresseavisen i Trondheim. Dette var i 2006. Da etablerte vi et avtaleverk rundt dette, der avtalen med avisen var at de startet med digital avlevering, hvor de hadde en digital backup av arkivet sitt hos oss. I tillegg spleiset vi på kostnaden av digitaliseringen, mot at avisen fikk en komplett kopi av det som var digitalisert, forteller Solbakk.

Med dette fikk Nasjonalbiblioteket rett til å gjøre det digitale innholdet fra de to avisene tilgjengelig i norske bibliotek.

Saken fortsetter under bildet.

Butikk på arkivet

– Bibliotekene var på en måte vår del av markedet, og så kunne avisene gjøre butikk på dette utenfor bibliotekene. Dette avtaleverket har vi inngått med ganske mange aviser gjennom årene, som vi har denne typen digitaliseringssamarbeid med. Også disse har begrensningen med tilgang kun i bibliotekene, sier Solbakk.

Samtidig har det vært noen aviser som har vært villige til å gi Nasjonalbiblioteket helt åpne rettigheter, slik avisene kan gjøres tilgjengelige for alle. Da har Nasjonalbiblioteket dekket hele digitaliseringskostnaden.

– Noen aviser har ønsket denne modellen. Men de fleste har hatt en tro på at de skal klare å gjøre butikk på arkivet sitt. Det respekterer vi naturligvis, sier Solbakk.

Utvider tilgangen

I tillegg til dette har det kommet en ny modell, som sier at alle pliktavleverte ting skal gjøres tilgjengelig for forskning og dokumentasjon i folkebibliotekene.

– Det betyr at alle avisene blir tilgjengelig der, og ikke bare de 60 prosentene vi har avtale med, sier Solbakk.

Dette gjelder ikke bare for avisene, men også alt det andre, pliktavleverte materialet som Nasjonalbiblioteket har mottatt.

Den nye ordningen ble innført for universiteter og høgskoler i forrige uke, men det kreves mer å få det på plass i folkebibliotekene, så der blir ikke dette tilgjengelig før i første kvartal av 2019.

– Dette blir en veldig stor styrking av tilgjengeligheten på materialet. Du får tilgang dersom du bekrefter at du skal jobbe med forskning og dokumentasjon. Det er et krav om at dette må skje i biblioteklokalet. I praksis vil det bli slik at bibliotekpersonalet deler ut en midlertidig bruker til deg, forklarer Solbakk.

– Vi er veldig fornøyde med dette, for det har naturligvis vært en stor investering å komme dit vi er, og vi skal investere i enda noen år for å bli fulldigitale. Det å kunne utnytte denne investeringen på en sånn måte, det er veldig tilfredsstillende. Våre lesesaler er på Sollies plass i Oslo, og det er jo litt begrensende i forhold til Norge befolkning, avslutter han.

Leste du denne? Norges kulturarv har lagt inn sperre mot Internet Explorer