Norske forskningsmiljøer lagrer smartere – sparer både tid og penger

Mengden ustrukturerte filer, alt fra dokumenter, bilder og videoer til data fra sosiale medier, vokser eksponentielt. Ifølge IDC er 78 prosent av all lagret informasjon ustrukturert, og volumet ventes å øke fra 5,5 til hele 10,5 zettabyte innen 2028.

– Utgangspunktet for å utvikle gode AI-modeller er å ha orden på datagrunnlaget. Dette krever løsninger som kan håndtere enorme datamengder, sier Åsmund Berget, teknologidirektør i Move.

Sammen med IBM tilbyr de en plattform som lar virksomheter lagre, finne og analysere petabyte-mengder med data uten å kopiere dem rundt. Blant annet har de i fellesskap levert en av markedets største lagringsløsninger til Sigma2, som står ansvarlig for den nasjonale e-infrastrukturen for beregningsvitenskap i Norge.

Lavere driftskostnader med IBM Storage Scale

IBM Storage Scale, tidligere kjent som Spectrum Scale, har praktisk talt ingen begrensninger på hvor mye data som kan lagres. Løsningen støtter også ulike lagringsmedier, fra tradisjonell disk til moderne NVMe og tape, på en unik måte.

– Data lagres på det mediet som er mest økonomisk gunstig basert på bruksmønster, for eksempel hvor ofte data aksesseres, uten at brukeren opplever noen ulemper, forklarer Berget.

Storage Scale tilbyr også automatisk tiering (flytting av data mellom raske og rimelige lagringsmedier etter hvor ofte de brukes) og kan integreres med eksisterende tredjepartssystemer.

– Det gjør den til en av de mest fleksible, høytytende og økonomisk fordelaktige løsningene på markedet, slår han fast.

IBM Storage Scale gir tilgang til de samme filene via flere ulike metoder, som vanlige fildelinger (SMB), nettverkslagring (NFS) og skylagring (S3). Når flere brukere trenger tilgang til dataene samtidig, kan man øke ytelsen der det trengs mest uten å måtte kjøpe ekstra lagringskapasitet.

– Dette gjør at virksomhetene enkelt kan skalere opp ytelsen i travle perioder, uten å måtte investere i unødvendig lagringsplass, forklarer Berget.

Content-Aware Storage gjør AI-analyse enklere

En annen utfordring er behovet for rask og presis AI-analyse av ustrukturerte data. Her tilbyr Storage Scale betydelige fordeler gjennom sitt parallellfilsystem som bruker POSIX for høyhastighets AI-analyse.

– En viktig nyhet er Content-Aware Storage (CAS), som integrerer avansert AI-funksjonalitet direkte i lagringsløsningen. Denne teknologien utnytter naturlig språkprosessering (NLP) og NVIDIA NeMo Retriever for å automatisk hente ut semantisk mening fra ustrukturerte data, forklarer Berget.

– Dette muliggjør oppdaterte, raske og presise AI-resultater ved hjelp av teknologien Retrieval Augmented Generation (RAG), legger han til.

Kortere vei fra data til innsikt

Ved å utføre AI-behandling nær selve lagringssystemet, reduseres behovet for å flytte data mellom systemer.

– Det gir betydelige kostnadsbesparelser og forbedrer sikkerheten ved færre kopier av sensitive data, forteller Berget.

IBM Storage Scale kan også integreres mot eksisterende tredjepartslagringssystemer, slik at virksomheten kan dra nytte av eksisterende lagringsinvesteringer uten dyre og komplekse migreringsprosjekter.

Utprøvde løsninger hos Move sine kunder

Move har flere kunder som allerede benytter denne teknologien, inkludert UiO, NMBU og Sigma2.

– Kundene våre opplever betydelige besparelser og ytelsesgevinster fordi Storage Scale unngår unødvendig datakopiering og kontinuerlig holder AI-modellene oppdatert med relevant informasjon, avslutter Berget.