Enorm språkmodell for biologi skal «lese og skrive livets kode»

Også livet har et språk, nedtegnet av evolusjonen over milliarder av år. Nå har oppstartselskapet Evolutionary Scale trent en stor språkmodell på proteiners – livets arbeidshester – mest fundamentale egenskaper: sekvens, struktur og funksjon. Med denne modellen skal forskere forhåpentligvis raskt finne botemidler mot sykdommer og løsninger på klimaproblemer.

Hva har skjedd?

Det amerikanske selskapet Evolutionary Scale, grunnlagt av tidligere forskere fra Meta, har som en liten start skaffet 142 millioner dollar. Blant investorene finnes blant andre Amazon og Nventures, Nvidias risikokapitalfirma.

Evolutionary Scale har bygget ESM3, en serie KI-modeller trent på omkring tre milliarder proteiner «fra Amazonas' regnskoger til havets dyp, samt ekstreme miljøer som hydrotermiske åpninger og mikrober i en håndfull jord».

For å trene modellene brukte de GPU-klynger med «verdens høyeste datakapasitet for øyeblikket». Eller for å illustrere det på en annen måte: De ble trent med en beregningskraft på 1 billion teraflops. Den største modellen har 98 milliarder parametre.

– Innen kunstig intelligens ser vi kraften i å skalere opp modeller. Når de får flere parametre, mer data og større beregningskraft, får større modeller nye, fremtredende egenskaper som mindre modeller mangler, skriver selskapet i en artikkel på sin nettside.

Hva kan ESM3 gjøre?

Den er multimodal på den måten at den kan «resonnere» om proteiners tre mest grunnleggende egenskaper: sekvens (rekkefølgen av aminosyrene som proteiner er bygget opp av), struktur (den tredimensjonale formen proteinet antar) og funksjon (dens rolle eller aktivitet på molekylært nivå).

– Språkmodeller bruker diskrete enheter, eller tokens. For å skape en modell som kan resonnere om proteiners fundamentale egenskaper, måtte vi forvandle tredimensjonale strukturer og funksjoner til et diskret alfabet, samt konstruere en måte å skrive hver tredimensjonale struktur på som en sekvens av bokstaver, bemerker selskapet.

Tanken er at forskere skal kunne gi modellen en kombinasjon av sekvens, struktur og funksjon. Et eksempel Evolutionary Scale nevner, er at modellen skal kunne foreslå en mulig støttestruktur til enzymer som bryter ned plast. Ved å kombinere modalitetene vil KI-modellen kunne generere forslag som kan lede til mer effektive enzymer.

Andre mulige anvendelser er å studere hvilken effekt mutasjoner har på proteiners funksjon, designe antistoffer, få bedre forståelse for proteiners fundamentale prinsipper og akselerere legemiddelutvikling.

Hva har evolusjonen med dette å gjøre?

ESM3 beskrives som en «evolusjonær simulator». Den er trent på og basert på evolusjonære data. Derfra forsøker modellen å finne ut hva evolusjonen kunne ha oppnådd om den hadde fått mer tid.

Evolutionary Scale bemerker at «biologi er den mest avanserte teknologien som noensinne er skapt». Å bruke evolusjonen som grunnlag kan være en effektiv måte å generere nye proteiner på. Hvis man tar utgangspunkt i evolusjonære prinsipper, øker sannsynligheten for at AKI-modellene genererer proteiner som er funksjonelle.

Hvordan lærer modellen?

Hvordan kan ESM3 lære hvordan sekvens, struktur og funksjon fungerer sammen?

Når de tre egenskapene for hvert protein er forvandlet til tokens, maskeres deler av informasjonen. Tenk på det som et dokument som delvis er hemmeligstemplet. ESM3 må finne ut hvilken informasjon som mangler. På denne måten kan KI-modellen bygge en «dyp forståelse av sammenhengene mellom sekvens, struktur og funksjon på en evolusjonær skala».

Finnes det eksempler på hva ESM3 kan gjøre?

Ja, det gjør det. I forbindelse med lanseringen av modellene kom en vitenskapelig artikkel som foreløpig ikke er fagfellevurdert. I den presenteres en ny type grønt fluorescerende protein. Dette er et protein som avgir lys og som blant annet finnes i noen typer maneter, koraller og sjøanemoner. Det brukes flittig i biologisk forskning. Å stole på tilfeldigheter for å skape en ny type grønt fluorescerende protein er upraktisk fordi antall mulige kombinasjoner av sekvens og struktur er flere enn antall atomer i vårt observerbare univers.

ESM3 genererte et protein – esmGFP – som er evolusjonært fjernt fra grønt fluorescerende protein. Så fjernt at Evolutionary Scale anslår at det ville tatt evolusjonen 500 millioner år å konstruere det.

Hvorfor heter modellene ESM3?

Modellene heter ESM3 fordi de representerer Evolutionary Scales tredjegenerasjonsmodeller. Tidligere modeller har blant annet blitt brukt til å forutsi særlig risikable Covid-varianter og til å skape bedre genredigeringsverktøy.

Hva skjer videre?

Trolig skjer det mye fremover. Det er ikke bare Evolutionary Scale som gjør fremskritt på området. Det mest kjente eksemplet er Google Deepminds Alphafold, men også andre selskaper bruker kunstig intelligens for å skape kraftige bioteknologiske verktøy.

Evolutionary Scales modeller er tilgjengelige til bruk for forskere, med noen forbehold. Selskapet nevner også at de «proaktivt og grundig evaluerer hvilken risiko modellene utgjør før de lanseres offentlig».

Mye står på spill, som selskapet konstaterer: – Hvis vi kan lese og skrive livets kode, blir biologi programmerbar. Trial and error (prøv og feil) vil bli erstattet med logikk, og møysommelige eksperimenter vil bli erstattet med simuleringer.

Artikkelen ble først publisert på Ny Teknik for deres abonnenter. Den er tilgjengelig på norsk for abonnenter av Ekstra gjennom vår samarbeidsavtale.