Jottaclouds AI-bildesøk ble utviklet på under tre måneder

Norske Jottacloud lanserte nylig at de nå lar brukere søke i bildebiblioteket sitt med naturlig språk. Digi har derfor besøkt selskapet for å høre mer om hvordan selskapet har utviklet den nye funksjonaliteten.

Lederen for utvikling av AI-prosjektet, Jan Berge Sommerdahl, forteller at utviklingen av den nye søkemotoren til selskapet har gått raskt.

Selskapet bruker OpenAIs Clip-modell i bunnen av søket. Den er basert på et datasett på 32.786 ord fra Wikipedia. Datasettet inneholder både bilder og bildetekster. Det er ikke basert på metadata, kun på bildetekstene som tilhører bildet. Modellen genererer deretter vektorer for bilder og vektorer for tekst. Vektorene kan forklares som en tallrekke som beskriver bildet eller teksten. Det er disse vektorene som sammenliknes og gir brukerne et resultat, i motsetning til den mer tradisjonelle metoden der det automatisk opprettes etiketter som kan søkes på. Målet er å tilby kundene best mulig søk i egne bilder.

Mer naturlig

Det er to fordeler med metoden Jottacloud har valgt å bruke, sammenliknet med etikettsøk, som blant annet Google og Apple bruker.

Jottaclouds løsning får med mer kontekst enn det et etikettsystem får, siden Clip-modellen er trent på bilder med bildetekst. Bruker man derimot etiketter, så står det enkeltord som «katt», «gjerde» og «hoppe», og det er dermed ikke like mye detaljer og kontekst med i søket.

Dette fører oss over til den andre fordelen. Modellen favoriserer naturlig språk fremfor søk spesielt tilpasset søkemotorer. Dermed er det lettere for brukerne å søke opp spesifikke ting uten å måtte bruke symboler, enkeltord og andre filtreringsmetoder.

Testet i februar

Grunnmuren til teknologien er OpenAI sin teknologi, men parameterne og systemet rundt er bygget av Jottacloud. Grunnlegger av selskapet, Roland Rabben, forteller at de i februar hadde et konseptbevis klart. Denne første versjonen testet de internt. Deretter startet et arbeid som selskapet har brukt store ressurser på å gjennomføre på svært kort tid.

– Jeg kan egentlig ikke få rost teamet nok. Fra februar med «proof-of-concept» til å slippe det i midten av april, og det er med en påske i midten. Det er ganske imponerende, sier Rabben og fortsetter:

– Det hadde ikke gått uten teamet. Det er definitivt et resultat av godt samarbeid.

Optimalisering

Den største jobben har vært optimalisering. Selskapet har alle dataene lagret i Norge, og all prosessering skjer i Norge på deres egen maskinvare. De har måttet jobbe med å få systemet til å kunne skalere, slik at det er mulig å bruke det på alle bildene lagret hos dem. Det var ikke den enkleste løsningen, men selskapet mener det var viktig for å bevare personvernet til sine brukere.

– Vi kunne valgt å sende prosesseringen til én av de store skyleverandørene, men det har vi valgt å ikke gjøre, forteller Rabben.

– For jeg mener at et viktig personvernsargument er at vi må ha kontroll på hvor dataene prosesseres, hvor de sendes og så videre, fortsetter Rabben.

For å gjøre dette, har de måttet bygge opp sin egen arkitektur for å kunne prosessere bildene raskt.

– Det var en ganske kul reise å starte med å kunne prosessere åtte bilder i sekundet til komme opp i en skala på 1600 på én node. Det var en ganske ekstrem reise når det gjelder «performansen», sier Sommerdahl.

Både ny og gammel maskinvare

I tillegg til optimalisering, har selskapet også investert én million kroner i ny maskinvare. Samtidig har de optimalisert prosessene slik at den største delen av jobben ikke kjører på den nye maskinvaren.

– Vi har brukt en del eksisterende hardware til dette, men økt utnyttelsesgraden. Vi prøver å få utnyttet all hardwaren vår så godt som mulig og vi har brukt en del tid til å finne gode måter å fordele lasten utover infrastrukturen vår, sier Sommerdahl.

I tillegg til investering i nytt utstyr, er det bruken av ansatte som har vært den største investeringen. Til tider har halve selskapet jobbet med prosjektet.

Søket er nå rullet ut til alle kundene.