Med nye AI-brikker kan stemmen din vekke maskiner fra dvalen

Med sine 1,4x1,7 mm er Syntiants lille AI-brikke kanskje ikke blant verdens minste brikker. Men den lille amerikansk-utviklede brikken kan noe som de færreste andre brikker kan: Den kan kjøre på et lite batteri, og trenger ikke å være koblet opp mot en sky-­løsning for å kjøre de massive parallelle beregningene som kreves av et neuralt dyp læring-nettverk.

Syntiant er bare en av de nye brikke-produsentene som utvikler spesialkonstruerte mikrobrikker til trådløse Internet of Things-applikasjoner, hvor strømforbruket gjerne må holdes på et minimum, og hvor beregningene foregår lokalt og så tett på minnet som mulig i stedet for i brikkens prosessor.

– Vi har utviklet to små brikker som kan kjøre et lokalt, nevralt nettverk på brikken, som inntil videre kan brukes til å kjenne igjen nøkkelord og aktivere enheter fra dvale eller kjenne igjen bokstaver på en skjerm. Den har et energiforbruk på under 150 µW når den kjører passivt, og det innebærer at den kan kjøre i ett år på et lite batteri, forteller field applica­tion engineer Christian Vejlbo hos amerikanske Syntiant.

Som navnet antyder er han dansk, og han står for det europeiske brikke-markedet sammen med to kolleger fra Syntiant.

Syntiants brikker heter NDP100 og NDP101, hvor NDP står for Neural Decision Processor. For tiden kan Syntiants såkalte edge-brikke kjenne igjen 64 ord. Edge påpeker at brikken kjører «på kanten» av nettverket og altså kan arbeide offline uten forbindelse med en sentral sky.

– Vi vil gjerne lage en nevral nettverksprosessor med lavt energiforbruk. Hvis du ikke har behov for et lavt strømforbruk, kan du gå etter de konvensjonelle brikkene fra de store aktørene som Intel og Nvidia. De har mange ekstra funksjonaliteter, men sluker også mye mer strøm, sier Christian Vejlbo.

Begynte analogt

Syntiant har hovedkontor i California, og begynte i 2017 å utvikle analoge løsninger for å kjøre dyp læring-nettverk.

– Da vi viste fram de første utgavene av den analoge brikken vår, var det så stor interesse for å få funksjonelle brikker at beskjeden var: Skyv den analoge løsningen litt ut i fremtiden, vi vil ha en fungerende digital brikke som kanskje ikke har så mange funksjonaliteter, men virker greit akkurat nå, forteller Christian Vejlbo.

Syntiant har blant annet et test-oppsett med en USB-dongle som du kobler til datamaskinens innebygde mikrofon, og så kan du vekke datamaskinen ved å bruke stemmen og si et definert nøkkelord:

– Brikken kan også brukes til annet enn stemmegjenkjenning, for eksempel til deteksjon av anomalier som oppdages via sensorer, forteller Christian Vejlbo.

– Vi er i gang med å bygge et veikart over hvordan vi utvikler prosessorer som kan kjøre dyp læring-algoritmer på kanten, altså lokalt. De to funksjonelle brikkene våre til nøkkelordgjenkjenning er de første skrittene. Neste versjon kan gjennomføre videoprosessering og bevegelsesgjenkjenning fra kameraer. For eksempel til ansiktsgjenkjenning.

Da Internet of Things – altså ideen om å koble fysiske enheter sammen via internett – for alvor skjøt fart, foregikk det etter en sentralisert modell der sensorer samlet opp data fra maskiner, og dataene deretter ble sendt opp i skyen for analyse. Men behovet for å ta raske beslutninger i sanntid basert på kunstig intelligens, gjør at man nå ser på å kjøre algoritmene lokalt på kanten av nettverket.

Tettere på minnet

Den nåværende brikke-arkitekturen er ikke optimert for kunstig intelligens, som i høy grad dreier seg om å komme til eksisterende minne for å identifisere hva nye input ligner på.

Dette skaper flaskehalser med mange eksisterende brikker som er konstruert for å utføre mange forskjellige oppgaver, og ikke kan håndtere den samme minnekrevende oppgaven igjen og igjen.

– Man blir nødt til å komme seg ut av det problemet at man flytter data på en buss fra minnet til CPU-en og fram og tilbake. Det forbrenner altfor mye energi. I stedet må man utføre beregningen så tett på minnet som mulig. I vår analoge utgave kjører vi faktisk beregningen helt ute i minnet, sier Christian Vejlbo.

Derfor forventer vi at fremtidens brikker i langt høyere grad blir spesialprodusert til å løse få spesifikke applikasjoner. Det er langt ifra bare nystartede oppstartsbedrifter som Syntiant som utvikler denne nye formen for AI-brikker som kan kjøre nevrale nettverk offline. I det siste har den sørkoreanske elektronikkgiganten LG presentert en AI-brikke som kan prosessere bilder og stemme­data, selv når smart home-enheter ikke er koblet til skyen. Ideen er – akkurat som hos Syntiant – å gjøre en smart home-enhet, for eksempel en høyttaler eller en termostat, i stand til å ta imot talte kommandoer, uten at den er koblet til nettverket.

Den nye brikke-arkitekturen er samtidig en metode der brikkeprodusenter prøver å ta tak i de voksende problemer med å leve opp til Moores lov, som sier at antallet transistorer i en integrert krets fordobles over en periode på 18 til 24 måneder.

Når man ikke lengre kan regne med at det automatisk blir større prosessorkraft ved hjelp av flere transistorer, må det komme nye metoder på bordet – og her er spesialkonstruerte AI-brikker en av løsningene.

Saken ble først publisert på danske Industrytech, og gjøres tilgjengelig på norsk for abonnenter av Digi Ekstra gjennom vår samarbeidsavtale med Teknologiens mediehus/Ingeniøren.