Berkely-forskere med ny metode som gir bedre AI

Innenfor kunstig intelligens er såkalte beslutningstrær gullstandarden hvis en modell skal være både forklarlig og intuitiv. Men på komplekse oppgaver som å klassifisere bilder har trærne en presisjon som er vesentlig dårligere enn nevrale nettverk.

Men med et nytt konsept utviklet av forskere fra Berkeleys senter for AI-forskning kan man få det beste fra begge verdener.

Neural-Backed Decision Trees (NBDT) tar den overordnede, intuitive gjennomsiktigheten fra beslutningstrær, men bruker nevrale nettverk til å ta beslutninger.

Resultatet er ifølge Berkeley-forskerne en modell som kan matche vanlige nevrale nettverk når det gjelder presisjon, men hvor en vanlig bruker visuelt kan se og forstå hvordan modellen har kommet frem til beslutningen.

NBT-modellen består av et beslutningstre hvor hver node er et nevralt nettverk. På bildedatasettene CIFAR10, CIFAR100 og TinyImageNet200 slår denne kombinasjonen andre forklarbare trebaserte metoder med en betydelig margin. Og forblir innenfor det som er maksimalt 1 prosent dårligere enn ytelsen til nevrale nettverk.

Forklaringen gir særlig mening når modellen skal klassifisere bilder med innhold som den ikke har sett før. CIFAR10-modellen har for eksempel aldri sett en sebra, men gjennom NBDT-modellen kan vi se at modellen korrekt identifiserer at det er snakk om et hovdyr, før den gjetter på hest.

Bedre ytelse betyr mer forståelig

Idéen er enkel, men det er ikke helt enkelt å omdanne et nevralt nettverk til et beslutningstre. Prosessen krever blant annet det forskerne kaller induced hierarchy, som avgjør hvilke sett av klasser – for eksempel hund eller katt – nodene i modellen skal ta stilling til.

Hierarkiet blir bygd ut fra vektene i et forhåndstrent nevralt nettverk, og med en grupperingsteknikk finner man frem til hvilke klassifikasjoner som bør ha en felles «foreldre»-node.

De nodene kan senere testes kvantitativt. Hvis man for eksempel antar at en node avgjør om bildet forestiller et dyr eller et fartøy, kan man teste det ved å la en masse bilder av dyr og fartøyer gå gjennom modellen. Og på den måten kan man gi hver node – som effektivt er en underdel av et lag i det samlede nevrale nettverket – en semantisk betydning.

I forskernes forhåndspubliserte artikkel nevner de en positiv sammenheng mellom det nevrale nettverkets presisjon og hvor semantisk fornuftig hierarkiet i siste ende virker.

«We believe that higher-accuracy models exhibit more semantically-sound weight spaces. Thus, unlike previous work, NBDTs feature better interpretability with higher accuracy, instead of sacrificing one for the other.»

Fugl eller fly

Eksisterende metoder til å forklare beslutningene fra et nevralt nettverk har sine mangler, påpeker Alvin Wan i en blogg. Han er en av forskerne bak prosjektet, og skriver for tiden sin ph.d. i AI ved Berkeley.

Saliency maps, som kan brukes til å forstå klassifikasjoner av bilder kan for eksempel ikke brukes når et nettverk kommer frem til feil beslutninger, men fokuserer på det riktige – som for eksempel når en fugl klassifiseres som et fly.

Foreløpig er NBDT-modellen kun brukt på de klassiske bilde-klassifikasjonsdatabasene. Det er derfor uvisst hvor mye klarhet NBDT-modellen kan bringe til situasjoner hvor den logiske veien til en beslutning ikke er så enkel som å skjelne dyr fra kjøretøyer, for eksempel når et nevralt nettverk skal finne brystkreft.

Ikke desto mindre er det gitte situasjoner hvor kombinasjoner av et effektivt nevralt nettverk og et visuelt intuitivt beslutningstre er attraktivt. Man kan prøve forhåndstrentre NBDT-modeller her, hvor man også kan hente ned koden.

Saken ble først publisert på danske Datatech, og gjøres tilgjengelig på norsk for abonnenter av Digi Ekstra gjennom vår samarbeidsavtale med Teknologiens mediehus/Ingeniøren.