Slik gikk det da en av de beste KI-modellene ble satt til å drive en liten butikk

Etter hvert som KI blir mer avansert i et forrykende tempo, har også anvendelsene raskt blitt mer mangfoldige. En av de ledende aktørene bestemte seg nylig for å teste språkmodellen sin på en arena som hittil har vært relativt KI-fri – med interessante resultater.

Anthropic, selskapet bak Chat GPT-rivalen Claude, rapporterer på nettsidene sine at de satte Claude til å drive en liten butikk – i et eksperiment som demonstrerer at KI ennå har et stykke igjen.

Ville forstå evnene bedre

Eksperimentet innebar å gi Claude Sonnet 3.7 en detaljert instruks om å drifte en automatisert minibutikk i selskapets egne lokaler i San Fransisco.

Prosjektet foregikk over én måned og ble utført i samarbeid med Andon Labs, et selskap som spesialiserer seg på utvikling og evaluering av KI-teknologi i autonome business-scenarier, blant annet i salgsautomater.

Claude måtte utføre alle oppgavene som hører med til å drive en liten butikk, inkludert å sørge for drive med overskudd og unngå konkurs, holde oversikt over varelageret, sette prisene, kommunisere med kundene og så videre.

– Etter hvert som KI blir mer integrert i økonomien, trenger vi mer data for å bedre forstå både dens evner og begrensninger. [...] Den økonomiske nytten av modellene begrenses av hvorvidt de er i stand til å utføre arbeid kontinuerlig i flere dager eller uker uten behov for menneskelig innblanding, skriver Anthropic om begrunnelsen for eksperimentet.

Men Claude presterte ikke på et nivå som gjør teknologien til en fare for menneskets plass innen butikkdrift, i alle fall ikke ennå. Ifølge Anthropic gjorde modellen en rekke feil som svekket lønnsomheten og effektiviteten.

Hallusinasjoner og feil prissetting

For eksempel ble Claude tilbudt 100 dollar for en sekspakning med en skotsk brus som kan kjøpes på nettet i USA for kun 15 dollar. I stedet for å gripe muligheten til å tjene godt, svarte Claude bare at han ville «ta det med i betraktning ved fremtidige lagerbeslutninger».

Takket være det velkjente KI-fenomenet «hallusinasjoner» ba Claude også kundene om å sende betaling til en Venmo-konto som ikke eksisterte, til tross for at den allerede mottok betalinger via en annen konto.

I tillegg drev Claude med prissetting uten å undersøke markedsverdien først, som førte til at produkter med høy fortjenestemargin ble solgt for mindre enn kostprisen. Modellen sviktet også når det gjaldt dynamisk prissetting basert på høy etterspørsel.

Det var imidlertid også noen områder hvor Claude gjorde det rimelig bra. Blant annet klarte modellen å gjøre god bruk av nettsurfingsferdighetene sine til å identifisere leverandører av spesifikke produkter som ble etterspurt av kundene.

Claude var også i stand til å foreta justeringer i selve businessprofilen basert på tilbakemeldinger og forslag fra kunder, og den avviste forsøk på å få den til å tilby skadelige/sensitive produkter.

Ville ikke ansatt Claude

– Dersom Anthropic i dag skulle beslutte å satse på markedet for kontorbaserte salgsautomater, ville vi ikke ansatt Claude. Likevel mener vi at det finnes tydelige muligheter for forbedring når det gjelder de fleste av feilene som ble gjort – noen knyttet til hvordan vi satte opp modellen for denne oppgaven, og andre relatert til den raske utviklingen i generell modellintelligens, skriver Anthropic i sin vurdering.

Det finnes for øvrig allerede butikk-konsepter som delvis baserer seg på KI, først og fremst Amazons automatiserte Go-butikker, et konsept som har blitt testet ut i USA en stund allerede. Disse butikkene erstatter imidlertid kun kassapersonellet, og ikke selve driften som sådan.

Disse butikkene har vært en begrenset suksess, og en rekke Go-butikker har blitt nedlagt på grunn av blant annet svake resultater, som blant andre CNBC rapporterte for en tid tilbake.