Mener bedriftene sløser bort tokens

Når en virksomhet lar en ekstern språkmodell svare på spørsmål om egne dokumenter, må relevante tekstbiter sendes med i hver eneste forespørsel. Jo mer tekst, desto høyere regning.

Det nyopprettede selskapet Rock Sovereign mener mange sender langt mer enn de trenger. Løsningen deres deler derfor opp innholdet i små, naturlige avsnitt allerede når dataene indekseres, slik at bare de mest relevante bitene går videre til modellen.

– I stedet for å sende store biter ut til store modeller, som bruker mer tokens, sender vi mindre og mer presise, sier Morten Krogh-Moe, daglig leder i Tellusr, selskapet som står bak programvaren.