Mygame: Her er teknologien bak den kontroversielle strømmetjenesten

Ideen var å gjøre breddeidretten tilgjengelig for flere, ved hjelp av fastmonterte kameraer og virtuelle kameramenn. Mygame har strømmet over 5000 kamper og satt opp kameraer i over 100 haller.

Litt over ett år etter at de første kameraene kom på plass, eksploderte debatten.

I en rekke saker i VG raste både idrettstopper og politikere om manglende personvern og avdekket hendelser med store personlige konsekvenser for ungdom og barn.

I januar snudde idretten, og aldergrensen heves fra 13 til 18 år. Det blir altså ingen strømming av barneidrett i denne omgang. Det «settes på pause», og idretten vil gjøre «grundige undersøkelser for å være trygg på at strømming kan skje innenfor trygge rammer», skriver Norges Fotballforbund på egne hjemmesider.

Det er kompliserte rammer NFF må undersøke, for i kjernen av debatten ligger, i tillegg til diskusjonen om samtykke fra eller reservasjonsrett for dem som blir filmet, nyutvikling innen bildegjenkjenning, maskinlæring og Hikvision-kameraer.

«Dumme» kameraer

Skal bildegjenkjenningsalgoritmene kjenne igjen en liten bandyball på den andre siden av banen, trengs skikkelig oppløsning og avanserte kameraer. Valget falt på Hikvision for filming innendørs.

Kameraene er mye brukt, både til overvåking og sport, men har blitt beskyldt for å lekke data til kinesiske myndigheter og bidra til brudd på menneskerettigheter.

− En skandale, mente Venstre-politiker Grunde Almeland i VG.

Men risikoen for at data om nordmenn kommer på avveie denne veien, er forsvinnende liten, skal vi tro Mygame:

− Kameraene har ingen innebygget funksjon for kunstig intelligens og er heller ikke koblet til nett. De har ingen gateway-konfigurasjon som gjør dem i stand til å sende informasjon ut, skriver teknologidirektør Lasse Wiik i Mygame i en e-post til Digi.

Fastvaren i kameraet er en egen versjon bygget for Mygame, der de har fått fjernet unødvendige funksjoner som kan gjøre kameraet tregere, ustabilt eller utrygt, forklarer han videre.

− For å sikre at kameraene ikke kan utnyttes av uvedkommende, går signalet fra kameraet til serveren gjennom en fysisk adskilt forbindelse til en egen port på server i arena, sier Wiik.

Fire linser i hvert kamera sender dermed video av hele banen gjennom en nettverkskabel til Mygames egen server i hallen. Det er denne serveren som har kontakt med det nederlandske selskapet Studio Automateds kamera-modell.

Bildegjenkjenning

Som en virtuell kameramann skal modellen sørge for at utsnittet følger den delen av kampen som er interessant for tilskuerne.

Det er komplekst for en datamaskin.

I en bildegjenkjenningsmodell, en form for kunstig intelligens som er trent på store mengder bilder, analyseres hvert bilde av et nevralt nettverk som på piksel-nivå gjenkjenner mønstre i farger og fasonger fra bilder den er trent på tidligere, slik at den kan kjenne igjen objekter i nye bilder.

Dermed skal den kjenne igjen hva som er publikum, dommere, spillere, ball eller puck, banen og markeringer på banen.

Modellen er trent i å finne det som sannsynligvis er aktive spillere i enhver situasjon, ut fra avstand fra ball eller puck og tegninger på banen. Så må den gi et naturlig utsnitt og følge spillet uten brå bevegelser.

Kommer det en lang pasning over håndballbanen, vil de fleste fotografer følge ballen, samtidig som de zoomer ut. Da slipper man at seerne blir svimle.

− Det man lærer seg som kameraoperatør, er det samme vi lærer AI-modellen, sier Wiik.

I møter med leverandøren bidrar Mygame med tilbakemeldinger om hvordan erfarne fotografer mener man bør vise ulike situasjoner for å trene modellen videre.

Ingen ansiktsgjenkjenning

Men modellen har også en rekke begrensinger.

− Maskinlæringen er inntil videre ikke smart nok til å kunne lære seg når en kamp starter, slutter, når det scores mål og lignende, sier Wiik.

Modellen kan heller ikke kjenne igjen enkeltpersoner.

− Det er ingen funksjon for verken ansiktsgjenkjenning eller player-tracking i de tekniske løsningene Mygame bruker, sier han.

Likevel sendes kampene med grafikk som viser både stillingen og målscorer. Det hentes fra en helt annen datakilde: Idrettens egne systemer.

− I Norge er vi så heldige at vi har veldig gode datasystemer i idrettsforbundene, hvor vi får god informasjon om lag, turnering, arenaer, tidspunkt for kampavvikling og spillere, sier Wiik.

Sekretariatet i hver kamp logger løpende hendelser i kampene. Disse hendelsene plukkes opp av løsningen og vises på skjermen.

Krever fortsatt mennesker

Selv om store deler av produksjonen dermed er automatisert, kan ikke AI-en overlates helt til seg selv riktig ennå.

Modellen er instruert til å zoome ut når den oppdager at det er stopp i spillet.

− AI-funksjonen er i seg selv ikke tilstrekkelig, da det vil kunne oppstå hendelser som man ikke ønsker å filme, men hvor AI ikke klarer å se forskjell på om det er spill eller ikke, sier Wiik.

Er det bevegelser, som slåssing, hektisk løping rundt en skadet person eller publikum på banen, er det ikke sikkert AI-en tolker situasjonen som stopp i kampen. Derfor må sekretariatet i hallen fortsatt være på ballen og trykke på en «pause-filming-knapp» ved behov.

− Som en siste skanse har Mygame en supportavdeling som avpubliserer det som eventuelt skulle gå forbi både idrettens sekretariat og AIs forståelse av spillet ved varsel om dette.