Slik fungerer Brøndby Stadions ansiktsgjenkjenning

Ansiktsgjenkjenning er et hett tema for tiden. Offentlige myndigheter og private aktører er i startgropa for å bruke den omdiskuterte teknologien, mens tenketanker og menigmann bekymrer seg over de prinsipielle og etiske problemene ved bruken.

På en konferanse om it-sikkerhet og dataetikk som den danske Ingeniørforeningen IDA avholdt i Fællessalen på Christiansborg i midten av desember, fortalte stadionsjef Tom Larsen på Brøndby Stadion om Danmarks første og hittil eneste anvendelse av automatisert ansiktsgjenkjenning som overvåkningsverktøy.

Tom Larsen har arbeidet med fotballfans i 18 år, og startet selv karrieren som kontrollør. Det har vært en lang prosess bak innføringen av ansiktsgjenkjenning.

Fotball, fans og fyrverkeri

– Vi har hatt mange utfordringer med fansene. Det er fyrverkeri på tribunene som kan være en utfordring. Ansiktsgjenkjenning kan stoppe de personene som tar med seg disse tingene inn på stadion. Vi har et gjennomsnittlig tilskuertall på 16.000, og av dem har vi omkring 300 til 350 «aktive» fans.

Det er denne gruppen som blant annet er med på å fyre av fyrverkeri, også kalt for «pyroteknikk» i miljøet.

– Opp gjennom tidene har vi forsøkt å holde disse fansene ute av stadion. Før stilte man seg opp i døråpningen ikledd en vakt-vest og sa: «Du får ikke slippe inn her, og deg liker jeg ikke – jeg vet at har stått med et bluss inne på stadion».

Brøndby har som andre stadioner et karantene-system.

– Noe av det verste man kan si til en ihuga fotballfan, er at vedkommende ikke får slippe inn og se laget sitt spille. Den verste straffen vi kan gi en tilhenger, er å be ham om å holde seg borte i et helt år, eller kanskje to, og sørge for at han ikke slipper inn. På Brøndby Stadion kjører vi en hard politikk på området, hvis reglene ikke overholdes. Vi kan forlenge karantenen eller lage avgiftssaker på 5000 til 10.000 kroner.

Karantene-systemet er en liste med navn og bilder av de uønskede tilskuerne. Disse listene har utvalgte, utdannede og av politiet godkjente kontrollører med seg ved inngangen. Dermed er det meningen at de skal gjenkjenne personer som er i karantene.

– I de store inngangene hvor mange av de aktive fansene går inn, er det vanligvis 6–7000 som passerer.

Man kan forestille seg hvordan det er å stå med en liste og se etter personer, sier Tom Larsen. Listen er på rundt 80 personer.

– Selv om kontrollørene er erfarne, er det fremdeles litt av en jobb å få med seg alt.

Banditter i gult

Det var ingen i Danmark som Brøndby Stadion kunne støtte seg på og høste erfaringer fra. Men teknologien har blitt brukt i andre land. Utfordringen med automatisert gjenkjenning består blant annet i at en stadion er et utendørsareal, så det må tas høyde for årstider, vær og påkledning, som for eksempel luer og skjerf.

– Det hadde vært greit å kunne si at han i den gule trøya er skurken, men på Brøndby Stadion er mange i gule trøyer.

I utviklingsfasen ble det skrevet en avtale med en rekke testpersoner med henblikk på å bruke personenes data for å teste systemet.

– Vi prøver å bruke forskjellige – høye, lave, tykke, tynne, mørke og lyse. Vi hadde to kontrollører som var tvillinger. Dem prøvde vi også i systemet for å utfordre det på alle punkter.

Tom Larsen tilføyer:

– Men vi kan jo ikke spørre alle de som går ved siden av.

For ikke å skape negativitet om prosjektet har stadionet jevnlig avholdt møter med fan-grupperingene – både de vanlige og de såkalt «aktive» fansene som fikk klar beskjed:

– Vi sier: «Dere skal vite en ting – nå begynner vi å øve oss på ansiktsgjenkjenning. Hvis det fungerer, vil vi gjerne bruke det på stadion, og det er for å holde de aktive fansene ute». Størstedelen av fansgruppene våre sa: «Hvis dette gjør at vi kan høyne nivået og få Herr og Fru Danmark tilbake på stadion, så er vi glade for det». De aktive fansene våre spurte: «Hvor bruker dere dette hen?». «Vi bruker det på vår egen matrikkel og innganger». «Dere filmer ikke oss ute på gata?» «Nei, det gjør vi ikke». Det var de med på.

Den negativiteten som Brøndby Stadion forventet blant fans-grupperingene, var ikke til stede.

Slik peker man ut de uønskede

Utviklingsfasen bød på mange feil og utfordringer.

– Der er mange parametere som man kan stille inn, og deretter begynner det å tilpasse seg virkeligheten vår. Nå vil vi gjerne få satt i gang. Underveis har vi kjørt dialoger med ledelsen vår og jurister om å få tillatelsene på plass.

Det lyktes å få Datatilsynets godkjenning i løpet av et års tid. Den første bruken av systemet var den 14. juli i fjor, under en fotballkamp mot Silkeborg.

Brøndby har overført bildene fra karantene-listen til gjenkjenningssystemet.

– Det ga ett treff på den første kampen vår.

Når tilskuerne slippes inn på stadion, tar et kamera et bilde som sammenlignes med de som finnes i arkivet.

– Kameraet registrerer et treff. Det går opp til kommandosentralen vår hvor en operatør ser treff-bildet og det vi har fra karantenelisten. Hvis han kan se at de to bildene er korrekt matchet, kaller operatøren opp den vakten som står ved inngangen som har det aktuelle treff-bildet, og legger ved treffbildet. Deretter tar kontrolløren kontakt med personen og spør om navn. Vi har tre kontrollpunkter som må overholdes før vi har et treff som gjør at vi kan ta vedkommende til side.

Et ansikt gjenkjennes på 1,6 sekunder. I inngangen er det en periode på 30 til 35 sekunder hvor folk kan pågripes. Systemet tar 6–7 bilder per person.

– Vi har satt opp systemet etter de reglene vi har fått fra Datatilsynet. Bare de bildene det er treff på blir lagt i arkivet.

Når kampen er ferdig, overføres treff-bildene til en kryptert harddisk som legges i en safe. Det er samme prosedyre som den tidligere manuelle framgangsmåten med karantenelistene.

Ansiktsgjenkjenningssystemet kjører på et separat lukket nettverk som ikke er koblet til de generelle overvåkningskameraene. Etter at publikum er inne, slettes ansiktsgjenkjenningsbilder fra disken i løpet av en time. Alt logges i et system som det ikke kan slettes fra.

Ønsker politisamarbeid

På seks måneder, eller 11 kamper, har det vært fem saker hvor en tilskuer har blitt nektet adgang som følge av ansiktsgjenkjenning, ut av 12.000 til 14.000 tilskuere per kamp.

Brøndby Stadion kunne godt tenke seg å utvide overvåkningen.

– Hvis noen står på tribunen med et pyro-lys, vil vi gjerne få lov til å ta et bilde og legge ham inn i systemet, slik at vi kan ta ham til side neste gang.

Dette skal foregå ved å bruke bilder fra de generelle overvåkningskameraene. I dag er det 126 overvåkningskameraer på Brøndby Stadion. Tom Larsen vil også gjerne benytte bilder fra politiets «nasjonale karanteneregister» i systemet. Han kan også godt se for seg en situasjon hvor Brøndbys kameraer kan finne personer som politiet er interessert i, men som ikke nødvendigvis finnes på karantenelisten.

Teknikken er klar til det:

– La oss si at politiet fikk lov til å legge sine personer inn i vårt register, og det er et treff på en person som politiet er interessert i. Dette kan man gjøre på systemet i dag. Vi har kjøpt inn et system som kan samarbeide med det kamerasystemet vi har på stadion.

Saken ble først publisert på danske Datatech, og gjøres tilgjengelig på norsk for abonnenter av Digi Ekstra gjennom vår samarbeidsavtale med Teknologiens mediehus/Ingeniøren.