Testen er utført av National Institute of Standards and Technology (NIST), og gjengitt på nettstedet Face Recognition Vendor Test 2002 (FRVT). Den ble publisert på torsdag, men ble gjennomført for flere måneder siden.
NIST har publisert slike tester siden midten av 1990-tallet. Testene gjelder utelukkende ansiktsgjenkjenning som teknologi, og tar ikke opp problemstillinger knyttet til personvern eller etikk.
Det er testet produkter fra ti leverandører, blant dem Cognitec (kjent fra systemet SmartGate på flyplassen i Sydney), Identix, Eyematic og Viisage (kjent fra blant annet ansiktsovervåkningen på SuperBowl i 2001). Testingen omfatter 121.589 bilder av 37.437 personer.
Les også:
- [17.12.2003] Ansiktsgjenkjenning med bare 253 bits
- [17.03.2003] Tvilsom ansiktsgjenkjenning ved flyplassen i Sydney
- [27.05.2002] Ansiktsgjenkjenning ubrukelig på flyplass
- [13.09.2001] Krav om ansiktsgjenkjenning på flyplasser
- [05.02.2001] Ansiktsovervåkning ulovlig brukt på Super Bowl
- [09.07.1997] Automatisk trynesjekk erstatter passkontroll
Hovedkonklusjonen er at produktene er blitt bedre de siste par årene, særlig fordi nye 3D-modelleringssystemer gir større treffprosent.
Ansiktsgjenkjenningssystemer kan blant annet brukes til å sjekke hvorvidt et gitt bilde, for eksempel på et pass, stemmer overens med den personen som bærer passet. De beste systemene har en treffprosent på 90, mot 80 ved forrige test (bildet viser treffprosent per leverandør). Feilprosenten, det vil si at systemet feilaktig sier at bilde og person stemmer overens, var jevnt over på rundt én.
Verre er det når systemet skal brukes til overvåkning. Det vil si at man har en liste med portretter over folk som skal stanses, selv om bildet i passet stemmer overens med personen som bærer passet. (Det kan jo hende at en terrorist prøver å snike seg inn under falsk navn.) Dette kalles sjekk mot en "watch list". Grafen nedenfor viser hvordan treffprosenten faller mot 50 prosent etter hvert som overvåkingslisten øker fra 25 til 3000 portretter som skal sjekkes. De tre leverandørene er de som gjorde det best i denne testen.
Med andre ord: Annenhver terrorist kan ventes å slippe gjennom selv de beste systemene.
Andre funn i undersøkelsen er at systemene jevnt over virker bedre på menn enn på kvinner, bedre på eldre enn på yngre, og at de er langt mer effektive innendørs enn utendørs.
