S-114.240 Hahmontunnistus ihmisläheisissä äyttöliittymissä Kasvojen tunnistus ja identiteetin taristus: ZN-Face Kalle Korhonen sorhon@cc.hut.fi 13.4.2000 Tiivistelmä: Raportissa tutustutaan aupalliseen ZN-face ulunvalvontajärjestelmän [1] toimintaan ja toteutuseen. Järjestelmässä hahmon piirteet on talletettu pieniin (1.6 B) merittyihin graafeihin, jota tunnistetaan elastisen graafinsovitusalgoritmin laajennusella. Järjestelmä toimii tavallisessa PC:ssä suorittaen asvojen paiannusen ja tunnistusen 3.5 seunnissa. Se mahdollistaa seä varman talletettujen henilöiden tunnistamisen että tuntemattomien henilöiden hyläämisen asetettaessa hyväsymisynnys hyläämään aii tuntemattomat päästään 99%:n talletettujen henilöiden tunnistamiseen. [2] 1. Johdanto hmisten synnynnäinen ominaisuus tunnistaa asvoja valaistusesta, asvonilmeistä ja muista häiriöteijöistä huolimatta on autta aiain haastanut löytämään sitä mativa algoritmi tai prosessi. Varhaisimmat asvontunnistusalgorimit äyttävät asvonpiirteisiin perustuvaa tunnistusta, jossa tutitaan selvästi näyvien piirteiden (esim. ulmaarvat) paiaa ja ominaisuusia, tai mallipohjaista tunnistusta, jossa annettua uvaa verrataan suoraan valmiisiin asvopohjiin. Uudemmat menetelmät äyttävät mm. asvojen jaamista eigenfaces-menetelmällä seä neuraalilasennallista lähtöohtaa. [1] Tässä doumentissa tutustutaan neuraalilasentaan perustuvaan ZN-face järjestelmään, joa taristaa henilön antaman identiteetin asvouvan perusteella paljastaen näin väärällä henilötunnusella liiuvan huijarin. Käytettäessä asvontunnistusta hälytysjärjestelmässä pitää muistaa myös sen päätavoitteet: mahdollisimman nopea luotettava tunnistus seä väärien hälytysten pieni todennäöisyys. ZN-Face järjestelmä pystyy taristamaan asvot luotettavasti 99% taruudella [2] taaten täten vähäiset väärän hälytysen mahdollisuudet. 2. Toiminta Useimmat asvontunnistusalgoritmit tarvitsevat erilliset prosessit loalisaatiolle, erottelemiselle ja tunnistamiselle. ZN-Facen perusalgoritmi on elastisen graafinsovitusmenetelmän laajennus [1], jolloin erillisiä vaiheita ei tarvita, vaan samaa periaatetta voidaan äyttää joaiseen vaiheeseen yhtäaiaisesti. Elastisessa graafinsovitusmenetelmässä [3] asvoja äsitellään joustavan graafin avulla. Alusi uvan pisteistä muodostetaan tiheä neliömäinen graafi, joille lasetaan piirrevetorit Gabor-aaltofuntioiden avulla. Gaboraaltofuntiot iinnittävät arateristiset visuaaliset piirteet solmuohtiin ja niiden informaatio oostuu globaaleista, epätaroista seä paiallisista, suuremman taruuden omaavista piirteistä. Ennen tallettamista
graafista arsitaan tarpeettomat informaatiosisällöttömät pysty- ja vaaarivit [1] ja vain saatu harva, objetin muaan esitetty graafi talletetaan. Tunnistusvaiheessa uvasta muodostetaan adaptiivisesti talletettuun malligraafiin sopiva valmiisi harva graafi. Graafinmuodostusta ohjataan ustannusfuntiolla [3], joa suosii malligraafin solmujen samanaltaisuutta ja hylii graafin neliömäisyydestä poieamista. Tapahtuma toistetaan joaiselle tunnistettavan identiteetin malligraafille, joista valitaan pienimmän ustannusfuntion arvon omaava. ndentiteetin taristus tehdään muodostamalla samanaltaisuusarvo [1], jota verrataan referessigraafeille lasettuihin. Jos niiden ero ylittää hyväsymisynnysen tunnistettava asvo hyväsytään. 2.1 Kuvan esittäminen graafina Kuvan graafiesitys perustuu dynaamiseen lini aritehtuuriin (dynamic lin architecture). [3] Siinä uva-alue oostuu asiulotteisesta tauluosta solmuja A x = {( x, α ) α = 1,..., F}, jossa joainen solmu pisteessä x oostuu F :stä eri piirteitä tunnistavasta neuronista ( x, α), jossa puolestaan α :aa äytetään erottamaan eri piirretyypit. Ysinertaisimmillaan piirretyypit voivat olla vaiapa uvan intensiteettiarvoja, mutta yleensä äytetään monimutaisia suodatuseen perustuvia tyyppejä uten tässäin tapausessa. Tauluon solmujen A x arvot lasetaan ameran antamasta harmaasävyuvasta, josta saatu syöte johtaa piirreneuronisolmujen ( x, α) ativaatioon sx α. Joainen solmu A x sisältää jouon useita eri ativaatiosignaaleja J x = { s xα α = 1,..., F}, joita nimitetään suihuisi (engl. jet). Kaii solmut ovat myös ytettyjä lähinaapurustoonsa 4-ytentäisesti seä myös itseensä, joten uva-alaa voidaan hyvin sanoa meritysi graafisi (labeled graph).graafin raennetta havainnollistetaan uvassa 1. A x Suihu Säännöllinen meritty graafi Sovitusprosessissa muuntunut graafi uva 1. Erilaisten graafien ja suihun uvaus. Kuvan graafiesitysen puolesta puhuvat seuraavat seiat: [1] - Tiedon paaussuhde. Tavalliseen harmaasävyuvaan verrattuna graafi voidaan tallettaa huomattavasti pienempään tilaan. ZN-facen tapausessa 128 x 128 ooinen harmaasävyuva voidaan esittää 1.6 ilotavun ooisella graafilla, eli tieto paautuu ymmenesosaan aluperäisestä. - Saalaus. Graafeja voidaan helposti muuttaa geometrisesti oon tai perspetiivin muaan ilman harmaasävyuvien tarvitsemia monimutaisia transformaatioita. Tällöin vältytään myös vantisoinnin tai interpoloinnin aiheuttamilta virheiltä.
- Jaautuneisuus. Graafi sisältää orean tason uvausen harmaasävyuvan sisällöstä ja sen piirteistä jaautuneena useammalle solmulle. Sisi se on myös hyvin epäherä häiriöille yhden solmun puuttuminen ei siis vaieuta tunnistusprosessia. 2.2 Graafin solmujen piirteiden lasenta 2.2.1 Gabor-aaltofuntiot Graafin solmujen piirteiden lasenta aloitetaan lineaarisella suodatusoperaatiolla harmaasävyuvalle, jona harmaatasojaaumaa voidaan meritä (x) :llä. Suodatusoperaatio toteutetaan onvoloimalla Gauss-funtion rajoittamalla tasoallolla ψ eli niinsanotulla Gabor tyypin aaltofuntiolla: [3] ψ r r2 rr 2 2 2 x rr σ = exp exp 2 2 ( ix) exp σ 2σ 2 (1) missä haasulujen ensimmäinen termi määrittelee aaltofuntion värähtelevän osan ja toinen ompensoi nollataajuuden amplitudin. Vetori muuttaa Gauss-funtion leveyttä seä aallonpituutta ja suuntaa. σ puolestaan määrää iunan leveyden ja aallonpituuden suhteen lisäsi tarpeesi suurilla σ :n arvoilla nollataajuuden amplitudista tulee meritysetön. Komplesinen Gabor-aaltofuntio parittomasta osasta, s. uva 2. ψ oostuu parillisesta ja a) b) r uva 2. Gabor aaltofuntion reaalinen (a) ja imaginäärinen (b) osa arvolla = 0.72, φ = 45 [3] Gabor-aaltofuntion ψ aallonpituutta ja suuntaa muuttelemalla saadaan mitattua uvan ohdassa x 0 olevia piirteitä. Saatuja Gabor-ertoimia G meritään funtiolla: [4]
G ( x r ) ( x r 0 0 x r r = ψ r ) ( x ) dx r (2) Operaattori W uvaa onvoluutiota aiilla mahdollisilla :n arvoilla ja se lasetaan näytteistysruuduolla seä spatiaali- ( x 0 ) että taajuustasossa ( ): [3] rr r r r r (3) ( W)( x, ) ( ) ( ) ( )( ) 0 : = ψr x 0 x x d 2 x = ψr x 0 Gabor-aaltofuntioiden hyviä puolia ovat niiden reagoivuus reunaviivoihin seä invarianttius uvan globaalin intensiteetin ja ontrastin muutosille. Myös hahmontunnistusessa esiintyvät turhat piirteet uten pään asennot ja ilmeet eivät vaiuta paljoa Gabor-aaltofuntioiden arvoihin. Lisäsi Gabor-aaltofuntioita suosivat neurobiologiset samanaltaisuudet; nisääiden visuaalinen aivouori sisältää neuroneita, joiden heryysäyrät ovat Gabor-aaltofuntioiden altaisia. [1] Jo yhdestä pisteestä saatujen Gabor-ertoimien G avulla voidaan palauttaa suhteellisen hyvä uvan approsimaatio, jossa pisteen lähellä olevat piirteet palautuvat taroina auempien jäädessä sumeisi, s. uva3. [4] a) b) uva 3. Aluperäinen (a) ja reonstruoitu (b) uva. Reonstrutiossa äytettiin 144 Gabor-ertoimen arvoa esipisteen ollessa vasemmassa silmässä. [4] Vaia Gabor-aaltofuntiot reagoivat suuresti reunaviivoihin, on niissä myös haittapuolensa reunan ohdalla vaste W ei ole tasainen piii, vaan se osilloi ominaistaajuudellaan aallonpituudella 2 π. Tämä voidaan uitenin välttää äyttämällä W :n itseisarvoa, jolloin se saadaan äyttäytymään monotonisesti. [3] 2.2.2 Solmujen lasenta Tauluon solmujen A x arvot lasetaan näytteistämällä W viiden logaritmisesti hajautetun taajuuden v ja ahdesan suunnan φ µ muaan, joita indesoidaan ν { 0,...,4} ja µ { 0,...,7} : [3]
r iφ = e µ (4) νµ ν missä max / f ν ν = (5) ja πµ φ µ = (6) 8 jossa ertoimella f säädellään Gabor-aaltofuntioiden etäisyysiä taajuustasossa seä ertoimella max sen leveyttä. Kertoimia max ja f valittaessa annattaa myös muistaa uvan ohinaisuudesta ja uva-alueen äytön rajoittuneisuudesta johtuvat taajuusrajoituset, eli suurilla taajuusilla seä leveillä Gaboraaltofuntioilla esiintuleva lasostuminen. Saaduista W :n arvoista muodostetaan itseisarvoistamalla x 0 :n piirrevetori eli suihu r r Jνµ x = W x (7) ( 0 ) : ( )( νµ, 0 ) 2.2.3 Solmujen särmien lasenta Solmujen särmät sisältävät ahden solmun väliset suhteelliset paiat, joita tarvitaan tunnistusvaiheessa estämään graafin solmujen leviäminen naapureidensa ulopuolelle. Solmujen ysinertaisesti Eulidisena pituusvetorina: x i ja x j suhteelliset paiat lasetaan ur r r ij : = x j xi, (, i j) E (8) missä E on solmujen särmäpisteet. 2.3 Elastinen graafinsovitusalgoritmi Graafinsovitusessa annettua graafia sovitetaan malligraafiin M siten, että jouo { } x solmunohtia optimoivat seä solmujen että niiden särmien paiat malligraafin suhteen. Saatu sovitus lasetaan ahden eri ustannusfuntion avulla. Piirrevetoreille J ja M J määritellään seuraava ustannusfuntio i
M M J J Sv ( J, J ) : = (9) M J J joa on osoittautunut vastustusyyisesi vaihtelevasta valaistusesta johtuvia ontrastieroja vastaan. [3] Solmujen etäisyysille ja M määritellään ustannusfuntio e ur ( ) ( ) ur 2, M ur : ur M ij ij ij ij S = (10) Nämä yhdistämällä saadaan lopullinen ustannusfuntio ur ur C x C C S S J x J ({ }) : ( ) M M = λ + = λ ij, ij ( ( ), ) (11) total i e v e v i (, i j) E i V jossa λ ontrolloi graafin jäyyyttä saottaen graafia suhteessa malligraafiin M. Graafin jäyyyttä voidaan myös muuttaa sovitusen edetessä pidettäessä alusi graafi täysin jäyänä eli λ se voidaan ohdistaa malligraafiin äyttäen lasennassa vain C v :tä unnes minimi saavutetaan. Koeissa tämä vaihe on osoittautunut erittäin vaaasi ja nopeasi, eiä sen lasennassa tarvita uin osaa solmupisteistä ja Gaboraaltofuntioiden taajuusista. [3] Tämän jäleen voidaan λ :n arvo lasea äärelliseen arvoon graafin solmupisteiden vääristymisen sallien. Solmupisteiden paioja muutetaan satunnaisesti unnes löydetään C total :n paiallinen minimi. Kumpaain vaihetta voidaan pitää simuloidun jäähdytysen altaisena. 2.4 Elastisen graafinsovitusalgoritmin laajennus ZN-face järjestelmässä on elastista graafinsovitusalgoritmia laajennettu huomaamalla mahdollisuus saalata graafia eri ooon uin malligraafi, s. uva 4. Menetelmä sallii jopa ±20-30%:n ooerot, joa on huomattavaa ahdesta eri syystä: [1] - Optimoidessa graafia ahteen eri suuntaan seä samalla saalaamalla sitä etsintäavaruutta laajennetaan yhdellä dimensiolla, joa asvattaa virhetulinnan mahdollisuutta. Käytännön oeissa näin ei uitenaan äynyt, vaan menetelmä äyttäytyi stabiilisti eri parametrien arvoilla - Periaatteessa graafin saalaaminen vaatisi myös Gabor-aaltofuntioiden saalaamista, joa puolestaan lisäisi tarvittavaa prosessointitehoa. Käytännössä saalaamattomat Gabor-aaltofuntiot toimivat hyvin saalattujen approsimaationa. Tämä voidaan äsittää Gabor-aaltofuntioiden ominaisuusien avulla ne reagoivat parhaiten uvan teräviin reunoihin, jota saalatessain pysyvät lähes aluperäisen altaisina.
a) b) uva 4. Mallin talletusessa äytetty graafi (a) seä siihen ZN-face järjestelmällä sovitettu graafi (b). [1] Tämän lisäsi algoritmi muodostaa pienimmän ustannusfuntion aiaan saavalle malligraafille M samanaltaisuusarvon Μ [ 0,1], jota verrataan referenssimallejen M ref samanaltaisuusarvoon. Tiettyjen ehtojen c (, ) ΜΜ > t (12) i ref i täyttyessä uvan ja malligraafin M sovitaan täsmäävän ja henilö todetaan oieasi. Termillä t i taroitetaan hyväsymisynnystä. 3. Toteutus ZN-face järjestelmä oostuu tavallisesta PC:stä, uvanaappaajasta ja onsolista, johon sisältyy amera, näyttö seä tunnusluvun luija, s. uva5a. [1] Kamera on sijoitettu puoliläpäisevän peilin taase, jota ääntämällä mahdollistetaan eriooisten henilöiden tunnistus. Kohdistettuaan itsensä amerauvan eselle, äyttäjä lauaisee uvanaappausen ja antaa tunnusoodin. ZN-face ei suinaan tunnista annettua uvaa aiien hahmojen jouosta, vaan taristaa sen vain annetun henilöllisyyden ohdalla vertaamalla sitä henilöstä muodostettuihin malligraafeihin seä erillisiin referenssigraafeihin. Lopullinen tunnistuspäätös tehdään aavan 12 muaan.
a) b) uva 5. ZN-face järjestelmän prototyyppi (a) ja äyttöliittymä (b). [2] Vaia uvan aappaamisessa äytetään puoli-automaattista menetelmää, jossa itse äyttäjä vaiuttaa lopulliseen tuloseen, ei järjestelmä uitenaan välty vaihteluilta pään oossa, suunnassa ja ilmeissä. Myös ameran ja peilin ääntämisessä syntyy virhettä aluperäiseen, edestä otettuun asvouvaan verrattuna. Nämä vaihtelut eivät onnesi vaiuta ovin paljoa elastisen graafinsovitusalgoritmin toimintaan, joa äsittelee jopa silmälasien suuruiset poieamat. Jäljelle jäävien häiriöteijöiden vuosi voidaan järjestelmään tallettaa saman asvouvan useita eri versioita. ZN-face on myös erittäin nopea. Aluperäinen elastinen graafinsovitusalgoritmi on äännetty tavalliselle PC:lle. Lasenta-aia on saatu optimoitua täydessä tunnistusessa n. 3,5s pituisesi 90Mhz Pentium-tasoisella laitteella, ilman erillisiä lasentaa nopeuttavia laitteita. Nopeus on osasi saatu aiaan pelällä henilöllisyyden taristamisella, eli läpiäytävien graafien määrää on saatu alennettua referenssigraafien lisäsi vain tunnistettavaan henilön graafien tasolle. Tämä ominaisuus yhdessä graafin pienen oon (1.6 B) anssa mahdollistaa myös suurten tietueiden hallinnan järjestelmään voidaan syöttää jopa yli tuhat tunnistettavaa asvoa. Ohjelman helppoäyttöisyyden lisäämisesi on siihen toteutettu Windows-pohjainen äyttöliittymä, joa äytön lisäsi mahdollistaa helpon ylläpidon, s. uva 5b.
4. Testaus ja tuloset Menetelmää testattaessa on muistettava yseessä olevan ulunvalvontajärjestelmä, jolloin pelä tunnistettujen asvojen luumäärä ei riitä uvaamaan järjestelmän toimivuutta testitulosten täytyy ertoa uina hyvin järjestelmä hylää järjestelmässä olemattomien ihmisten asvot. Nämä virheet on jaettu biometristen tutimusen muaan väärään hyläämiseen (False Rejection Rate, FRR) ja väärään hyväsyntään (False Acceptance Rate, FAR). Kuvassa 6 nähdään 800 tunnistusen tuloset (400 oieaa henilöä, 400 huijaria) hyväsymisynnysen t i funtiona. [2] Liian alhainen hyväsymisynnys nostaa väärien hyväsymisten määrää, un taas liian oreana se hylää liiasi oieita asvoja. Näiden arvojen yhdistetty minimi löytyy leiauspisteestä, jossa seä FRR että FAR saavat arvon 0.5%. Kosa yseessä on ulunvalvontajärjestelmä, voidaan väärien hyväsymisten määrää pitää huonompana ominaisuutena. Sisi hyväsymisynnys annattaa asettaa turvalliselle alueelle (FAR 0%), joa silti tuottaa vaadittavan väärän hyläämisten määrän (FAR<1%). Menetelmää on myös esitelty monissa näyttelyissä, uten CeBit 95 ja 96:ssa, jossa se toimi odotetusti aidossa ympäristössä. Kesästä 1995 lähtien järjestelmää on äytetty myös eräässä suuressa yhtiössä, jossa se on saanut äyttäjien esuudessa hyvän vastaanoton. uva 6. FFR (iinteä viiva) ja FAR (pisteviiva) hyväsymisynnysen funtiona. [2] 5. Yhteenveto ja pohdinta ZN-facen toiminta voidaan tiivistää olmeen eri vaiheeseen [1]: 1. Kuvan onvolointiin joaisen graafissa äytetyn Gabor-aaltofuntion anssa 2. Kuvan sovituseen talletettuun graafiin muuttamalla paiaa, ooa ja sisäistä raennetta. Saotermin muuntelulla ohjataan graafin muuntumista seä vältetään graafin liia vääristyminen. 3. Saadun graafin vertaamiseen malli- ja referenssigraafeihin, seä hyväsymispäätösen teemiseen aavan 12 avulla. Vaia ZN-face mahdollistaa nopean ja varman tunnistusen on siinä silti parantamisen varaa. Elastinen Graafinsovitusalgoritmi on herä varjoille, vaatien siten tasaisen valaistusen, eiä se myösään toimi monimutaisemmilla uvilla. ZN-face ehitetään edelleen ja siihen ollaan lisäämässä täysin automaattista asvouvien aappaamista seä asvontunnistusta monimutaisemmista uvista.
6. Viitteet [1] W. Konen, F. Schulze-Krüger. Zn-Face: A system for access control using automated face recognition. nt. Worshop on Face and Gesture Recognition, 1995. [2] M. Hormel, W. Konen, S. Fuhrmann, A. Flugel. Neural systems for complex identification tass: the access control system ZN-Face and the alarm identification SENECA. nt. Conference on Artificial Neural Networs, 1995 [3] M. Lades, J. Vorbrüggen, J. Buhmann, J. Lange. Distortion invariant object recognition in the dynamic lin architecture. EEE Transaction on Computers, 42:300-311, 1993. [4] J. Buhmann, J. Lange, C. von der Malsburg. Distortion invariant object recognition by matching hierarchically labeled graphs. nt. Conference on Neural Networs, 1989