Lappeenrannan Teknillinen Yliopisto Älykkään laskennan seminaari (CT50A6500) KASVOJEN TERMOGRAFIA INFRAPUNAPIIRTEET Anssi Hauvala (0398197) Jussi Huotari (0398210)
TIIVISTELMÄ Teknologian kehittyminen luo uusia mahdollisuuksia kasvontunnistuksen menetelmien kehittämiselle. Perinteinen kasvonpiirteiden analysointi on pitkään ollut valtaa pitävä menetelmä, mutta perinteisen menetelmän rinnalla myös infrapunapiirteiden tutkimus kasvontunnistuksessa on yleistynyt. Tämä tutkielma vertailee perinteisen kasvonpiirteisiin perustuvan menetelmän ja infrapunapiirteisiin perustuvan menetelmän vahvuuksia ja heikkouksia, ja lopuksi tuottaa teorian näiden menetelmien yhdistämisestä saaduista hyödyistä. Hakusanat: Infrapuna, kasvontunnistus, lämpökuvaus. ABSTRACT Technological development is creating new opportunities for the development of methods for face recognition. Traditional facial analysis has long been a dominating method in face recognition, but alongside the traditional method also the infrared face recognition has become more common. This study compares these two methods and characteristics of the infrared method based on the strengths and weaknesses, and finally produce the theory of these methods combine the resulting benefits. Keywords: Infrared, face recognition, thermograph. ALKUSANAT Tämä tutkielma on seminaarityö ja se on valmistunut Lappeenrannan Teknillisessä Yliopistossa huhtikuussa 2013 osana Tietojohtaminen ja Informaatioverkostot - koulutusohjelman opintoja. Kiitämme itseämme, koska olemme olleet jälleen kerran niin kovin ahkeria. Kiitämme myös perheenjäseniämme, jotka ovat olleet kärsivällisiä tämän intensiivisen prosessin aikana. 2
SISÄLLYSLUETTELO 1. Johdanto... 4 2. Tausta... 5 2.1. Tavoitteet ja rajaukset... 5 2.2. Työn rakenne... 5 2.3. Tutkimuksen tavoitteet... 6 3. Tutkimusongelma... 7 3.1. Tutkimuskysymys... 7 3.2. Alakysymykset... 7 4. Teoriatausta ja aikaisempi tutkimus... 7 4.1. Kasvojen fysiologia ja anatomia... 7 4.2. Termografia ja infrapunapiirteet... 9 4.3. Kuvankäsittely... 12 4.4. Algoritmit... 14 4.5. Kasvontunnistuksen menetelmät... 15 4.5.1. Yleistietoa kasvontunnistuksesta... 15 4.5.2. Fyysisiin kasvonpiirteisiin perustuva perinteinen menetelmä (1)... 16 4.5.3. Fyysisiin kasvonpiirteisiin perustuva termografinen menetelmä (2)... 18 4.5.4. Kasvojen perfuusioon perustuva termografinen menetelmä (3)... 20 4.6. Infrapunapiirteisiin perustuvien menetelmien vahvuudet ja heikkoudet... 24 5. Tutkimusmenetelmät... 25 6. Tulokset... 25 6.1. Vastaukset tutkimuskysymyksiin... 25 6.2. Tuloksien arviointi... 26 6.3. Pohdintaa... 27 6.4. Tulevaisuus... 29 7. Yhteenveto... 30 LÄHDELUETTELO... 30 SYMBOLI- JA LYHENNELUETTELO... 33 3
1. Johdanto Jokaisella ihmisellä on yksilölliset kasvot, joiden biometrisiä ominaisuuksia voidaan tarkastella samoin kuin esimerkiksi sormenjälkien piirteitä. Kasvontunnistusta voidaan hyödyntää esimerkiksi tietokoneavusteisessa tunnistamisessa ja todentamisessa automaattisissa turvajärjestelmissä. (Bhowmik et al., 2011; Wu et al., 2008). Henkilöiden tunnistamisessa on muutenkin hyödyllistä, ettei fyysistä kontaktia tarvita, esimerkiksi hygieniasyistä, uskonnollisista tai kulttuurillisista syistä (Bhattacharjee et al. 2012). Merkittävin haaste on tietokantaan tallennetun kuvan ja ihmisen kasvoista otetun kuvan luotettava vertaaminen. Kasvontunnistuksessa voidaan hyödyntää kasvojen Infrapunamenetelmiä (IR) infrapunapiirteiden havaitsemiseksi, joita edelleen tarkastelemalla todentamiseen liittyvien attribuuttien määrää saadaan laajennettua ja kasvontunnistuksen algoritmeistä saadaan monipuolisempia. (Bhowmik et al., 2011; Wu et al., 2008). Iho absorboi hyvin IR-säteilyä ja tämän perusteella ihosta pystytään havaitsemaan infrapunapiirteet paremmin kuin esimerkiksi UV- tai röntgensäteily. Myös näkyvän valon aallonpituudet ovat tärkeitä, koska ne absorboituvat hyvin ihoon ja kohteet pystytään siten havaitsemaan IR:n avulla. (Griffith et al., 2001). Yksittäisen ihmisen lisäksi voidaan tarkastella vaikkapa kokonaista ryhmää, kuinka he liikkuvat suhteessa toisiinsa ja mikä heidän reittivalintansa on. Esimerkiksi SARSepidemian aikaan Hong Kongin lentokentällä kuvattiin ihmisiä lämpökameralla taudinkantajien havaitsemiseksi, vastaavaa menetelmää voidaan soveltaa minkä tahansa liikehdinnän ja tästä aiheutuvien syy-yhteyksien seuraamiseen. (Karinen, 2007). Tilastoimalla tämäntyyppistä tietoa ja vertaamalla uutta tietoa tietokantaan, kuten myös Bhowmik ja muut esittää, voitaisiin seurata tarkasti rajatun joukon liikehdintää ja hyödyntää tätä tietoa esimerkiksi terrorismin vastaisessa toiminnassa. (Karinen, 2007). Termografialla on kasvontunnistuksen lisäksi useita muita sovelluskohteita. Koska se ei menetelmänä vaadi fyysistä kosketusta mitattavaan kohteeseen, sillä pystytään mittaamaan hyvin suuriakin lämpötiloja, eikä ylärajaa käytännössä ole. Tämä ominaisuus tekee lämpökuvauksesta ainutlaatuisen menetelmän ja samalla yhden 4
parhaista saatavilla olevista teollisuuden mittausmenetelmistä, esimerkiksi ennakoivan kunnossapidon sovellukset ja niiden käyttömahdollisuudet ovat rajattomat (Ocean Automation Solutions, 2011). Tässä tutkimuksessa tuodaan esille teoriatietoa infrapunapiirteisiin perustuvista termografisista kasvontunnistuksen menetelmistä ja analysoidaan menetelmien ominaisuuksia suhteessa muihin kasvontunnistuksen menetelmiin. 2. Tausta 2.1. Tavoitteet ja rajaukset Tutkielman tarkoituksena on selvittää, kuinka tehokkaasti kasvojen lämpöjälkeen perustuvia infrapunapiirteitä (2) voidaan hyödyntää kasvontunnistuksessa suhteessa perinteisiin menetelmiin (1). Tutkielma perustuu aiheeseen liittyvään kirjallisuuteen ja tieteellisiin tutkimuksiin. Vertailuaineistona tutkielmaan on sisällytetty kasvojen verenkierron infrapunapiirteisiin (3) perustuvan menetelmän tutkimus, joka täydentää infrapunamenetelmien tutkimusta. Näitä kolmea päälinjaa tutkimalla pyritään muodostamaan käsitys siitä kuinka tehokkaasti infrapunapiirteitä voidaan hyödyntää kasvontunnistuksessa. Tutkielmassa ei oteta kantaa eri valtioiden politiikkaan tai lainsäädäntöön, joka saattaa rajoittaa tunnistusmenetelmien hyödyntämistä. Lisäksi tutkielmasta on rajattu ulos NIR-sovellukset (Near Infrared), koska muuten tutkielmasta tulisi käytettävissä olevaan aikaan nähden liian laaja. Samasta syystä tämä tutkielma ei myöskään käsittele 2D- ja 3D- menetelmien ominaisuuksien vertailua, eikä kuvamateriaalin normalisointia. Tutkimuksen ulkopuoelle rajattujen osa-alueiden vaikutuksen kasvontunnistukseen uskotaan olevan merkittävä, joten tällä alueella on potentiaalinen jatkotutkimuksen mahdollisuus. 2.2. Työn rakenne 5
Kirjallisen aineiston hankinta ja analysointi sekä tutkielman laadinta on vaiheistettu neljään osioon työn jäsentelemiseksi (Kuva 1). Ensimmäisessä osiossa selvitetään yleisimmät kasvontunnistuksen menetelmät ja merkittävimmät yksittäiset tekijät, jotka vaikuttavat kasvontunnistuksen onnistumiseen. Seuraavassa osiossa selvitetään mitä algoritmeja kasvontunnistuksessa hyödynnetään ja arvioidaan algoritmien tehokkuutta suhteessa toisiinsa. Menetelmien vahvuuksista ja heikkouksista tehdään matriisi, jolloin vertailu on helpompaa. Kolmannessa ja neljännessä osiossa hyödynnetään matriisia ja analysoidaan infrapunapiirteisiin perustuvan menetelmän vahvuuksia ja heikkouksia suhteessa vertailtaviin menetelmiin. Lisäksi viimeisessä osiossa esitetään käytettävissä olevan teoriatiedon perusteella toimenpiteitä kasvotunnistuksen menetelmien kehittämiseksi. Kuva1. 2.3. Tutkimuksen tavoitteet Tutkimuksen tavoitteena on infrapunapiirteisiin perustuvan kasvontunnistuksen vahvuuksien ja heikkouksien arviointi suhteessa vertailtaviin mentelmiin. Samalla tutkimus tuottaa tietoa erilaisten kasvontunnistuksen menetelmien luotettavuudesta yleisesti sekä esittää ratkaisua, jolla eri menetelmien heikkoudet voidaan välttää. Tutkimuksen yhteiskunnallinen vaikutus on huomionarvoinen, koska kasvontunnistuksen hyödyntäminen eri yhteiskunnan alueilla on yleistymässä ja tästä johtuen on erittäin tärkeää saada tietoa kasvontunnistukseen luotettavuuteen vaikuttavien seikkojen merkityksestä. Tutkimuksen tieteellinen käyttöarvo on myös huomionarvoinen. 6
Kasvontunnistusta ja sen eri menetelmiä on tutkittu paljon. Myös menetelmien algoritmejä on tutkittu paljon, mutta vain harvat tutkimukset (mm. Delac et al., 2008; Wu et al., 2008; Kong et al., 2004) ovat keskittyneet vertailemaan eri menetelmiä algoritmitasolla ja pyrkineet löytämään synergioita eri menetelmiä yhdistämällä. Tämä tarkastelukulma on erittäin mielenkiintoinen ja uskomme sen herättävän keskustelua myös tieteellisessä yhteisössä lähitulevaisuudessa, kun teknologian kehittyminen tuottaa helpommin lähestyttäviä käytännön sovelluksia. 3. Tutkimusongelma 3.1. Tutkimuskysymys Voidaanko infrapunapiirteitä hyödyntää kasvontunnistuksen luotettavuuden parantamisessa? 3.2. Alakysymykset Mitkä yksittäiset tekijät vaikuttavat eniten kasvontunnistuksen onnistumiseen? Mitä algoritmejä infrapunapiirteisiin perustuvassa kasvontunnistuksessa käytetään? Mitä algoritmejä muissa yleisissä kasvontunnistusmenetelmissä käytetään? Voidaanko infrapunapiirteisiin perustuvalla tunnistusmenetelmällä täydentää tai korvata perinteisiä menetelmiä? Mitä luotettavuuteen vaikuttavia ominaisuuksia infrapunapiirteisiin perustuvasta kasvontunnistuksesta puuttuu? Voidaanko infrapunapiirteiden avulla päästä parempiin tuloksiin kuin muilla kasvontunnistusmenetelmillä? 4. Teoriatausta ja aikaisempi tutkimus 4.1. Kasvojen fysiologia ja anatomia 7
Tässä kappaleessa esitellään ihmisen elimistön lämmönsäätelyyn vaikuttavia tekijöitä ja niistä johtuvia vaikutuksia kasvojen termografiaan. Iholla on useita eri toimintoja. Iho suojelee allaan olevia kudoksia, osallistuu elimistön lämmönsäätelyyn ja toimii verivarastona. Ihon lukuisat verisuonet osallistuvat elimistön lämmön säätelyyn. Ihon kautta kulkee verta levossa ja viileässä ympäristössä 0.2-0.35 l/min ja helteellä jopa 3.5 l/min. Ihossa kiertää tavallisesti 5-10 kertaa niin paljon verta kuin sen ravitsemus vaatii. Ihon verenkiertoa säätelevät hermosto ja hormonit, kuten esimerkiksi adrenaliini. (Nienstedt et al., 1993, 93,98). Ihonalaiskudosen (subkutis) paksuus vaihtelee ihmisen elintottumusten perusteella, laihan ihmisen ihonalaiskudos on keskimäärin 2-10 mm paksu ja lihavan ihmisen ihonalaiskudos voi olla huomattavasti paksumpi. Ihonalaiskerroksen rasvakudos on sidekudosseinien ympäröimässä pienissä lokeroissa. Ihonalainen rasva toimii elimistön energiavarastona ja myös lämmöneristeenä. Lämmönsäätely perustuu siihen, että elimistön lämmönmuodostus ja lämmönhukka ovat yhtäsuuret. Lämmönsäätelyä säätelee hypotalamuksen lämmönsäätelykeskus. Lämmönhukka tapahtuu säteilyn, johtumisen ja veden haihtumisen avulla. Lämmön muodostus perustuu aineenvaihdunta reaktioihin (Nienstedt et al., 1993, 422). Lämmönsäätökeskukseen vaikuttaa pääasiassa veren lämpötila ja myös ihon lämpötilareseptorien toiminta. Keskuksen toiminta vaihtelee vuorokauden aikana joten ihmisen lämpötila ei pysykkään aivan muuttumattomana koko aikaa. Iltapäivälämpö on noin puoli astetta korkeampi kuin aamulämpö. Ankarat lihasponnistus voi nostaa lämpötilan hetkellisesti 40 ºC asteeseen, myös syöminen vaikuttaa elimistön lämpötilaan, varsinkin jos ateriaan sisältyy runsaasti valkuaisaineita (Nienstedt et al., 1993, 425). Tarkimmin lämpötila pysyy samana valtimoveren ja sisäelinten sekä erityisesti aivojen kohdalla. Ympäristön lämpötilan vaihtelut vaikuttavat erittäin selvästi elimistön pintaosien lämpötilaan. Tuulessa ja toisaalta vedessä lämmön kuljetus on voimakasta, joten iho joutuu aina lämmittämään uuden ilma- tai vesikerroksen pois siirtyneen lämmön tilalle. Kylmällä ilmalla ihon pintakerrosten verenkierto vähenee ja iho kaqlpenee, näin myös lämmönhukka jää pieneksi. Myös lämpimällä ilmalla elimistön lämpötilaa säätelevät mekanismit tehostuvat, iho tulee verekkääksi ja punakaksi. Kuumeessa lämmönsäätelykeskus asettuu uusille 8
lukemille ja se toimii ikään kuin normaali lämpötila olisi esimerkiksi 39 ºC normaalin 36-37.5 ºC. Kuumeessa lämpöä syntyy tavallista enemmän ja lämpöä poistuu tavallista vähemmän ja potilas on tavallisesti kalpea. Kuumeen laskiessa tilanne on päinvastainen ja potilas on hikinen ja punakka. (Nienstedt et al., 1993,424). Kasvojen verenkiertoon vaikuttavia tekijöitä on useita ja tässä on esitelty näistä vain muutamia. Tarkoitus oli selvittää, mitkä fysiologiset tekijät mahdollisesti vaikuttavat termografiseen kasvontunnistukseen ja erityisesti ymmärtää veren perfuusioon perustuvan infrapunamenetelmän (Wu et al., 2008) lainalaisuuksia. 4.2. Termografia ja infrapunapiirteet Sana Infra on latinaa ja tarkoittaa "alla". Punainen sitä vastoin on näkyvän valon pisimmän aallonpituuden väri. Infrapunavalolla on pidempi aallonpituus (ja siten alhaisempi taajuus) kuin näkyvällä punaisella värillä ja tästä asiayhteydestä on johdettu Infrared -termi, joka siis käytännössä tarkoittaa punaista väriä, jota ihmissilmä ei havaitse ilman apuvälineitä. (Bhowmik et al., 2011). Termografialla tarkoitetaan lämpöjäljen kuvausmenetelmää, joka mahdollistaa infrapunapiirteeiden tutkimisen. Lämpöjäljen kuvaamisessa hyödynnetään lämpökamera (Raymarine, 2012). Lämpökamera on laite, joka havaitsee vapautuvan infrapuna-energian määrän ja muuttaa sen sähköiseksi signaaliksi jonka avulla tuotetaan kuvaa LCD-näytölle. Lämpökamera havaitsee pienetkin lämpötilaerot ja sen avulla voidaan tehdä erilaisia lämpötilaan liittyviä laskelmia. (Ocean Automation Solutions, 2011). Lämpökuvauksella tarkoitetaan siis infrapunapiirteiden kuvaamista ja tallentamista lämpökameran avulla. Lukuisat eri alojen tutkijat ovat huomanneet, että infrapuna on luotettava ja nopea tapa tutkia kohteiden lämpötilamuutoksia. (Flir Systems, 2004). IR-kuvausmenetelmät tuottavat kuvia, jotka muodostavat kuvattavan kohteen pinnasta lämpötilan muutoksia esittävän termografin (thermogram). Kuvaus tapahtuu mittaamalla kohteen pinnasta infrapunasäteilyn muutoksia (infrapunapiirteet). IR-lämpökuvauksen perusperiaate on, että kaikki esineet lähettävät sähkömagneettista säteilyä ja säteilyn 9
infrapunapiirteet havaitaan ja tallennetaan lämpökameran avulla. Säteilyn määrä on riippuvainen tarkasteltavan kohteen lämpötilasta, joten sen avulla voidaan tarkastella kohteen lämpötilaa, tavallisesti hyödynnetään infrapunan 1-10 μm aallonpituuden spektriä. Nykyiset kuvausmenetelmät pystyvät erottamaan lämpötilaeroja alle 0.1 ºC tarkkuudella, joka mahdollistaa IR-kuvauksen käyttämisen monissa eri sovelluksissa, kuten prosessitekniikassa, rakennustekniikassa, sotilaskäytössä ja lääketieteellisissä kuvauksissa. Tietyt sovellukset eivät tarvitse tarkkaa tietoa lämpötiloista vaan niille riittää pelkästään suhteelliset lämpötilaerot, kuten esimerkiksi sovellus rakennusten lämpövuotojen analysoinnissa. Infrapuna termograafiset järjestelmät (Infrared thermographic systems) ovat yleensä IR- radiometrejä. Tavallisesti laitteet kuvaavat jatkuvasti ja reaaliaikaisesti tutkittavaa ympäristöä perinteisen videokameran tapaan. Laitteisto koostuu lämpötilan ilmaisimesta ja kuvan muodostamiseen tarvittavista komponenteista. Järjestelmissä on lisäksi ominaisuudet kuvan prosessointia ja esittämistä varten. (Griffith et al., 2001). Järjestelmät voidaan jakaa karkeasti kahteen pääluokkaan; radiometrisiin (Radiometric IR) ja ei-radiometrisiin (Non-Radiometric IR) järjestelmiin. Olennainen ero näiden järjestelmien välillä on, että radiometrinen pystyy mittaamaan lämpötiloja. Eiradiometrisiä järjestelmiä käytetään sovelluksissa, joissa ei tarvitse mitata tarkkoja lämpötiloja vaan pelkkä lämpötilaerojen havaitseminen riittää. Esimerkkinä eiradiometrisiä sovelluksista on erilaiset yönäkölaitteet. Ei-radiometriset laitteet eivät tarvitse laajoja kalibrointeja eikä lämmönkestävyys- tai kuvankäsittelyominaisuuksia, joten ne ovat myös hinnoiltaan huomattavasti edullisempia kuin radiometriset järjestelmät. (Griffith et al., 2001). Radiometrisissä järjestelmissä on kaksi perustyyppiä: FPA (Focal Plane Arrays) ja skannerit. Lisäksi ilmaisimissa on olemassa kaksi pääryhmää: Fotonin vaimennin (Photon absorbers) ja fotonin ilmaisin (Photon detectors). (Griffith et al., 2001). Focal Plane Arrays (FPA). FPA-järjestelmä on yleisimmin käytössä oleva radiometrinen IRjärjestelmä. FPA:n toiminta on samankaltainen kuin CCD-kennoilla (Charge-Coupled Device), joita hyödynnetään esimerkiksi videokameroissa, mutta näkyvän valon sijaan 10
FPA on herkempi Infrapunalle. FPA:n muodostama jokainen pikseli on mitattu omalla yksilöllisellä ilmaisimella. Tuloksena on kaksiulotteinen taulukko, joka on havainnollistettu alla olevassa kuvassa (Kuva 2). (Griffith et al., 2001). Kuva 2. Menetelmän etuna on se, ettei siinä ole muita liikkuvia osia kuin fokuksen säätö. Valittaessa parhaiten sopivaa mittauslaitetta on otettava huomioon menetelmän sopivuus mitattavaan lämpötilan alueeseen, kasvontunnistuksessa tämä tarkoittaa 10 ºC - 50 ºC mittausaluetta. Griffith ja muut esittävät menetelmän laskea mitattavan lämpötilan perusteella käytettävä aallonpituus, joka on 10 ºC - 50 ºC lämpötilassa 9-10 μm. Alla oleva taulukko havainnollistaa erilaisia IR-mittausjärjestelmiä ja niiden ominaisuuksia sekä soveltuvuutta eri olosuhteisiin (Taulukko 1). (Griffith et al., 2001). Taulukko 1. IR imager Resolutions Response NETD (Noise Typical Uses system types available ranges(μm) Equivalent (pixels) Temperature Difference) (mk) FPA, Indium 320 x 256, 0.9 to 1.68 N/A IR Laser/LED 11
Gallium Arsenide (InGaAs) 640 x 512 development, High temperatures FPA, Indium 320 x 256, 1.0 to 5.4 25 General, Antimonide 640 x 512 3 to 5 Military (InSb) imaging, Fast FPA, Microbolomete r (absorber) 160 x 128, 320 x 240 8 to 14 100 General, Predictive Maintenance, Fire Fighting FPA, Quantum 320 x 256, Narrow 30 R&D, Well 640 x 512 band within Laboratory Infrared 8 to 10 Photodetectors (QWIP). Scanner, Variable 8 to 14, 50 R&D, Mercury 173 x 240, 3 to 5 Laboratory Cadmium 1024 x 600 Telluride (HgCdTe or MCT) 4.3. Kuvankäsittely Tietokoneavusteisessa kasvontunnistuksessa on oleellista analysoida ja tallentaa kohdetta mahdollisimman tarkasti mallintavan konfiguraation tiedot, joko tietyllä hetkellä tapahtuvaa tai mahdollisesti myöhempää vertailua varten. Varsinainen valokuva kertoo 12
ihmissilmälle enemmän kuin tietokoneen data, mutta tietokone tarvitsee kuvankäsittelyyn aina laskennallisen lähestymistavan, jota se vertailee referenssiaineistoon havaitakseen saman konfiguraation tai sulkeakseen pois ne löydökset joista vastaavuutta ei tunnisteta. Tämä voidaan toteuttaa esimerkiksi värispektrianalyysillä hyödyntämäällä tarkoitukseen sopivaa algoritmiä. Konfiguraatio muodostuu tietyistä havaintopisteistä ja näiden välillä vallitsevista suhteista. (Delac et al., 2008). Konfiguraation monimutkaisuus riippuu havaintopisteiden määrästä ja tekijöistä, joihin eri algoritmit ottavat kantaa (Kong et al., 2004). Edellä mainitusta syystä kuvankäsittelyssä on tärkeää kuvan normalisointi, jonka avulla pyritään tuottamaan mahdollisimman optimaalinen kuva tietyn konfiguraation havaitsemiseksi ja vertaamiseksi mahdollisimman luotettavasti. Käytännössä tämä tarkoittaa erilaisia menetelmiä, joilla pyritään välttämään konfiguraation tunnistamiseen liittyviä haittatekijöitä, kuten kuvan valaistus, kuvakulma, etäisyys, kuvasuhde sekä toisaalta taas erilaiset asusteet kuten silmälasit ja muut henkilön kasvonpiirteitä peittävät ominaisuudet kuten viikset ja parta (Delac et al., 2008, 57). Normalisoinnin ongelmatiikkaa pyrkii selittämään Wang ja muut esittämällä oman teoriansa normalisoinnista (Wang et al., 2003), johon ei tässä tutkimuksessa ole tarkoitus syventyä, mutta todettakoon kuitenkin, että normalisoinnilla on merkittävä vaikutus niin perinteisen kasvontunnistuksen kuin termografisen kasvontunnistuksenkin onnistumisessa. Termograafinen kasvojen tunnistus voidaan jakaa eri vaiheisiin, jotka on kuvattu alla. Eri vaiheita ovat lämpökuvan hankinta, kuvan esikäsittely ja binäärikuvien alueiden luokittelu sekä piirteiden etsintä kuvasta. Esikäsittelyssä tarkasteltavaa kuvaa käsitellään siten, että siitä on mahdollisimman helposti löydettävissä kasvot, jotka lopuksi rajataan ellipsin muotoiseksi alueeksi (Bhattacharjee et al., 2012). 1. Raaka-kuvien hankkiminen 2. Raaka-kuvien binäärisointi 3. Binäärikuvasta eri alueiden luokittelu 4. Suurimman alueen löytäminen 13
5. Suurimman alueen keskikohdan määritys 6. Kasvojen rajaaminen ellipsin muotoiseen alueeseen Lähtökuvan hankinnan jälkeen kuvalle tehdään binärisöinti eli muutetaan kuva nollia ja ykkösiä vastaavaksi taulukoksi. Tämän tarkoitus on erotella kasvojen alue alkuperäisestä kuvasta. (Bhattacharjee et al., 2012). Muodostettu binäärikuva voi koostua useammasta eri osasta eli alueesta. Alueiden havaitsemiseen voidaan käyttää esimerkiksi Connected Component Labeling -algoritmia (CCL), joka perustuu 4- connected neighbours tai 8-connected neighbours -menetelmiin. Algoritmin suorituksen jälkeen kuvan eri alueet on pystytty erottelemaan ja erottelun tuloksena voidaan havaita suurin yksittäinen tarkasteltava alue, jonka jälkeen kuvasta löytyneen suurimman alueen keskipisteen koordinaatit määritetään. (Bhattacharjee et al., 2012). Ihmisen kasvot ovat ellipsin muotoiset ja suurimman alueen keskipisteen paikka voidaan määrittää esimerkiksi Bresenham Ellipse Drawing -algoritmin (BED) avulla. Lopputuloksena on ellipsin muotoinen alue, jossa kasvot sijaitsevat. (Bhattacharjee et al., 2012). Käsittelyn seurauksena saadulle alueelle hyödynnetään tunnistusalgoritmejä. Kasvojen alueen löytäminen raaka-kuvasta on tärkein vaihe kasvojen tunnistamisessa. 4.4. Algoritmit Algoritmi on yksityiskohtainen ohje tietyn monimutkaisen ongelman ratkaisemiseksi. Valmiita hahmontunnistuksessa hyödynnettäviä algoritmeja on olemassa laaja joukko. Tähän tutkielmaan valitut algoritmit perustuvat amerikkalaisen FERET-projektin tutkimustuloksiin, joka on tutkinut kasvontunnistusta ja algoritmeja jo pitkään. FERETprojektin toimesta testattiin eri algoritmien tehokkuutta kasvontunnistuksessa hyödyntämällä laajaa yli 3000 kasvokuvan tietokantaa. Parhaimmat tulokset saavutettiin seuraavilla kolmella algoritmeilla. (Kong et al., 2004). The probabilistic eigenface method (MIT), MIT Media Lab Elastic Graph Matching (EGM), University of Southern California Linear Discriminant Analysis, (LDA), University of Maryland 14
Tietokoneavusteiseen hahmontunnistukseen käytetään yleisesti Eigenface-menetelmää, jonka ovat kehittäneet 80-luvun puolivälin tietämillä L. Sirovich ja M. Kirby. Eigenfacemenetelmässä hyödynnetään matemaattista prosessia, joka tunnetaan pääkomponenttianalyysinä (PCA; Principal Component Analysis). (Kong et al., 2004). PCA on luotettava ja yksinkertainen tapa kantavektorijoukon määrittämiseksi värispektreille ja sen tärkein tehtävä on olennaisen informaation rajaaminen tutkittavasta kohteesta, joten PCA:n rooli hahmontunnistuksessa on keskeinen. (Karttunen, 2002). PCA:n tehtävänä on käytännössä ihmisen kasvojen paikantaminen kuvasta, mutta sitä käytetään kasvontunnistuksen lisäksi monessa muussakin hahmontunnistuksessa. Varsinainen kahden kuvan välisen yhtäläisyyden tunnistaminen suoritetaan kasvontunnistukseen erikoistuneella algoritmilla (esim. MIT, EGM, LDA). Mainituista algoritmeista MIT on todennäköisyyksiin perustuva Eigenface-menetelmä. EGM puolestaan käyttää lineaarista Gabor -suodatusta, joka on monimutkainen ääriviivatunnistuksen menetelmä. (Kong et al., 2004). LDA:lla puolestaan on hyvin paljon yhtäläisyyksiä PCA:n kanssa, sillä molemmissa hahmontunnistusmenetelmissä etsitään lineaarisia yhdistelmiä, jotka parhaiten selittävät kasvojen kuvaa edustavaa dataa. PCA- ja LDA-algortimit ovat erittäin tehokkaita ja hyvin laajasti käytettyjä kasvontunnistuksen menetelmiä. Näiden kahden algoritmin yhdistämisestä saatavia hyötyjä on myös tutkittu ja esimerkiksi Marcialis & Roli käsittelee tätä aihetta laajasti omassa tutkimuksessaan Fusion of LDA and PCA for Face Recognition. (Marcialis & Roli, 2002). Myös Delac ja muut käsittelevät samaa aihetta omassa tutkimuksessaan Recent Advances in Face Regonition ja päätyvät samaan suositukseen, mutta samalla Delac ja muut ottavat kantaa myös siihen seikkaan, että useamman rinnakkaisen erilaisen algoritmin samanaikaisesta käytöstä saataisiin vielä tätäkin suurempi tehokkuus (Delac et al., 2008). Tutkimustiedon perusteella voidaan kuitenkin hyvin todeta, että läheistä sukua olevien PCA- ja LDA-algoritmien ominaisuuksia yhdistämällä saataisiin aikaan erittäin tehokas kasvontunnistuksen algoritmi. 4.5. Kasvontunnistuksen menetelmät 4.5.1. Yleistietoa kasvontunnistuksesta 15
Automaattiseen kasvontunnistukseen liittyy tiettyjä vaiheita, jotka toistuvat kaikissa kasvontunnistuksen menetelmissä teknologiasta riippumatta. Kasvontunnistuksessa voidaan hyödyntää erilaisia algoritmeja, joilla ratkaistaan yleisesti tunnistettu ongema. Erilaisten algoritmien lisäksi esimerkiksi teknologiasta riippuen kasvontunnistuksen eri vaiheiden toteutustapa ja tekniset ratkaisut saattavat poiketa toisistaan. Alla olevassa kuvassa (Kuva 3) on esitetty periaatekuva kasvontunnistuksen eri vaiheista. Tätä periaatetta voidaan soveltaa teknologia- ja algoritmiriippumattomasti. Kuva 3. Prosessi alkaa tavallisesti kasvojen kuvaamisella. Tämän jälkeen seuraava vaihe on kuvan normalisointi ja muu tarpeellinen kuvankäsittely, jolla pyritään saamaan kasvojen piirteet paremmin esille. Normalisoinnin jälkeen käsitellystä kuvasta etsitään valitun algoritmin avulla kasvojen paikka ja edelleen tunnusomaisia piirteitä, kuten esimerkiksi silmien, nenän ja suun sijainti. Menetelmä ei eroa perinteisen kasvonpiirteiden ja infrapunapiirteiden analysoinnin välillä mitenkään. (Akhloufi, 2008). 4.5.2. Fyysisiin kasvonpiirteisiin perustuva perinteinen menetelmä (1) 16
Fyysisiin kasvonpiirteisiin perustuva kasvontunnistusmenetelmä on perinteisin kasvontunnistuksen tietokoneavusteinen menetelmä. Tässä menetelmässä kasvoja analysoidaan ja tarkastellaan kasvonpiirteiden etäisyyksien, muotojen ja ääriviivojen perusteella. Lähtötieto voi koostua yhdestä tai useasta eri kulmasta otetusta tavallisesta valokuvasta tai videokuvasta. Kasvoista etsitään tiettyjä kaikille kasvoille tunnusomaisia piirteitä, kuten silmät, silmien koko, silmien sijainti, nenän sijainti ja nenän muoto. Analysointi voi perustua kasvokuvaan tai sivuprofiiliin, joko 2D- tai 3D- menetelmällä ja tulokset voidaan tallentaa myöhempää käyttöä varten. (Delac et al., 2008, 164-165). Kasvontunnistuksen prosessi on kuvattu kokonaisuudessaan alla olevassa kuvassa (Kuva 4), (Oasis Project, 2013). Kuva 4. 17
Fyysisiin kasvonpiirteisiin perustuva perinteinen menetelmässä erityinen huolenaihe on kuvausolosuhteisiin vaikuttava valaistus, kuvakulma, etäisyys, kuvasuhde sekä toisaalta taas erilaiset asusteet kuten silmälasit ja muut henkilön kasvonpiirteitä peittävät ominaisuudet kuten viikset ja parta vertailtavaan dataan nähden (Delac et al., 2008, 57). Perinteisen kasvonpiirteiden tunnistuksen mittauspisteitä on havainnollistettu esimerkinomaisesti alla olevassa Daily Telegraphin kuvassa (Kuva 5). Kuva 5. 4.5.3. Fyysisiin kasvonpiirteisiin perustuva termografinen menetelmä (2) Termografinen menetelmä (IR-menetelmä) perustuu pääosin samoihin prosesseihin, lainalaisuuksiin ja algoritmeihin kuin edellisessä kappaleessa esitetty perinteinen menetelmä. Infrapunakuvia otetaan erilaisilla laitteilla, mutta kuvia analysoidaan ja tutkitaan samoilla menetelmillä. IR-kasvontunnistuksen etuna esimerkiksi Kong ja muut nostavat esiin sen seikan, että IR-kuvat ovat yleisesti riippumattomia ympäristön valaistuksesta, varjoista, heijastuksista tai vastaavista kuvan laadulliseen lopputulokseen vaikuttavavista tekijöistä. Lisäksi IR-kuvien eduksi on katsotaan se, että ne eivät ole samalla tavalla riippuvaisia fyysisistä kasvonpiirteistä kuin perinteiset kasvontunnistuksen menetelmät. Toisaalta taas termografin tulkitseminen ihmissilmällä on vaikeampaa kuin perinteisten valokuvien tulkitseminen, tällä ei ole kuitenkaan 18
tietokoneavusteisen kasvontunnistuksen kannalta merkitystä. Huomioitavaa on, että IRkuvilla saadaan lisätietoa myös kasvojen fysiologiasta ja anatomiaan liittyvistä infrapunapiirteistä, joka tekee menetelmästä monikäyttöisemmän ja luotettavamman kuin perinteinen kasvontunnistus. (Kong et al., 2004); Wu et al., 2008). Ominaisuuksien vertailua havainnollistaa Kong ja muut alla olevaan taulukkoon (Taulukko 2) koostetulla yhteenvedolla, joka kuvastaa hyvin eri tutkimuksissa esille tulleita päätelmiä (Kong et al., 2004). Taulukko 2. Vaikka ulkoisten vaikuttimien merkitys ei olisikaan IR-kuvauksessa suuri, voidaan kuitenkin tunnistaa kuvaustilanteen aikana valitsevien olosuhteiden vaikutus kuvamateriaalin laatuun. Socolinsky ja muut ovat testanneet olosuhteiden vaikutusta kuvaamalla samoja otoksia eri sessioissa ja vertailleet lopputuloksia keskenään. Tutkimuksen tuloksena on selvästi havaittavissa sessioiden väliset erot kuvan laadussa mikäli olosuhteita ei pystytä täysin vakioimaan (Kuva 7). 19
Tämäkään ei tarkan lopputuloksen aikaan saamiseksi riitä, sillä kuvattavaan kohteeseen on voinut vaikuttaa esimerkiksi kuume. (Socolinsky et al., 2004). Kuva 6. Edellä esitettyyn tutkimustietoon perustuen voidaan hyvin todeta, että perinteisen kasvontunnistuksen ja infrapunapiirteisiin perustuvan menetelmän yhdistäminen on luotettavan kasvontunnistuksen kannalta järkevää, etenkin jos käytettävä kuvamateriaali on epätasalaatuista tai kuvausolosuhteita ei pystytä täysin vakioimaan. Tällöin menetelmät täydentävät toisiaan kattavasti. 4.5.4. Kasvojen perfuusioon perustuva termografinen menetelmä (3) Anatomiassa perfuusiolla tarkoitetaan veren läpivirtausta jonkin elimen läpi eli kansanomaisesti verenkiertoa. Perfuusiotutkimuksen lääketieteen sovelluksena yleisesti hyödynnetään esimerkiksi sydänlihaksen perfuusion gammakuvausta (Sinisalo & Virtanen, 2005). Kasvojen perfuusion analysointia voidaan vastaavalla tavalla hyödyntää myös esimerkiksi allergioiden tutkimuksessa, koska erilaiset allergiat heijastuvat herkästi kasvojen perfuusioon (Clark et al., 2007). Tämän yksilöllisen ominaispiirteen analysointia voidaan hyödyntää hyvin monessa eri yhteydessä. Tässä tutkielmassa perfuusiota käsitellään kasvontunnistuksen menetelmänä, sillä yhä useammassa 20