Malleja ja menetelmiä geometriseen tietokonenäköön Juho Kannala 7.5.2010
Johdanto Tietokonenäkö on ala, joka kehittää menetelmiä automaattiseen kuvien sisällön tulkintaan Tietokonenäkö on ajankohtainen tutkimusalue: Kameroiden ja digitaalisen kuvamateriaalin määrä kasvaa nopeasti (mm. kännykkäkamerat) Tarve kuvien automaattiseen käsittelyyn kasvaa myös (esim. kuvahaut valtavista tietokannoista) Toisaalta uudet tekniikat ja laitteiden laskentakapasiteetin lisääntyminen mahdollistavat myös kokonaan uusia sovelluksia (esim. itsenäiset ympäristöään havainnoivat robotit)
Geometrinen tietokonenäkö Tietokonenäön osa-alue, joka tutkii kuvanäkymän ja sitä kuvaavien kameroiden geometrisia ominaisuuksia ja niiden välisiä suhteita Monet uudet sovellukset hyödyntävät geometrisen tietokonenäön menetelmiä: Kuvapohjaiset mallinnus- ja visualisointiohjelmistot (esim. Microsoft Photosynth) Katunäkymiä sisältävät Internetin karttapalvelut (Google Street View) Kuvien sisältöä analysoivat tiedonhakupalvelut (Google Goggles) Kolmiulotteiset elokuvat sekä täydennetyn todellisuuden ja virtuaalitodellisuuden sovellukset (Avatar)
Näkymän kolmiulotteinen rekonstruointi monesta kuvasta Keskeinen ongelma geometrisessa tietokonenäössä Sisältää useita osaongelmia: Vastaavien piirteiden paikannus kuvista ja niiden rekonstruointi sekä kameroiden asemien määritys (engl. structure from motion) Kameran geometrinen kalibrointi tai itsekalibrointi Kattavan pintamallin muodostaminen näkymästä (engl. multi-view stereo) Väitöstyössä on tutkittu tähän ongelmakenttään liittyviä asioita
Näkymän rekonstruoinnin päävaiheet
Näkymän rekonstruoinnin päävaiheet
Näkymän rekonstruoinnin päävaiheet
Näkymän rekonstruoinnin päävaiheet
Näkymän rekonstruoinnin päävaiheet
Näkymän rekonstruoinnin päävaiheet
Näkymän rekonstruoinnin päävaiheet
Näkymän rekonstruoinnin päävaiheet
Ensimmäinen tutkimusongelma: Tason projektiivisen muunnoksen määrittäminen kartioleikkauksista Kaksi kuvaa tasomaisesta pinnasta eri kuvakulmista Kameroiden asemat voidaan ratkaista määrittämällä projektiivinen muunnos kuvien välille Väitöstyössä tutkittiin menetelmiä muunnoksen määrittämiseen vastaavista kartioleikkauksista (esim. kaksi vastinellipsiä riittää)
Ensimmäinen tutkimusongelma: Tason projektiivisen muunnoksen määrittäminen kartioleikkauksista Kaksi kuvaa tasomaisesta pinnasta eri kuvakulmista Kameroiden asemat voidaan ratkaista määrittämällä projektiivinen muunnos kuvien välille Väitöstyössä tutkittiin menetelmiä muunnoksen määrittämiseen vastaavista kartioleikkauksista (esim. kaksi vastinellipsiä riittää)
Toinen tutkimusongelma: Geometrinen kameran kalibrointi Kameran geometristen kuvausominaisuuksien määrittäminen
Toinen tutkimusongelma: Geometrinen kameran kalibrointi Kameran geometristen kuvausominaisuuksien määrittäminen Tutkimus painottui laajakulmaisiin keskeiskameroihin
Toinen tutkimusongelma: Geometrinen kameran kalibrointi Kameran geometristen kuvausominaisuuksien määrittäminen Tutkimus painottui laajakulmaisiin keskeiskameroihin
Toinen tutkimusongelma: Geometrinen kameran kalibrointi Kameran geometristen kuvausominaisuuksien määrittäminen Tutkimus painottui laajakulmaisiin keskeiskameroihin
Toinen tutkimusongelma: Geometrinen kameran kalibrointi Kameran geometristen kuvausominaisuuksien määrittäminen Tutkimus painottui laajakulmaisiin keskeiskameroihin
Toinen tutkimusongelma: Geometrinen kameran kalibrointi Kameran geometristen kuvausominaisuuksien määrittäminen Tutkimus painottui laajakulmaisiin keskeiskameroihin Keskeiskamerassa kaikki näkymästä kuvatasolle tulevat valonsäteet leikkaavat yhdessä pisteessä
Toinen tutkimusongelma: Geometrinen kameran kalibrointi Kameran geometristen kuvausominaisuuksien määrittäminen Tutkimus painottui laajakulmaisiin keskeiskameroihin Keskeiskamerassa kaikki näkymästä kuvatasolle tulevat valonsäteet leikkaavat yhdessä pisteessä Työssä kehitettiin yleiskäyttöinen matemaattinen malli keskeiskameroille ja menetelmä mallin parametrien määrittämiseksi
Kameramallin parametrien määritys Yhden projektiokeskuksen malli soveltuu monille hyvinkin erilaisille kameroille Kameramallin parametrit voidaan määrittää käyttäen useita kuvia tunnetusta tasomaisesta kuviosta Työssä kalibroitiin viisi erilaista kameraa käyttäen kalibrointikuviota, joka koostuu valkoisista ympyröistä mustalla taustalla Tavallinen linssi (perspektiiviprojektio) Laajakulmalinssi Kalansilmälinssi Katadioptrinen kamera (hyperbolinen peili) Katadioptrinen kamera (tasakulmainen peili)
Kolmas tutkimusongelma: Viemäriputken mallinnus videokuvasta Tavoitteena on muodostaa kolmiulotteinen malli viemäriputkesta automaattisesti putkessa liikkuvan kameran kuvaaman videon pohjalta
Esimerkki
Neljäs tutkimusongelma: Vastinpisteiden määrittäminen tiheästi Tehtävänä on määrittää paljon vastinpisteitä kahden samasta näkymästä otetun kuvan välille Kehitetty menetelmä perustuu harvasti paikannettujen vastinalueiden vaiheittaiseen kasvattamiseen Menetelmä sietää suurempia kuvakulman muutoksia kuin aiemmat kasvatusmenetelmät
Pintakuvion perusteella mukautuva vastinpisteiden kasvatus Vastinpisteiden kasvatus pysähtyy, kun paikallinen geometrinen muunnos kuvien välillä muuttuu
Pintakuvion perusteella mukautuva vastinpisteiden kasvatus Vastinpisteiden kasvatus pysähtyy, kun paikallinen geometrinen muunnos kuvien välillä muuttuu Pintakuvioon mukautuva kasvatus parantaa tulosta, kun näkymä ei ole jäykkä ja tasomainen
Sovellus: Kohteiden tunnistus Tehtävänä on tunnistaa, että esiintyykö tunnetun mallikuvajoukon kohteita annetussa kyselykuvassa Menetelmä pohjautuu vastinpisteiden määrittämiseen kyselykuvan ja mallikuvien välille Yhdenmukaisesti liikkuvat vastinpisteet ryhmitellään yhteen ja pisteiden määrä toimii tunnistuskriteerinä Samalla kohde saadaan rajattua kyselykuvasta
Sovellus: Kohteiden erottelu Tehtävänä löytää kahdesta kuvasta yhteiset kohteet Kumpikin kuva voi sisältää useita kohteita
Sovellus: Kohteiden erottelu Tehtävänä löytää kahdesta kuvasta yhteiset kohteet Kumpikin kuva voi sisältää useita kohteita Menetelmä pohjautuu vastinpisteiden ryhmittelyyn Vastinpisteryhmät tuottavat alkuarvauksen kohteista, joiden rajat ja liike sitten tarkennetaan Toimii myös, kun kohteet eivät ole jäykkiä tai tasomaisia
Yhteenveto Väitöstyössä tutkittiin useita geometrisen tietokonenäön ongelmia Tutkimusaiheet sivuavat kahta keskeistä tietokonenäön osa-aluetta: Näkymän kolmiulotteinen mallinnus useasta kuvasta Kohteiden automaattinen tunnistus valokuvista Tärkeimmät tulokset: Yleinen matemaattinen kameramalli keskeiskameroille ja kalibrointimenetelmä mallin parametrien määrittämiseksi Menetelmä vastinpisteiden määrittämiseen kahden kuvan välille tiheästi