MAA-C2001 Ympäristötiedon keruu Luento 11, Muut mittausinstrumentit, 2017 Petri Rönnholm, Aalto-yliopisto 1 Oppimistavoitteet Kinect Flash lidar Muita 3D-mittausinstrumentteja Sovelluksia 2 1
Kinect Kinect, Kinect for Xbox 360/windows, Asus Xtion Pro/Pro Live, PrimeSense SDK 5.0 (sensori sama, mutta kuoret erilaisia) Valmistaja: PrimeSense (Microsoft lisenssöinyt teknologian) Kolmiointiperiaatteella toimiva etäisyyskamera 3 Kinect Etäisyysmittaus tapahtuu käyttämällä laskennallista projektorikuvaa ja kohteen kautta heijastunutta valopisteistöä, joka näkyy läheiselle infrapunakameralle Projektori heijastaa kohteeseen strukturoitua valoa, jonka aallonpituus on 830 nm (kts. seuraavan kalvon kuva) Infrapunavalo toimii sisätiloissa, mutta auringonvalo peittää sen ja mittaus ei tällöin onnistu ulkotiloissa Valopisteet toistuvat 9-osassa siten, että yhden osan keskellä on kirkkaampi piste ja sen ympärillä on iso joukko himmeämpiä pisteitä Tekniikkaa kutsutaan myös nimellä RGB-D https://www.youtube.com/watch?v=dtklngsh9po&feature=r elated 4 2
http://www.anandtech.com/show/4057/micros oft-kinect-the-anandtech-review/2 5 Kinect Sensori yhdistää kaksi menetelmää Depth from focus (etäisyys tarkennuksesta) Kolmiointi Depth from focus Astigmaattinen linssistö tuottaa eri etäisyyksille optimoituja pisteitä (eri kameravakio x- ja y-suunnassa) Pisteet ovat itse asiassa ellipsejä Ellipsin orientaatio ja koko riippuu etäisyydestä Pisteiden koko ja välinen etäisyys muuttuu etäisyyden mukaan (muistissa on vertaustaso, jossa pisteiden koko tiedetään) 6 3
Depth from focus 7 Freedman et al, PrimeSense patent application US 2010/0290698 Kolmiointi Kinect toimii kolmiointiperiaatteella (projektori, kohde, kamera) 8 Kuva: http://www.ncbi.nlm.nih.gov/pmc/articles/pmc3304120/ 4
Kolmiointi Laitteen muistissa on referenssikuva tietyllä etäisyydellä olevasta projektorin pisteistöstä Jos kohde ei olekaan referenssitason etäisyydellä, pisteet liikkuvat (vaakasuorasti kuvalla) Pisteiden liikkeet tunnistetaan kuvakorrelaatioalgoritmilla Tulokseksi saadaan parallaksikuva (disparity image) Parallakseista saadaan etäisyyskuva 9 Kuva: http://www.ncbi.nlm.nih.gov/pmc/articles/pmc3304120/ Kolmiointi Kuvasta löydetään suhteita yhdenmuotoisten kolmioiden avulla D Z0 Zk b Z d f 0 D Z k 10 5
3D pisteiden laskeminen Ratkaistaan jälkimmäisestä yhtälöstä D ja sijoitetaan ensimmäiseen D Z0 Zk b Z 0 d f D Z k Tulokseksi tulee etäisyys kohteeseen Z k Z k bfz0 Z d bf 0 Z0 Z0d 1 bf 11 3D pisteiden laskeminen Etäisyys referenssitasoon Z 0, infrapunakameran kameravakio f ja projektorin ja kuvan välinen etäisyys eli kanta b joudutaan selvittämään laitteen kalibroinnilla Lisäksi on selvitettävä infrapunakameran linssivirheet Käytännössä infrapunakuvista on poistettava linssivirheet ennen kuin lasketaan parallaksikuva X- ja Y-suunnat saadaan kohdilleen skaalaamalla kuvakoordinaatteja x k ja y k. Lisäksi kuvakoordinaatiston origon tulee olla kuvan pääpisteessä (x 0, y 0 ) Zk X k ( xk x0) f 12 Y k Z f k ( y k y 0 ) 6
Kolmioinnin teoreettinen tarkkuus Kolmioinnin tarkkuus heikkenee nopeasti etäisyyden funktiona Etäisyystarkkuutta voisi parantaa kasvattamalla kantaa b 13 Menna et al. 2011 Kinect Resoluutiosta riippuen tuottaa kuvia välille (frame rate) 9-30 Hz RGB-kameran videokuvan resoluutio on 640x480 Kamera voisi ottaa kuvia resoluutiolla 1280x1024, mutta pienemmällä taajuudella 3D kuvan resoluutio on 640x480 3D kuvan etäisyystieto on kvantisoitu (pakattu) 11- bittiseksi, jolloin syvyysarvoja voi olla vain 2 11 =2048 kpl Käytännössä eroja saadaan välille [400, 1040], kun kohde sijaitsee etäisyyksillä [500 mm, 6000 mm] 14 7
Kinect Etäisyyskuva paljastaa etäisyyden kvantisoinnista johtuvan pyöristämisen Taso 75 cm päässä Taso 275 cm päässä 15 Menna et al. 2011 RGB-väriarvojen liittäminen pistepilveen Laitteen RGB-kamera on kalibroitava ja sen linssivirheet korjattava Kamera on fyysisesti hieman sivussa infrapunakamerasta, joten RGB-kameran ulkoinen orientointi infrapunakameran koordinaatistossa on selvitettävä (keskinäinen orientointi) 16 http://boofcv.org/index.php?title=file:kinect_point_cloud_basket.jpg 8
Linssivirheiden korjaus Alla on esimerkki IR- ja RGB-kameroiden linssivirheistä 17 Kinect Laskenta tapahtuu itse laitteessa Mahdollistaa reaaliaikaisen Kokovartalon 3D liikkeenseuranta Käden liikkeiden tunnistus Kasvojen tunnistus äänentunnistus 18 9
Ihmisen asennon tunnistus 19 Ihmisen asennon tunnistus Laite tunnistaa yhtä aikaa useita pelaajia 20 10
Ihmisen asennon tunnistus 20 avainpistettä ihmisestä 21 Kasvojen animointi Upper Lip Raiser Lip Corner Depressor Lip Stretcher Jaw Lowerer Brow Lowerer Outer Brow Raiser 22 11
Kinect sovelluksia Sisätilan mallinnus https://www.youtube.com/watch?v=7s8uduaejk8 https://www.youtube.com/watch?v=mqp3bwqxdsc 23 Kinect sovelluksia Käsiohjaus ja liikkeentunnistus 24 http://www.popsci.com/files/imagecache/article_image_large/articles/picture%202_54.png http://technabob.com/blog/2011/06/11/kinect-graffiti-kinect-hack/ 12
Kinect sovelluksia Vaatteiden virtuaalisovitus https://www.youtube.com/watch?v=mr71jrkzwq8 25 Matterport Panoramakeilain, jonka sensoreina on Kinectejä Ohjelmisto rekisteröi 3D näkymät ja 2D kuvat toisiinsa Video: http://matterport.com/faq/ https://vimeo.com/90280230 Showcase: http://www.we-getaround.com/wegetaround-atlantaour-blog/2015/1/8/construction-the- 3-rs-of-matterport-3d-showcasewalkaround-tours-for-generalcontractors 26 13
Muita kolmiointiin perustuvia 3D sensoreita Google Tango Orbbec Astra Intel SR300 Fotonic Q-Series + paljon muita 27 Kinect 2 3D-etäisyyskamera eli perustuu täysin eri teknologiaan kuin ensimmäisen sukupolven Kinect Time-of-flight (TOF) 3D etäisyyskamera 1920 1080 (AKA 1080p) 30 fps 16:9 camera Pystyy seuraamaan 6 aktiivista pelaajaa yhtä aikaa Sormien ja pään liikkeen seuranta 1080p Skype-puhelut Puheentunnistus https://youtu.be/hi5kmnfgds4 28 14
Matriisipohjainen etäisyyskamera Time-of-flight 3D-etäisyyskamerat, flash lidar, ei sisällä liikkuvia osia Valonlähde valaisee koko kohteen moduloidulla valolla Vastaanottimen jokaisen sensorin pitää kyetä vastaanottamaan sekä taustan intensiteetin että lähetetyn moduloidun valon saapumisajan RF-modulated transmitter (20 MHz) Distance image 2D-detector and 2D RF-phase detector Laserkeilain vs. flash lidar 30 http://c.ymcdn.com/sites/www.mapps.org/resource/resmgr/2014_summer_confer ence/graham-flash_lidar-mapps2014.pdf 15
Matriisipohjainen etäisyyskamera Toteutettavissa CCD/CMOS-kennoilla ja ledeillä Saapuneen moduloidun valon vaihe saadaan ristikorreloimalla alkuperäisen signaalin kanssa CCD/CMOS-kennon näytteistys synkronoidaan valon modulointitaajuuden kanssa Näytteistys toistetaan useita kertoja, jotta saadaan vähennettyä kohinaa www.mesa-imaging.ch 31 Sensorivaihtoehtoja Avalanche Photo Diode Focal Plane Array (APD-FPA) Microchannel Plate photomultiplier tubes (MCP-PMT) Nano electron injection 32 http://c.ymcdn.com/sites/www.mapps.org/resource/resmgr/2014_summer_confer ence/graham-flash_lidar-mapps2014.pdf 16
Matriisipohjainen etäisyyskamera Jos pystytään rekisteröimään 4 havaintoa (A0, A1, A2, A3) moduloidun valon periodin aikana, signaali voidaan palauttaa kokonaiseksi kokonaisintensiteetti amplitudi vaihe Etäisyys saadaan f mod on modulaation taajuus 33 Lange, R. and Seitz, P., 2001. Solid-state time-of-flight range camera. IEEE Transactions on Quantum Electronics, 37 (3), pp. 390-397. 34 17
3D-etäisyyskamerat Toistaiseksi useimmissa laitteissa on heikko resoluutio, joten avauskulma on hyvin kapea pidemmillä etäisyyksillä Suurin osa laitteista mittaa enintään 10 metriin Osa laitteista kykenee mittaamaan usean kilometrin päähän Mittausnopeus tyypillisesti välillä 5-60 Hz 35 Kuva: http://ssco.gsfc.nasa.gov/workshop_2010/day3/roger_stettner/stettner_asc_workshop_presentation.pdf Valmistajia on lukuisia Mesa Imaging, SwissRanger 4000 (SR4000) http://www.mesa-imaging.ch/home/ PMD Technologies, http://www.pmdtec.com/ Microsoft (Kinect 2) Fotonic, http://www.fotonic.com TeraRanger, http://www.teraranger.com/ ASC, www.advancedscientificconcepts.com Jne. 36 18
Ajoneuvoavustin Flash lidar soveltuu mainiosti liikkuvan autoon havainnoimaan ympäristössä tapahtuvia liikkeitä ja tunnistamaan esteitä 37 http://c.ymcdn.com/sites/www.mapps.org/resource/resmgr/2014_summer_confer ence/graham-flash_lidar-mapps2014.pdf Kohteen havaitseminen sumussa 38 http://www.princetonlightwave.com/mm-products/3d-ladar/lidar-imaging 19
Telakoitumisavustin, TigerEye 3D 39 Merkitys tulevaisuudessa Flash lidar tuottaa valokuvamaisesti 3D näkymiä, mikä mahdollistaa liikkuvien kohteiden mittauksen Osin päällekkäisten 3D-kuvien käytön sisäisen laadun varmistukseen Jopa 3D kartoituksen ilman GPS/IMU-laitteita (päällekkäisten 3D-kuvien keskinäinen orientointi) Reaaliaikaiset sovellukset https://www.youtube.com/watch?v=-qtrrylmt4k 40 20
Kolmiointiin perustuva edullinen 3D skanneri http://www.david-laserscanner.com/ 41 SLAM - simultaneous localization and mapping Ongelma: halutaan navigoida, mutta ei tunneta ympäristöä Ratkaisu: Kartoitetaan ympäristö reaaliaikaisesti ja sitten navigoidaan SLAM-laitteisto tarvitsee siis kartoitusinstrumentin Stereokamerat, RGB-D, flash lidar, laserkeilain, kaikuluotain 42 21