Oppimistavoitteet. MAA-C2001 Ympäristötiedon keruu. Kinect Flash lidar Muita 3D-mittausinstrumentteja Sovelluksia

Transkriptio

1 MAA-C2001 Ympäristötiedon keruu Luento 11, Muut mittausinstrumentit, 2017 Petri Rönnholm, Aalto-yliopisto 1 Oppimistavoitteet Kinect Flash lidar Muita 3D-mittausinstrumentteja Sovelluksia 2 1

2 Kinect Kinect, Kinect for Xbox 360/windows, Asus Xtion Pro/Pro Live, PrimeSense SDK 5.0 (sensori sama, mutta kuoret erilaisia) Valmistaja: PrimeSense (Microsoft lisenssöinyt teknologian) Kolmiointiperiaatteella toimiva etäisyyskamera 3 Kinect Etäisyysmittaus tapahtuu käyttämällä laskennallista projektorikuvaa ja kohteen kautta heijastunutta valopisteistöä, joka näkyy läheiselle infrapunakameralle Projektori heijastaa kohteeseen strukturoitua valoa, jonka aallonpituus on 830 nm (kts. seuraavan kalvon kuva) Infrapunavalo toimii sisätiloissa, mutta auringonvalo peittää sen ja mittaus ei tällöin onnistu ulkotiloissa Valopisteet toistuvat 9-osassa siten, että yhden osan keskellä on kirkkaampi piste ja sen ympärillä on iso joukko himmeämpiä pisteitä Tekniikkaa kutsutaan myös nimellä RGB-D elated 4 2

3 oft-kinect-the-anandtech-review/2 5 Kinect Sensori yhdistää kaksi menetelmää Depth from focus (etäisyys tarkennuksesta) Kolmiointi Depth from focus Astigmaattinen linssistö tuottaa eri etäisyyksille optimoituja pisteitä (eri kameravakio x- ja y-suunnassa) Pisteet ovat itse asiassa ellipsejä Ellipsin orientaatio ja koko riippuu etäisyydestä Pisteiden koko ja välinen etäisyys muuttuu etäisyyden mukaan (muistissa on vertaustaso, jossa pisteiden koko tiedetään) 6 3

4 Depth from focus 7 Freedman et al, PrimeSense patent application US 2010/ Kolmiointi Kinect toimii kolmiointiperiaatteella (projektori, kohde, kamera) 8 Kuva: 4

5 Kolmiointi Laitteen muistissa on referenssikuva tietyllä etäisyydellä olevasta projektorin pisteistöstä Jos kohde ei olekaan referenssitason etäisyydellä, pisteet liikkuvat (vaakasuorasti kuvalla) Pisteiden liikkeet tunnistetaan kuvakorrelaatioalgoritmilla Tulokseksi saadaan parallaksikuva (disparity image) Parallakseista saadaan etäisyyskuva 9 Kuva: Kolmiointi Kuvasta löydetään suhteita yhdenmuotoisten kolmioiden avulla D Z0 Zk b Z d f 0 D Z k 10 5

6 3D pisteiden laskeminen Ratkaistaan jälkimmäisestä yhtälöstä D ja sijoitetaan ensimmäiseen D Z0 Zk b Z 0 d f D Z k Tulokseksi tulee etäisyys kohteeseen Z k Z k bfz0 Z d bf 0 Z0 Z0d 1 bf 11 3D pisteiden laskeminen Etäisyys referenssitasoon Z 0, infrapunakameran kameravakio f ja projektorin ja kuvan välinen etäisyys eli kanta b joudutaan selvittämään laitteen kalibroinnilla Lisäksi on selvitettävä infrapunakameran linssivirheet Käytännössä infrapunakuvista on poistettava linssivirheet ennen kuin lasketaan parallaksikuva X- ja Y-suunnat saadaan kohdilleen skaalaamalla kuvakoordinaatteja x k ja y k. Lisäksi kuvakoordinaatiston origon tulee olla kuvan pääpisteessä (x 0, y 0 ) Zk X k ( xk x0) f 12 Y k Z f k ( y k y 0 ) 6

7 Kolmioinnin teoreettinen tarkkuus Kolmioinnin tarkkuus heikkenee nopeasti etäisyyden funktiona Etäisyystarkkuutta voisi parantaa kasvattamalla kantaa b 13 Menna et al Kinect Resoluutiosta riippuen tuottaa kuvia välille (frame rate) 9-30 Hz RGB-kameran videokuvan resoluutio on 640x480 Kamera voisi ottaa kuvia resoluutiolla 1280x1024, mutta pienemmällä taajuudella 3D kuvan resoluutio on 640x480 3D kuvan etäisyystieto on kvantisoitu (pakattu) 11- bittiseksi, jolloin syvyysarvoja voi olla vain 2 11 =2048 kpl Käytännössä eroja saadaan välille [400, 1040], kun kohde sijaitsee etäisyyksillä [500 mm, 6000 mm] 14 7

8 Kinect Etäisyyskuva paljastaa etäisyyden kvantisoinnista johtuvan pyöristämisen Taso 75 cm päässä Taso 275 cm päässä 15 Menna et al RGB-väriarvojen liittäminen pistepilveen Laitteen RGB-kamera on kalibroitava ja sen linssivirheet korjattava Kamera on fyysisesti hieman sivussa infrapunakamerasta, joten RGB-kameran ulkoinen orientointi infrapunakameran koordinaatistossa on selvitettävä (keskinäinen orientointi)

9 Linssivirheiden korjaus Alla on esimerkki IR- ja RGB-kameroiden linssivirheistä 17 Kinect Laskenta tapahtuu itse laitteessa Mahdollistaa reaaliaikaisen Kokovartalon 3D liikkeenseuranta Käden liikkeiden tunnistus Kasvojen tunnistus äänentunnistus 18 9

10 Ihmisen asennon tunnistus 19 Ihmisen asennon tunnistus Laite tunnistaa yhtä aikaa useita pelaajia 20 10

11 Ihmisen asennon tunnistus 20 avainpistettä ihmisestä 21 Kasvojen animointi Upper Lip Raiser Lip Corner Depressor Lip Stretcher Jaw Lowerer Brow Lowerer Outer Brow Raiser 22 11

12 Kinect sovelluksia Sisätilan mallinnus Kinect sovelluksia Käsiohjaus ja liikkeentunnistus

13 Kinect sovelluksia Vaatteiden virtuaalisovitus 25 Matterport Panoramakeilain, jonka sensoreina on Kinectejä Ohjelmisto rekisteröi 3D näkymät ja 2D kuvat toisiinsa Video: Showcase: 3-rs-of-matterport-3d-showcasewalkaround-tours-for-generalcontractors 26 13

14 Muita kolmiointiin perustuvia 3D sensoreita Google Tango Orbbec Astra Intel SR300 Fotonic Q-Series + paljon muita 27 Kinect 2 3D-etäisyyskamera eli perustuu täysin eri teknologiaan kuin ensimmäisen sukupolven Kinect Time-of-flight (TOF) 3D etäisyyskamera (AKA 1080p) 30 fps 16:9 camera Pystyy seuraamaan 6 aktiivista pelaajaa yhtä aikaa Sormien ja pään liikkeen seuranta 1080p Skype-puhelut Puheentunnistus

15 Matriisipohjainen etäisyyskamera Time-of-flight 3D-etäisyyskamerat, flash lidar, ei sisällä liikkuvia osia Valonlähde valaisee koko kohteen moduloidulla valolla Vastaanottimen jokaisen sensorin pitää kyetä vastaanottamaan sekä taustan intensiteetin että lähetetyn moduloidun valon saapumisajan RF-modulated transmitter (20 MHz) Distance image 2D-detector and 2D RF-phase detector Laserkeilain vs. flash lidar 30 ence/graham-flash_lidar-mapps2014.pdf 15

16 Matriisipohjainen etäisyyskamera Toteutettavissa CCD/CMOS-kennoilla ja ledeillä Saapuneen moduloidun valon vaihe saadaan ristikorreloimalla alkuperäisen signaalin kanssa CCD/CMOS-kennon näytteistys synkronoidaan valon modulointitaajuuden kanssa Näytteistys toistetaan useita kertoja, jotta saadaan vähennettyä kohinaa 31 Sensorivaihtoehtoja Avalanche Photo Diode Focal Plane Array (APD-FPA) Microchannel Plate photomultiplier tubes (MCP-PMT) Nano electron injection 32 ence/graham-flash_lidar-mapps2014.pdf 16

17 Matriisipohjainen etäisyyskamera Jos pystytään rekisteröimään 4 havaintoa (A0, A1, A2, A3) moduloidun valon periodin aikana, signaali voidaan palauttaa kokonaiseksi kokonaisintensiteetti amplitudi vaihe Etäisyys saadaan f mod on modulaation taajuus 33 Lange, R. and Seitz, P., Solid-state time-of-flight range camera. IEEE Transactions on Quantum Electronics, 37 (3), pp

18 3D-etäisyyskamerat Toistaiseksi useimmissa laitteissa on heikko resoluutio, joten avauskulma on hyvin kapea pidemmillä etäisyyksillä Suurin osa laitteista mittaa enintään 10 metriin Osa laitteista kykenee mittaamaan usean kilometrin päähän Mittausnopeus tyypillisesti välillä 5-60 Hz 35 Kuva: Valmistajia on lukuisia Mesa Imaging, SwissRanger 4000 (SR4000) PMD Technologies, Microsoft (Kinect 2) Fotonic, TeraRanger, ASC, Jne

19 Ajoneuvoavustin Flash lidar soveltuu mainiosti liikkuvan autoon havainnoimaan ympäristössä tapahtuvia liikkeitä ja tunnistamaan esteitä 37 ence/graham-flash_lidar-mapps2014.pdf Kohteen havaitseminen sumussa

20 Telakoitumisavustin, TigerEye 3D 39 Merkitys tulevaisuudessa Flash lidar tuottaa valokuvamaisesti 3D näkymiä, mikä mahdollistaa liikkuvien kohteiden mittauksen Osin päällekkäisten 3D-kuvien käytön sisäisen laadun varmistukseen Jopa 3D kartoituksen ilman GPS/IMU-laitteita (päällekkäisten 3D-kuvien keskinäinen orientointi) Reaaliaikaiset sovellukset

21 Kolmiointiin perustuva edullinen 3D skanneri 41 SLAM - simultaneous localization and mapping Ongelma: halutaan navigoida, mutta ei tunneta ympäristöä Ratkaisu: Kartoitetaan ympäristö reaaliaikaisesti ja sitten navigoidaan SLAM-laitteisto tarvitsee siis kartoitusinstrumentin Stereokamerat, RGB-D, flash lidar, laserkeilain, kaikuluotain 42 21