Infrastruktuurista riippumaton taistelijan tilannetietoisuus INTACT

Koko: px

Aloita esitys sivulta:

Download "Infrastruktuurista riippumaton taistelijan tilannetietoisuus INTACT"

Taisto Keskinen
6 vuotta sitten
Katselukertoja:

1 Infrastruktuurista riippumaton taistelijan tilannetietoisuus INTACT Laura Ruotsalainen Paikkatietokeskus FGI, MML Matinen rahoitus: tutkimusvuosi

INTACT tarve Taistelijan tilannetietoisuus rakennetuissa ympäristöissä, erityisesti sisätiloissa Kartta tuntemattomasta alueesta Tarkka paikka- ja

2 INTACT tarve Taistelijan tilannetietoisuus rakennetuissa ympäristöissä, erityisesti sisätiloissa Kartta tuntemattomasta alueesta Tarkka paikka- ja navigointitieto Liike- ja kontekstitietoisuus Paikka usein ennalta tuntematon, paikannuksessa ei voida tukeutua olemassa olevaan infrastruktuuriin

3 INTACT päämäärä Tarkka sisätilapaikannus Kartta tuntemattomasta alueesta => Simultaneous Localization and Mapping (SLAM) Kontekstintunnistus (juoksee, ryömii, makaa) Vain taistelijan varusteissa olevilla laitteilla

kameran käytön aiheuttama mittakaavaongelma

4 INTACT haasteet Toteutetaan taistelijan varusteisiin kiinnitettävillä laitteilla Koko, hinta MEMS (micro-electro-mechanical sensors), suuria mittausvirheitä Yhden kameran käytön aiheuttama mittakaavaongelma Monimutkaiset kontekstit, esim. ryömiminen Absoluuttinen sijainti

INTACT ratkaisu Useamman sensorin mittausten integrointi 3 IMU:a (Inertial Measurement Unit) barometri Etäisyysmittaukset (ultraääni ) Innovatiiviset algoritmit SLAM-tekniikkaan Innovatiiviset

5 INTACT ratkaisu Useamman sensorin mittausten integrointi 3 IMU:a (Inertial Measurement Unit) barometri Etäisyysmittaukset (ultraääni ) Innovatiiviset algoritmit SLAM-tekniikkaan Innovatiiviset algoritmit kontekstin ratkaisemiseen Digitaalinen TV absoluuttisen sijainnin ratkaisemiseen MIMU22BT Projektin sovellusympäristöksi on valittu sisätila, sillä se on haastava tilannetietoisuuden muodostamiseen. Kaikki kehitetyt menetelmät toimivat kuitenkin myös ulkona kaupunkiympäristössä.

6 Käytettävät sensorit XSENS: IMU + Barometer GoPro Camera Osmium MIMU22BT IMU HRUSB-MaxSonar Osmium MIMU22BT IMU

7 Inertiasensorit jalassa Paras paikannustarkkuus Askeltunnistuksen tarkoitus on havaita, milloin jalka on paikallaan => nopeusvirheen kasvu voidaan katkaista Ongelmia kuitenkin mm. nopean liikkeen aiheuttaman g-dependent bias virheen takia Muiden inertiasensoreiden mittaukset isojen mittausvirheiden korjaukseen ja kontekstintunnistukseen Generalized Likelihood Ratio Angular Rate Energy

8 Visuaalisensorit navigoinnissa Inertiasensoreiden virheiden korjaus SLAM yhdellä kameralla Visuaalinen gyroskooppi Visuaalinen odometri (Ruotsalainen, Vision-Aided Pedestrian Navigation for Challenging GNSS Environments, Doctoral Dissertation, 2013, TUT)

9 SLAM algoritmin kehitys Kameran 6-dof asennon laskenta (Perspective-n-Point (PnP)) Ympäristön pisteitä karkean kartan muodostamiseen sekä paikan laskentaan Kameran kiertyminen Kuvapisteiden vastaavuus Triangulaatio 3D pisteet Kameran 6-dof asento

ö ø x 10 5 Measurements of Pressure from Barometer air pressure (Pa) 1.0042 1.0041 1.004 1.0039 1.

10 Korkeustieto barometrilla Korkeus mitatun paineen avulla Tarkkuus hyvä, kun ollaan samassa tilassa, eikä lämpötilan tai paineen muutoksia Jo ikkunan avaaminen aiheuttaa suuren virheen T h= k æ ç ç æ 1-ç ç ç è è p( h p 0 ) 0 ö ø kr g ö ø x 10 5 Measurements of Pressure from Barometer air pressure (Pa) samples Relative Height 2 height (m) samples

11 Korkeustieto ultraäänen avulla Mittauksista voidaan erottaa portaat, jos se saadaan luotettavaksi ja portaan korkeus voidaan määrittää => korkeus

maalis- ja huhtikuussa 5 Height 5 Height 4.5 4.5 4 4 3.5 3.5 height(m) 3 2.5 2 1.5 1 0.

12 Virheiden mallinnus Eri sensorien mittausvirheet on tunnettava, jotta fuusiointi onnistuu Virheiden tilastollisten jakaumien mallintaminen Laaja datankeruu, 5 mittauskierrosta maalis- ja huhtikuussa 5 Height 5 Height height(m) height(m) time (s) time (s)

13 Mallinnus: inertiasensori D Paikkaratkaisu The whole testing trajectory (March 17th) Foot IMU SPAN Paikannusvirheiden jakauma Histogram of Pos errors Gaussian PDF fitting Mixture Gaussian PDF Fitting Modeling of postion errors North (m ) 20 Dens ity East (m) pos error (m) Gaussian Fitting mu = sigma = Student-t Fitting mu = sigma = nu = 2.590

Fuusiointi- Partikkelifiltteri 1/4 Partikkelifiltteri sopii huomattavasti paremmin fuusiointiin kuin perinteiset Kalman- filtterit Mittaukset eivät ole lineaarisia

14 Fuusiointi- Partikkelifiltteri 1/4 Partikkelifiltteri sopii huomattavasti paremmin fuusiointiin kuin perinteiset Kalman- filtterit Mittaukset eivät ole lineaarisia Virheet eivät noudata Gaussin- jakaumaa Asetetaan 1000 partikkelia, joiden painoarvoa päivitetään mittausten perusteella Todennäköisin paikka on partikkelien painotettu keskiarvo

15 Fuusiointi- Partikkelifiltteri 2/4 Käyttäjän paikkaa (E, N, H), kulkusuuntaa ja sen o muutosta (ψ, ψ) sekä nopeutta (S) mitataan fuusioimalla kaikkien sensorien mittaukset Partikkelifiltterillä Näissä tuloksissa virhemallit ovat vielä Gaussian

16 Fuusiointi- Partikkelifiltteri 3/4 Fuusioinnin paikannustulos, 2D Reitti 160 m Keskivirhe 3.14 m

17 Fuusiointi- Partikkelifiltteri 4/4

18 Tilannetietoisuus Tilannetietoisuuteen tarvitaan paikan lisäksi tietoa käyttäjän liikkeestä Projektin oleellisena osana fuusioinnin kehittäminen => liiketieto parantaa fuusioinnin tulosta Tietoa käyttäjän tilasta muille Liiketietoa voidaan käyttää myös käyttäjälle näytettävän tiedon mukauttamiseen

19 Liiketietoa sensoreista Paras yhdistelmä sensoreita Parhaat koneoppimisen algoritmit Parhaat tilastolliset muuttujat Liikkeentunnistus käyttäjäriippumattomasti Yhdistetään fuusioalgoritmiin

20 Koneoppiminen Sensors

21 Datan keräys Kaksi datajoukkoa (275 / 115 s), eri henkilöt Sisätiloissa, 3 kerrosta Referenssinä videokuvaa Liike Kesto [s] Kävely 73 Seisominen 53 Kääntyminen 29 Portaat ylös 26 Portaat alas 21 Juoksu 18 Ryömiminen 16 Kyyköttäminen 13 Muut < 10 s

22 Datan analysointi Liikkeiden tunnistaminen videolta WEKA open-source ohjelmisto Koneoppiminen ja data-mining Nimiöinti Tunnusluvut Matlab Kiihtyvyys, suunnan muutos, etäisyys, paine ja siirtyminen => havainnot datasta Tunnusluvut Luokittelijoiden opetus, Datan luokittelu

23 Tunnuslukujen valinta Feature Mean / Variance Horizontal Acceleration Mean / Variance Vertical Acceleration Mean / Variance of Heading Change Mean / Variance of range Mean / Variance of translation Mean / Variance of pressure 1 st dominant frequency of acceleration Amplitude of 1 st dominant frequency 2 nd dominant frequency of acceleration Amplitude of 2 nd dominant frequency Difference between two dominant frequencies Keskiarvo toistuvat liikkeet Varianssi => staattiset ja dynaamiset liikkeet Dominantit frekvenssit => kävely, juoksu, kaatuminen, hyppiminen Frank et al. (2010) ION GNSS

24 Koneoppimisen algoritmien vertailu Tarkkuus Random Forest KStar NB SMO Muut päätöspuut Laskennan raskaus Decision trees (DT): RandomForest Support Vector Machine (SVM): SMO Naive Bayes (NB) Instance-Based Classifiers: KStar

25 Luokittelun tarkkuus Tunnistettu liike Asc Crawl CroFwd Crouch Desc Run Stand Turn Walk Asc Crawl Todellinen liike CroFwd Crouch Desc Run Stand Turn Walk

Analyysi liikkeentunnistuksesta Tarkasteltiin luokittelun onnistumista erilaisilla sensorien ja tunnuslukujen yhdistelmillä Päähän kiinnitetty IMU paransi luokittelua Etenkin

26 Analyysi liikkeentunnistuksesta Tarkasteltiin luokittelun onnistumista erilaisilla sensorien ja tunnuslukujen yhdistelmillä Päähän kiinnitetty IMU paransi luokittelua Etenkin ryömimisen ja portaiden laskemisen tunnistamisessa Minkä tahansa sensorin poistaminen huonosi tulosta Varovainen arvio tuloksista: menetelmän tulokset eivät riipu käyttäjästä

tutkimusaiheet Kontekstintunnistuksen yhdistäminen fuusiointiin SLAM:n yhdistäminen fuusiointiin Proof-of-concept

27 Intact tulosten hyödyntäminen Menetelmät soveltuvat taistelijoille kaupunkiolosuhteisiin pelastus- ja poliisitoimen tarpeisiin muihin viranomaistehtäviin, joissa on tarve mennä ennalta valmistelemattomiin tiloihin Seuraavat tärkeät tutkimusaiheet Kontekstintunnistuksen yhdistäminen fuusiointiin SLAM:n yhdistäminen fuusiointiin Proof-of-concept luonnollisen kaltaisissa tiloissa ja tilanteissa Toteutuksen tulevaisuudennäkymät Projektin nettisivut:

28 Intact - Julkaisut Julkaistu Ruotsalainen et al. Monocular Visual SLAM for Tactical Situational Awareness, IPIN 2015 Ruotsalainen et al. Multi-sensor SLAM for Tactical Situational Awareness, ION ITM 2016 Ruotsalainen et al. INTACT- Towards infrastructure-free tactical situational awareness, European Journal of Navigation, 2016 Ruotsalainen et al. Situational Awareness for Tactical Applications, ION GNSS 2016 Kaasalainen et al. Combining Indoor Positioning and 3D Point Clouds from Multispectral Lidar, IPIN 2016 Lähetetään Gröhn et al. Omnidirectional monocular 1-Point Ransac Odometer for pedestrian navigation, ION GNSS 2017 student competition

29 INTO 2016 seminar on Indoor Navigation Friday , Hotel Presidentti, Helsinki

Samankaltaiset tiedostot

Infrastruktuurista riippumaton taistelijan tilannetietoisuus INTACT

Infrastruktuurista riippumaton taistelijan tilannetietoisuus INTACT Laura Ruotsalainen Paikkatietokeskus FGI, MML Matinen rahoitus: 83 912 3. tutkimusvuosi INTACT tarve Taistelijan tilannetietoisuus rakennetuissa