Infrastruktuurista riippumaton taistelijan tilannetietoisuus INTACT Laura Ruotsalainen Paikkatietokeskus FGI, MML Matinen rahoitus: 77 651 2. tutkimusvuosi
INTACT tarve Taistelijan tilannetietoisuus rakennetuissa ympäristöissä, erityisesti sisätiloissa Kartta tuntemattomasta alueesta Tarkka paikka- ja navigointitieto Liike- ja kontekstitietoisuus Paikka usein ennalta tuntematon, paikannuksessa ei voida tukeutua olemassa olevaan infrastruktuuriin
INTACT päämäärä Tarkka sisätilapaikannus Kartta tuntemattomasta alueesta => Simultaneous Localization and Mapping (SLAM) Kontekstintunnistus (juoksee, ryömii, makaa) Vain taistelijan varusteissa olevilla laitteilla
INTACT haasteet Toteutetaan taistelijan varusteisiin kiinnitettävillä laitteilla Koko, hinta MEMS (micro-electro-mechanical sensors), suuria mittausvirheitä Yhden kameran käytön aiheuttama mittakaavaongelma Monimutkaiset kontekstit, esim. ryömiminen Absoluuttinen sijainti
INTACT ratkaisu Useamman sensorin mittausten integrointi 3 IMU:a (Inertial Measurement Unit) barometri Etäisyysmittaukset (ultraääni ) Innovatiiviset algoritmit SLAM-tekniikkaan Innovatiiviset algoritmit kontekstin ratkaisemiseen Digitaalinen TV absoluuttisen sijainnin ratkaisemiseen MIMU22BT Projektin sovellusympäristöksi on valittu sisätila, sillä se on haastava tilannetietoisuuden muodostamiseen. Kaikki kehitetyt menetelmät toimivat kuitenkin myös ulkona kaupunkiympäristössä.
Käytettävät sensorit XSENS: IMU + Barometer GoPro Camera Osmium MIMU22BT IMU HRUSB-MaxSonar Osmium MIMU22BT IMU
Inertiasensorit jalassa Paras paikannustarkkuus Askeltunnistuksen tarkoitus on havaita, milloin jalka on paikallaan => nopeusvirheen kasvu voidaan katkaista Ongelmia kuitenkin mm. nopean liikkeen aiheuttaman g-dependent bias virheen takia Muiden inertiasensoreiden mittaukset isojen mittausvirheiden korjaukseen ja kontekstintunnistukseen Generalized Likelihood Ratio 15 15 Angular Rate Energy 10 5 0-5 -10-15 -20-25 -30-35 -40-30 -20-10 0 10 10 5 0-5 -10-15 -20-25 -30-35 -50-40 -30-20 -10 0 10
Visuaalisensorit navigoinnissa Inertiasensoreiden virheiden korjaus SLAM yhdellä kameralla Visuaalinen gyroskooppi Visuaalinen odometri (Ruotsalainen, Vision-Aided Pedestrian Navigation for Challenging GNSS Environments, Doctoral Dissertation, 2013, TUT)
SLAM algoritmin kehitys Kameran 6-dof asennon laskenta (Perspective-n-Point (PnP)) Ympäristön pisteitä karkean kartan muodostamiseen sekä paikan laskentaan 3 1 2 Kameran kiertyminen Kuvapisteiden vastaavuus Triangulaatio 3D pisteet Kameran 6-dof asento
Korkeustieto barometrilla Korkeus mitatun paineen avulla Tarkkuus hyvä, kun ollaan samassa tilassa, eikä lämpötilan tai paineen muutoksia Jo ikkunan avaaminen aiheuttaa suuren virheen T h= k æ ç ç æ 1-ç ç ç è è p( h p 0 ) 0 ö ø kr g ö ø x 10 5 Measurements of Pressure from Barometer air pressure (Pa) 1.0042 1.0041 1.004 1.0039 1.0038 20 40 60 80 100 120 140 160 180 200 220 samples Relative Height 2 height (m) 1 0-1 20 40 60 80 100 120 140 160 180 200 220 samples
Korkeustieto ultraäänen avulla Mittauksista voidaan erottaa portaat, jos se saadaan luotettavaksi ja portaan korkeus voidaan määrittää => korkeus
Virheiden mallinnus Eri sensorien mittausvirheet on tunnettava, jotta fuusiointi onnistuu Virheiden tilastollisten jakaumien mallintaminen Laaja datankeruu, 5 mittauskierrosta maalis- ja huhtikuussa 5 Height 5 Height 4.5 4.5 4 4 3.5 3.5 height(m) 3 2.5 2 1.5 1 0.5 height(m) 3 2.5 2 1.5 1 0.5 0 100 200 300 400 500 600 700 time (s) 0 100 200 300 400 500 600 700 time (s)
Mallinnus: inertiasensori 50 40 30 2D Paikkaratkaisu The whole testing trajectory (March 17th) Foot IMU SPAN 0.16 0.14 0.12 0.1 Paikannusvirheiden jakauma Histogram of Pos errors Gaussian PDF fitting Mixture Gaussian PDF Fitting Modeling of postion errors North (m ) 20 Dens ity 0.08 10 0.06 0.04 0 0.02-10 -20-10 0 10 20 30 40 50 East (m) 0-40 -30-20 -10 0 10 20 pos error (m) Gaussian Fitting mu = - 4.557 sigma = 10.872 Student-t Fitting mu = -1.495 sigma = 6.883 nu = 2.590
Fuusiointi- Partikkelifiltteri 1/4 Partikkelifiltteri sopii huomattavasti paremmin fuusiointiin kuin perinteiset Kalman- filtterit Mittaukset eivät ole lineaarisia Virheet eivät noudata Gaussin- jakaumaa Asetetaan 1000 partikkelia, joiden painoarvoa päivitetään mittausten perusteella Todennäköisin paikka on partikkelien painotettu keskiarvo
Fuusiointi- Partikkelifiltteri 2/4 Käyttäjän paikkaa (E, N, H), kulkusuuntaa ja sen o muutosta (ψ, ψ) sekä nopeutta (S) mitataan fuusioimalla kaikkien sensorien mittaukset Partikkelifiltterillä Näissä tuloksissa virhemallit ovat vielä Gaussian
Fuusiointi- Partikkelifiltteri 3/4 Fuusioinnin paikannustulos, 2D Reitti 160 m Keskivirhe 3.14 m
Fuusiointi- Partikkelifiltteri 4/4
Tilannetietoisuus Tilannetietoisuuteen tarvitaan paikan lisäksi tietoa käyttäjän liikkeestä Projektin oleellisena osana fuusioinnin kehittäminen => liiketieto parantaa fuusioinnin tulosta Tietoa käyttäjän tilasta muille Liiketietoa voidaan käyttää myös käyttäjälle näytettävän tiedon mukauttamiseen
Liiketietoa sensoreista Paras yhdistelmä sensoreita Parhaat koneoppimisen algoritmit Parhaat tilastolliset muuttujat Liikkeentunnistus käyttäjäriippumattomasti Yhdistetään fuusioalgoritmiin
Koneoppiminen Sensors
Datan keräys Kaksi datajoukkoa (275 / 115 s), eri henkilöt Sisätiloissa, 3 kerrosta Referenssinä videokuvaa Liike Kesto [s] Kävely 73 Seisominen 53 Kääntyminen 29 Portaat ylös 26 Portaat alas 21 Juoksu 18 Ryömiminen 16 Kyyköttäminen 13 Muut < 10 s
Datan analysointi Liikkeiden tunnistaminen videolta WEKA open-source ohjelmisto Koneoppiminen ja data-mining Nimiöinti Tunnusluvut Matlab Kiihtyvyys, suunnan muutos, etäisyys, paine ja siirtyminen => havainnot datasta Tunnusluvut Luokittelijoiden opetus, Datan luokittelu
Tunnuslukujen valinta Feature Mean / Variance Horizontal Acceleration Mean / Variance Vertical Acceleration Mean / Variance of Heading Change Mean / Variance of range Mean / Variance of translation Mean / Variance of pressure 1 st dominant frequency of acceleration Amplitude of 1 st dominant frequency 2 nd dominant frequency of acceleration Amplitude of 2 nd dominant frequency Difference between two dominant frequencies Keskiarvo toistuvat liikkeet Varianssi => staattiset ja dynaamiset liikkeet Dominantit frekvenssit => kävely, juoksu, kaatuminen, hyppiminen Frank et al. (2010) ION GNSS
Koneoppimisen algoritmien vertailu Tarkkuus Random Forest KStar NB SMO Muut päätöspuut Laskennan raskaus Decision trees (DT): RandomForest Support Vector Machine (SVM): SMO Naive Bayes (NB) Instance-Based Classifiers: KStar
Luokittelun tarkkuus Tunnistettu liike Asc Crawl CroFwd Crouch Desc Run Stand Turn Walk Asc 92.3 7.7 Crawl 100.0 Todellinen liike CroFwd 80.0 10.0 10.0 Crouch 53.8 7.7 7.7 Desc 90.5 9.5 Run 88.9 11.1 Stand 88.7 11.3 Turn 17.2 24.0 6.9 37.9 17.2 Walk 1.4 6.8 5.5 86.3
Analyysi liikkeentunnistuksesta Tarkasteltiin luokittelun onnistumista erilaisilla sensorien ja tunnuslukujen yhdistelmillä Päähän kiinnitetty IMU paransi luokittelua Etenkin ryömimisen ja portaiden laskemisen tunnistamisessa Minkä tahansa sensorin poistaminen huonosi tulosta Varovainen arvio tuloksista: menetelmän tulokset eivät riipu käyttäjästä
Intact tulosten hyödyntäminen Menetelmät soveltuvat taistelijoille kaupunkiolosuhteisiin pelastus- ja poliisitoimen tarpeisiin muihin viranomaistehtäviin, joissa on tarve mennä ennalta valmistelemattomiin tiloihin Seuraavat tärkeät tutkimusaiheet Kontekstintunnistuksen yhdistäminen fuusiointiin SLAM:n yhdistäminen fuusiointiin Proof-of-concept luonnollisen kaltaisissa tiloissa ja tilanteissa Toteutuksen tulevaisuudennäkymät Projektin nettisivut: https://fgi-intact.net/
Intact - Julkaisut Julkaistu Ruotsalainen et al. Monocular Visual SLAM for Tactical Situational Awareness, IPIN 2015 Ruotsalainen et al. Multi-sensor SLAM for Tactical Situational Awareness, ION ITM 2016 Ruotsalainen et al. INTACT- Towards infrastructure-free tactical situational awareness, European Journal of Navigation, 2016 Ruotsalainen et al. Situational Awareness for Tactical Applications, ION GNSS 2016 Kaasalainen et al. Combining Indoor Positioning and 3D Point Clouds from Multispectral Lidar, IPIN 2016 Lähetetään Gröhn et al. Omnidirectional monocular 1-Point Ransac Odometer for pedestrian navigation, ION GNSS 2017 student competition
INTO 2016 seminar on Indoor Navigation Friday 25.11.2016, 8.30 16.00 Hotel Presidentti, Helsinki