tulosseminaarin ohjelma 1: Yleisesitys GIM/ yleisesittely Future Worksite idea ja komponentit 2: Mallintaminen ja Suunnittelu Miten työmaa "luodaan"? (3Dmallidemo/video) Miten Mallia käytetään Haasteet 3: Koneet Työkoneen muuntaminen digitaalisesti ohjattavaksi 4: Arkkitehtuuri ja kommunikointi GIMnet GIMUI demo 5: Koneen automaatioasteen nostaminen Paikannus Ohjaus Stereokuva Stereo 3D 6: Demo Kahden koneen ohjaus 7: Entäs sitten??
-projekti GIM huippuyksikkö FIMA TEKES www., jussi.suomela@tkk.fi
Sisältö GIM Mikä se on? Tutkimusalueet -projekti Tavoitteet Future Worksite Tulokset
Generic Intelligent Machines, GIM Kahden tunnetun tutkimusyksikön joint venture Automaatiotekniikan laboratorio (ATL), TKK Hydrauliikan ja automatiikan instituutti (IHA), TTY Organisaatiomuutoksen jälkeen: Automaatio- ja systeemitekniikan laitos Älykkään hydrauliikan ja automaation laitos Noin 40 tutkijaa Suomen Akatemian huippuyksikkö kaudelle 20082013 Käynnistyi illa 2006
GIM tutkimus RP 1: Internal Re-evaluation and Education RP 2: Modularity of Generic Machines RP 3: Power and Energy Systems RP 4: Transmission of Power and Data RP 5: Control Architectures (task manager and planning system) RP 6: Perception and Navigation Systems RP 7: Human Robotic Machine Interaction RP 8: Motion systems RP 9: INTEGRATOR project integrate, validate and demonstrate
-projekti 2006-7 Perusinfrastruktuuri GIMLocal controls tutkimuksen tueksi GIMin testaus ja demoympäristö tutkimustulosten maintenance exceptions verifiointiin Worksite Tavoitteena Future worksite konsepti Eri tyyppisiä itsenäiseen toimintaan kykeneviä koneita, ihmisiä ja manuaalisesti ohjattuja koneita samalla alueella Täysin hajautettu ohjaus ja valvonta Machines i n t e r n e t Remote control room(s) GIMArchitecture communication common presence databases Operator Model Virtual environment Production management Task design tools Human workers/ local operators
in tavoitteet Usean koneen työmaa Tampereella Etävalvontaja -ohjaus Espoossa 180km päässä työmaasta Kommunikointiarkkitehtuuri hajautetulle monikonejärjestelmälle Koneiden etäohjaus, automaattiajo ja niiden vaatimat aputoiminnot Työmaan ja koneiden mallit
perusinfra Katettu työmaa + pihaalue Kameroita, Kaksi liukuohjattua Avanttia toiminnassa Runko-ohjattu Avant ja nk. GIM-kone työn alla J2B2 ja WorkPartner GIM-yhteensopiviksi
tulosseminaarin ohjelma 1: Yleisesitys GIM/ yleisesittely Future Worksite idea ja komponentit 2: Mallintaminen ja Suunnittelu Miten työmaa "luodaan"? (3Dmallidemo/video) Miten Mallia käytetään Haasteet 3: Koneet Työkoneen muuntaminen digitaalisesti ohjattavaksi 4: Arkkitehtuuri ja kommunikointi GIMnet GIMUI demo 5: Koneen automaatioasteen nostaminen Paikannus Ohjaus Stereokuva Stereo 3D 6: Demo Kahden koneen ohjaus 7: Entäs sitten??
Työmaan mallintaminen Miksi mallinnetaan? Mallintaminen Mallin hyväksi käyttäminen
Miksi Mallinnetaan? Paikan käsite Manuaaliajo, teleoperointi, (avustava) autonomia Suunnittelu Tehtävän suunnittelu Simulointi Järjestelmäkehitys, opetus Tehtävän simulointi ja optimointi
3D-Mallintaminen Video
Staattinen 3D-lasermalli Riegel 3D-skanneri Mittausten rekisteröinti, käsin ja ICPalgoritmilla Polygonimallin muodostus Maamallin muodostus
Valmis malli Malli toimii koordinaatistona Käyttöliittymä Paikannus Koordinaattiajo Mallilla voidaan simuloida koneen toimintaa työalueella Mallia voidaan käyttää offline suunnitteluun
Polunsuunnittelu turvallisimman lyhyimmän polun algoritmi Korkeuskartan gradientti Etäisyysmuunnos kertoo etäisyyden esteisiin Invertoitu (ja lähietäisyydet kynnystetty) kuva on potentiaalikenttä Pienimmän kustannuksen polku
Polunsuunnittelu Huomioi koneen muodon ja asennon
Simulointi Koneen dynaaminen malli HIL-simulaattori simuloi koneen hydrauliikan, dynamiikan, moottorin, renkaan... mutta elektroniikka on oikeaa Etäkäytetään Simulaattorin hyödyt issa järjestelmäkehityksen tukena Tulevaisuudessa tehtävän suunnittelu, Prediktiivinen malli
Simulaattori käytössä Augmentointi, simulaattorin tila esitetään reaalimaailmassa - Teleoperoinnin harjoittelu - Algoritmi kehitys -
Tulevaisuuden haasteita Mallin dynaamisuus Työmaa on aina liikkeessä Työtehtävien suunnittelu ja offline simulointi Monirobotti/kone tapaus
tulosseminaarin ohjelma 1: Yleisesitys GIM/ yleisesittely Future Worksite idea ja komponentit 2: Mallintaminen ja Suunnittelu Miten työmaa "luodaan"? (3Dmallidemo/video) Miten Mallia käytetään Haasteet 3: Koneet Työkoneen muuntaminen digitaalisesti ohjattavaksi 4: Arkkitehtuuri ja kommunikointi GIMnet GIMUI demo 5: Koneen automaatioasteen nostaminen Paikannus Ohjaus Stereokuva Stereo 3D 6: Demo Kahden koneen ohjaus 7: Entäs sitten??
GIMnet
INTEGRATOR ohjelmistoprojektina Monikone etäohjausjärjestelmä Reaaliaikaohjaus Skaalautuvuus Tiedonsiirto Fyysinen etäisyys Monimuotoiset verkot Tutkimusympäristö Implementoinnin helppous Innovaation rajoittamattomuus Toiminnallisuus Ratkaisun kestävyys?
GIMnet periaate Hajautettu Hybridi järjestelmä VPN-tyyppinen ratkaisu mahdollistaa virtuaaliset p2pyhteydet eri verkkojen välillä Verkkokerros tcphub Aplikaatiokerros NIF and GIMI Toteutus piilotetaan mahdollisimman tehokkaasti ja käyttäjille tarjotaan kirjasto tyyppinen toteutus.
Ominaisuuksia Hajautettu nimi/id-palvelu Unicast, Multicast, Broadcast Reaaliaikapakettien pudotusjärjestelmä Synkroninen/asynkroninen datan siirto Automaattinen Hubreconnect, client reconnect Sisäänrakennettu Palvelujärjestelmä Tarjotut ja halutut palvelut Palvelujen rekisteröinti, tilaus ja listaus
GIMnet Esimerkki Modulaarisuus ja skaalattavuus Jokainen komponentti voi lähettää/pyytää dataa jokaiselta (äärimmillään, jokainen toimilaite ja anturi voi olla agentti ) Komponentin rajapintana on palvelu(t), joita komponentti tuottaa tai joita se tarvitsee Palvelu ymmärretään järjestelmätasolla määritettynä datatyyppinä, joka on luettavissa järjestelmän kautta Palveluiden rekisteröinti, tilaaminen ja listaus on sisäänrakennettu GIMI:in
Testit Paikallisen hubin kautta, aplikaatiotason roundtrip
Testit Ethernetin yli roundtrip-aika
Testit Throughput
GIMUI-Demo
Monirobottisimulaattoridemo
tulosseminaarin ohjelma 1: Yleisesitys GIM/ yleisesittely Future Worksite idea ja komponentit 2: Mallintaminen ja Suunnittelu Miten työmaa "luodaan"? (3Dmallidemo/video) Miten Mallia käytetään Haasteet 3: Koneet Työkoneen muuntaminen digitaalisesti ohjattavaksi 4: Arkkitehtuuri ja kommunikointi GIMnet GIMUI demo 5: Koneen automaatioasteen nostaminen Paikannus Ohjaus Stereokuva Stereo 3D 6: Demo Kahden koneen ohjaus 7: Entäs sitten??
Koneen automaatioasteen nostaminen Koneenohjausarkkitehtuuri Kohti yleistä konerajapintaa Toteutetut modulit Menetelmät koneen sisällä Paikannus Konenäkö
Ohjelmistoarkkitehtuuri Hardware AbStraction layer for mobile Robot (ASRobo) Määrittelee abstraktit rajapinnat moduleille aitetistoriippuvaisen alatason päällä kaikki geneeristä GIMnet perustainen tiedonvälitys ulospäin Keskitetty
ASRobo moduleja
Liikkeenohjausarkkitehtuuri Reaktiivisen ja suunnitelmallisen yhdistelmä Vaikutteita käyttäytymispohjaisesta arkkitehtuurista Osa käytöksistä ihmisen tai plannerin antamia inputteja Eri käyttäytymisiä voidaan kytkeä päälle/pois
Paikkasäätölohkokaavio
Paikannus Paikannus on välttämätöntä, jos halutaan nostaa automaatioastetta
Laserpaikannus Laser tarjoaa tarkan ympäristömittauksen, jota voidaan käyttää paikannuksessa Laser odometria, karttapohjainen paikannus, SLAM Ongelmat: Heiluminen aiheuttaa virhettä Mittauksia maasta, etäisyys virhe
Laser odometria Histogrammipohjainen kulmaestimointi Korrelaatiopohjainen paikkaestimointi löydetyille kulmille
Monte Carlo Paikannus Partikkelisuodin menetelmä Laserodometriaa käytetään pilven liikkeen ennustamisessa Päivitys lasketaan vertaamalla odotettavaa näkymää ja mitattua näkymää ~ likelihood Pilven päivitys SIR menetelmällä
Paikannustulos Laser odometry MCL
Stereokamerat
Stereokamerajärjestelmä Kahden kameran avulla pystytään Välittämään käyttäjälle kolmiulotteinen vaikutelma kameroiden näkymästä Mittaamaan kolmiulotteinen malli kameroiden edessä olevasta alueesta
Etäkäyttö stereokuvan avulla Vasemman ja oikean kameran kuva liitetään päällekkäin eri värisinä Kaksivärilaseilla silmät näkevät eri kameroiden kuvat Katsojalle muodostuu kolmiulotteinen vaikutelma Etäisyyksien arvioiminen helpottuu
Etäkäyttö stereokuvan avulla Kamerat eivät ole yhdensuuntaiset Kuvat ovat vääristyneet Kameroiden kuvat sellaisenaan eivät saisi aikaan kolmiulotteista vaikutelmaa Kuvien suoristaminen korjaa asian
Etäkäyttö stereokuvan avulla Alkuperäinen stereokuvapari
Etäkäyttö stereokuvan avulla Suoristettu stereokuvapari
Etäkäyttö stereokuvan avulla Suoristamaton Suoristettu
Kolmiulotteisen mallin muodostaminen Kuvista etsitään samalta näyttävät pisteet Kameroiden keskinäinen geometria tunnetaan Kunkin pisteen paikka kolmiulotteisessa avaruudessa pystytään laskemaan
Kolmiulotteisen mallin muodostaminen Mallin laskenta on raskasta Tehokas algoritmi on tärkeä Kaikki samannäköiset kohdat eivät oikeasti kuvaa samaa avaruuden pistettä Malliin jää väkisin epätodellisia pisteitä
Kolmiulotteisen mallin muodostaminen Mallin muodostamisen vaiheet 1) Vastinpisteiden etsintä etäisyyskartta 2) Kolmiulotteisen mallin laskenta etäisyyskartan avulla 3) Mallin kääntäminen siten, että maanpinta on vaakasuorassa 4) Korkeuskartan muodostaminen
Kolmiulotteisen mallin muodostaminen
Kolmiulotteisen mallin muodostaminen Vastinpisteiden etsintä etäisyyskartta
Kolmiulotteisen mallin muodostaminen Kolmiulotteisen mallin laskenta
Kolmiulotteisen mallin muodostaminen Maanpinta vaakasuoraan ja korkeuskartan muodostaminen
tulosseminaarin ohjelma 1: Yleisesitys GIM/ yleisesittely Future Worksite idea ja komponentit 2: Mallintaminen ja Suunnittelu Miten työmaa "luodaan"? (3Dmallidemo/video) Miten Mallia käytetään Haasteet 3: Koneet Työkoneen muuntaminen digitaalisesti ohjattavaksi 4: Arkkitehtuuri ja kommunikointi GIMnet GIMUI demo 5: Koneen automaatioasteen nostaminen Paikannus Ohjaus Stereokuva Stereo 3D 6: Demo Kahden koneen ohjaus 7: Entäs sitten??
Kohti autonomista työkonetta Paljon on vielä tehtävää ennenkuin (nämä) työkoneet toimivat autonomisesti Paikannuksen parantaminen Muita menetelmiä, lisäanturointi, lisätyötä Työalueen laajentaminen hallin ulkopuolelle Paikkasäädön parantaminen (paikannus auttaa) Työtehtävien (kaivaminen, kuljettaminen,...) automatisoiminen Koneenohjausarkkitehtuurin viimeistely
Kohti autonomista työmaata Työtehtävien suunnittelu Työtehtävien off-line optimointi Monikone järjestelmän haasteet Järjestelmäarkkitehtuuri Resurssien jako ja optimointi Ihmisen läsnäolo työmaalla Ihminen-työkone-vuorovaikutus Dynaamisen työmaan mallintaminen