Lisätty- ja virtuaalitodellisuus (AR/VR) tulevaisuuden tehtaissa Antti Niemelä
AR, VR, MR, XR? XR eli Extended Reality, laajennettu todellisuus on kattotermi jonka alle eri tason virtuaalisuutta hyödyntävät todellisuudet sijoittuvat Augmented Reality Mixed Reality Virtual Reality
Lisätty todellisuus (AR) AR:ssä yhdistyy todellinen maailma ja virtuaalinen maailma Erinäisin tekniikoin pyritään esim. saamaan virtuaalinen 3D-malli asettumaan todellisen esineen päälle => AR:stä tulee MR! AR:llä voidaan esim. esittää mittaustietoa käyttäjän näkökentässä hänen ollessa riittävän lähellä kohdetta Teknologisesti hyvin haastava ja lähestymistapoja useita Haasteina mm: Paikannus (SLAM Simultaneous localization and mapping) Kuvanmuodostus (rajallinen näkökenttä, näkyvyys kirkkaassa valossa jne.) Elektroniikka (vaatii laitteistolta paljon suorituskykyä joka taas kuluttaa nopeasti akkua ja tuottaa paljon lämpöä) Kokoajan elävä laitepuoli (useita konkursseja, teknologian hylkäämistä ja yrityskauppoja) AR:ää voidaan toteuttaa useilla eri menetelmillä: AR visiirit (esim. DreamGlass, MagicLeap, Hololens) ns. suora AR ARCore (Android) ja ARKit (Apple) Puhelin ja tablettipohjaiset kamerakuva-ar eli epäsuora AR
Keinotodellisuus (VR) Immersiivinen virtuaalimaailma jossa todellinen maailma häivytetään kokonaan Vaatii runsaasti suorituskykyä laitteistolta, mutta on kuitenkin AR:ää helpompi toteuttaa Useita eri ratkaisuja markkinoilla: HTC Vive Oculus Microsoft Mixed Reality Google DayDream ja Cardboard ns. stand-alone laitteet esim. HTC Vive Focus, Oculus Go Liikeseurantaan ja paikoittaimiseen useita eri menetelmiä Inside-out tracking : VR visiirissä useita kameroita joilla yritetään seurata käyttäjän pään liikettä vs todellisuus Outside-in tracking : VR visiiri saa ulkomaailmaan sijoitetuilta majakoilta signaalia jolla virtuaalimaailmaa voidaan paikoittaa
Sekoitettu todellisuus (MR) AR:n ja VR:n sekoitus Augmentoitu todellisuus johon tuodaan virtuaalimalleja Raja AR:n ja MR:n välillä varsin hämärä Esim. Microsoft Mixed Reality alusta on nimestä huolimatta puhdas VR-ratkaisu Sisältää kyllä Hololens taas on mixed reality ratkaisu Usein kun puhutaan AR:stä, tarkoitetaan MR:ää
MIXED
AR, MR ja VR roolit tulevaisuuden tehtaassa? Jaottelun voi tehdä karkeasti: AR ja MR kenttätyöskentelyyn esim.: Opastus oikealle kohteelle ja kohdeindikointi Mittaustuloksien esittäminen kohdistettuna oikeisiin kohteisiin Etäohjaus Varoittaminen ja vaarallisten alueiden indikointi Ohjeistusmateriaalin esittäminen VR toimistolle esim.: Opetus Toimenpiteiden harjoittelu ja pelillistäminen Suunnittelu Perehdyttäminen Tutustuminen kohteisiin Etävalvonta
Haasteita teollisuuden näkökulmasta Tarkat 3D mallit Esim. VR ratkaisuihin tarvitaan tarkat mallit etenkin jos tarkoituksen on tuottaa opetukseen ja koulutukseen soveltuvia ratkaisuja Ylläpidettävyys Miten olemassa olevia VR materiaaleja voidaan pitää ajan tasalla muutoksien jälkeen? Laitteiden soveltuvuus teolliseen ympäristöön AR-laitepuolella etenkin edelleen varsin niukasti teolliseen ympäristöön soveltuvia laiteratkaisuja Käytettävyys ja käyttömukavuus todellisessa työympäristössä Tekniset haasteet laite- ja sovellustasolla Suorituskykyvaatimukset kovat kaikilla tekniikoilla Teknisten ratkaisujen omat haasteet Akunkesto Näkyvyys kirkkaassa valossa Läpinäkyvyys normaalitilassa Stand-alone laite vai esim. älypuhelimeen kytketty? Stand-alone laite: Ylläpidettävyys, valmistajan ylläpitointo Kytketty laite: Yhteensopivuus älypuhelimen kanssa tulevaisuudessa?
O&M - Towards the Factory of the Future Hankkeessa selvitetään uusien teknologioiden soveltuvuutta tulevaisuuden tehtaan kunnossapidon ja käytön tarpeisiin Keskittynyt tällä hetkellä vahvasti visualisointitekniikoihin eli AR ja VR Tarkoituksena kartoittaa myös IoT kenttää Hankkeen kesto 24kk, alkanut 2017 lopulla Rahoituspalvelu: Elinkeinoelämän kanssa verkottunut tutkimus, Business Finland, Budjetti: 336 000 Hankkeessa mukana: SMA Mineral Oy, Stora Enso Oyj, SSAB Europe Oy, Widian Oy, Nome Oy, 3D Studio Blomberg Oy, 4Maint Oy
Laitteisto Projektissa käytössä: DreamWorldin valmistama DreamGlass AR/MRvisiiri Human-Eyesin valmistama Vuze+ 360 3D kamera DreamGlass AR Visiiri USB-C DreamGlass adapteri Samsung S9 (Android LineageOS 15.1) Vuze+ 360 3D - kamera
StoraEnso/Efora case Kohteena pakkaamon päätylaputusrobotit (Yaskawa/Motoman) AR ratkaisu visiirille Virhetietojen ja logien siirto AR laitteelle Etäopastus toiminto Etäoppaalla mahdollista nähdä etänä videokuvastriimiä, lähettää tekstiä, ääntä ja annotaatioita Toimenpideohjeistus törmäystilanteisiin VR ratkaisu suunnitteilla myös opetus ja koulutustilanteisiin esim. servon vaihto robottiin Toteutetaan mikäli aika projektissa riittää Widian toimittaa Knowledge Basen jota hyödynnetään ohjeistuksen taustajärjestelmänä
StoraEnso/Efora case Ohjeistusnäkymä (alkuperäinen hahmotelma) Käyttäjä voi edetä ohjeen vaiheissa eteen tai taakse Vasemmalla esitetään ohjeen vaiheet mahdollisine kuvaoppaineen
StoraEnso/Efora case Etäopastusnäkymä Etäopas käyttää omaa käyttöliittymää opastustoimiin, mahdollistaa tekstin ja kuvien lähettämisen ja myös ääniopastuksen Käyttäjä voi kommunikoida takaisin yksinkertaisin vastauksin (puhe ei välttämättä aina onnistu meluisissa alueissa)
SSAB case Kohteena koksaamon pumppaamon kiertovesipumppu Kohde on luokiteltu kriittiseksi, liian pitkä seisakki aiheuttaa koksaamon tuhoutumisen Kohde kolmennettu Kohteeseen asennettu Nomen nmas Easy 4 värähtelymittauskanavaa ja takometri ja oma yhteys Internetiin Mittaustiheys tällä hetkellä 3 sekuntia Mittaustiedot integroidaan osaksi AR-ratkaisua Valmiit yhteensopivat rajapinnat (mm. REST ja MQTT) Tarkoituksena esittää huoltotietoja, mittaustietoja yms. Pumpuilta VR ja AR näkymissä
SSAB case Normaalinäkymä josta käyttäjä valitsee käsiliikkeellä tai viemällä katseen AVAA KOHDE tekstin päälle Kohteiden ympärille piirretään indikaattori jossa lukee kohteen nimi ja toimintopaikka
SSAB case Mittausnäkymä AR-visiirin läpi Yksi mittauskohde avattu Käydään kuvaamassa kohteet myöhemmin myös MatterPortilla -> VR ratkaisu johon liitetään myös mittausdataa etävalvontaa varten
SMA case Kohteena häkäkaasun paineenkorotusasema Mixed reality lähestyminen Mahdollisesti silmikko, mutta voidaan käyttää myös esim. Puhelinta tai VR-visiiriä Tila on määritelty vaaralliseksi Tarkoituksena hyödyntää jo olemassa olevia, Sampsan ottamia 360 kuvia sekä integroida mittausdata näyttöön Tarvittaessa kuvia täydennetään lisäkuvin Sampsa tehnyt krpanolla virtuaalikierrokset Kuvataan kohteet myöhemmin myös MatterPort kameralla Voidaan hyödyntää VR ympäristössä Widian mukana toteuttamassa mittaustiedon keruuta ja siirtoa Hyödynnetään Widianin IoT alustaa
MatterPort SMA-casessa 3D huoneskannaukseen alun perin suunniteltu laite joka muuntaa 360 kuvat teksturoiduiksi pistepilviksi Tiloja voidaan katsella esim. selaimella tai VRsilmikolla Matterport pilvipalvelussa 3D mallit mahdollista saada ulos pilvipalvelusta Yhteensopiva WebVR:n kanssa Esim. https://matterport.com/3d-space/chapelcrossturbine-hall-operating-level/ https://my.matterport.com/show/?m=q3jvdj9m8vz &play=1&utm_source=3
VR demo MANTIS MANTIS -hankkeesta video https://www.youtube.com/watch?v=shive i1bz0o The MANTIS Book Cyber Physical System Based Proactive Collaborative Maintenance - Ilmainen kirja ladattavissa osoitteesta https://www.riverpublishers.com/research _details.php?book_id=573