Arkinen AR: Laajamittainen lisätty todellisuus rakennusvalvonnassa

Transkriptio

1 Arkinen AR: Laajamittainen lisätty todellisuus rakennusvalvonnassa Kokeilun tulokset 1. Mitä teimme? 1. Tavoite ja saavutettiinko se? 2. Mitä olisi voitu tehdä toisin ja miksi? 2. Yrityksen hyödyt kokeilusta? 1. Miten kokeilun tulosta voidaan hyödyntää kokeiltavan palvelun kehityksessä? 2. Voidaanko kokeilun tulosta hyödyntää yrityksen muissa palveluissa / tuotteissa? 3. Miten palvelua voisi käyttää ja jatkokehittää Oulun kaupungin kanssa? 4. Jäikö kokeilu kesken? 1. Jäikö kokeiluja tekemättä, joilla voisi kehittää tätä tai muita yrityksen palveluja / tuotteita? 5. Huomioita? 1. Mitä pitää huomioida, jos kokeilun tulosta halutaan monistaa tai laajentaa muihin kaupungin palveluihin tai toimintoihin? 6. Opit? 1. Mitä kokeilusta on opittu, mikä toteutui hyvin, missä on kehitettävää? 2. Miten tilaaja onnistui kokeilun tilaajana/mahdollistajana, eli Oulun kaupunki / BusinessOulu?

2 Lähtökohta Suunnitelmassa kokeilun tavoite hahmotettiin seuraavasti: Ensisijaisesti haluamme oppia voidaanko AR saada osaksi suunnittelijoiden ja sidosryhmien arkea, ja siten kaupallisesti kannattavaksi osaksi Playsign tarjontaa. Onnistuuko rakennusvalvontaan soveltuva, teknisesti yksinkertainen AR käyttö ihmisten omilla laitteilla? Erikoislaitteilla kuten HoloLens tai mobiililaitteilla toimiva tarkka mallien videokuvaan matchaaminen esim. VTT:n Alvar -kirjastolla on jo testattu Oulussakin. Se ei ole kuitenkaan vielä arkipäiväistynyt. Pokemon Go on mielenkiintoinen esimerkki siitä, kuinka karkeampi vain paikkatietoa & kompassia käyttävä AR on innostanut ihmisiä. Onko vastaavanlainen ratkaisu mahdollista kehittää hyötykäyttöön kaupunkisuunnittelussa? Saadaanko ihmiset kiinnostumaan asiasta, miten se tehdään parhaiten? Opimme myös miten AR julkaisu saadaan helpoksi tekijöille, tässä kaupungin suunnittelijoille ja kumppaniarkkitehdeille. Tekniikasta selviää voiko AR ratkaisun tehdä Web-selainpohjaisesti vai tarvitaanko edelleen natiivi mobiiliapplikaatio. Tulokset Tavoite ja saavutettiinko se? Tavoite saavutettiin; saimme selvitettyä ja kokeiltua monia asioita kohti 3D mallien ja AR:n laajamittaista käyttöä rakennusvalvonnan naapurikuulemiseen ja muuhun viestintään. Alkuperäistä suunnitelmaa tarkennettiin ja muutettiin jonkin verran, kun tieto lisääntyi kokeilun alun selvitysvaiheessa. Päätimme keskittyä tarkan AR matchayksen testaamiseen mobiilaitteessa etukäteen valmistellun 3D pistepilven avulla. Tämä siksi, että kumppanien kanssa keskusteluissa selvisi että mallin tarkka sijoittaminen oli jo todettu (tai ainakin arveltiin) tarpeelliseksi. Suunnitellun työn AR mobiilisovelluksen käyttöliittymän ym. parissa lisäksi olemme selvittäneet rakennusvalvonnan 3D mallien ja kohteiden tietoihin käytettäviä formaatteja, järjestelmiä ja rajapintoja yhdessä Oulun rakennusvalvonnan, talotehtaiden (lähinnä Sikla) sekä Sova3D kaupunkimalli / ohjelmistotalon kanssa. Prosessin automaatio ja liiketoiminnan skaalaus on lähempänä kuin ennen kokeilua osasimme arvatakaan.

3 Poimintoja tehdystä työstä: Rakennusvalvonnan ja erityisesti naapurikuulemisprosessin mallinnus tietojärjestelmänäkökulmasta (kuva) Keskustelu talotehtaiden (eritoten Sikla) kanssa heidän työstään ja tarpeistaan rakennuslupaan ja 3D malleihin liittyen Naapurikuulemissovelluksen suunnittelu ja toteutus Keskustelut Sova3D Oy:n kanssa heidän aiemmasta työstään 3D mallien, kaupunkimallien ja rakennusvalvonnan parissa, sekä AR kokeilusta Vuforia-pohjainen marker tracker, tai toisaalta kompassipohjainen summittainen sijoittaminen, eivät olleet heidän näkökulmastaan toimivia Sopimus Sova3D integroidun Playsign AR sovelluksen toteuttamisesta, ja testi 3D mallin lataamisesta Playsign ohjelmistoon Sova3D palvelimelta 3D pistepilvipohjaisen tarkan AR sijoittamisen laajamittainen testaus oikeassa kohteessa (Ketjutie 42, Koskela, Oulu) Helmi-maaliskuussa kun purettava vanha talo oli vielä pystyssä, ja oli lunta Maaliskuun edetessä muuttuneissa sääolosuhteissa Huhtikuussa kun taloa alettiin purkamaan, toisaalta lumet sulivat Huhtikuun lopulla tontin muokkaustöiden ja uuden talon pohjatöiden ollessa käynnissä, lumien sulatessa loppuun ja auringon paisteen voimistuessa

4 Touko-kesäkuu: testikohteet Ympäristötalolle, helppoa jatkotestaamista varten Ketjutien kohde: alkuperäinen purettava talo, tilanne naapurikuulemisvaiheessa. Alla Valokuvista VisualSFM:llä tehty 3D pistepilvi, jota käytettiin AR sijoittamiseen.

5 Keväällä lupa oli myönnetty ja purkutyöt etenivät ripeästi. Kokeilimme tontin laidalla olevan sähkökaapin käyttöä AR tunnistamiseen, mutta siinä tuli yllättäviä vaikeuksia.

6 Työmaakyltti on hyvä mahdollisuus AR markeriksi, kenties AR Core tyyppisen, lennosta luotavaan pistepilveen perustuvan AR käytön lähtöankkuriksi jatkossa. Mitä olisi voitu tehdä toisin ja miksi? AR sovelluksen teknisen ratkaisun olisi voinut tehdä myös toisin, kuten alkuperäisessä ehdotuksessa ideoimme: karkean sijoittamisen voisi toteuttaa vain kompassilla ja paikkatiedolla, ilman kohteesta kuvattua pistepilveä, kuten Pokemon Go toimii. Tällöin olisimme voineet testata ohjelmistoa paljon helpommpin ja laajemmin, useissa kohteissa eri talotehtaiden kanssa ja siten laajemmalle ihmismäärälle myös. Kuten aiemmin todettiin, vedimme kuitenkin useista keskusteluista eri kumppanien (Rakennusvalvonta, Sikla, Oulun yliopisto, Sova3D) kanssa sen johtopäätöksen, että tarkan AR sijoittamisen kokeilu olisi hyödyllisempi. Tämä käytännössä rajasi kohteen yhteen, mutta kokeilun suhteellisen pitkä aika antoi paljon tietoa rakennusprosessin alkuvaiheen, ja toisaalta vuodenaikojen vaihtelun, mukana tuomista haasteista konenäköpohjaisessa AR käytössä.

7 Yrityksen hyödyt kokeilusta Miten kokeilun tulosta voidaan hyödyntää kokeiltavan palvelun kehityksessä? Tiedämme nyt ne reunaehdot ja tekniikat joilla AR on (tai ei ole) sovellettavissa rakennusluvan hakuvaiheessa, ja rakentamisen aikana. Voidaanko kokeilun tulosta hyödyntää yrityksen muissa palveluissa / tuotteissa? Kyllä. AR on voi tuoda lisäarvoa lähes kaikessa Playsign ratkaisun käytössä, varhaisen vaiheen suunnittelusta rakennuksen käytönaikaisiin palveluihin. Kokeilussa käytettävä teknologia sopii AR sovelluksiin yleisesti. Kokeilussa selvisi myös yleisesti 3D mallien tavanomaisen Web ja mobiilikäytön hyödyntämisestä rakennusvalvonnassa ja erityisesti naapurikuulemisessa. Niin käyttäjien kokemia hyötyjä ja näkökulmia, kuin talotehtaiden ja lupaviranomaisten prosesseista ja tietojärjestemistä. Miten palvelua voisi käyttää ja jatkokehittää Oulun kaupungin kanssa? 1. Naapurikuulemissovelluksen ja muun Rakennusvalvonnan tarviman 3D mallien käytön voi jatkokehittää tuotantokäyttöön, normaalina 3D Web ja mobiilisovelluksena 2. Kaupunki- / arkkitehtuurisuunnitelmien AR visualisointi olisi hyödyllistä myös rakennuslupaprosessin ulkopuolella, esimerkiksi kaavaprosessissa. Tai jopa kulttuuripuolella, kuten Taidemuseolla keskusteltiin helmikuussa liittyen taiteilijoiden Varjakka-projektiin, ja taidemuseon puolella olevaan Oulun Linna -ideaan. Jäikö kokeilu kesken? Kyllä, siinä mielessä että tarkan AR matchayksen ja ihmisten oman mobiililaitekäytön toimivuus vaatii vielä lisäselvitystä. Suunnitelmana on nyt jatkaa teknistä kokeilua Ympäristötalolla toukokesäkuussa. On tarpeen saada lisätietoa trackayksen toiminnasta eri valo- ja sääolosuhteissa, ja käytön onnistumisesta kun ihmiset käyttävät sovellusta itsekseen eri olosuhteissa.

8 Samoin AR käytön ulkopuolelta, perinteinen puhtaasti virtuaalinen 3D mallien tarkastelu esim. Webissä tai mobiililaitteella, tai VR laitteella, tiedetään ja todettiin myös tässä kokeilussa hyödylliseksi. Sen lisäkokeilu ja laajamittainen lanseeraus olisi mielenkiintoista. Huomioita? Mitä pitää huomioida, jos kokeilun tulosta halutaan monistaa tai laajentaa muihin kaupungin palveluihin tai toimintoihin? Valmiiden pistepilvien käyttö avainasemassa: toimiessaan tapa skaalata ratkaisu Selvitettävä asia, VTT ja Sova3D ja muiden kanssa Opit Mitä kokeilusta on opittu, mikä toteutui hyvin, missä on kehitettävää? Opimme paljon AR:stä ja pistepilvipohjaisen tarkan AR matchayksen käytöstä rakennuslupavaiheessa, ja rakennusprojektin alkuvaiheessa. Perusoppi on, että ko. AR matchays toimii kun kohteen fyysinen ympäristö on staattinen. Naapurikuulemisvaiheessa näin on, koska muutostyöt ympäristössä eivät ole vielä alkaneet. AR tekniikka toimii kun kohteena on esim. (ja tässä tapauksessa nimenomaan) purettava talo, joka näkyy selkeästi mobiililaitteen kameran kuvassa samassa näkymässä kuin mihin uuden kohteen 3D malli myös sijoitetaan. Säätilan ja vuodenaikojen vaihtelu tekee kuitenkin myös tästä käytöstä haastavaa; voiko ongelmat ratkaista esim. käyttämällä sekä aurinkoisen että pilvisen sään ympäristökuvia vaatii vielä lisätestausta. Rakennusprosessin edetessä, kun tässä tapauksessa Ketjutien kohteessa alkoi purku- ja maanmuokkaustyöt, purettua tai jo purettavaa taloa ei voi käyttää pistepilvipohjaisen AR sijoittamisen kohteena. Rakennusvalvonnan puolelta esitettiin kysymys / idea, voisiko tontin tai ympäristön staattisia osia käyttää tällöin sen sijaan. Testasimme tätä varsin perusteellisesti, toistaiseksi huonoin (tai vailinnaisin) tuloksin: tontin kulmilta valitut AR kohteet (sähkökaappi ja aitaa, toisella laitaa työmaakyltti, aidan kulmaa sekä naapurin pihapuita) tunnistautuivat, mutta ilmeisesti pistepilvi oli liian vailinnainen koko tonttia katsoessa ja 3D malli piirtyi epäluotettavasti ja oudosti vääristyneenä. Syyt tähän täytyy selvittää vielä tarkemmin VTT:n Alvar-kehittäjien kanssa. Johtopäätöksemme tällä hetkellä on että töiden alkaessa kohteessa, kun paikalle muutenkin pystytetään rakennuskyltti, se kannattaa jatkossa hyödyntää AR sijoittamisen referenssinä. Joko

9 niin että kyltissä on AR marker, tai itse kyltti toimii AR kohteena joko pistepilven tai kuvantunnistuksen kautta. Googlen avoimen lähdekoodin AR Core toimii AR sijoittamiseen niin, että mobiililaitetta / kameran katselukulmaa voi käännellä vapaasti, ja konenäkö pysyy kärryillä siitä mistä & mihin suuntaan katsotaan. Sillä ei voi kuitenkaan esisijoittaa 3D malleja tietylle paikalle johonkin ympäristöön, kuten tässä kokeilussa. Tekniikoita voidaan kuitenkin käyttää yhdessä niin että esim. AR markerin tunnistuksella aloitettu trackays toimii vapaaseen katseluun AR Coren avulla, ja VTT on jo testannutkin tätä. Tämä vaikuttaa nyt parhaalta ratkaisulta rakentamisen aikaiseen AR käyttöön. Muita oppeja: Auringonpaiste estää suunnitelmien hyvän tarkastelun tavallisella mobiililaitteella (puhelin, tablet) itse paikalla Naapurikuulemisessa osaa kiinnosti talon väri, jota hankala nähdä silloin Mobiili VR ratkaisee tämän: Gear VR hajavaloesto on niin hyvä, että estää suoran täyden auringonvalonkin aivan riittävästi (testattiin toisena testipäivänä torstaina) - näyttää värin ja ylipäätään suunnitelman hyvin Osa käyttäjistä kommentoi että pelkkä virtuaalikatselu (esim 3D malli puhelimen näytöllä perinteisest) riitti hyvin myös, ei tarvitse AR matchäystä välttämättä Normaali mallien Web-julkaisu kannattaa ehdottomasti tehdä HoloLens näkymä on erittäin pieni, muut laitteet (esim Gear VR) kuitenkin jopa parempia vaikka HoloLens trackaa hienosti

10 Kokeilimme myös Gear VR pohjaista immersiivistä VR:ää itse paikalla erittäin kirkkaalla auringonpaisteella, ja se toimi hyvin. VR:n immersiivinen tarkastelu ja laaja katselukulma, suurena näkyvä kuva, ovat muutenkin parempia kuin puhelinpohjainen AR tai erittäin pienen kuvan näyttävä nykyinen HoloLens. Miten tilaaja onnistui kokeilun tilaajana/mahdollistajana, eli Oulun kaupunki / BusinessOulu? Mainiosti, ei valittamista. Rakennusvalvonnan asiantuntijoiden työ oli meidän kannalta erinomaista, ja BO / Siili tuki myös. Paljon kiitoksia.