Lisätty todellisuus ja informaation visualisointi videovalvontajärjestelmissä

Koko: px
Aloita esitys sivulta:

Download "Lisätty todellisuus ja informaation visualisointi videovalvontajärjestelmissä"

Transkriptio

1 TEKNILLINEN KORKEAKOULU Sähkö- ja tietoliikennetekniikan osasto Otto-Petteri Korkalo Lisätty todellisuus ja informaation visualisointi videovalvontajärjestelmissä Diplomityö, joka on jätetty opinnäytteenä tarkastettavaksi diplomi-insinöörin tutkintoa varten Espoossa Työn valvoja, Professori Tapio Takala Työn ohjaaja, Diplomi-insinööri Janne Laine

2 HELSINKI UNIVERSITY ABSTRACT OF THE OF TECHNOLOGY MASTER S THESIS Author: Otto-Petteri Korkalo Name of the thesis: Augmented reality and information visualization in video-based surveillance systems Date: September 24, 2004 Number of pages: 99 Department: Department of Electrical and Communications Engineering Professorship: Interactive Digital Media Supervisor: Tapio Takala, Professor, Helsinki University of Technology Instructor: Janne Laine, Research Scientist, VTT Video-based surveillance systems are here to stay. Camera sensors and recorders are installed everywhere, and the security applications sector is growing fast. As the number of cameras and monitors increases, it is becoming more and more difficult to follow every video signal effectively. Hence, important events can be missed. This thesis examines the technologies of advanced video-based surveillance systems (AVS) and augmented reality (AR). Augmented reality is a technology where computer-generated virtual objects are spatially adjusted and superimposed in the useršs field of view. AVS systems take advantage of modern signal processing algorithms to automatically analyze the video signals that surveillance cameras generate. Information visualization is another key focus of this thesis: it explores the optimal way of visualizing AVS-generated data to the user. The main goal was to design an architecture where AR technologies can be applied to visualize all the essential information the AVS system automatically produces. This reduces the useršs cognitive load, and visual monitoring becomes more effective. The thesis presents an architecture for a visualization system based on the methods and concepts of information visualization, AR, and AVS. A prototype, EYES, was implemented and its technical feasibility was tested. Additionally, the concept of functional objects was introduced. These can be defined as the digital counterparts of real objects. The tests revealed that AR is a very suitable technique for visualizing the information that AVS systems automatically generate. AR and AVS have much in common, and a clear interface between both technologies was found. The tests confirmed that the chosen methods are feasible. EYES is living proof that the architecture is well designed, valid and usable. Keywords: video-based surveillance, augmented reality, information visualization ii

3 TEKNILLINEN KORKEAKOULU DIPLOMITYÖN TIIVISTELMÄ Tekijä: Otto-Petteri Korkalo Työn nimi: Lisätty todellisuus ja informaation visualisointi videovalvontajärjestelmissä Päivämäärä: Sivuja: 99 Osasto: Sähkö- ja tietoliikennetekniikan osasto Professuuri: Vuorovaikutteinen digitaalinen media Työn valvoja: Tapio Takala, Professori, Teknillinen korkeakoulu Työn ohjaaja: Janne Laine, Tutkija, VTT Erilaiset videovalvontajärjestelmät yleistyvät vauhdilla. Erityisesti turva-alan sovelluksia kehitetään, ja kameroita asennetaan ympäri kaupunkeja ja rakennuksia. Kameroiden ja monitorien lukumäärää kasvattamalla pyritään valvomaan suurempia alueita kerralla, mutta samalla käyttäjän kokema kognitiivinen kuorma kasvaa. Silloin valvontatehtävästä tulee visuaalisesti raskas prosessi, ja tärkeitäkin tapahtumia voi jäädä huomaamatta. Tässä diplomityössä tutkittiin modernien visuaalisten valvontajärjestelmien (AVS), sekä lisätyn todellisuuden (AR) tekniikoita. Lisätyn todellisuuden sovelluksissa käyttäjän näkymään liitetään tietokoneella generoituja, spatiaalisesti oikein sovitettuja objekteja. Nykyisissä visuaalisissa valvontajärjestelmissä hyödynnetään puolestaan moderneja signaalinkäsittelyn menetelmiä kuvasignaalien automaattiseen analysointiin. Edellisten lisäksi tässä työssä tarkastellaan informaation visualisointia videovalvontalaitteistojen näkökulmasta. Työn päällimmäisenä tavoitteena oli suunnitella videovalvontajärjestelmän arkkitehtuurikuvaus, jossa sovelletaan AR-tekniikkaa kiinnostavan tiedon visualisoinnissa. Visualisoinnilla pyritään esittämään AVS-järjestelmän keräämiä tietoja käyttäjän kannalta optimaalisella tavalla, jolloin koettu kognitiivinen kuorma vähenee ja valvontatehtävästä suoriudutaan paremmin. Kehitettyyn arkkitehtuuriin perustuen implementoitiin EYES-niminen laboratorioprototyyppi, ja sen teknistä toimintaa testattiin käytännön kokein. Prototyypin lisäksi konseptuaalisessa mielessä esiteltiin toiminnallisten objektien käsite. Niiden voidaan sanoa olevan fyysisten objektien digitaalisia vastineita. Työssä selvisi, että AR-tekniikka soveltuu hyvin AVS-järjestelmien tietojen visualisointiin. Molemmissa tekniikoissa on samoja piirteitä, ja niiden välinen luonnollinen rajapinta esiteltiin. Käytännön kokeet osoittivat, että käytetyt menetelmät ovat valideja. EYES-prototyyppi on lisäksi osoitus siitä, että laadittu arkkitehtuuri toimii myös käytännön oloissa. Avainsanat: videovalvonta, lisätty todellisuus, informaation visualisointi iii

4 Alkulause Esitän tässä kiitokseni kaikille niille tahoille, jotka ovat edesauttaneet tämän työn valmistumista. Erityisesti haluaisin kiittää Olli Nurmea VTT:llä siitä hyvästä, että otti minut mukaan ryhmäänsä tekemään tätä työtä, ja antoi huomattavan vapaat kädet eri ideoiden esittämiseen ja toteuttamiseen. Professori Tapio Takalaa haluan kiittää työni valvomisesta, asiantuntevista kommenteista, sekä innostavasta esimerkistä. Haluan kiittää Janne Lainetta työni ohjauksesta, esitarkastuksesta sekä huomionarvoisten ajatusten esittämisestä. Edelleen haluan kiittää Ismo Heikkilää innostavasta esimerkistä ja ohjauksesta. Kiitoksen ansaitsevat myös kaikki muut työkaverini VTT Tietotekniikan Värinhallintaryhmässä. Metallimiehenkujan kahviporukka ansaitsee niin ikään kiitokset päivittäisen arjen piristämisestä. Vanhempiani ja siskoani haluan kiittää kaikesta siitä tuesta, jota olen heiltä vuosien varrella saanut. Inkeri-mummoa kiitän myös maukkaista ruokahetkistä. Lopuksi kiitoksen ansaitsevat kaikki kaverini, joita ilman elämäni olisi huomattavasti sisältököyhempää. PKC eläköön ikuisesti! Liisaa haluan kiittää kaikista niistä asioista, jotka hän on elämääni tuonut. Helsingin Kalliossa Otto-Petteri Korkalo iv

5 Sisältö Käytetyt lyhenteet vii 1 Johdanto Työn taustaa Ongelman asettelu ja työn lähtökohdat Tutkimuksen tavoitteet Tutkimuksen rajaus Työn jäsennys Visuaalinen valvonta Videovalvontaa eri käyttötarkoituksiin Videovalvontalaitteiston perustekniikkaa Videovalvonnan eri sukupolvet Tutkimus ja kaupalliset sovellukset Todellisuudesta lisättyyn todellisuuteen Sutherlandista nykypäivään Todellisuuksien kirjo Erilaisia lisättyjä todellisuuksia Milgramin virtuaalijatkumon komponentit Sovellutukset ja tulevaisuus Sekoitettu todellisuus valvontakamerajärjestelmissä Visualisoinnista Videovalvonnan näkökulma Tiedon visualisoinnin prosessi v

6 4.3 Interaktiivisuus ja toiminnalliset objektit Värillä on väliä Huomiota herättävät signaalit ja kohteet Menetelmien kuvaus Projektiivista geometriaa Kameran malli Kameran kalibrointi tunnetussa ympäristössä Liikkuvien kohteiden lokalisointi Liikkuvien kohteiden käsittely Ohjelmiston arkkitehtuurikuvaus Visuaalisten valvontajärjestelmien rakenne Lisätyn todellisuuden arkkitehtuurit Perusrakenteen kuvaus Toteutetun prototyypin osajärjestelmät Laboratorioprototyypin toteutus ja testaus Prototyypin vaatimukset, rajaukset ja ominaisuudet Käyttöliittymästä Käytetty tekniikka Alustus ja kalibrointi Kuva-analyysi Järjestelmä toiminnassa Johtopäätökset ja tulevaisuus Yhteenveto Tulokset ja johtopäätökset Tulevaisuuden näkymiä Lähteet 91 A Pseudokoodiesitys 97 vi

7 Käytetyt lyhenteet ja merkinnät 1GSS 2D 2GSS 3D 3GSS AI AR AV AVS BNC CCD CCTV CGI CRT DOF DVB DVD EPM EWK EYES FTVR GPRS GSM HMD HMS HTTP HUD IP IR JPEG KF LCD MPEG 1st Generation Surveillance Systems Two Dimensional 2nd Generation Surveillance Systems Three Dimensional 3rd Generation Surveillance Systems Augmented Imagery Augmented Reality Augmented Virtuality Advanced Video-based Surveillance Bayonet Neil-Concelman/British Naval Connector Charge-Coupled Device Closed Circuit Television Common Gateway Interface Cathod Ray Tube Degrees Of Freedom Digital Video Broadcast Digital Video Disc Extent of Presence Metaphor Extent of World Knowledge Enhanced EYES for Surveillance Fish Tank Virtual Reality General Packet Radio Services Global System for Mobile communication Head Mounted Display Head Mounted Sight Hypertext Transfer Protocol Head-Up Display Internet Protocol Infra Red Joint Photographic Experts Group Kalman Filter Liquid Crystal Display Moving Picture Experts Group vii

8 MR NASA OCTV OST PDA PTZ QoS RF RGB RV SDK SVHS TCP/IP UFOV UML USB VC VE VHS WoW VR VST Mixed Reality National Aeronautics and Space Association Open Circuit Television Optical See-Trough Personal Digital Assistant Pan, Tilt, Zoom Quality of Service Reproduction Fidelity Red, Green, Blue Reality-Virtuality Continuum Software Development Kit SuperVHS Transmission Control Protocol/Internet Protocol Useful Field Of View Unified Modeling Language Universal Serial Bus Virtuality Continuum Virtual Environment Video Home System Window-on-the-World Virtual Reality Video See-Trough viii

9 Kuvat 2.1 Tyypillinen videovalvonnan valvontahuone Tyypillisen videovalvontalaitteiston rakenne Kolmannen sukupolven videovalvontalaitteiston looginen arkkitehtuuri Feinerin KARMA oli ensimmäisiä lisätyn todellisuuden tutkimusprojekteja Milgramin virtuaalisuusjatkumo OST-tekniikalla toteutetun AR-järjestelmän toimintaperiaate VST-tekniikalla toteutetun AR-järjestelmän toimintaperiaate AR-PDA -laitteisto käytössä Mallinnuksen aste MR-laitteistoissa Reproduktion todenmukaisuus MR-laitteistoissa Läsnäolon mitta MR-järjestelmissä Visualisoinnin prosessi Waren kaksitoista väriä Tehokas näkökenttä Yhdensuuntaisten viivojen perspektiiviprojektio Kamerakoordinaatiston pisteet projisoituvat kuvatason euklidiseen koordinaatistoon yhdenmuotoisten kolmioiden mukaisesti Neulanreikäkameran neljä eri koordinaatistoa Säteittäisen linssivirheen vaikutus kuvatasossa Homografia Kohteen koon laskeminen Tyypillisen automatisoidun kuva-analyysijärjestelmän rakenne Forestin & Rolin esittelemän AVS-järjestelmän looginen arkkitehtuuri. 58 ix

10 6.3 Uchiyaman et al. esittelemän AR-arkkitehtuurin lohkokaavio AVS ja AR -tekniikoita yhdistävän arkkitehtuurin lohkokaavio Kehitetyn sovelluksen jako ajonaikaisiin osajärjestelmiin EYES-prototyypin laatimiseen käytettyjen ohjelmistokomponenttien väliset suhteet Kameran sisäisten parametrien perusteella takaisinprojisoitujen pisteiden virheet Linssin optiikan aiheuttama säteittäinen virhe kuvatasossa Kameran parametrisoinnin perusteella uudelleen kuvatasoon projisoidut pisteet Virtuaalinen koordinaatisto augmentoituna valvontakameran kuvasignaaliin Erotuskuvan laskemisen vaiheet Erotuskuvan kynnystäminen eri kynnystysarvoilla Morfologisten operaatioiden vaikutus segmentointiin Huonosti segmentoituva kuva Epäilyttävät hahmot haettiin sääntöpohjaisen luokittelumenetelmän perusteella Adaptiivinen taustan päivitys EYES-prototyypissä liikkuvat kohteet jättävät jälkeensä polun Oudosti käyttäytyviä hahmoja korostetaan EYES-järjestelmässä punaisella Tyypillisessä käyttötilanteessa toiminnalliset objektit reagoivat liikkuvaan hahmoon x

11 Luku 1 Johdanto I came to bring the pain hardcore from the brain Let s go inside my astral plane Find out my mental s based on instrumental records hey, so I can write monumental Method Man, Bring the Pain Robocop-elokuvan sankari on kyborgi, puoliksi ihminen ja puoliksi kone. The Terminator-elokuvassa Arnold Schwarzenegger taas esittää robottia, joka on kovin ihmisen kaltainen. Molemmilla hahmoilla on eräs yhteinen piirre: hyvin erityinen näköaisti. Ne pystyvät näkemään seinien läpi, pimeällä, tunnistamaan automaattisesti viholliset liittolaisista sekä liittämään näkemiinsä kohteisiin muuta tietoa. Ihminen muodostaa käsityksen ympäristöstään aistihavaintojensa perusteella. Tärkein aistimme on eittämättä näkö. Onkin kiehtovaa ajatella, voisiko ihmisen näköaistia kehittää paremmaksi. Voisimmeko kehittää näkömme tueksi Robocopin silmät? Voisimmeko nähdä näkemämme perusteella enemmän? Tämä diplomityö käsittelee erään videovalvontajärjestelmän kehittämistä. Ratkaisua etsitään informaatiotulvan vähentämiseen, ja ihmisen kykyyn ymmärtää videovalvontaruudun kuvasignaalia paremmin. Työ laadittiin Teknillisen korkeakoulun Tietoliikenneohjelmistojen ja multimedian laboratorioon kevään, kesän ja syksyn 2004 aikana. Se tehtiin kokonaisuudessaan VTT Tietotekniikan Media-alueen Värinhallintaryhmässä. Tässä luvussa esitellään tämän diplomityön taustat. Lisäksi kerrotaan työn ongelmakenttä, tavoitteet ja tutkimuksen rajat. Lopussa eritellään vielä tämän opinnäytteen sisältö sekä rakenne. 1

12 LUKU 1. JOHDANTO Työn taustaa Tämä opinnäyte on osa VTT Tietotekniikan (VTT TTE) Seemore-projektia, joka sai alkunsa loppukesällä Projektin alkuvaiheessa ajatuksena oli tutkia videokameran ja silmikkonäytön (HMD, Head Mounted Display) muodostamaa järjestelmää, jossa näyttökuvaa käsitellään ihmisen kannalta informatiivisemmaksi korostamalla näytöllä olevia mielenkiintoisia kohteita sopivasti. Edelleen projektin päämääränä oli laajentaa sen toteuttavan ryhmän osaamista ja asiakaspohjaa, sekä käynnistää aiheeseen liittyviä jatkoprojekteja. Vuodenvaihteessa projektille asetettiin sen nykyiset tavoitteet. Nyt haluttiin keskittyä nimenomaan visuaalisen laadun parantamiseen, eikä tiettyyn kamera- tai näyttötekniikkaan. Käytännön sovellusalueeksi valittiin videovalvonta, ja kohteiden korostamisen lisäksi haluttiin tutkia lisätyn todellisuuden soveltamismahdollisuuksia alalla. 1.2 Ongelman asettelu ja työn lähtökohdat Videovalvontaa sovelletaan nykyisin hyvin monenlaisiin tarkoituksiin. Tavallisimpia käyttökohteita ovat tila- ja aluevalvonta sekä teollisuuden prosessivalvonta. Muita sovelluksia ovat esimerkiksi liikenteenvalvonta ja ilmavalvonta. Kaikille eri sovelluskohteille ominaisesti videovalvonnalla tavoitellaan joidenkin tilojen tai kohteiden seuraamista keskitetysti. Sovelluskohteesta riippumatta valvontakameroiden käytössä piilee ongelmia. Kameroiden lukumäärän kasvaessa jatkuvasti päädytään tilanteeseen, jossa valvojia ei ole tarpeeksi eivätkä he enää kykene seuraamaan kaikkia näyttöjä. Tyypillisessä videovalvontakeskuksessa on jopa kymmeniä monitoreita tai videoikkunoita, joista jokainen vastaa yhden kameran tai muun sensorin tuottamaa kuvaa. Niiden kaikkien yhtäaikainen seuraaminen on kognitiivisesti raskas tehtävä eikä valvoja pysty välttämättä muodostamaan hyvää käsitystä kokonaistilanteesta (Sebe et al., 2003; Ou et al., 2004a). Videovalvontajärjestelmillä on merkitystä silloin enää arkistona, josta tallennettuja tapahtumia voidaan selata jälkikäteen. Valvontakamerajärjestelmistä olisi kuitenkin enemmän hyötyä jos ne toimisivat ennaltaehkäisevästi, ja kiinnostavat tilanteet huomattaisiin jo niiden tapahtumishetkillä (Orkoneva, 2002; Dick & Brooks, 2002). Visuaalista valvontajärjestelmää käyttävän henkilön tulee huomata poikkeukselliset tilanteet mahdollisimman nopeasti, jolloin niihin voidaan tarpeen vaatiessa puuttua. Valvontakamerakuvan seuraaminen on kuitenkin jatkuvaa valppautta vaativa monotoninen tehtävä. Tehtävän suoritusajan kasvaminen, väsymys, rinnakkaiset työt sekä turhan informaation esittäminen laskevat valvojan työtehoa. Tämä korostuu etenkin niissä valvonnan kohteissa, joissa epätavallisten tapahtumien esiintymistodennäköisyys on pieni. Kiinnostavien tapahtumien havaitseminen on sitä nopeampaa ja varmempaa mitä selvemmin ne erottuvat valvontajärjestelmän normaalitilasta (Ware,

13 LUKU 1. JOHDANTO ). Tämän työn lähtökohtana on pyrkiä esittämään valvontakameran tuottama kuvasignaali käyttäjän kannalta visuaalisesti optimaalisessa mielessä. Tässä visuaalisesti optimaalinen laatu tarkoittaa sitä, että valvontakameran tuottama kuvasignaali ymmärretään mahdollisimman hyvin ja nopeasti. 1.3 Tutkimuksen tavoitteet Projektin alkuperäisten tavoitteiden mukaisesti työssä laaditaan laboratorioprototyyppi yhden tai useamman videokameran, kuvankäsittely-yksikön sekä näyttölaitteen muodostamasta videovalvontajärjestelmästä. Järjestelmässä videosignaalia käsitellään paremmaksi korostamalla sopivasti siinä esiintyviä, mielenkiintoisia kohteita. Edellisen lisäksi työssä tutkitaan erityisesti lisätyn todellisuuden teknologioiden soveltamista kiinnostavan tiedon visualisoinnissa. Tarkoituksena on liittää mielenkiintoisiin tapahtumiin ja kohteisiin uutta, automaattiseen kuva-analyysiin ja a-priori malleihin perustuvaa tietoa. Lisätyllä todellisuudella tarkoitetaan tässä sellaisia menetelmiä, joilla käyttäjän näkymään lisätään keinotekoisia kohteita. Kootusti tämän tutkimuksen tavoitteet ovat seuraavat: Laatia arkkitehtuurikuvaus videovalvontajärjestelmälle, jossa käytetään lisätyn todellisuuden tekniikkaa sekä käyttöliittymänä että kiinnostavan tiedon visualisoinnissa. Soveltaa edellistä arkkitehtuurikuvausta käytännössä, ja toteuttaa sen perusteella laboratorioprototyyppi visuaalisesta valvontajärjestelmästä. Suunnittelussa huomioidaan alaan liittyvä, ja sitä sivuava aiempi tutkimus. Kokoamalla eri osa-alueiden tutkimustuloksia yhteen pyritään modulaariseen ja hyvin perusteltuun arkkitehtuurikuvaukseen. Se voidaan pääpirteissään määritellä neljän ominaisuuden perusteella: Valvottavien kohteiden automaattinen tunnistaminen ja seuraaminen. Automaattinen tilanteiden tunnistaminen ja analysointi. Kohteisiin liittyvien tietojen korostaminen ja lisääminen. Kohteisiin liittyvien tietojen interaktiivinen tutkiminen. Laboratorioprototyyppi toteutetaan arkkitehtuurikuvauksen perusteella, mutta kaikkia siinä esiintyviä osia ei tämän diplomityön puitteissa implementoida. Prototyypin tarkka vaatimusmäärittely esitetään sen toteuttamista käsittelevän luvun yhteydessä (katso luku 7).

14 LUKU 1. JOHDANTO Tutkimuksen rajaus Tässä tehtävä tutkimus rajataan koskemaan yhden PTZ-tyyppisen (Pan, Tilt, Zoom) valvontakameran tuottaman kuvasignaalin esittämistä siten, että valvojan käsitys valvottavan kohteen tilasta säilyy mahdollisimman hyvänä. Lisäksi tarkastellaan interaktiivisten toimintojen käyttökelpoisuutta informaation visualisoinnissa ja tilannetajun muodostamisessa. Työssä sovelletaan visuaalisen valvonnan laajalti tutkittuja osa-alueita, kuten kuvaanalyysiä ja hahmontunnistusta. Kohteisiin liitettävän lisätiedon visualisoinnissa sovelletaan lisätyn todellisuuden tutkimuksessa kehitettyjä menetelmiä ja tekniikoita. Laboratoriosovellus laaditaan vastaamaan erityisesti tilavalvontaa. Silloin tavoitteena on seurata ihmisiä ja niiden käyttäytymistä ennalta määrätyllä alueella. Tilavalvontajärjestelmän avulla pyritään vastaamaan kysymyksiin: kuka, mitä, missä ja milloin. Työssä ei puututa tiedonsiirtoon, kaapelointiin, kameratekniikkaan tai muihin laitteistotason ongelmiin. Arkkitehtuurikuvaus pyritään tekemään niin abstraktilla tasolla, että hyvin nopeasti kehittyvät tietotekniset laitteet eivät vanhentuessaankaan estä työn edelleen soveltamista. 1.5 Työn jäsennys Tässä opinnäytteessä on tämän kappaleen lisäksi seitsemän kappaletta. Viidessä ensimmäisessä kappaleessa käsitellään suunniteltavaan arkkitehtuurikuvaukseen liittyviä konsepteja, menetelmiä ja teknologioita. Kuudennessa kappaleessa esitellään arkkitehtuurikuvaus, ja perustellaan siihen liittyvät ratkaisut. Seitsemäs kappale käsittelee toteutettua laboratorioprototyyppiä, jolloin huomio kiinnitetään arkkitehtuurimallin soveltamiseen käytännössä. Lisäksi arvioidaan prototyypin toimivuutta. Viimeisessä kappaleessa arvioidaan työn tuloksia ja pohditaan, minkälaisia mahdollisuuksia lisättyä todellisuutta soveltavalla valvontakamerajärjestelmällä voisi olla tulevaisuudessa.

15 Luku 2 Visuaalinen valvonta Bring my x-ray visions See trough you, lace for day Every bullet counts And we don t bush straight Shyheim, I Declare War Tässä luvussa esitellään videovalvonnan perustekniikkaa, käyttökohteita sekä tutkimuksen ja käytännön sovellusten tila. Tarkastelun pohjana käytetään Regazzonin et al. (2001) esittelemää jakoa ensimmäisen, toisen ja kolmannen sukupolven videovalvontajärjestelmiin. Asiat esitellään yleisellä tasolla, ja pyrkimyksenä on antaa lukijalle käsitys visuaalisen valvonnan menetelmistä ja mahdollisuuksista, puuttumatta kuitenkaan pikkutarkasti teknisiin yksityiskohtiin. 2.1 Videovalvontaa eri käyttötarkoituksiin Ihmisen ympäristöstään keräämän visuaalisen informaation määrää rajoittavat aistien toiminta, sekä kyky prosessoida havainnoista tietoa. Jokaisella ajanhetkellä ihminen voi kerätä, analysoida ja tallentaa tietoa vain tietyltä alueelta ja rajoitetussa määrin. Jotta kohdetta voidaan seurata, täytyy siihen olla suora näköyhteys. Ihmisen näköaistin tueksi onkin kehitetty erilaisia valvontajärjestelmiä, joiden tarkoitus on haalia visuaalista tietoa useasta paikasta tai kohteesta keskitetysti ja samanaikaisesti. Tiedon keräämisen lisäksi videovalvontajärjestelmät voivat auttaa valvojaa ymmärtämään kohteiden tapahtumia nopeammin ja paremmin (Regazzoni et al., 2001). Perinteisesti videovalvontaa sovelletaan tilojen tai alueiden valvontaan, sekä rakennusten sisään- ja uloskäyntien tarkkailuun. Tavallisesti niiden tarkoitus on estää rikoksia tapahtumasta, ja toisaalta auttaa jo tapahtuneiden rikosten selvittämisessä. Järjestelmät on kytketty usein käytössä oleviin kulunvalvonta- ja hälytysjärjestelmiin. Lisäksi valvontakameroiden tuottama kuvamateriaali tallennetaan myöhempää 5

16 LUKU 2. VISUAALINEN VALVONTA 6 Kuva 2.1: Helsingin Kaupungin Liikennelaitoksen (HKL) videovalvontahuone Helsingin Hakaniemessä. Metroasemilla on yli 400 turvakameraa, joiden tuottamia kuvia vaihdellaan jatkuva-aikaisesti monitoreissa. Lukuisat videoikkunat täyttävät käyttäjän näkymän, ja valvontatehtävä voi muodostua kognitiivisesti raskaaksi prosessiksi. Kuva: Helsingin Sanomat, käyttöä varten. Kartano (2003) erittelee videovalvonnan kohteita. Aluevalvonnan päämääränä on kyetä seuraamaan laajaa aluetta pienellä henkilöstömäärällä yhdestä valvontapisteestä käsin. Tekniikkaa voidaan soveltaa esimerkiksi tehdasalueen seuraamiseen, jolloin tavoitteena on jokaisen alueelle saapuvan kohteen havaitseminen ainakin vähäisen toiminnan aikoina öisin ja viikonloppuisin. Tilavalvontaa sovelletaan puolestaan yksittäisten kohteiden ja pienten tilojen tarkkailuun. Tällaisia ovat esimerkiksi pankkiautomaatit, metrotunnelit, liiketilat tai yksittäiset kohteet museoissa. Alueja tilavalvonnan lisäksi Kartano mainitsee erääksi videovalvonnan tyypilliseksi sovellusalueeksi teollisuusprosessien etävalvonnan. Prosessien valvonta tarkoittaa tuotantolinjojen seuraamista esimerkiksi sahoilla, paperitehtaissa tai kokoonpanolaitoksissa. Tuotantolinjojen seuraamisen lisäksi prosessivalvontaa sovelletaan sellaisissa kohteissa, joiden suora tarkkailu on mahdotonta. Tällaisia ympäristöjä ovat muun muassa myrkylliset, radioaktiiviset tai hyvin kuumat tuotannon ja teollisuuden tilat. Regazzoni et al. erittelivät selvityksessään (2001) videovalvontaan liittyviä tutkimusprojekteja. Heidän mukaansa tutkimuksissa on viime aikoina keskitytty erityisesti seuraaviin sovellusalueisiin: Liikenteeseen liittyvien kohteiden valvonta. Erityisesti on tutkittu rautatie- ja metroasemien, lentokenttien ja -reittien, moottoriteiden, kaupunkiympäristö-

17 LUKU 2. VISUAALINEN VALVONTA 7 jen sekä meritekniikan kohteiden valvontaa. Laadun ja turvallisuuden valvonta teollisuuden prosesseissa ja tiloissa. Turvallisuus julkisissa tiloissa. Esimerkeissä oli tutkittu videovalvonnan soveltamista pankeissa, supermarketeissa, parkkipaikoilla, odotustiloissa sekä asuinrakennuksissa. Potilaiden etävalvonta videovalvonnan keinoin. Sotilassovellukset. Järjestelmiä kehitetään etenkin strategisten kohteiden, vihollisen liikkeiden sekä ilmatilan valvontaa varten. Videovalvonnan menetelmiä sovelletaan myös turvallisuuteen liittyvien kohteiden ulkopuolella. Kartano (2003) mainitsee erääksi sovellusalueeksi autojen peruutustv:n jonka avulla kuljettaja voi nähdä myös umpikoristen autojen taakse peruuttaessaan. Vastaavalla tavalla NASA (National Aeronautics and Space Administration) hyödyntää videokameravalvonnan menetelmiä ohjatessaan tutkimusmönkijöitään Marsin pinnalla (NASA). Sekä liikenteeseen että turvallisuuteen liittyy Suomessa keväällä 2003 takseissa käyttöönotettu turvakamerajärjestelmä (Taksiliitto). Hankkeessa kaikkiin takseihin asennetaan turvakamerat ja niiden tuottamat kuvat siirretään GPRS:n (General Packet Radio Services) avulla keskukseen. Projektissa tavoitteena on parantaa kuljettajien turvallisuutta mutta asiakkaiden yksityisyydestä pidetään kuitenkin kiinni. Kuvia voidaan katsoa jälkikäteen vain silloin, kun auton tapahtumat edellyttävät viranomaistutkintaa. 2.2 Videovalvontalaitteiston perustekniikkaa Videovalvontalaitteiston perusrakenteeseen kuuluu joukko videokameroita, keskuslaitteisto sekä valvomo, jossa kameroiden tuottamia kuvia voidaan keskitetysti tarkkailla. Keskuslaitteiden tärkein tehtävä on välittää valvontakameroiden tuottama videodata valvontahuoneen monitoreille ja tallennuslaitteille (Marttila, 2003). Marttila jakaa keskuslaitteet neljään pääryhmään, jotka ovat automaattiajoittimet, nelikuvajakajat, multiplekserit sekä videomatriisit. Arkkitehtuuriin kuuluvat vielä videotallentimet, näytöt, sensorit (kamerat) sekä siirtotiet, joita pitkin kameroiden tuottamat kuvasignaalit siirretään valvottavasta kohteesta valvomoon. Kuvassa 2.2 on esitetty tyypillisen videovalvontalaitteiston rakenne. Automaattiajoittimet ovat yksinkertaisimpia keskuslaitteita. Niiden avulla eri kameroilta tulevat kuvasignaalit voidaan yhdistää esitettäväksi yhdellä monitorilla joko kuvasekvenssinä eli kiertokuvana tai käyttäjän valinnan mukaan. Nelikuvajakajien periaatteena on jakaa usean kameran kuva yhdelle monitorille. Toisin sanoen monitorin kuva-ala jaetaan osiin, ja jokaisessa osassa esitetään yhden valvontakameran tuottama kuva.

18 LUKU 2. VISUAALINEN VALVONTA 8 Monitorit Kamerat Siirtotiet Keskuslaitteet Nauhurit Kuva 2.2: Tyypillisen videovalvontalaitteiston rakenne. Rakenteeseen kuuluvat sensorit, siirtotiet, keskuslaitteet, nauhurit sekä monitorit. Multiplekserin pääasiallinen tarkoitus on ohjata kameroiden kuvasignaalien nauhoitusta. Sen avulla eri kameroiden tuottamat kuvasignaalit koodataan aikajakoisesti yhdeksi signaaliksi simplex-, duplex- tai triplex-muodossa. Eri lähteiden reaaliaikaisen seuraamisen lisäksi triplex-muotoisella multiplekserillä voidaan vielä nauhoittaa edellisistä riippumatonta kuvaa. Useimmissa multipleksereissä on vielä liikkeen havainnointimahdollisuus, joka ohjaa monitoreita ja nauhuria. Videovaihteet ovat suurten videovalvontajärjestelmien keskuslaitteita. Tyypillisesti niissä on n kappaletta videosisääntuloja, vähintään kolme monitoriulostuloa, sekä vähintään kolme ohjauspaneelin liitäntää. Lisäksi hälytystuloja on yleensä yhtäläinen määrä kuin kameratuloja. Videovaihteella hallitaan kameroiden joukkoa yhdestä tai useammasta valvomosta ja kuvasignaalit voidaan jakaa useaan eri käyttöpaikkaan. Ohjauspaneelien kautta valvojat voivat hallita kameroiden lisäksi myös monitoreita ja hälytystoimintoja. Kamerat Nykyisin markkinoilla olevat videovalvontakamerat perustuvat lähinnä CCD (Charge Coupled Device) -tekniikkaan. Ne ovat joko värillisiä tai monokromaattisia, ja ne ovat myös jossain määrin herkkiä infrapuna-alueen säteilylle. Kameroihin voidaan liittää myös IR (Infra Red) -valaisimia pimeätoiminnan tehostamiseksi. Monissa kameroissa on ominaisuuksia, joilla voidaan korjata muun muassa kohinasuhdetta, dynamiikkaa, terävyyttä ja valkotasapainoa. Muita lisäominaisuuksia ovat kauko-ohjaus, eri valaistusolosuhteiden esiasetukset, videoliikeilmaisin ja kaksiväritoiminta. Kaksiväritoiminnan avulla värikameran toiminta muuttuu mustavalkoiseksi alhaisen valaistuksen vallitessa. Kamerat (tai niiden kiinnitysalustat) voivat olla kauko-ohjattavia, jolloin niitä kutsutaan nimellä PTZ-kamera. Erilliset DOME- eli kupukamerat ovat nopeasti kääntyviä kameroita, joihin on integroitu moottoriohjaus. Tyypillisesti kameroissa on analoginen 75Ω BNC (British Naval Connector) -ulostulo, mutta myös digitaalisia FireWire ja USB (Universal Serial Bus) -väyliä käytetään. Edelleen on olemassa TCP/IP (Transmission Control Protocol/Internet

19 LUKU 2. VISUAALINEN VALVONTA 9 Protocol) -verkkoon kytkettäviä kameroita, jolloin niissä on sisäänrakennettu palvelin kauko-ohjaustoimintojen toteuttamiseksi. (Vuonoranta et al., 2003; Videovalvontaopas, 2004). Tallentimia on sekä digitaalisia että analogisia, joskin digitaaliset laitteet ovat syrjäyttämässä analogiset kokonaan. Perinteisesti analogisilla tallentimilla tarkoitetaan VHS (Video Home System) ja SVHS (SuperVHS) -nauhureita, joita eri keskuslaitteilla ohjataan. Digitaaliset tallentimet ovat yleisimmin kovalevytallentimia, mutta myös DVD (Digital Video Disc) -levyille tallentavia laitteita on markkinoilla. Digitaalisissa tallentimissa videovirtaa yleensä tiivistetään tilan säästämiseksi. Yleisiä pakkausmenetelmiä ovat JPEG (Joint Photographic Experts Group), MPEG (Moving Picture Experts Group), H.261, H.263 ja Wavelet-muunnokseen perustuvat tekniikat. Digitaalitallentimiin liittyy usein myös etäkäyttömahdollisuus, sekä monipuoliset tiedonhakumenetelmät, salasana- ja vesileimasuojaukset ja henkilökohtaisesti kustomoitavat käyttöliittymät (Marttila & Ylönen, 2003; Videovalvontaopas, 2004). Tiedonsiirto Perinteisesti CCTV (Closed Circuit Television) -järjestelmissä tiedonsiirto tapahtuu pari-, tai koaksiaalikaapelin välityksellä. Uusissa, digitalisoiduissa järjestelmissä tiedonsiirtoon käytetään kiinteitä ja langattomia verkkoja. Markkinoilla olevat ratkaisut perustuvat muun muassa TCP/IP, GSM (Global System for Mobile communication), GRPS sekä valokaapelitekniikkaan. Tiedonsiirtokanavat ovat yleensä kaksisuuntaisia, jolloin kameran keräämän datan lisäksi toiseen suuntaan kulkee kameran ohjaustiedot (Aalto, 2003; Videovalvontaopas, 2004). Näyttölaitteina käytetään tavallisesti tavallisia CRT (Cathod Ray Tube) tai LCD (Liquid Crystal Display) -näyttöjä, mutta markkinoilla on myös plasma- ja elektroluminenssinäyttöjä. Useilta eri kameroilta tulevat kuvasignaalit jaetaan eri näytöille keskuslaitteiden avulla. Digitaalisissa järjestelmissä eri monitorit voidaan korvata myös erillisillä videoikkunoilla, jolloin erillisiä monitoreita tarvitaan vähemmän. Uusimmissa järjestelmissä sovelletaan digitaalista langatonta tiedonsiirtoa, ja näyttölaitteina voidaan silloin käyttää kannettavia päätelaitteita. Silloin puhutaankin CCTV:n sijaan OCTV:stä (Open Circuit Television) (Kuisma, 2003; Videovalvontaopas, 2004). 2.3 Videovalvonnan eri sukupolvet Regazzoni et al. esittelivät (2001) visuaalisten valvontajärjestelmien jaon kolmeen eri sukupolveen. He käyttivät jaon perusteena järjestelmän automatisoinnin tasoa, älykkyyttä sekä signaalien käsittelyn ja siirron digitalisoinnin astetta.

20 LUKU 2. VISUAALINEN VALVONTA 10 Ensimmäinen sukupolvi Ensimmäisen sukupolven videovalvontajärjestelmät (1st Generation Surveillance System, 1GSS) otettiin käyttöön 1950-luvulla videotekniikan kehittymisen myötä (Kartano, 2003). Ensimmäisten visuaalisten valvontajärjestelmien tarkoitus oli muodostaa näkymä yhdestä valvomosta useisiin eri kohteisiin, ja sovellukset olivat analogisia videokameroiden ja monitoreiden muodostamia CCTV (Closed Circuit Television) -järjestelmiä. Regazzonin et al. (2001) mukaan 1GSS:t lisäävät ihmisen kykyä havainnoida ympäröivää tilaa; monesta kohteesta saapuvat videosignaalit ovat kuin keinotekoisia elimiä visuaalisten havaintojen tekemiseen. 1GSS-järjestelmien käytössä esiintyy kahdenlaisia ongelmia, joista toiset liittyvät tiedon analogiseen esitystapaan, ja toiset ihmisen rajalliseen kykyyn käsitellä järjestelmien tuottamaa informaatiota. Tiedonkäsittelyn ja -siirron analogisen luonteen vuoksi siirtotiet vaativat suuria kaistanleveyksiä ja erillisiä kaapelointeja. Tällöin kameroiden ja muiden sensoreiden määrää joudutaan mahdollisesti rajoittamaan. Toisekseen datan tallentaminen ja jälleenkäsittely on hankalaa. 1GSS-järjestelmissä videodata tallennetaan tyypillisesti VHS-nauhoille, jolloin tärkeiden tapahtumien etsiminen nauhoilta on hidasta. Tallenteiden lukumäärä voi kasvaa huikeaksi ja niiden sisältämä kuvasignaali heikkenee nauhoituksessa ja toistossa. Videovalvontajärjestelmät voivat kerätä visuaalista dataa kymmenien, tai jopa satojen sensoreiden muodostamasta verkostosta. 1GSS-järjestelmien valvomotilat täyttyvät silloin monitoreista ja kuvaikkunoista. Valvojan kognitiivinen kuorma voi silloin kasvaa kohtuuttomaksi; ihminen ei pysty seuraamaan kaikkien kameranäyttöjen kuvaa tehokkaasti, ja osa tärkeistä tapahtumista voi jäädä huomaamatta. (Regazzoni et al., 2001). Toinen sukupolvi Tieto- ja kameratekniikan kehittyminen johti 1980-luvulla toisen sukupolven videovalvontajärjestelmien (2GSS) syntymiseen. Yleisesti 2GSS-järjestelmät poikkeavat ensimmäisestä sukupolvesta siten, että ne eivät ole ainoastaan passiivisia CCTVtekniikkaan perustuvia etäkuvien lähteitä, vaan niihin liittyy automatisoituja toiminnallisuuksia ja älykkyyttä. Toisen sukupolven visuaalisissa valvontajärjestelmissä hyödynnetään kuvasignaalien digitaalista esittämistä ja käsittelyä. Edistysaskeleita on otettu tehokkaan tiedonsiirron ja -esittämisen saralla, ja eri tutkimuksissa on keskitytty muun muassa seuraaviin videovalvonnan osa-alueisiin (Regazzoni et al., 2001): Automaattinen ja reaaliaikainen kuvasignaalien analysointi. Erityisesti liikkuvien kohteiden erottaminen taustasta. Usean liikkuvan kohteen yhtäaikainen luokittelu ja jäljittäminen. Ihmisten liikkeiden ja käyttäytymisen automaattinen analysointi ja ymmärtäminen.

21 LUKU 2. VISUAALINEN VALVONTA 11 Informaation käsittely ja yhdistäminen monen kameran muodostamissa valvontajärjestelmissä. Kehittyneet järjestelmän ja käyttäjän väliset käyttöliittymät. Älykkäissä järjestelmissä käytettyjen algoritmien tehokkuuden mittaaminen ja analysointi. Tiedonsiirtoon liittyvät kysymykset digitaalisissa laajakaista- ja langattomissa verkoissa. Regazzonin et al. mukaan 2GSS-järjestelmien edut vähemmän kehittyneisiin tekniikoihin nähden korostuvat erityisesti silloin, kun järjestelmän käyttäjä valvoo suurta aluetta, ja tarkkailuun käytetään useita kameroita ja monitoreita. Silloin käyttäjän kognitiivinen kuorma kasvaa suureksi ja osa tärkeistä tapahtumista voi jäädä huomaamatta. 2GSS-järjestelmien avulla videokameroiden tuottamia kuvasignaaleita voidaan analysoida automaattisesti. Tärkeisiin tapahtumiin voidaan liittää hälytyksiä, ja kohteita voidaan korostaa. Toisin sanoen 2GSS-järjestelmän avulla CCTVlaitteiston keräämää dataa voidaan suodattaa siten, että valvojan saaman informaation määrä kasvaa. Kolmas sukupolvi Regazzoni et al. jatkoivat selvityksessään (2001) visuaalisten valvontakameroiden luokittelua eri sukupolviin. Kolmannen sukupolven videovalvontajärjestelmät (3GSS, 3rd Generation Surveillance System) ovat täysin digitaalisia järjestelmiä, joissa hyödynnetään älykkäiden kameroiden ja käyttöliittymien lisäksi erityyppisiä digitaalisia tiedonsiirtoverkkoja. 3GSS-järjestelmien looginen perusarkkitehtuuri jaetaan Regazzonin et al. mukaan neljään eri kerrokseen, jotka ovat sensorikerros, paikallinen signaalien prosessointikerros, tiedonsiirron kerros sekä sovelluskerros (katso myös kappale 6.1): Sensorikerroksen muodostavat videokamerat ja muut (visuaalisen) datan lähteet. Paikallinen prosessointikerros toimii signaalien esikäsittelijänä. Kerrokseen kuuluu paikallisia signaalien prosessointiyksiköitä, sekä tiedonsiirtoon liittyvät tiivistys- ja kanavakoodauslohkot. Joskus sekä sensori- että paikallinen prosessointikerros sulautuvat yhteen, jolloin puhutaan älykameroista. Paikallisen prosessointikerroksen ja älykameroiden avulla voidaan vähentää huomattavasti tarvittavaa tiedonsiirron kaistanleveyttä, sillä sensoreiden yhteyteen liitetyillä toiminnallisuuksilla kuvadatasta voidaan suodattaa pois redundanttia dataa. Siirtotie toimii tiedon välittäjänä eri kerrosten välillä. 3GSS-järjestelmien siirtotiet ovat täysin digitaalisia, ja mahdollisesti hyvinkin heterogeenisiä. Siirtotiehen liittyvät kanavakoodausmenetelmät riippuvat siirrettävän datan laadusta. Mikäli tarkoituksena on siirtää käsittelemätöntä kuvadataa, liittyy tähän videovirran tiivistämislohko. Toisaalta älykamerat voidaan ohjelmoida lähettämään

22 LUKU 2. VISUAALINEN VALVONTA 12 Kamera+paikallinen prosessointiyksikkö Älykamera Tietoverkko Keskitin Kamera Keskuslaite Kamera Keskuslaite Kuva 2.3: Kolmannen sukupolven videovalvontalaitteiston looginen arkkitehtuuri. Arkkitehtuurille on ominaista hajautettu rakenne, sekä erilaisten komponenttien hyödyntäminen älykkäiden toimintojen toteuttamiseksi. Kuva: Regazzoni & Varshney (2003) suodatettua dataa, jolloin videosignaalin sijaan lähetetään esimerkiksi kohteiden paikka- ja laatutietoja. Käytännössä siirtotiet voivat olla joko kiinteitä tai langattomia verkkoja. Käyttölittymätasolla järjestelmän tuottama informaatio esitetään käyttäjälle. Pyrkimyksenä on helpottaa valvontakohteissa tapahtuvien asioiden havaitsemista ja ymmärtämistä, ja usein puhutaankin tilannetajun parantamisesta. 3GSSjärjestelmillä voi olla useita eri käyttäjiä, joille tarjotaan samaa dataa eri muodossa, ja eri tavoin suodatettuna. Käyttöliittymätaso on myös kustomoitavissa eri käyttäjille ja käyttäjäryhmille erikseen. Vuonna 2002 Regazzoni ja Varshney esittelivät asian hieman eri tavoin, ja jakoivat 3GSS-järjestelmän arkkitehtuurin kahteen osaan (Regazzoni & Varshney, 2003). Siinä fyysinen arkkitehtuuri kuvaa 3GSS-järjestelmän laitteistotason rakenteen. Arkkitehtuuri voidaan esittää verkkona, jossa solmut edustavat sensoreita, keskittimiä ja keskuslaitteita. Keskittimet yhdistävät eri sensoreilta tulevaa dataa hyvinkin sovelluskohtaisesti. Solmuja yhdistävät välit edustavat puolestaan laitteiden välisiä siirtoteitä. Loogisessa arkkitehtuurissa järjestelmän tehtävä jaetaan sopiviin osaongelmiin, jolloin jokaista osaongelmaa vastaa jokin algoritmi, tai ohjelmallinen rutiini. Erilliset rutiinit voidaan esittää nyt verkon solmuina kuten fyysisen arkkitehtuurinkin tapauksessa. Tässä mallissa verkon välit kuvaavat eri rutiinien välillä siirrettävää digitaalista dataa. Välejä voidaan painottaa QoS:n (Quality of Service) mielessä signaali-kohinasuhteen ja kaistanleveyden avulla (katso kuva 2.3). Regazzonin ja Varshneyn mukaan 3GSS-järjestelmän tulee vastata seuraaviin vaatimuksiin: Järjestelmällä ja sen keräämällä datalla on useita erilaisia käyttäjiä, joita var-

23 LUKU 2. VISUAALINEN VALVONTA 13 ten tulee tarjota useita räätälöityjä rajapintoja. Valvontajärjestelmän eri osien tulee olla modifioitavissa erilaisia tilanteita ja käyttötapauksia varten. Järjestelmän toiminnan tulee olla reaaliaikaista. Järjestelmässä tulee lisäksi olla yksikkö datan tallentamista ja jälleenkäsittelyä varten. Eri ominaisuuksien tulee olla kuvailtavissa mitattavuuden, luotettavuuden, adaptoitavuuden ja tehokkuuden avulla. Mitattavuus tarkoittaa sitä, että järjestelmän eri ominaisuuksista tulee voida kerätä vertailukelpoisia mittaustuloksia. Luotettavuus merkitsee sitä, että laitteisto täyttää tehtävänsä mahdollisimman hyvin, vaikka ulkoiset tekijät kuten sää tai tietoliikennehäiriöt haittaisivat prosessointia ja tiedonsiirtoa. Adaptoituva järjestelmä osaa puolestaan automaattisesti säätää parametrejaan siten, että toiminta säilyy luotettavana. Tehokkuus määrittelee järjestelmän suorituskyvyn suhteessa käytettävissä olevaan prosessointitehoon ja tiedonsiirtokapasiteettiin. Eri videovalvonnan sukupolvien lisäksi usein puhutaan myös AVS (Advanced Videobased Surveillance) -järjestelmistä. AVS on yleisnimitys kaikille lähinnä 2GSS ja 3GSS -tekniikoita yhdisteleville järjestelmille. 2.4 Tutkimus ja kaupalliset sovellukset Dick & Brooks erittelivät katsauksessaan (2002) visuaalisen valvonnan ongelmia ja tutkimusprojekteja. Heidän mukaansa visuaalisen valvonnan perustavimmat ongelmat liittyvät alhaisen tason kuvankäsittelyyn, ja erityisesti kolmeen konenäön ongelmaan, jotka ovat liikkeen automaattinen havaitseminen, kohteiden tunnistaminen ja jäljittäminen, sekä niiden automaattinen luokittelu. Edelliset tekijät muodostavat perusteet ylemmän tason kuva-analyysille, kuten ihmisten käyttäytymisen automaattiselle tulkitsemiselle. Regazzoni & Varshney pitävät omassa selvityksessään (2003) Dickin & Brooksin esittämiä probleemoita ratkaistuina. Heidän mielestään tutkimusyhteisö on löytänyt ratkaisun AVS-järjestelmien alhaisen tason signaalinkäsittelyyn sekä tiedonsiirtoon ja -koodaamiseen liittyen. Avoimet kysymykset sen sijaan kumpuavat automatisoitujen järjestelmien hyödyntämisestä käytännön järjestelmissä. Heidän mukaansa uudet AVS-järjestelmien kehitystyöhön liittyvät tutkimuskysymykset kulminoituvat seuraaviin aiheisiin: Kameraverkostojen tuottamaa monisensorista dataa ei osata vielä hyödyntää hyvin, vaan valvontakamerajärjestelmien älykkyys perustuu yhdestä signaalilähteestä saatavan datan käsittelyyn ja analysointiin.

24 LUKU 2. VISUAALINEN VALVONTA 14 Tutkimuksissa keskitytään yleisimmin tutkimaan näkyvän valon aallonpituudella toimivien kameroiden tuottamaa dataa, ja muutamista yrityksistä huolimatta erityyppisten sensoreiden yhteiskäyttöä on tutkittu vähän. Järjestelmien mahdollisuuksia kerätä ihmisistä erilaisia biotunnisteita tulisi tutkia. Tiedonsiirtoon liittyviä menetelmiä tulisi eri tilanteisiin adaptoituvien järjestelmien näkökulmasta. CCTV-järjestelmiä käytetään nykyisin hyvin paljon. Turvallisuus- ja valvontajärjestelmien maailmanlaajuisten markkinoiden odotetaan kasvavan miljardiin dollariin vuoteen 2006 mennessä. Tyypillisiä kaupallisia käyttökohteita ovat suuremmat julkiset tilat ja alueet (katso myös kappale 2.1). Markkinoilla myynnissä olevat laitteistot edustavat kuitenkin vielä ensimmäisen ja toisen sukupolven järjestelmiä. Kehittyneempien järjestelmien tuotteistamista hidastaa esimerkiksi loppukäyttäjien ja tuotekehitysryhmien näkemyserot. Loppukäyttäjien voi olla vaikea ymmärtää automaattiseen signaalinkäsittelyyn liittyvää problematiikkaa, ja näin ollen järjestelmiin kohdistuvat odotukset voivat olla hyvin utopistisia. Tämän vuoksi järjestelmien suunnittelijoiden ja loppukäyttäjien tulisi löytää yhteisiä ja realistisia käyttötarpeita ja -tapauksia, joihin uusia tekniikoita sovellettaisiin. Muuten järjestelmien käyttöönottoa hidastavat tällä hetkellä muun muassa seuraavat seikat (Regazzoni et al., 2001): Järjestelmät ovat kalliita suhteessa saavutettavaan tehokkuuteen ja hyötyyn. Järjestelmät eivät ole riittävän varmatoimisia ja luotettavia erilaisten ulkoisten tekijöiden, kuten sään vaihtuessa. Standardoinnin puute koskien järjestelmien testausta, validointia ja mittausta. Toiminnan yleinen epävarmuus, sekä väärien hälytysten suuri määrä etenkin ennalta arvaamattomissa tilanteissa. Erilaisilla käyttö- ja sovelluskohteilla on erilaiset vaatimukset ominaisuuksiin ja suorituskykyyn liittyen. Taulukossa 2.1 on eritelty erilaisia visuaalisten valvontajärjestelmien käyttökohteita sekä niitä vastaavia vaatimuksia.

25 LUKU 2. VISUAALINEN VALVONTA 15 Taulukko 2.1: Visuaalisten valvontajärjestelmien käyttökohteita ja vaatimuksia (Regazzoni et al., 2001). Sovelluskohde Tavoitteet Järjestelmän vaatimukset Aluevalvonta Turvallisuus, vartiointi Ihmisten ja ajoneuvojen tunnistaminen sekä seuraaminen, tilanneanalyysi Tilavalvonta, parkkipaikkojen Turvallisuus, vartioin- Ihmisten ja ajoneuvokennusautomaatikilpien valvonta ti, kulunseuranta, rajen tunnistus, rekisteri- tunnistus, kasvojen tunnistus Metrotunnelit, moottoritiet, liikennetekniikan sovellukset Tilavalvonta, pankit, ostoskeskukset jne. Turvallisuus, vartiointi, liikennevirran seuranta ja hallinta, palvelun laatu Ihmisten tunnistaminen ja jäljittäminen, erilaisten ajoneuvojen tunnistaminen, tapahtumien luokittelu Turvallisuus ja vartiointi Ihmisten tunnistaminen ja jäljittäminen, tilanneanalyysi Suorituskyvyn vaatimukset Kustannustehokkuus, vähän vääriä hälytyksiä Hyvä luotettavuus kulunvalvonnassa, toimii eri valaistusolosuhteissa Huipputuotteita vähän markkinoilla, erittäin alhainen väärien hälytysten määrä, toiminta kaikissa sää- ja valaistusolosuhteissa Edullinen hinta, alhainen väärien hälytysten määrä

26 Luku 3 Todellisuudesta lisättyyn todellisuuteen My rap guns be blazing, trails, I m hard as nails Society s the cage, got me locked down in hell My mental the track from the shadows of rap Casualties cuz my reality is strapped Method Man, Judgement Day Tässä luvussa esitellään lisätty todellisuus ja sen sukulaiset. Aluksi määritellään tärkeimmät käsitteet, sekä niiden väliset suhteet. Sitten tarkastellaan alan tekniikkaa, ja lopuksi luodaan katsaus lisättyä todellisuutta käsittelevään tutkimukseen nykypäivänä. Samalla esitellään muutamia projekteja ja sovelluksia, jotka liittyvät sekä lisättyyn todellisuuteen että videovalvontaan. Tässä lisättyä todellisuutta käsitellään erityisesti erilaisten näyttöjen näkökulmasta. 3.1 Sutherlandista nykypäivään Sutherland esitti vuonna 1965 vision täydellisestä näytöstä, joka ympäröi käyttäjänsä kokonaan (Sutherland, 1965). Sutherlandin kuvailemalla näyttölaitteella voidaan tulostaa virtuaalisia objekteja, joiden erottaminen todellisista on mahdotonta. Kolme vuotta myöhemmin hän rakensi Harvardin yliopistossa ensimmäisen tietokonegrafiikan esittämiseen soveltuvan silmikkonäytön (HMD, Head Mounted Display). Samassa yhteydessä hän teki määritelmästä riippuen erään ensimmäisistä lisätyn todellisuuden sovelluksista yhdistäessään silmikkonäyttönsä näyttämään reaalimaailman kuvaan synteettisiä objekteja (Kalawsky, 1993). Kalawsky kertaa keinotodellisuuden historiaa (Kalawsky, 1993). Hänen mukaansa sotilas- ja lentotekniikassa jo pitkään käytössä olleiden tuulilasinäyttöjen (HUD, 16

27 LUKU 3. TODELLISUUDESTA LISÄTTYYN TODELLISUUTEEN 17 Head-Up Display) kehittyminen on ollut osaltaan luomassa perustaa keinotodellisuustekniikoiden syntymiselle. Tuulilasinäyttöjen avulla lentokoneen mittaristotietoja ja muuta informaatiota heijastetaan käyttäjän näkökenttään. Lisätyn todellisuuden sovelluksissa pyritään samaan, eli liittämään käyttäjän näkymään uutta informaatiota. Kuva 3.1: Feinerin KARMA oli ensimmäisiä lisätyn todellisuuden tutkimusprojekteja. Siinä käyttäjän näkymään lisättiin ohjeita tulostimen huoltotyön helpottamiseksi. Kuva: Feiner et al., Lisätystä todellisuudesta alettiin puhua sitä vastaavalla termillä vasta 1990-luvun alussa, jolloin Feiner työryhmineen esitteli KARMA-projektinsa (Feiner et al., 1993). Siinä silmikkonäytön näkymään liitettiin tietokoneella generoituja ohjeita ja kuvia tulostimen huoltotyön helpottamiseksi (kuva 3.1). Vuotta aiemmin Bajura et al. esitteli hyvinkin modernin menetelmän lisätyn todellisuuden järjestelmästä, jossa raskaana olevan naisen kohdusta saatuja ultraäänikuvia yhdistettiin silmikkonäytön näkymään (Bajura et al., 1992). He eivät käyttäneet termiä lisätty todellisuus, mutta puhuivat sen sijaan näön kohentamisesta (enhancement of vision). 3.2 Todellisuuksien kirjo Lisätyllä todellisuudella (AR, Augmented Reality) tarkoitetaan useimmin sellaista tekniikkaa, jolla käyttäjää ympäröivästä reaalimaailmasta saataviin suoriin tai epäsuoriin havaintoihin liitetään keinotekoisia elementtejä. Epäsuorassa havainnoinnissa näkymä kuvannetaan ensin jonkin sensorin avulla, ja tulostetaan sitten käyttäjän katseltavaksi. Suorat havainnot ovat puolestaan sellaisia, jotka tehdään jonkin optisen suotimen, kuten esimerkiksi läpinäkyvän näytön, läpi. Tavallisen CCTVjärjestelmän käyttäjä havainnoi maailmaa videokameroiden ja monitorien välityksellä, epäsuorasti. HUD:tä käyttävä lentäjä taas näkee todellisen ympäristön lasinsa

28 LUKU 3. TODELLISUUDESTA LISÄTTYYN TODELLISUUTEEN 18 läpi suoraan. On huomattava, että lisätyn todellisuuden menetelmien ei tarvitse liittyä ainoastaan näköön, vaan yhtä lailla voidaan, ehostaa myös kuulo-, haju- tai tuntoaistia (Azuma, 1997). Hicks et al. (2003) määrittelevät lisätyn todellisuuden tällä tavoin väljemmin: Lisätty todellisuus parantaa todellisesta maailmasta saatavia havaintoja lisäämällä aisteihin tietokoneella tuotettuja visuaalisia kohteita, ääniä, hajuja tai taktisia aistimuksia. Feiner et al. (1993) vertailivat lisättyä todellisuutta ja keinotodellisuutta keskenään. Heidän mukaansa keinotodellisuudessa käyttäjän ja reaalimaailman välillä ei ole mitään yhteyttä, kun taas lisätyssä todellisuudessa todellinen ja keinotekoinen liittyvät kiinteästi toisiinsa. He määrittelivätkin lisätyn todellisuuden sekä tiedon että tekemisen näkökulmasta: Monissa tapauksissa on tarkoituksenmukaista, että vuorovaikutus todellisen, ympäröivän maailman kanssa säilyy. Lisätty todellisuus ennemminkin rikastuttaa reaalimaailmaa, kuin keinotekoisesti korvaa sitä kokonaan. Tämä lähestymistapa tarjoaa todellisuuden rinnalle informaatiota tärkeistä asioista, tai ohjeita erilaisten tehtävien suorittamiseksi. Azuma et al. (2001) sivusivat informaatioon ja tekemiseen liittyvää määritelmää ja totesivat seuraavaa: Virtuaaliset objektit näyttävät käyttäjälle informaatiota, jota käyttäjä ei voi omilla aisteillaan suoranaisesti havaita. Lisätty informaation tukee käyttäjän toimintaa reaalimaailmaan liittyvissä toiminnoissa. Jotkut tutkijat rajaavat lisätyn todellisuuden usein teknologialähtöisesti koskemaan tiettyjä laitteistoarkkitehtuureita. Lisätyn todellisuuden sovelluksilla tarkoitetaan monesti juuri erityyppisiä silmikkonäyttöjä hyödyntäviä järjestelmiä. Azuma et al. (2001) määrittelivät (visuaalisen) lisätyn todellisuuden kuitenkin teknologiariippumattomasti, ja edellyttivät, että lisätyn todellisuuden sovelluksen tulee täyttää seuraavat vaatimukset: 1. Järjestelmässä yhdistetään toisiinsa todellisia ja keinotekoisia objekteja todellisessa ympäristössä. 2. Toiminta on vuorovaikutteista ja reaaliaikaista. 3. Yhdistettävät kohteet sovitetaan ja kohdistetaan spatiaalisesti toisiinsa. Keinotodellisuus (VR, Virtual Reality; VE, Virtual Environments) on lisättyyn todellisuuteen läheisesti liittyvä käsite. Milgramin et al. (1994) mukaan keinotodellisuudella tarkoitetaan täysin keinotekoista ympäristöä, johon käyttäjä on totaalisen uppoutunut, ja jossa jäljitellään tai ollaan jäljittelemättä reaalimaailman ominaisuuksia. Kalawsky (1993) lisäsi edelliseen vielä interaktion merkityksen. Hänen

29 LUKU 3. TODELLISUUDESTA LISÄTTYYN TODELLISUUTEEN 19 mukaansa keinotodellisuudessa käyttäjän tulee olla vuorovaikutuksessa ympäristönsä kanssa ja vaikuttaa toiminnallaan järjestelmän tilaan. Keinotodellisuuden lisäksi usein puhutaan myös virtuaaliympäristöistä (VE). Milgram et al. määrittelivät (1995) lisätyn todellisuuden olevan osa sekoitettua todellisuutta (MR, Mixed Reality), jolla tarkoitetaan reaalimaailman ja keinotodellisuuden eriasteisia yhdistelmiä. Terminologia voidaan määritellä täsmällisemmin Milgramin virtuaalisuusjatkumon (VC, Virtuality Continuum; RV, Reality-Virtuality Continuum) avulla. Virtuaalisuusjatkumo on jana, jonka toisessa päässä on reaalinen maailma, ja toisessa virtuaalitodellisuus (katso kuva 3.2). Sekoitetun todellisuuden erilaiset konseptit voidaan sijoittaa janalle sen mukaan, mikä on niiden reaalisten ja keinotekoisten elementtien suhde. Lisätty todellisuus kaikkine sovelluksineen asettuu janan vasemmalle laidalle. Oikealla on puolestaan lisätty virtuaalisuus (AV, Augmented Virtuality). Lisätyn virtuaalisuuden perustana on virtuaaliympäristö, johon liitetään elementtejä reaalimaailmasta. Todellinen maailma Lisätty todellisuus Sekoitettu todellisuus Lisätty virtuaalisuus Virtuaalinen maailma Kuva 3.2: Milgramin virtuaalisuusjatkumo. Jatkumon vasen pää kuvaa todellista maailmaa ja oikea keinotodellisuutta. Päiden väliin jää sekoitetun todellisuuden alue, jonka konsepteissa käyttäjä tekee havaintoja yhtä aikaa sekä todellisista että virtuaalisista kohteista. Lisätyn todellisuuden sovelluksissa todelliseen näkymään sovitetaan keinotekoisia objekteja. Vastaavasti lisätyn virtuaalisuuden sovelluksissa lisätään virtuaaliympäristöön elementtejä todellisuudesta. Kuva: Milgram et al. (1995). Erilaisten todellisuuksien joukkoon voidaan lukea myös niin sanottu sovitettu todellisuus (MR, Mediated Reality) sekä vähennetty todellisuus (Diminished Reality). Vähennetylle todellisuudelle ominaista on kohteiden korvaaminen tai poistaminen reaalisesta maailmasta kokonaan. Toisin sanoen aistihavaintoja muunnetaan ja rajoitetaan niiden ehostamisen sijaan. Sovitetun todellisuuden voidaan taas sanoa olevan lisätyn todellisuuden ja vähennetyn todellisuuden yleiskäsite (Mann, 1994). Joskus puhutaan myös lisätystä kuvannuksesta (Augmented Imagery, AI), jolla tarkoitetaan video- tai still-kuvien muokkaamista ja ehostamista lisäämällä niihin tietokoneella generoituja elementtejä (Owen et al., 2003). Owen et al. liittivät AI:n nimenomaan elokuviin ja televisio-ohjelmiin, mutta pitivät artikkelissaan AI:ta AR:n alakategoriana, ja rinnastivat sen WoW (Window-on-the-World) -tyyppiseen lisättyyn todellisuuteen.

30 LUKU 3. TODELLISUUDESTA LISÄTTYYN TODELLISUUTEEN 20 Grafiikan generointi Tulostuslaite Paikannin Ehostettu näkymä Todellisen maailman näkymä Puoliläpäisevä peili Kuva 3.3: OST-tekniikalla toteutetun AR-järjestelmän toimintaperiaate. Laitteistossa maailmaa havainnoidaan puoliläpäisevän peilin läpi, johon heijastetaan keinotekoiset objektit. Paikannuslaitteen avulla näyttölaitteen sijainti ja orientaatio saadaan selville, jolloin todellisuuden ja virtuaalisuuden yhteensovittaminen käy saumattomasti. Kuva: Azuma (1997). 3.3 Erilaisia lisättyjä todellisuuksia Lisätyn todellisuuden määritelmät eivät ole aivan yksikäsitteisiä, ja erilaisia määritelmiä lienee yhtä paljon kuin AR-tekniikan sovelluksia. Ongelmaa voidaan purkaa lähestymällä sitä tekniikan näkökulmasta. Milgram et al. luokittelivat (1995) erilaisia AR-järjestelmiä näyttötekniikoiden perusteella, ja löysivät niistä kaksi pääryhmää. Ensimmäisessä ryhmässä sovelletaan HMD:tä ja toisessa tavallisia monitoreita. Ensimmäisen ryhmän osalta he erottivat vielä sellaisten järjestelmien joukon, jossa ympäristöä havainnoidaan suoraan, ja tiedon lisääminen näkökenttään tapahtuu optisesti puoliläpäisevien peilien avulla (Optical See-Trough, OST). OST-tyyppistä tekniikkaa on käytetty jo kauan esimerkiksi lentotekniikassa, jonka sovelluksissa lentäjän kannalta tärkeää informaatiota heijastetaan ohjaamon tuulilasiin (Kalawsky, 1993; Azuma, 1997). Puoliläpäisevää näyttötekniikkaa käytetään hyvin usein myös erilaisissa silmikkonäytöissä (OST HMD). Kuvassa 3.3 on esitetty OST-tekniikkaan perustuvan AR-järjestelmän toimintaperiaate. Milgram luki edelliseen ryhmään myös videokameroiden ja -näyttojen muodostamat HMD:t, joita hän kutsui nimellä Video See-Trough HMD (VST HMD). Näissä laitteissa ympäristön havainnointi on epäsuoraa, sillä käyttäjän näkemää ympäristöä kuvataan pienillä, HMD:n kiinnitetyillä videokameroilla. Ympäristön ehostettu kuva näytetään käyttäjän silmille sovitettujen monitoreiden avulla. On huomattava, että VST-tekniikkaa hyödynnetään HMD-laitteiden lisäksi myös monissa muissakin järjestelmissä. Kuvassa 3.4 on esitetty VST-tekniikkaan perustuvan AR-järjestelmän rakenne.

31 LUKU 3. TODELLISUUDESTA LISÄTTYYN TODELLISUUTEEN 21 Grafiikan generointi Ehostettu näkymä Kompositointi Paikannin Todellisen maailman näkymä Videokamera(t) Kuva 3.4: VST-tekniikalla toteutetun AR-järjestelmän toimintaperiaate. Maailmaa kuvataan videokameroiden välityksellä, joihin liitetään tiedot niiden sijainnista, orientaatiosta ja muista parametreista. Kuvannettu videosignaali ja keinotekoiset kohteet kompositoidaan ja tuloskuva esitetään käyttäjälle. Tekniikkaa voidaan käytännössä soveltaa esimerkiksi HMD-, WoW- ja PDA-tyyppisissä AR-sovelluksissa. Kuva: Azuma (1997). Sekä OST HMD:t että VST HMD:t ovat hyvin immersiivisiä tapoja toteuttaa ARjärjestelmä. Milgramin et al. (1995) toisessa AR-tekniikoiden pääryhmässä maailman havainnointi tapahtuu monitorin välityksellä. Tätä menetelmää he kutsuivat nimellä maailman ikkuna (WoW, Window-on-the-World). Kahteen edelliseen pääryhmään voidaan sijoittaa sittemmin kehitellyt mobiilit ARtekniikat, joissa sekä näyttö- että tulostuslaitteena toimii kämmentietokone (PDA, Personal Digital Assistant) tai kamerakännykkä. AR-PDA järjestelmiä ovat kehittäneet muun muassa Pasaman & Woodward (2003) sekä Rekimoto et al. (2001). Pasaman & Woodward visualisoivat AR-PDA laitteistollaan esimerkiksi suunnitteilla ollutta rakennusta sen rakennuspaikalla (kuva 3.5). Kamerakännykkäsovellutuksia on kehittänyt muun muassa Siemens, jonka AR-tekniikkaan perustuvassa pelissä nimeltä Virtual Mosquito Hunt jahdataan kännykän näytöllä pyöriviä virtuaalisia hyttysiä (Siemens). Edellisen kaltaiset laitteet ovat sikäli immersiivisiä, että käyttäjä sijaitsee fyysisesti maailmassa, jota havainnoi. Toisaalta, lisättyjen objektien havaitseminen edellyttää ympäristön tutkimista WoW-periaatteen mukaan. Maailman havainnointi tapahtuu yhtä lailla OST ja VST perusteisesti. Azuma arvioi (1997) OST- ja VST-tekniikoihin perustuvia AR-järjestelmiä, ja vertaili niitä keskenään. Hänen mukaansa OST-tekniikoilla saavutetaan parempi virkistystaajuus, sillä ympäröivää maailmaa ei tarvitse kuvantaa ja tulostaa erikseen. Näytölle tulostetaan ainoastaan lisätty grafiikka, jolloin laskentatehoa tarvitaan vähemmän. VST-järjestelmissä ympäröivän maailman resoluutio rajoittuu puolestaan näyttölaitteen resoluutioon. Tätä ongelmaa ei OST-tekniikassa luonnollisesti ole. VST-tekniikoilla toteutetuissa AR-järjestelmissä saavutetaan pienempi suhteellinen viive näkymän, ja keinotekoisten elementtien välillä. Vaikka kuvan virkistystaajuus on VST-menetelmissä alhaisempi, on joidenkin sovellusten kannalta parempi, että

32 LUKU 3. TODELLISUUDESTA LISÄTTYYN TODELLISUUTEEN 22 Kuva 3.5: AR-PDA -laitteisto käytössä. PDA-laitteen kuvaamaan näkymään sovitetaan virtuaalinen rakennus. Kuva: Pasaman & Woodward (2003). eri elementtien välinen sovittaminen onnistuu viiveettä. VST-tekniikassa voidaan myös hyödyntää kuva-analyysiä laitteiston paikan ja orientaation selvittämiseen, jolloin erillisiä paikannuslaitteita ei tarvita. OST-järjestelmien tulee turvautua paikannuksessa esimerkiksi magneettikenttiin tai inertiaperiaatteella toimiviin paikannusmenetelmiin (paikantimista lisää esimerkiksi Sherman & Craig, 2002). Sekä VST- että OST-tekniikoille on olemassa niille soveliaat käyttökohteet, eikä voikaan sanoa toisen menetelmän olevan toista parempi. Virtakatkoksen sattuessa VST-tekniikkaa soveltava HMD-näyttö pimentää käyttäjänsä näkymän kokonaan, kun OST HMD:stä näkee silti läpi. Tämä voi joissain sovelluksissa olla vakava turvallisuuskysymys. Tässä työssä taas keinotekoisten elementtien lisääminen perustuu videokameroiden tuottaman datan analysointiin, jolloin OST-menetelmää ei juuri voida ajatella sovellettavan. 3.4 Milgramin virtuaalijatkumon komponentit Milgram (1995) luokitteli erilaiset MR-järjestelmät seitsemään luokkaan, jotka on esitetty taulukossa 3.1. Taulukon ensimmäinen sarake kertoo, millaisesta MR-arkkitehtuurista on kyse. AV+ -tyyppisillä järjestelmillä tarkoitetaan tässä käyttäjän kokonaan ympäröiviä AV-laitteistoja, jotka voidaan toteuttaa esimerkiksi CAVE (CAVE) -tyyppisesti. Toisessa sarakkeessa on tieto järjestelmän vallitsevasta ympäristöstä; lisätäänkö todelliseen maailmaan keinotekoisia objekteja, vai lisätäänkö keinotekoiseen maailmaan osia todellisuudesta. Kolmas sarake kertoo, havainnoidaanko

33 LUKU 3. TODELLISUUDESTA LISÄTTYYN TODELLISUUTEEN 23 Taulukko 3.1: Milgramin MR-laitteistot. MR-laiteluokka Ympäristö Havainnointi Käyttäjän asema Konformi kuvaus 1. AR monitori Todellinen Epäsuora Eksosentrinen Ei 2. AR HMD Todellinen Epäsuora Egosentrinen Ei 3. AR OST HMD Todellinen Suora Egosentrinen Kyllä 4. AR VST HMD Todellinen Epäsuora Egosentrinen Kyllä 5. AV MON Keinotekoinen Epäsuora Eksosentrinen Ei 6. AV HMD Keinotekoinen Epäsuora Egosentrinen Ei 7. AV+ Keinotekoinen Suora/epäsuora Egosentrinen Kyllä ympäristöä suoraan vai epäsuoraan. Neljäs sarake puolestaan kuvaa käyttäjän asemaa järjestelmään nähden. Havainnoitava maailma ympäröi egosentristä havainnoijaa, kun eksosentrinen havainnoija tarkkailee maailmaa ulkopuolisen näkökulmasta. Viimeinen sarake ilmoittaa, tuleeko lisättävät kohteet sovittaa käyttäjän näkymään mittasuhteiltaan oikealla tavalla. Milgramin luokittelussa jakoperusteena käytettiin todellisen ja keinotekoisen maailman välistä suhdetta. Yksidimensioinen taksonomia on kuitenkin varsin yksinkertainen, eikä kuvaa kovin hyvin erilaisten MR-järjestelmien välisiä suhteita. Taulukon 3.1 mukaisista järjestelmistä voidaan todeta muun muassa seuraavaa (Milgram & Kishino, 1994): Järjestelmä perustuu joko todellisen- tai virtuaaliympäristön varaan. Järjestelmän immersiivisyys voi vaihdella. Järjestelmässä havainnointi voi tapahtua joko suoraan tai epäsuoraan. Milgram laati lopullisen MR-näyttölaitteiden taksonomiansa edellisten tekijöiden valossa. Hän jakoi virtuaalisuusjatkumonsa kolmeen eri dimensioon, jotka ovat mallinnuksen aste, reproduktion todenmukaisuus sekä läsnäolon mitta. Mallinnuksen aste Mallinnuksen asteella (EWK, Extent of World Knowledge) tarkoitetaan sitä a-priori tiedon määrää, joka liittyy havainnoitavana olevaan maailmaan, ja erityisesti siihen liittyviin keinotekoisiin objekteihin. Kuvassa 3.6 on esitetty EWK-ulottuvuuden eri asteet siten, että janan vasemmassa laidassa on täysin mallintamaton maailma ja oikealla kokonaan mallinnettu maailma. Mallintamattoman maailman havainnointi voi olla joko suoraa tai epäsuoraa, mutta siitä saataville visuaalisille signaaleille ei ole vastinetta järjestelmän tiedoissa. Esimerkiksi perinteinen 1GSS järjestelmä CCTV-laitteistoineen edustaa hyvin alhaista EWK:n astetta; kuvainformaatiosta ei tiedetä etukäteen juuri mitään. Kokonaan mallinnettu maailma vastaa perinteistä VR-järjestelmää. Siinä laitteistoon sisältyy kaikki tieto havainnoitavasta maailmasta ja sen objekteista, sekä käyttäjän ja ympäristön välisestä vuorovaikutuksesta.

34 LUKU 3. TODELLISUUDESTA LISÄTTYYN TODELLISUUTEEN 24 Mallintamaton maailma Mitä / missä Osin mallinnettu maailma Mitä + missä Mallinnettu maailma Kuva 3.6: Mallinnuksen aste MR-laitteistoissa. Mallinnuksen aste eli EWK kuvaa sitä a-priori tiedon määrää, joka liittyy MR-järjestelmässä havainnoitavana olevaan maailmaan. Kuva: Milgram & Kishino, Kuvan 3.6 mukaisen jatkumon päiden väliin jää osin mallinnettu maailma. Osin mallinnetusta maailmasta tiedetään etukäteen esimerkiksi jonkin kohteen sijainti tai laatutiedot, mutta ei molempia yhtä aikaa. Korkeamman EWK:n järjestelmässä sekä laatu että paikkatiedot tunnetaan ennalta. Reproduktion todenmukaisuus Reproduktion todenmukaisuudella (RF, Reproduction Fidelity) mitataan sitä visuaalista laatua, jolla järjestelmä pystyy toistamaan reaaliset ja virtuaaliset objektit. RF-mitta ei ole kovin yksiselitteinen, sillä grafiikan generointiin ja videosignaalien toistamiseen liittyy lukuisia eri tekijöitä. MV-video Värivideo Stereovideo HDV 3D HDTV Rautalankamalli Pintamalli Varjomalli Teksturointi Läpinäkyvyys Ray-tracing Radiositeetti Reaaliaikainen 3D Kuva 3.7: Reproduktion todenmukaisuus MR-laitteistoissa. RF kuvaa sitä, kuinka hyvin MR-laitteistossa voidaan toisaalta toistaa kuvannettu videosignaali, ja toisaalta renderöidä keinotekoisia objekteja. Kuvassa HDV on lyhenne sanoista High-Definition Video. 3D HDTV (3D High Definition Television) on puolestaan paras mahdollinen äärimmillään suoraa katselua vastaava televisiotekniikka. Oikeassa ääripäässä kuvattu signaali ja keinotekoinen näkymä konvergoivat. Kuva: Milgram & Kishino, Kuvassa 3.7 on näytetty, minkälaiseen järjestykseen erilaiset videolaitteistot, ja toisaalta mallinnus- ja renderöintitekniikat voidaan RF:n mielessä asettaa. Janan yläpuolella kuvataan videoreproduktion laatua, ja alapuolella tietokonegrafiikkaa. Milgram määrittelikin RF:n erikseen sekä reaalisille että virtuaalisille kohteille. Janan oikeaa päätä lähestyttäessä ne kuitenkin konvergoivat. Läsnäolon mitta Läsnäolon mitta (EPM, Extent of Presence Metaphor) kuvailee käyttäjän kokeman immersion tasoa. Toisaalta sen avulla voidaan arvioida myös käyttäjän suhdetta ha-

35 LUKU 3. TODELLISUUDESTA LISÄTTYYN TODELLISUUTEEN 25 vainnoitavaan maailmaan. Alhainen EMP-arvo viittaa eksosentriseen havainnointiin ja täysin immersiivinen systeemi on yleensä egosentrinen. Kuvassa 3.8 on esitetty EPM-dimension tekijät. Akselin alle on merkitty erityyppiset konseptit näkymän havainnointiin liittyen. Vasempaan reunaan sijoittuu tavallista monitoria vastaavat tekniikat, jossa maailmaa tutkitaan WoW-periaatteen mukaan. Siitä kehittyneemmässä versiossa näkymä on monitorin näkymää laajempi. Tekniikkaa kutsutaan joskus nimellä Fish Tank Virtual Reality (FTVR), ja se voidaan toteuttaa esimerkiksi PTZ-kameran avulla. Panoraamanäkymässä näyttölaite ympäröi käyttäjän kokonaan ja järjestely voidaan toteuttaa CAVE-tyyppisen tekniikan avulla. Siinä käyttäjän liike on kuitenkin sidottu tiettyyn tilaan. HMDjärjestelmissä liikkuminen voi olla täysin vapaata, jolloin EPM-arvo kasvaa suureksi. WoW Suuret näytöt HMD:t Yksi kamera Monta kameraa Panoraamanäkymä Vapaa liikkuminen Reaaliaikakuvannus Kuva 3.8: Läsnäolon mitta MR-järjestelmissä. EPM kuvaa käyttäjän kokeman immersion määrää, joka kasvaa liikuttaessa akselilla vasemmalta oikealle. Reaaliaikakuvannus tarkoittaa tässä parasta mahdollista näyttöä (vertaa Sutherland, 1965). Kuva Milgram & Kishino, Sovellutukset ja tulevaisuus Perinteiset sovellukset Azuman et al. selvitykset (Azuma, 1997; Azuma et al., 2001) antavat hyvin kattavan kuvan lisätyn todellisuuden eri sovelluksista sekä kaupallisessa käytössä että tutkimustyössä. Niiden mukaan AR-tekniikkaa on sovellettu esimerkiksi seuraavasti: Lääketieteessä, jossa lisätyn todellisuuden avulla lääkärille visualisoidaan potilaaseen liitettäviä ultraäänikuvia leikkaus- tai opetustilanteissa. Teollisuuden korjaus-, kokoonpano- ja huoltotöissä, joissa huoltomiehelle visualisoidaan ohjeita suoritettaviin tehtäviin liittyen. Todellisten kohteiden nimeämisessä ja niihin liittyvän informaation lisäämisessä. Arkkitehtonisten mallien visualisoinnissa. Niissä suunnittelijat ja muut sidosryhmät voivat tarkastella tulevaa rakennusta eri kuvakulmista jo ennen sen rakentamista. Edelliseen liittyen on tutkittu myös talon kaapelointien, ja muiden sisäisten rakenteiden visualisointia.

36 LUKU 3. TODELLISUUDESTA LISÄTTYYN TODELLISUUTEEN 26 Robottien liikeratojen suunnittelussa. Kauko-ohjattujen robottien kontrollointiin liittyviä epävarmuustekijöitä ja virheitä voidaan vähentää, kun operaattori suunnittelee robotin radan ja toiminnot ensin virtuaalisella mallilla, ja vasta sitten ohjaa itse robottia. Viihteessä, jonka sovelluksissa on tutkittu muun muassa erilaisia AR-tekniikkaan perustuvia tietokonepelejä. Sotilaskoneissa, joissa lentäjille on visualisoitu erilaisia mittaristotietoja HUD:n avulla. Lisäksi AR-tekniikka on sovellettu hävittäjien tähtäinjärjestelmissä (HMS, Helmet-Mounted Sights). Uudempien AR-sovellusten alustana toimivat erilaiset mobiilit laitteistot. Niiden avulla voidaan parantaa käyttäjän käsitystä ympäristöstään, ja ne voivat toimia myös navigoinnin tukena. Edelliseen liittyen on tutkittu myös jaettua lisättyä todellisuutta, jossa sotilaiden tilannetietoisuutta on kohennettu jakamalla ympäristöstä saatuja tietoja ryhmien välillä (Hicks et al., 2003). Kaupallisesti menestyneitä AR-hankkeita ovat olleet etenkin erilaiset televisiolähetysten ehostamiseen liittyvät konseptit. Sportvision (Sportvision) on kehittänyt ARtekniikoita, joilla urheilulähetyksiä parannetaan lisäämällä niihin tietoja kilpailujen kulusta. Toimivia sovelluksia on esitelty autokilpailuihin ja amerikkalaiseen jalkapalloon liittyen. Dartfish Ltd. on niin ikään keskittynyt urheilulähetysten paranteluun (Dartfish). AR-tekniikkaa on hyödynnetty myös virtuaalisten mainosten liittämisessä televisiolähetyksiin (Azuma et al., 2001). Tulevaisuuden lisätyt todellisuudet Azuma et al. listasivat (1997) tekijöitä, jotka tulisi ottaa huomioon tulevaisuuden AR-järjestelmien kehitystyössä: Tulevaisuuden järjestelmistä saadaan varmatoimisempia, kun eri AR-tekniikoita sovelletaan yhdistämällä niiden vahvuuksia. Paikantamis- ja sovittamisongelmaan on olemassa monia eri ratkaisumalleja, jotka toimivat joissain olosuhteissa hyvin, ja joissain huonosti. Hybridimenetelmissä yhdistetään eri ratkaisujen parhaita puolia. AR-järjestelmiin liittyvä vuorovaikutteisuus todellisuuden kanssa asettaa korkeat vaatimukset niiden reaaliaikaisuudelle, ja se tulee ottaa huomioon tutkimusja tuotekehitystyössä. AR-järjestelmiin liittyy usein viiveitä, sovitusvirheitä ja muita epätarkkuuksia. Kehitystyössä olisi syytä tutkia havainnointiin liittyviä ongelmia, ja selvittää erilaisten epätarkkuuksien vaikutus käyttäjälle annetuista tehtävistä suoriutumiseen. Jotkut AR:n sovellusalueet edellyttävät, että tekniikka on mobiilia. Vaatimus aiheuttaa runsaasti teknisiä ongelmia esimerkiksi paikantamiseen liittyen. Ny-

37 LUKU 3. TODELLISUUDESTA LISÄTTYYN TODELLISUUTEEN 27 kyisillä paikannusmenetelmillä ei saavuteta haluttuja tarkkuuksia tehokkaiden järjestelmien tekemiseksi. Uudemmassa selvityksessään Azuma et al. (2001) jatkavat tärkeiden tutkimusaiheiden listaamista. Heidän mukaansa AR-järjestelmiin liittyvien laitteistojen tulisi olla yleisesti ottaen kevyempiä, tehokkaampia, tarkempia, halvempia ja vähemmän energiaa kuluttavia. He pitävät edelleen paikantamista ongelmana. Tämä korostuu erityisesti mobiileissa AR-sovelluksissa, jossa käyttäjä voi vapaasti liikkua tuntemattomassa ympäristössä. Nykyiset AR-järjestelmät vaativat toimiakseen vielä erilaisia kalibrointiproseduureja, jotka voivat olla loppukäyttäjän kannalta hankalia ja ongelmallisia. AR-käyttöliittymiin liittyvissä tutkimuksissa tulisi keskittyä myös selvittämään, kuinka järjestelmän tietoja kannattaa visualisoida käyttäjälle. Mitä ja milloin tulostetaan käyttäjän näkymään, ja miten käyttäjän tulisi olla vuorovaikutuksessa järjestelmän kanssa. Nykyisissä tutkimuksissa on keskitytty selvittämään muun muassa, kuinka järjestelmän epätarkkuudet vaikuttavat annetusta tehtävästä selviämiseen. Kuitenkin tietoa tarvitaan myös informaation esittämiseen ja louhintaan liittyen (Azuma et al., 2001). Mobiilit AR-PDA -järjestelmät yleistynevät lähivuosina. Niissä yhdistyvät sekä kuvantamis- että näyttölaitteet, ja ne ovat suhteellisen edullisia myös massamarkkinoita ajatellen. AR-PDA -järjestelmät toimivat VST-periaatteella, jolloin kameran sekä näytön sijainti ja orientaatio voidaan hakea kuva-analyysin avulla. Edellisestä johtuen AR-PDA -laitteiden todellisen näkymän ja virtuaalisten objektien sovittaminen voidaan tehdä lähes virheettä. Lisäksi edellisen kaltaiset laitteet kuluttavat vähän energiaa. Kamerakännyköissä on lisäksi valmiudet jaettuun lisättyyn todellisuuteen esimerkiksi GPRS:ää soveltaen. AR-PDA -konseptin rajoituksena on se, että sovittaminen tapahtuu kuva-analyysin perusteella, jolloin paikkatietoa ei saada absoluuttisesti selville. AR-PDA:n lisäksi televisio, ja etenkin DVB-järjestelmät (DVB, Digital Video Broadcasting) muodostavat uudenlaisen alustan AR-sovellutuksille. Demiris et al.(2001) ovat tutkineet Sportvisionin ja Dartfish Ltd:n tapaan urheilulähetysten ehostamista AR-menetelmillä. Heidän työssään esiteltiin arkkitehtuuri, jolla urheilulähetyksistä kuva-analyysin keinoin saatavaa informaatiota visualisoidaan katsojille. Erilaisia visualisoitavia asioita voivat olla esimerkiksi nopeus, liikeradat, tulostiedot sekä suorituksista lasketut 3D-rekonstruktiot. Tutkimuksessa otettiin huomioon käyttäjän mahdollisuudet vaikuttaa interaktiivisesti visualisointien sisältöön. Urheilulähetysten 3D-rekonstruktioiden tutkimiseen ovat keskittyneet myös Malerczyk et al. (2003). AR-tutkimuksissa on alettu kiinnittää yhä enemmän huomiota myös järjestelmien kognitiivisiin puoliin. Azuma & Furmanski (2003) tutkivat todellisen maailman kohteisiin liitettävien virtuaalisten 2D-nimiöintitekstien optimaalista sijoittelua käyttäjän näkymään. Nimiöintitekstit eivät saa peittää toisiaan, ja toisaalta niiden tulee olla mahdollisimman pikaisesti luettavissa. Tutkimuksessa vertailtiin eri lajittelual-

38 LUKU 3. TODELLISUUDESTA LISÄTTYYN TODELLISUUTEEN 28 goritmeja sekä laskennallisen suorituskyvyn että käyttäjien kokemusten näkökulmista. Toisessa AR-tekniikoiden kognitiivisiin seikkoihin keskittyneessä projektissa Furmanski et al. (2002) tutkivat piilossa olevien kohteiden visualisoimista AR-näytöllä. Siinä he ottivat lähtökohdikseen havaintopsykologian ja kognitiotieteen. 3.6 Sekoitettu todellisuus valvontakamerajärjestelmissä Nykyaikaiset visuaaliset valvontajärjestelmät muodostavat mielenkiintoisen sovelluskohteen MR-tekniikoille. AVS-laitteistojen avulla valvontakameroiden kuvasignaaleista haetaan automaattisesti esiin tietoja, joita voidaan visualisoida käyttäjälle. Sebe et al. (2003) ovat tutkineet ja kehittäneet AV-tekniikkaan perustuvaa videovalvontajärjestelmää. Heidän työnsä perustui valvottavasta alueesta tehtyyn virtuaaliseen 3D-malliin, johon lisätään todellisia, valvontakamerakuvista erotettuja kohteita. Työssä pyrittiin yhdistämään monesta valvontakamerasta saatava videodata siten, että käyttäjän ymmärrys valvottavan alueen tapahtumista tulisi paremmaksi. Projektin AV-tekniikaan perustuvan käyttöliittymän avulla valvojalla on mahdollisuus tutkia valvottavaa aluetta mistä kohtaa tai suunnasta tahansa. Visualisoinnissa Sebe et al. käyttivät hyväkseen dynaamisia 3D-malleja, joiden päälle valvontakamerakuvista erotetut objektien kuvat projisoitiin. Sillä tavoin kyettiin normalisoimaan kuvannuksesta aiheutuneet geometriset vääristymät. Ou et al. kehittivät järjestelmän (Ou et al., 2004b), jossa yhdistetään usean kameran tuottamaa kuvamateriaalia AV-tekniikan keinoin. He korostivat työssään erityisesti valvojan tilannetajun parantamista, sekä käyttäjän ja laitteiston välistä vuorovaikutusta. Kawasaki & Takai esittelivät (2002) järjestelmän, jossa hyödynnettiin AV-tekniikkaa 1 monen kameran tuottaman kuvadatan yhdistämisessä. Heidän työssä oletettiin, että liikkuvat kohteet sijaitsevat jokaisen kameran kuvakentässä. Kohteet rekonstruoitiin vokseleista koostuviksi objekteiksi, jotka liitettiin valvottavasta tilasta laadittuun 3D-malliin. Työssä pyrittiin siten vähentämään valvojan kokemaa kognitiivista kuormaa. Kameda et al. ovat kehittäneet AR-PDA -tyyppistä konseptia, jossa valvontakameroiden keräämiä tietoja lisätään käyttäjän kantamaan päätelaitteeseen (Kameda). Aiheeseen liittyvää tutkimustietoa ei ole kuitenkaan vielä tätä kirjoitettaessa julkaistu. 1 Kawasaki ja Takai käyttivät teknologiastaan termiä Augmented reality system for video monitoring, vaikka kyse oli ennemminkin lisätyn virtuaalisuuden sovelluksesta.

39 Luku 4 Visualisoinnista Cybernetic microscopes and metal antidote Two telescopes that magnify the size of a roach Three computers to cup of coffee planted with my hand and astroplanets detached turn on rear foggers Dr. Octagon, Blue Flowers Tässä luvussa käsitellään informaation visualisointia. Tarkoituksena on pohtia, millä tavoin visuaalisten valvontajärjestelmien keräämät tiedot esitetään käyttäjälle optimaalisella tavalla kognitiivisen kuorman pienentämiseksi. Luvun alussa tutkitaan informaation visualisoinnin prosessia, jonka jälkeen pohditaan vuorovaikutuksen merkitystä. Lopuksi tarkastellaan eri asioita, jotka liittyvät visuaalisten signaalien havaitsemiseen. Luvussa esitellään myös toiminnallisten objektien käsite, joka tässä diplomityössä ideoitiin informaation visualisoinnin tueksi. 4.1 Videovalvonnan näkökulma Visuaaliset valvontajärjestelmät auttavat ihmistä näkemään enemmän ja ymmärtämään näkemäänsä paremmin. Ensimmäisen sukupolven videovalvontajärjestelmät lisäsivät havainnoitavan datan määrää tulostamalla eri näytöille useita kuvia eri lähteistä. Toisen ja kolmannen sukupolven järjestelmiin on jo lisätty osia, jotka tulkitsevat valvontakuvien tapahtumia automaattisesti, ja vähentävät näin käyttäjän kokemaa kognitiivista kuormaa. Kognitiivinen kuorma ei kuitenkaan vähene, ellei järjestelmän saamia tuloksia osata esittää ihmisen näköaistin mielessä mahdollisimman havainnollisella tavalla. Käyttäjän huomio tulee pystyä kiinnittämään valvottavassa kohteessa tapahtuviin ilmiöihin mahdollisimman hyvin. Ilmiöitä voidaan korostaa sopivasti, ja niihin voidaan liittää uutta tietoa. Toisaalta informaatiota ei voi näyttää käyttäjälle liikaa, jolloin epäolennaiset asiat tulee suodattaa pois. Valvojat eivät voi jatkuvasti seu- 29

40 LUKU 4. VISUALISOINNISTA 30 rata valvontakeskuksien kaikkia näyttöjä ja videosignaaleita, jolloin merkittäviäkin asioita voi jäädä huomaamatta. Tallentavat videovalvontajärjestelmät auttavat etsimään kuvallista informaatiota tapahtumista jälkikäteen, mutta tallennuksesta ei ole juuri hyötyä, jos tapahtumista saadaan tieto kovin myöhään. Visualisoimalla tapahtumien ajallista perspektiiviä huomataan mielenkiintoiset tapahtumat mahdollisimman nopeasti. Edellisten lisäksi tiedon visualisoinnissa on syytä ottaa huomioon myös käyttäjä. Passiivinen monitorin seuraaminen ei ole olennaisen tiedon hakemisen kannalta yhtä tehokasta, kuin aktiivinen tiedon haku ja vuorovaikutus järjestelmän kanssa. Tässä visuaalista valvontajärjestelmää käyttävän henkilön kognitiivista kuormaa pyritään vähentämään seuraavien, näköaistiin liittyvien tekijöiden keinoin: Käyttäjän huomion herättäminen, mielenkiintoisten kohteiden korostaminen, sekä niihin liittyvän a-priori tiedon lisääminen. Tapahtumien ajallisen luonteen visualisointi. Käyttäjän ja laitteiston välinen vuorovaikutus informaation esittämisessä. 4.2 Tiedon visualisoinnin prosessi Informaation visualisoinnin tarkoituksena on luoda tiedosta, datasta ja niiden välisistä rakenteista graafinen esitys. Esitys voi toimia päätöksenteon tukena, ja oikein laaditun visualisoinnin avulla ihmisen kyky ymmärtää suuria tietomääriä kasvaa (Ware, 2000). Waren mukaan tiedon visualisointia voidaan pitää prosessina, josta voidaan erottaa neljä pääosaa: Datan kerääminen ja tallentaminen on olennaisin osa koko visualisoinnin prosessia, sillä oikeita johtopäätöksiä voidaan tehdä vain silloin, kun visualisoitava data on oikeaa. Datan esikäsittely riippuu hyvin paljon graafisesta esityksestä, mutta käytännössä tässä osaprosessissa muokataan dataa ymmärrettävämpään muotoon. Siitä pyritään poistamaan redundanttia dataa, se voidaan klusteroida tiettyjen piirteiden mielessä samankaltaisiin joukkoihin, tai se voidaan pyrkiä kuvaamaan alempidimensioiseen muotoon. Esikäsitellyn datan generointi kuvaksi on vaihe, jossa edellisen osaprosessin tuottamat tiedot muunnetaan pisteiksi, viivoiksi, pinnoiksi tai muiksi graafisiksi rakenteiksi, jotka voidaan edelleen tulostaa. Tähän vaiheeseen liittyy myös rakenteiden dynaaminen muokkaaminen silloin, kun järjestelmän toiminta on interaktiivista. Havaitsijan toimintaan liittyy sekä silmän ja näköjärjestelmän fysiologinen toiminta että ylemmän tason kognitiivinen malli. Interaktiivisissa visualisoinneis-

41 LUKU 4. VISUALISOINNISTA 31 Esikäsittely Data Käyttäjä Grafiikan generointi Fyysinen ympäristö Sosiaalinen ympäristö Kuva 4.1: Visualisoinnin prosessi. Visualisoinnin prosessi muodostuu takaisinkytketyistä silmukoista ja prosessin eri osat ovat vuorovaikutuksessa keskenään. Kuva: Ware, sa käyttäjä vaikuttaa järjestelmän eri osien toimintaan tulostuslaitteen kautta saamansa visuaalisen tiedon perusteella. Eri osat toimivat vuorovaikutuksessa keskenään ja muodostavat toistensa välille takaisinkytkentöjä. Tyypillinen esimerkki visualisointijärjestelmän eri osien välisestä toiminnasta on sellainen, jossa käyttäjä vaikuttaa omalla toiminnallaan visualisoituun tietomassaan. Käyttäjä voi esimerkiksi valita mielenkiintoisia kohteita tai alueita datan joukosta, jolloin visualisointijärjestelmä näyttää tietoja tarkemmin. Havaitsija vaikuttaa tiedon esikäsittelyyn tutkimalla syötteenä olevaa dataa. Graafiseen tulostukseen vaikutetaan puolestaan manipuloimalla graafisia rakenteita. Kuvassa 4.1 on esitetty kaavio visualisointiprosessista ja siihen liittyvistä takaisinkytketyistä silmukoista. Datan keräämiseen liittyvät fyysinen ja sosiaalinen ympäristö. Fyysinen ympäristö on se, mistä järjestelmä kerää visualisoitavaa dataa. Sosiaalinen ympäristö puolestaan määrittelee mitä dataa kerätään, mikä on kiinnostavaa ja miten dataa halutaan tulkita. Vaikka fyysinen ympäristö on riippumaton visualisointijärjestelmän laatijasta, vaikuttaa sosiaalinen ympäristö runsaasti käyttäjään ja siten koko visualisointijärjestelmään. Amerikkalaisen maailmankartta on erilainen, kuin suomalaisen. Jos Waren esittämää visualisoinnin prosessia sovelletaan visuaalisiin valvontajärjestelmiin, voidaan todeta, että AVS-järjestelmän 1 visualisoinnin prosessissa datan kerääminen tapahtuu pääosin videosensoreiden välityksellä. Fyysisen ympäristön muodostaa valvottava tila, alue, prosessi tai kohde. Sosiaalinen ympäristö puolestaan kuvailee ne seikat, jota videovalvontajärjestelmällä halutaan saavuttaa. Toisin sanoen sosiaalisen ympäristön vaikutus ilmenee laitteiston parametrisoinnissa; minkälaiset kohteet hylätään, minkälaiset kohteet aiheuttavat hälytyksen. 1 AVS on myös informaation visualisointiin tarkoitettu ohjemisto. Lisää:

42 LUKU 4. VISUALISOINNISTA 32 Datan esikäsittelyvaihe liittyy puolestaan kuvan automaattiseen analysointiin ja tulkintaan. Tyypillisesti esikäsittelyvaiheessa haetaan videovirrasta liikkuvat kohteet ja analysoidaan niiden ominaisuuksia. Visualisoinnin mielessä datan esikäsittelyvaiheeseen liittyy myös kohteiden toiminnan automaattinen ymmärtäminen, ja ennen kaikkea kohteille sopivan esitysmuodon valinta. Tässä diplomityössä graafisen esityksen vaihe esitetään AR-tekniikan avulla lisäämällä valvontakamerakuvan näytölle virtuaalisia kohteita. Siihen liittyy myös havainnoijan toiminta, sillä virtuaaliset objektit määritellään toiminnallisina objekteina (katso seuraava kappale). 4.3 Interaktiivisuus ja toiminnalliset objektit Visualisoinnin ei tarvitse olla vain staattinen esitys datasta, vaan se voi toimia rajapintana käyttäjän ja kerätyn datan välillä. Toisaalta visualisointi voi olla myös reaaliaikainen esitys ajan mukaisista tapahtumista, jolloin visualisointi muuttuu datamäärän kasvaessa tai muuttuessa (Ware, 2000). Vuorovaikutuksen merkitys informaation visualisoinnissa Informaation visualisoinnilla muodostetaan rajapinta käyttäjän ja tietojenkäsittelyjärjestelmän välille. Visualisoinnin avulla on mahdollista lisätä käyttäjän työmuistin kapasiteettia käsiteltävään ongelmaan liittyen; siten tiedon yksittäisistä paloista voidaan muodostaa käsitteitä ja rakenteita. Interaktiivisen visualisoinnin avulla tiedon rakenteita voidaan manipuloida käyttäjän kannalta hyödyllisempään suuntaan. Se koostuu käyttäjän tekemistä valinnoista ja järjestelmän antamasta palautteesta (Ware, 2000). Valinnat ja palaute muodostavat takaisinkytketyn systeemin, joka toimii kolmella eri tasolla. Alhaisimmalla tasolla (Visual-Manual Control Loop) käyttäjä manipuloi visualisoitua tietoa järjestelmän syöttölaitteiden avulla ja tulostuslaitteiden antaman palautteen perusteella. Keskimmäisellä tasolla (View Refinement and Navigation Loop) käyttäjä tutkii visualisoitua dataa, ja valitsee sen joukosta kiinnostavimmat asiat. Vuorovaikutuksen korkeimmalla tasolla (Problem-Solving Loop) käyttäjä muokkaa visualisointia saadakseen lisää tietoa jonkin ongelman ratkaisuun. Silloin visualisointi lisää käyttäjän työmuistin määrää, ja parantaa siten kognitiivisessa mielessä ongelmanratkaisun prosessia (Ware, 2000). Alhaisimman tason vuorovaikutusta voidaan kuvailla yksinkertaisten lakien avulla, jotka Ware kirjassaan (2000) listasi: Valinnan reaktioajalla tarkoitetaan sitä aikaa, joka käyttäjällä kuluu reagoida visuaaliseen ärsykkeeseen. Riippuen ärsykkeiden esiintymisfrekvenssistä, sekä käyttäjän valmiuden tilasta, voi aika vaihdella muutamasta sadasta millisekunnista aina vajaaseen sekuntiin. Mikäli tehtävään liittyy valinta, joka täytyy

43 LUKU 4. VISUALISOINNISTA 33 suorittaa ennen toimintaa, kasvaa reagointiaika logaritmisesti valinnanmahdollisuuksiin nähden. Reaktioaikaan vaikuttavat myös monet muut tekijät, kuten havaittavan signaalin selvyys ja selkeys, sekä visuaalisen kohinan määrä. Kohdistaminen ja valinta liittyy käyttäjän suorittamiin operaatioihin tiedon louhimiseksi interaktiivisessa visualisoinnissa. Visualisoinnin elementit voivat toimia tiedon esittämisen lisäksi myös olioina, joiden kautta tietoa voidaan etsiä lisää. Syöttölaitteesta riippuen käyttäjällä kuluu aikaa kohdistamiseen ja valintaan. Toimintoihin käytetty aika riippuu myös valittavan kohteen koosta ja paikasta, ja suuretta voidaan mitata esimerkiksi kuulun Fittsin lain avulla. Sen mukaan kohteen valintaan käytetty aika on logaritmisesti riippuvainen kohteen etäisyyden ja sen koon suhteesta. Taitotaso kehittyy kokemuksen myötä, jolloin järjestelmän käyttäjä suoriutuu tehtävistään paremmin myös väsyneenä. Käyttäjän valppaus tulee säilyä, mikäli monotonisista valvontatehtävistä halutaan suoriutua menestyksekkäästi. Erityisesti epäsäännöllisten ja odottamattomien tapahtumien havaitsemisen varmuus laskee merkittävästi jo ensimmäisen tunnin kuluessa valvontatyön aloittamisesta. Valppauden tasoon vaikuttaa alentavasti myös väsymys, muut (epärelevantit) signaalit sekä valvojan muut työt. Vuorovaikutusprosessin alimman tason tehtävillä on suuri merkitys, sillä pienetkin viiveet tai häiriöt vaikuttavat ylemmän tason tehtävistä suoriutumiseen (Ware, 2000). AR-järjestelmissä on erityisen tärkeää, että järjestelmä reagoi nopeasti käyttäjän syötteisiin. AVS-järjestelmän suunnittelussa on taas olennaista huomioida valppauden merkitys työssä onnistumiseen liittyen. Valvontatehtävän tehokkuutta voidaankin parantaa oikeanlaisten signaalien avulla (katso kappale 4.5). Toiminnalliset objektit Tässä diplomityössä informaation visualisoinnissa hyödynnetään AR-tekniikkaa, ja erityisesti määritellään toiminnallisten objektien käsite ja konsepti. Tyypillisesti ARjärjestelmissä virtuaaliset objektit sisältävät tietoja todellisuuden kohteista, ja lisäävät siten käyttäjän tietomäärää havaitsemastaan ympäristöstä. Toiminnalliset objektit ovat digitaalisia kohteita, joilla on vastine todellisessa maailmassa. Ne liittävät fyysisiin kohteisiin tiedon lisäksi myös toiminnallisuuden. Toisin sanoen, niiden avulla sekä saadaan lisätietoa havaituista kohteista että voidaan käyttää niiden toimintoja. Toiminnallisten objektien luonnetta voi parhaiten kuvailla esimerkin avulla. Oletetaan, että tehdasympäristöön on asennettu valvontakamerajärjestelmä. Operaattori valvoo aluetta valvontakeskuksesta, josta käsin voidaan kontrolloida myös ovia, ikkunoita, hälytyslaitteita sekä muita rakennuksen osia. Mikäli valvontakamerajärjestelmään määritellään alue-tyyppinen toiminnallinen objekti, niin valvoja voi silloin

44 LUKU 4. VISUALISOINNISTA 34 saada tietoja alueella tapahtuvista asioista, vaikka ei seuraisikaan näyttöruutua jatkuvasti. Alue toimii intuitiivisena käyttöliittymänä järjestelmän keräämään tietoon. Ovi-tyyppinen toiminnallinen objekti voisi puolestaan aiheuttaa hälytyksen, mikäli joku kulkisi sitä vastaavasta todellisesta ovesta. Valvoja voisi silloin myös lukita oven intuitiivisen AR-käyttöliittymän kautta. Toiminnalliset objektit toimivat siis kolmella tapaa. Niitä käytetään tiedon visualisointiin ja korostamiseen, ja käyttäjä voi tutkia niiden avulla järjestelmän keräämiä tietoja. Lisäksi toiminnallisten objektien muodostaman rajapinnan kautta voidaan käyttää todellisia asioita. Tässä työssä toiminnallisia objekteja käytetään erityisesti aikaulottuvuuden esittämiseen, ja kiinnittämään valvojan huomio olennaisiin tapahtumiin. Ne toimivat osin automaattisesti, ja osin käyttäjän tekemien valintojen mukaan. AVS-järjestelmiin liittyen toiminnallisten objektien konsepti voidaan kiteyttää kolmeen tekijään: Reaaliaikaiset tapahtumat AVS-järjestelmällä saavutetaan suurin hyöty silloin, kun valvoja havaitsee ongelmatilanteen jo tapahtumahetkellä. Toiminnallisten objektien avulla mielenkiintoisia kohteita voidaan sopivasti korostaa huomion kiinnittämiseksi. Lisäksi järjestelmä suorittaa automaattisen hälytyksen silloin, kun ennalta määritellyt ehdot toteutuvat. Tapahtumahistoria Valvontakamerajärjestelmää käyttävällä toimijalla ei ole aina mahdollisuutta seurata kaikkien kameroiden tuottamaa kuvadataa jatkuvaaikaisesti. Tällöin osa merkittävistäkin tapahtumista voi jäädä huomaamatta. Toiminnallisten objektien ideana on esittää menneen ajan tapahtumat yhdessä nykyhetken kanssa. Interaktiivisuus Kaikkea järjestelmän keräämää tietoa ei kannata esittää kerralla, sillä liika informaatio heikentää entisestään valvojalle muodostuvaa käsitystä valvottavan kohteen tilasta. Toiminnalliset objektit toimivat interaktiivisesti, jolloin käyttäjä voi itse valita, mitä tietoja järjestelmässä milloinkin visualisoidaan. Kriittiset signaalit, kuten hälytykset esitetään kuitenkin heti. Tämä tekijä kuvailee myös rajapinnan todellisten asioiden käyttämiseen. Luvussa 7 on esitetty, kuinka toiminnallisten objektien konseptia sovellettiin käytännössä. Hammond et al. esittelivät vuonna 1996 samankaltaisen konseptin ja heidän työssään sovellettiin AR-käyttöliittymää kodin automatisoitujen järjestelmien ohjaamiseen. Tässä esitelty idea täydentää Hammondin et al. konseptia kuitenkin siten, että todellisten kohteiden ohjaamisen lisäksi toiminnalliset objektit keräävät tietoa ympäristöstään ja ovat vuorovaikutuksessa myös keskenään.

45 LUKU 4. VISUALISOINNISTA Värillä on väliä Värejä voidaan käyttää informaation visualisoinnissa esimerkiksi kohteiden erotteluun ja nimeämiseen, sekä niiden korostamiseen ja hälyttävien asioiden ilmoittamiseen (Ware, 2000). Derefeldt et al. määrittelivät (2004) kognitiivisten värien käsitteen. Heidän mukaansa kognitiiviset värit ovat havaittavien värien diskreetti osajoukko. Havaittavat värit ovat näköaistin alhaisen tason prosessoinnin tulos, jotka voidaan määritellä kolmen jatkuvan ominaisuuden, värisävyn, värikylläisyyden ja kirkkauden avulla. Kognitiiviset värit muodostuvat silloin, kun näköaistin ylemmän tason prosessointimenetelmät luokittelevat havaitut värit semanttisessa mielessä. Derefeldtin et al. mukaan kognitiivisia värejä voidaan käyttää erilaisissa visuaalisissa tehtävissä. Tällaisia tehtäviä ovat muun muassa kohteiden erottaminen ja nimeäminen, sekä huomiota herättävien signaalien havaitseminen. Derefeldtin et al. mukaan kirjallisuudessa on jo kauan pidetty selvänä, että värit ovat erinomainen visuaalinen koodi hälyttävien signaalien muodostamiseen, kohteiden ryhmittelyyn ja erottamiseen sekä symbolien näkyvyyden kohentamiseen. Ware (2000) esitti seitsemän eri tekijää, jotka on syytä huomioida silloin, kun värejä suunnitellaan käytettävän asioiden nimeämiseen ja erottamiseen toisistaan: Riittävä etäisyys Koodaukseen käytettyjen värien tulee sijaita visuaalisesti tasajakoisessa väriavaruudessa riittävän etäällä toisistaan. Mikäli värejä käytetään kohteiden erottamiseen, on niiden syytä sijaita toistensa virittämien konveksien peitteiden ulkopuolella. Yksilölliset värisävyt Punainen, vihreä, keltainen, sininen, valkoinen ja musta muodostavat Heringin vastaväriteorian hengessä luonnollisen joukon värikoodausta varten. Samasta kategorisoituvien värien joukosta ei tule kuitenkaan valita yhtä väriä enempää. Kontrasti taustan kanssa Taustan ja värikoodatun kohteen välinen värien kontrasti voi vaikuttaa olennaisesti väristä saatavaan havaintoon. Ilmiön vaikutusta voidaan vähentää piirtämällä värikoodatun kohteen ympärille ohut valkoinen tai musta viiva. Kromaattisen kontrastin lisäksi taustan ja kohteen luminanssien välisen erotuksen tulee olla riittävän suuri. Värisokeus rajoittaa huomattavasti käytettävien värien määrää. Suurin osa värisokeista ei kykene erottamaan toisistaan puna-vihreällä akselilla sijaitsevia sävyjä. Värien lukumäärä tulee rajoittaa viidestä kymmeneen, sillä sitä suurempien eri väreillä koodattujen joukkojen käsittely hidastuu. Koko Värikoodattujen kohteiden koon tulee olla riittävän suuri. Mielikuvien avulla voidaan tietyille väreille antaa kulttuuriin sidonnaisia merkityksiä. Tyypillisiä esimerkkejä tällaisista väreistä ja niitä vastaavista mielikuvista ovat punainen (kuuma, vaara), sininen (kylmä) ja vihreä (mene, liiku).

46 LUKU 4. VISUALISOINNISTA 36 Kuva 4.2: Waren kaksitoista väriä. Kuva: Ware, 2000 Edellisiin tekijöihin nojautuen Ware esitteli kaksitoista väriä, jotka erityisen hyvin soveltuvat kohteiden identifioimiseen. Waren värit ovat punainen, vihreä, keltainen, sininen, musta, valkoinen, vaaleanpunainen, syaani, harmaa, oranssi, ruskea ja purppuranpunainen. Kuvassa 4.2 on esitetty Waren kaksitoista väriä sekä mustalla että valkoisella pohjalla. Kohteiden erottamisen ja nimeämisen lisäksi värit soveltuvat hyvin hälyttävien signaalien esittämiseen (katso seuraava kappale). Camgöz et al. (2004) perehtyivät tutkimuksessaan eri värien havaitsemiseen erilaisilta taustoilta. Heidän tutkimuksensa mukaan väriin kiinnitetään eniten huomiota silloin, kun sen saturaatio ja kirkkauskomponentit ovat mahdollisimman suuria, eikä värisävyllä ei ole niinkään merkitystä. Eri sävyistä eniten huomiota herättivät kuitenkin syaani, punainen ja magenta, sekä vähiten sininen, violetti ja keltainen. 4.5 Huomiota herättävät signaalit ja kohteet Erityyppisissä valvontatehtävissä on tärkeää, että järjestelmän käyttäjä huomaa hälyttävät tilanteet mahdollisimman nopeasti ja varmasti. Näköaistin toimintaa voidaan valvontatehtävissä mallintaa valonheitinmallilla. Sen mukaan määritellään tehokas näkökenttä (UFOV, Useful Field of View) kartiona, joka lähtee silmästä ja päätyy tutkittavaan kohteeseen (katso kuva 4.3). UFOV:n katsotaan olevan runsaasti informaatiota sisältäville kohteille noin 1 4. Datatiheydeltään harvemmille kohteille UFOV on enemmän, jopa 15. Yksinkertainen laskutoimitus osoittaa, että jos UFOV on 1 4, niin 40 cm etäisyydeltä katsottuna se vastaa cm näytöllä. UFOV:n määrää vähentää niin sanottu tunnelinäkö (tunnel vision), joka ilmenee stressaavissa tilanteissa. Silloin käyttäjä kykenee näkemään ja ymmärtämään vain näkökenttänsä keskellä olevat kohteet (Ware, 2000). AVS-järjestelmissä halutaan usein, että järjestelmä suorittaa hälytyksen, mikäli en-

47 LUKU 4. VISUALISOINNISTA 37 UFOV Kuva 4.3: Tehokas näkökenttä, UFOV, määritellään silmästä lähtevänä kartiona, joka päättyy katsottavaan kohteeseen. Stressitilanteissa UFOV pienenee huomattavasti. Kuva: Ware, nalta määritellyt ehdot toteutuvat. Käyttöliittymän suunnittelussa onkin hyvä pohtia, miten hälytys on visuaalisessa mielessä syytä esittää, jotta käyttäjä havaitsee sen mahdollisimman varmasti. Toisin sanoen järjestelmän tulee minimoida kustannukset, joita huomaamatta jääneet tapahtumat aiheuttavat (Ware, 2000): Tiedon lähteet ovat niitä kanavia, joita pitkin valvoja saa tietoa tapahtumista. Valvontatehtävissä tiedon lähteitä voivat olla esimerkiksi graafisen käyttöliittymän komponentit, erilaiset monitorit, tehdasprosessin valvontapaneelin valopainikkeet sekä ilmavalvontajärjestelmän tutkakuva. Tapahtumat ovat signaaleita, jotka saapuvat käyttäjän näkökenttään tiedon lähteiden välityksellä. Esimerkki videovalvonnan tapahtumasta on henkilön liikkuminen suljetulla alueella. Odotettu kustannus määräytyy sen mukaan, kuinka paljon haittaa huomaamatta jäänyt tapahtuma merkitsee. Visuaaliset valvontatehtävät ovat usein luonteeltaan jatkuvia, ja järjestelmän tilan tarkkailemisen lisäksi niihin voi liittyä myös muita tehtäviä. Silloin tapahtumia kuvastavien signaalien tulee olla sellaisia, että valvojan huomio kiinnittyy niihin ja epätavallisiin tilanteisiin voidaan reagoida. Ware (2000) erittelee neljä vaatimusta ihmisen näköaistin kannalta hyville signaaleille: Signaalin tulee olla helposti havaittavissa, vaikka se sijaitsee UFOV:n ulkopuolella. Signaalin tulee olla toistuva, ja jatkua kunnes käyttäjä huomioi sen jollain tavoin. Signaali ei saa olla ärsyttävä, eikä se saa tehdä järjestelmän käyttöä epämiellyttäväksi. Signaalille tulee voida asettaa taso, joka määrittelee ja ilmaisee sen vakavuuden valvontatehtävään nähden. Esitarkkaavainen tiedon prosessointi Signaalien tulee olla herättää valvojan huomio. Samoin valvontakamerakuvassa näkyvien, tärkeiden kohteiden tulee olla erotettavissa ympäristöstä ja vähemmän kiin-

48 LUKU 4. VISUALISOINNISTA 38 nostavista kohteista mahdollisimman nopeasti. Tietynlaiset objektit havaitaankin ympäristöstään eri tavoin. Toiset kohteet voidaan identifioida oikein hyvin lyhyen silmäyksen jälkeen, kun toisten huomaamiseen käytetään aikaa moninkertainen määrä. Niitä nopeasti havaittavien kohteiden piirteitä, joiden perusteella ne voidaan ympäröivästä joukosta erottaa, kutsutaan esitarkkaavaisesti havaittaviksi piirteiksi (Ware, 2000). Alla olevassa mielivaltaisessa merkkijoukossa on tietty määrä merkkejä d. Niiden lukumäärän selvittäminen käy ihmiseltä melko hitaasti, sillä tehtävän suorittamiseksi jokainen rivi on käytävä erikseen läpi merkki merkiltä. jkhytgdsgrtgfdbmlpok87hjh43koind558juyhysg009ikjsf 0o999ijhgtbv342sdsrdkip009kmnbtyhg532swerfgswf77yt 9iuytthdnlswnhg94hfydfjsihtrnl754nbskopq0222mjfdsf sdfsk8rejhnguörem,t09437nf64hbdlsug62qynmjwy7o3m7m Kun edellisen merkkijoukon d kirjaimet piirretään punaisella värillä, saadaan tulokseksi alla oleva joukko: jkhytgdsgrtgfdbmlpok87hjh43koind558juyhysg009ikjsf 0o999ijhgtbv342sdsrdkip009kmnbtyhg532swerfgswf77yt 9iuytthdnlswnhg94hfydfjsihtrnl754nbskopq0222mjfdsf sdfsk8rejhnguörem,t09437nf64hbdlsug62qynmjwy7o3m7m Edellisen perusteella d merkkien lukumäärän 2 laskeminen käy huomattavasti nopeammin, silloin kun ne ovat punaisia. Värisävy onkin eräs ennalta tarkkaavaisesti havaittava piirre. Tiettyä ominaisuutta voidaan pitää ennalta tarkkaavaisesti havaittavaksi, mikäli sitä vastaavan kohteen käsittelyyn ja havaitsemiseen kuluva aika on alle 10 ms. Mikäli käsittelyaika ylittää 40 ms, niin kohdetta karakterisoivat ominaisuudet eivät ole ennalta tarkkaavaisesti havaittavia. Ennalta tarkkaavaisesti havaittavia piirteitä voidaan hyödyntää esimerkiksi sellaisissa visualisointijärjestelmissä, joissa suuresta ja melko homogeenisesta joukosta dataa etsitään tiettyjä osajoukkoja nopeasti (Ware, 2000). Ennalta tarkkaavaisesti havaittavien objektien ominaisuudet voidaan lajitella neljään kategoriaan, jotka ovat muoto, väri, liike sekä paikka. Muodolla tarkoitetaan sellaisia kappaleiden ominaisuuksia, kuten janan pituus, suunta ja paksuus, kappaleen koko, kaarevuus, kuuluvuus ryhmään sekä kohteen korostaminen (esimerkiksi rengastaminen). Väriin liittyvät, ennalta tarkkaavaisesti havaittavat piirteet ovat intensiteetti sekä värisävy. Liikkeen ominaisuuksia ovat sen suunta ja vilkkuvan kohteen taajuus (Ware, 2000). 2 Oikea vastaus on kymmenen.

49 Luku 5 Menetelmien kuvaus...once you learn the formula you pretty much got the gist of it. Method Man SLAP magazinen haastattelussa Tässä luvussa esitellään eri menetelmät, joita tämän diplomityön yhteydessä laaditun prototyypin toteutuksessa on sovellettu. Lisäksi joidenkin menetelmien osalta tarkastellaan asiaa myös hieman laajemmin. Luvun alussa tarkastellaan projektiivista geometriaa ja tutustutaan kameran toimintaperiaatteeseen matemaattisesta näkökulmasta. Sen jälkeen perehdytään kameran kalibrointiin liittyviin menetelmiin. Luvun toisella puoliskolla tutustutaan visuaalisissa valvontajärjestelmissä esiintyviin konenäön ongelmiin ja menetelmiin. 5.1 Projektiivista geometriaa Useissa konenäön ja lisätyn todellisuuden sovelluksissa tarvitaan projektiivisen geometrian käsitteitä. Fyysisestä 3D-maailmasta halutaan tietoja siitä otetun 2D-kuvan perusteella, ja toisaalta virtuaalinen 3D-maailma halutaan projisoida monitorin kuvatasoon. Erityisen tärkeä projektiivisen geometrian sovellus on kameran mallissa käytettävä perspektiiviprojektio. Edellisten määrittelemiseksi käydään lyhyesti läpi projektiivisen geometrian käsitteistöä. Ellei toisin mainita, esitellään projektiivisen geometrian asiat tässä Sonkan et al. (1999) mukaan. Olkoon määritelty n + 1 -ulotteinen avaruus ilman origoa (R n+1 (0,..., 0)), jossa määritellään seuraava ekvivalenssirelaatio: [x 1,..., x n+1 ] T [x 1,..., x n+1] T joss α 0 : [x 1,..., x n+1 ] T = α[x 1,..., x n+1] T (5.1) Projektiivinen avaruus P n on silloin edellisen määrittelemä tekijäavaruus. P n :n pisteet esitetään usein homogeenisina koordinaatteina siten, että x = [x 1,..., x n, 1] T. 39

50 LUKU 5. MENETELMIEN KUVAUS 40 Kuvataso Polttopiste Horisontti Optinen säde Katoamispiste Perustaso Kuva 5.1: Yhdensuuntaisten viivojen perspektiiviprojektio. Kuva: Sonka et al., Piste x on ekvivalentti kaikkien niiden pisteiden kanssa, jotka eroavat siitä skaalaustermin α verran. Kuvaus R n :stä n-ulotteiseen euklidiseen avaruuteen P n määritellään seuraavasti: [x 1,..., x n ] T [x 1,..., x n, 1] T (5.2) Ainoastaan pisteillä [x 1,..., x n, 0] ei ole vastinpistettä euklidisessa avaruudessa. Ne vastaavatkin euklidisen avaruuden pisteitä äärettömässä. Edellinen voidaan formuloida merkitsemällä vastaavaa projektiivisen avaruuden pistettä ekvivalentilla pisteellä [x 1 /α,..., x n /α, 1] T, jolloin α on skaalaustermi. Tämän pisteen vastinpiste R n :ssä on [x 1 /α,..., x n /α] T. Jos nyt α 0, niin nähdään, että R n :n piste lähenee ääretöntä ja kaikki vektorin [x 1 /α,..., x n /α] T suuntaiset suorat yhtyvät kyseisessä (äärettömyyden) pisteessä. Kuvassa 5.1 on esitetty yhdensuuntaisten suorien perspektiiviprojektio. Projektiokuvaus on mikä tahansa kuvaus P n P n, jonka määrittelee säännöllinen (n + 1) (n + 1) matriisi H. Tällöin x 2 = H x 1 (5.3) ja H määrittelee kuvauksen tyypin. Edellistä kuvausta kutsutaan projektiokuvauksen lisäksi muun muassa homografiaksi, ja se määrittelee kuvauksen hypertasolta hypertasolle. Konenäön sovelluksissa homografiaa voidaan soveltaa muun muassa paikan määritykseen (katso kappale 5.4). Projektiokuvauksia on neljää eri perustyyppiä riippuen matriisin H rakenteesta. Yleisyysasteeltaan alhaisin on euklidinen kuvaus, joka sallii rotaatiot ja translaatiot. Similariteettimuunnos sallii edellisten lisäksi vielä skaalauksen, ja affiini muunnos viistoutuksen. Yleisin projektiokuvaus on projektiivinen muunnos, joka sallii kaikki edelliset muunnokset sekä perspektiivimuunnoksen. Eri transformaatioiden lisäksi

51 LUKU 5. MENETELMIEN KUVAUS 41 Taulukko 5.1: Projektiokuvausten perustyypit sekä niitä vastaavat transformaatiot ja invariantit. Taulukko: Faugeras, Eulkidinen Similariteetti Affiini Projektiivinen Transformaatio Rotaatio X X X X Translaatio X X X X Tasainen skaalaus X X X Epätasainen skaalaus X X Vinouma X X Perspektiivi projektio X Projektioiden kompositio X Invariants Pituus X Kulma X X Pituuksien suhteet X X Yhdensuuntaisuus X X X Insidenssi X X X X Cross ratio X X X X erityyppisiin muunnoksiin liittyy joukko invariantteja, eli muunnosten kohteena olevien pisteiden ja suorien ominaisuuksia, jotka säilyvät muuttumattomina (Faugeras, 1993). Taulukossa 5.1 on esitetty neljän projektiokuvauksen tuottamat transformaatiot sekä niitä vastaavat invariantit. Euklidisessa kuvauksessa muunnoksen kohteena olevaa kappaletta siirretään vektorin t verran ja pyöritetään rotaatiomatriisin R mukaisesti, jolloin H saa muodon (Faux & Pratt, 1979): [ ] R t H e = 0 T (5.4) 1 Similariteettimuunnoksessa rotaatiomatriisiin liitetään vielä skaalauskerroin s. Silloin rotaation ja translaation lisäksi kappaleelle tehdään mittojen suhteet säilyttävä skaalaus (Faux & Pratt, 1979): [ ] sr t H s = 0 T (5.5) 1 Affiinissa muunnoksessa rotaatiomatriisin sijaan kirjoitetaan rotaatiomatriisin ja anisotrooppisen skaalauksen kompositio A (Faux & Pratt, 1979): [ ] A t H a = 0 T (5.6) 1 Projektiivisessä muunnoksessa vapausasteita on eniten. Sitä vastaava muunnosmatriisi on seuraava (Faux & Pratt, 1979): [ ] A t H p = v T (5.7) v Kuvassa 5.2 on esitetty eri projektiokuvausten vaikutus kuvauksen lähtöjoukkona olevaan neliöön kaksiulotteisessa tapauksessa.

52 LUKU 5. MENETELMIEN KUVAUS 42 Isometrinen Similaarinen Affiini Projektiivinen Kuva 5.2: Projektiokuvausten perustyypit. 5.2 Kameran malli Kameramallin avulla virtuaaliset 3D-objektit projisoidaan 2D-tasoon eli kuvaksi. Kuvaus voidaan esittää 3 4 kokoisen projektiomatriisin M avulla, joka kuvaa 3Dobjektin jokaisen homogeenisen pisteen kuvatasoon. Neulanreikäkamera on yksinkertainen kameramalli, jota hyödynnetään usein konenäön sovelluksissa. Lisäksi neulanreikämallia sovelletaan AR-tekniikassa, kun halutaan renderöidä virtuaalisia objekteja todellisen näkymän päälle. Tässä esitellään neulanreikäkameran malli Sonkan et al. (1999) esittelemällä tavalla. Kameramallia varten määritellään seuraavat neljä koordinaatistoa (katso kuva 5.4): 1. Euklidinen maailmankoordinaatisto, jota merkitään alaindeksillä w. Origoa merkitää O w :lla ja pisteen koordinaatit tässä avaruudessa x w = [x w, y w, z w ] T. 2. Kameran euklidinen koordinaatisto, jonka origo O c yhtyy kameran polttopisteessä c. Kameran koordinaatiston Z c -akseli on kohtisuorassa kuvatasoon ja yhtyy optiseen akseliin. 3. Kuvatason euklidinen koordinaatisto määrittelee kuvatason. Muuttujat identifioidaan alaindeksillä i. 4. Kuvatason affiini koordinaatisto yhtyy origossa kuvatason euklidiseen koordinaatistoon. Sen kuvatason pääakselit v ja w yhtyvät vastaavan euklidisen

53 LUKU 5. MENETELMIEN KUVAUS 43 koordinaatiston akseleihin Y i ja Z i. u-akselin orientaatio voi kuitenkin olla eri X i :n nähden. Tämän affiinin kuvatason koordinaatiston avulla voidaan mallintaa kamera, jonka kuvaelementit eivät ole neliöitä. Neulanreikäkamera muodostaa lineaarisen kuvauksen projektiivisesta 3D-avaruudesta P 3 projektiiviseen 2D-avaruuteen P 2. P 3 :n piste x ilmaistaan euklidisessa maailmankoordinaatistossa 3 1 vektorilla siten, että x w = [x w, y w, z w ] T. Vastaava piste ilmaistaan kameran koordinaatistossa x c :llä ja se saadaan laskettua siirron t ja rotaation R avulla: x c x c = y c = R(x w t) (5.8) z c Kamerakoordinaatiston piste x c kuvautuu kuvatason π pisteeseen u c. Yhdenmuotoisten kolmioiden avulla (katso kuva 5.3) voidaan laskea projision x ja y koordinaatit: u c = [ fx c, fy c, f] T (5.9) z c z c Pisteet kuvataan vielä kuvatason affiiniin koordinaatistoon, eli niiksi pisteiksi, joita käytetyltä kameralta todella saadaan. Kuvatason affiini koordinaatisto edustaa skaalausta sekä viistoumaa, sen origo O i on tason vasemmassa yläkulmassa ja sen keskipistettä merkitään u 0a :lla; u 0a = [u 0, v 0, 0] T. Kuvatasolle π projisoidut pisteet voidaan esittää homogeenisten koordinaattien avulla siten, että ũ = [U, V, W ] T. Silloin sen euklidinen vaste kuvatasolla on u = [u, v] T = [U/W, V/W ] T. Homogeenisten koordinaattien avulla affiini transformaatio voidaan esittää 3 3 kokoisen matriisin avulla: U a b u 0 ũ = V = 0 c v 0 W fx c z c fy c z c 1 fa fb u 0 = 0 fc v x c z c y c z c 1 (5.10) Edellisessä a, b ja c edustavat viistoumaa ja skaalausta ja u 0 ja v 0 kertovat affiinit koordinaatit kuvatason keskipisteelle. Eri tekijät esitetään yleensä kamerakalibraatiomatriisin muodossa, jota merkitään K:lla: fa fb u 0 z c ũ = 0 fc v 0 R(x w t) = KR(x w t) (5.11) Kaavan 5.11 matriisi R ja vektori t kuvaavat kameramallin ulkoiset parametrit. Niillä tarkoitetaan kameran paikkaa ja orientaatiota euklidisessa maailmankoordinaatistossa. Rotaatiomatriisi R kuvaa kameran kiertymää eri koordinaattiakselien suhteen, ja t kertoo vastaavasti kameran paikkavektorin eri komponentit. Kamerakalibraatiomatriisin K alkiot määrittelevät puolestaan kameran sisäiset parametrit,

54 LUKU 5. MENETELMIEN KUVAUS 44 Z c x c z c X c f fx c z c Kuva 5.3: Kamerakoordinaatiston pisteet projisoituvat kuvatason euklidiseen koordinaatistoon yhdenmuotoisten kolmioiden mukaisesti. Kuva: Sonka et al., joita ovat polttoväli, skaalauskerroin, viistouma sekä kuvatason keskipiste. Kameran sisäisiin parametreihin liittyvät myös erilaisten linssivirheiden kertoimet. Jos piste x w ilmaistaan homogeenisissä koordinaateissa ( x w = [x w, 1] T ), voidaan edellinen yhtälö kirjoittaa seuraavaan muotoon: U [ ] [ ] ũ = V xw xw = [KR KRt] = M = M x 1 1 w (5.12) W Homogeenisten koordinaattien ansiosta koko perspektiiviprojektio voidaan kirjoittaa yhden 3 4 matriisin M avulla, jonka vasen 3 3 osamatriisi kuvaa rotaation ja oikea pystymatriisi siirron. Matriisia M kutsutaan kameramatriisiksi. Kameramatriisi tekee lineaarisen kuvauksen projektiivisesta avaruudesta (maailmankoordinaatisto) P 3 projektiiviseen tasoon (affiini kuvataso) P Kameran kalibrointi tunnetussa ympäristössä Kameran kalibroinnilla tarkoitetaan proseduuria, jonka avulla etsitään kuvantamislaitteena käytetyn kameran sisäiset ja ulkoiset parametrit. Menetelmiä on kehitetty lukuisia (Clarke & Fryer, 1998), ja niistä voidaan erottaa kaksi eri perustyyppiä: tunnettuun ympäristöön kalibrointi sekä tuntemattomaan ympäristöön kalibrointi. Tunnettuun ympäristöön kalibroinnissa oletetaan, että kameran kuvaamille maailmankoordinaatiston pisteille tiedetään riittävä määrä kuvatason vastinpisteitä. Jäl-

55 LUKU 5. MENETELMIEN KUVAUS 45 Optinen akseli Euklidinen maailmankoordinaatisto Z w Y w Kuvatasason affiini koordinaatisto X i O i x c Polttopiste C u Z i w v Y i x w X c Y c Z c t Polttoväli f u 0c = [0, 0, f] T u 0a = [u 0, v 0, 0] T O w X w Kameran euklidinen koordinaatisto R u,ũ Kuvataso π Kuva 5.4: Neulanreikäkameran neljä eri koordinaatistoa. Kuva: Sonka et al., 1999.

56 LUKU 5. MENETELMIEN KUVAUS 46 kimmäisessä tilanteessa puolestaan ympäristön pisteistä ei tiedetä mitään, mutta kalibrointiin käytetään useita kamerakuvia eri kuvakulmista. Silloin eri kuvien välillä oletetaan, että sisäiset parametrit pysyvät vakioina (Sonka et al., 1999). Tässä esitellään kameran kalibrointi ensin Sonkan et al. esittelemällä tavalla, joka vastaa ideaalitilannetta. Sen jälkeen kuvaillaan lyhyesti, kuinka Zhang (1999) esitti kamerakalibroinnin n:n tunnetun pisteen avulla. Perusmenetelmä Kameran kalibrointi tunnettuun ympäristöön edellyttää, että kuvatusta maailmankoordinaatistosta tunnetaan riittävä määrä pisteitä koordinaatteineen. Lisäksi pisteiden sijainti kameran kuvatasossa tulee tuntea. Maailmankoordinaatiston ja kuvatason pisteiden välillä pätee silloin kaavan 5.3 mukainen yhteys: α i ũ i = M x i (5.13) Kalibrointi on kaksiosainen prosessi, jossa edellisen yhtälön perusteella etsitään ensin matriisin M alkioiden m 11,..., m 34 arvot. Tämän jälkeen M separoidaan yhtälön 5.12 mukaisiin osiin. M:n alkioiden hakemiseksi yhtälö 5.13 kirjoitetaan seuraavasti: x αu m 11 m 12 m 13 m 14 αv = m 21 m 22 m 23 m 24 y (5.14) α m 31 m 32 m 33 m 34 Tämä voidaan edelleen saattaa seuraavaan muotoon x y z ux uy uz u x y z 1 vx vy vz v. z 1 m 11 m 12. m 34 Matriisi M voidaan esittää sisäisten ja ulkoisten parametrien avulla: = 0 (5.15) M = [KR KRt] = [A b] (5.16) jossa A on 3 3 kokoinen matriisi ja b 3 1 pystyvektori. Ulkoisista parametreista translaatiovektori saadaan helposti, kun edelliseen sijoitetaan A = KR. Silloin t = A 1 b (5.17) A voidaan separoida K:ta ja R:ää vastaaviin osiin esimerkiksi QR-hajotelman tai SVD:n avulla (Kivelä, 1984).

57 LUKU 5. MENETELMIEN KUVAUS 47 Linssivirheet Edellä esitetyssä kalibrointiproseduurissa oletetaan, että kameran optiikka ei aiheuta minkäänlaisia vääristymiä sillä tuotettuun kuvaan. Todellisuudessa näin ei kuitenkaan ole, vaan kameran linssiä voidaan mallintaa paremmin huomioimalla tangentiaalinen ja säteittäinen linssivirhe sekä optisen säteen siirtymä (Sonka et al., 1999). Sekä säteittäistä linssivirhettä että optisen akselin siirtymää voidaan mallintaa ympyräsymmetrisesti (Sonka et al., 1999). Merkitään u:lla ja v:llä kuvatason korjattuja koordinaatteja (u = [u, v] T ). Olkoon edelleen ũ ja ṽ mitatut vääristyneet kuvatason koordinaatit (ũ = [ũ, ṽ] T ), jotka saadaan suoraan kalibrointikuvan pikselikoordinaateista x = [x, y]. Kuvatason keskipisteen koordinaattien estimaatteja merkitään vielä seuraavasti:û 0 = [û 0, ˆv 0 ] T. Silloin ũ = x û 0 (5.18) Kuvatason oikeat koordinaatit u ja v saadaan, mikäli vääristymiä kompensoidaan sopivilla korjaustermeillä δu ja δv, δu = [δu, δv] T : u = ũ + δu (5.19) Korjaustermejä mallinnetaan usein parillisen potenssin polynomeilla, jolloin varmistutaan säteittäisestä symmetriasta. Usein sovelletaan polynomeja aina kuudenteen asteeseen asti: δu = (ũ u p )(κ 1 r 2 + κ 2 r 4 + κ 3 r 6 ) (5.20) missä u p = [u p, v p ] T on kuvatason keskipisteen korjaustermi ja r 2 = (u u p ) T (u p) kuvatason mielivaltaisen pisteen etäisyyden neliö kuvatason keskipisteestä käsin. u p = [u p, v p ] on ũ 0 :n korjaustermi, jolle u 0 = û 0 + u p (5.21) Kuvassa 5.5 on esitetty säteittäisen linssivirheen vaikutus alkuperäiseen, katkoviivalla piirrettyyn neliöön. Kehittyneempiä tekniikoita Tämän työn yhteydessä kamerakalibrointia testattiin ensin Sonkan et al. esittelemällä perusmenetelmällä, jonka jälkeen työssä sovellettiin Bouguet n () laatimaa, Matlab-ohjelmistolle tarkoitettua kalibrointikirjastoa. Kalibrointikirjaston toiminta perustuu osin Zhangin (1999) työhön ja osin Heikkilän et al. (1997) työhön. Bouguet n kalibrointiproseduurin idea on samankaltainen Zhangin esittämän menetelmän kanssa. Zhang esitti kalibrointiproseduurinsa seuraavalla tavalla: 1. Laaditaan sakkilaudan kaltainen kalibrointiruudukko, jonka mitat tunnetaan.

58 LUKU 5. MENETELMIEN KUVAUS 48 Tynnyrivääristymä (+) Tynnyrivääristymä (-) Kuva 5.5: Säteittäisen linssivirheen vaikutus kuvatasossa. Linssistä riippuen kuva voi olla joko kupertunut tai kovertunut. Vertaa kuvaan 7.3. Kuva: Sonka et al., Kuvataan kalibrointiruudukkoa eri kuvakulmista ja positioista. 3. Haetaan ruudukosta siihen tulostetut merkkipisteet. 4. Estimoidaan kameran sisäiset ja ulkoiset parametrit käyttäen suljetussa muodossa ratkaistua kamerakalibraatioyhtälöä. Tässä vaiheessa kuvatason ja maailmankoordinaatiston välinen homografiamatriisi tulee tuntea (katso kohta 5.4). 5. Estimoidaan säteittäisen linssivirheen kertoimet. 6. Lasketaan kaikille parametreille lopulliset arvot pienimmän neliösumman mielessä. Bouguet sovelsi edellistä hieman eri tavalla, ja otti linssivirheitä vastaavat kertoimet menetelmään mukaan vasta viimeisessä vaiheessa. Hän muutti vielä Zhangin mallia siten, että siinä otetaan huomioon myös tangentiaalinen linssivirhe, jolloin kameran sisäinen parametrisointi vastaa Heikkilän ja Silvénin käyttämää mallia. Bouguet merkitsi x cn :llä kamerakoordinaatiston normalisoituja arvoja (x cn = [x c /z c, y c /z c ] T = [x cn, y cn ] T ) ja vastaavasti merkitään r 2 = x cn 2. Silloin linssivirheiden vääristämät kamerakoordinaatiston normalisoidut pisteet saadaan seuraavasti: x cd = (1 + κ 1 r 2 + κ 2 r 4 + κ 5 r 6 )x cn + dx (5.22) Edellisesssä dx kuvaa tangentiaalista virhettä, jonka Bouguet esitti Heikkilän ja Silvénin (1997) menetelmän mukaisella tavalla: [ 2κ3 x dx = cn y cn + κ 4 (r 2 + 2x 2 ] c n ) κ 3 (r 2 + 2yc 2 (5.23) n ) + 2κ 4 x cn y cn Nyt kuvatason ja kamerakoordinaatiston homogeenisten pisteiden välinen riippuvuus voidaan kirjoittaa seuraavasti: [ ] xcn ũ = K (5.24) 1

59 LUKU 5. MENETELMIEN KUVAUS 49 Kuvataso π u H v sũ = [u, v, 1] T Z w O w Y w X w x w = [x w, y w, 1] T Kuva 5.6: Homografia. Mikäli maailmankoordinaatiston jokin arvo kiinnitetään, ja kohteen sanotaan liikkuvan tasossa, voidaan kuvatason ja maailmankoordinaatiston välille muodostaa käännettävä kuvaus, jota tässä kutsutaan nimellä homografia. Kameramallin sisäisten parametrien hakemiseksi Bouguet minimoi seuraavaa lauseketta: n m u ij û(k, k, R i, t i, x wj ) 2 (5.25) i=1 j=1 jossa û on pisteen x wj projisio kuvassa i ja k = [k 1,..., k 5 ] T kuvaa eri linssivirheiden kertoimia. 5.4 Liikkuvien kohteiden lokalisointi Liikkuvan kohteen paikan määrittäminen maailmankoordinaatistossa on usein olennainen osa useiden AVS-järjestelmien toimintaa. Ratkaistavana on silloin kohteen positio maailmankoordinaatistossa valvontakameroiden tuottaman kuvadatan perusteella. Tässä asiaa käsitellään yhden kameran tapauksessa. Yhtälön 5.12 mukainen kameramatriisi M kuvaa maailmankoordinaatiston pisteet kuvatasoon. Se ei ole kuitenkaan käännettävissä sillä M kuvaa kaikki samalla optisella säteellä olevat pisteet kuvatasolla samaan paikkaan. Mikäli jokin maailmankoordinaatiston arvo kiinnitetään, niin silloin maailmankoordinaatiston ja kuvatason välille voidaan muodostaa matriisin 5.7 mukainen muunnos. Zhang (1999) muotoili edellisen seuraavasti: oletetaan, että z w = 0 ja merkitään yhtälön 5.11 mukaista rotaatiomatriisia R sen pystyvektoreilla r i, jolloin 5.11 voidaan

60 LUKU 5. MENETELMIEN KUVAUS 50 kirjoittaa uudelleen (Zhang esitti yhtälön 5.11 muodossa sũ = K [ R t ] x w ): x u w s v = K [ r 1 r 2 r 3 t ] y w 0 = K [ r 1 r 2 t ] x w y w (5.26) Toisin sanoen sũ = H x w (5.27) jossa H siis vastaa aiemmin esiteltyä matriisia 5.7. Ideaalitilanteessa edellinen on voimassa kaikille pistepareille (ũ i, x wi ). Käytännössä näin ei kuitenkaan ole, vaan kuvatasosta mitattuihin pisteisiin liittyy aina kohinaa. Zhang oletti, että ũ i :n arvoon liittyvä kohina on nollakeskiarvoista ja normaalijakautunutta. Hän merkitsi siihen liittyvää kovarianssimatriisia Λ mi :llä ja totesi, että H:n suurimman uskottavuuden estimaatti saadaan minimoimalla seuraavaa lauseketta: (u i û i ) T Λ 1 u i (u i û i ) (5.28) i jossa siis u i = [u i, v i ] T ja û i lasketaan kaavan 5.27 avulla. Koska Zhangin oletus oli, että Λu i = σ 2 i, redusoituu edellinen probleema epälineaariseksi pienimmän neliösumman ongelmaksi. Silloin ratkaisu saadaan etsimällä min H i u i û i 2. Zhang ratkaisi minimointiongelman Levenberg-Marquardt -algoritmilla. Sitä varten tarvitaan H:lle alustava arvio, jonka voi ratkaista esimerkiksi Bradshaw n et al. (Bradshaw et al., 1997) käyttämällä metodilla. Kun merkitään, että H = [h 1,..., h 8, 1] T voidaan n:n pisteparin välille kirjoittaa u 1 v x 1 u 1 x 1 v 1 h 2 x u 1 v 1 1 y 1 u 1 y 1 v 1 h 3. h 4 y 1 u n v n x n u n x n v n h 5 =. h 6 x n u n v n 1 y n u n y n v n h 7 y n h 8 h 1 (5.29) Kun edellinen kirjoitetaan siten, että Ah = b, niin ratkaisu voidaan hakea pienimmän neliösumman mielessä seuraavasti (Bradshaw et al., 1997): H = (A T A) 1 A T b (5.30) 5.5 Liikkuvien kohteiden käsittely AVS-järjestelmiin liittyy olennaisena osana konenäköjärjestelmä, jonka avulla valvontakameroiden tuottamaa videodataa analysoidaan automaattisesti (katso kappale 6.1). Sovellusten osaongelmat liittyvät yleensä liikkuvien kohteiden hakuun, luokitteluun ja jäljittämiseen. Lisäksi liikkeen laatua ja tapahtumia pyritään joissain tapauksissa selittämään.

61 LUKU 5. MENETELMIEN KUVAUS 51 Moeslund et al. (2001) jakoivat liikkuvien kohteiden irrottamisen eri menetelmät videotekniikassa kahteen ryhmään siten, että osa niistä perustuu ajallisen informaation ja osa alueittaisen informaation analysointiin. Ajalliseen informaatioon perustuvissa menetelmissä hyödynnetään videosignaalin ajan mukaan muuttuvaa luonnetta, ja sen perusteella laskettavaa erotuskuvaa tai optista vuota. Spatiaalisen datan analysointiin perustuvat tekniikat jakaantuvat niin ikään kahteen kategoriaan, jotka ovat tilastolliset menetelmät ja kynnystämiseen perustuvat tekniikat. McIvor et al. (2000) jakavat AVS-järjestelmien kohteiden hakemiseen soveltuvat menetelmät kolmeen eri luokkaan. Heidän mukaansa ne voivat perustua piirteisiin, optiseen vuohon sekä taustan vähentämiseen. Piirteisiin perustuvissa menetelmissä käsiteltävistä kuvista haetaan spatiaalisia ominaisuuksia, kuten reunoja tai värialueita, joiden liikettä videokuvien muodostamassa sekvenssissä seurataan. Optiseen vuohon perustuvia menetelmiä voidaan taas soveltaa melko helposti myös liikkuvia kameroita käyttäviin järjestelmiin (Davis et al., 1998). Tässä diplomityössä sovelletaan taustan vähentämiseen perustuvaa tekniikkaa liikkuvien kohteiden hakemisessa. Niissä taustalle laaditaan malli, joka vähennetään käsiteltävänä olevasta kuvasta. Jäljelle jäävistä etualan kohteista poistetaan häiriöt, jolloin jäljelle jää mielenkiintoiset kohteet (McIvor et al., 2000). Taustan malli Taustan mallilla tarkoitetaan kuvaa valvottavasta kohteesta ilman yhtäkään häiriötä tai etualan kohdetta. Sillä on yleensä jokin lähtöarvo, jota päivitetään ajan kuluessa valaistuksen muutosten ja muiden taustaa muuttavien tekijöiden eliminoimiseksi. Yksinkertaisimmillaan taustan malli saadaan käsittelemällä jokaisen pikselin väriarvoja normaalijakautuneina muuttujina. Tällaisessa tapauksessa taustakuvan lähtöarvo voidaan laskea monen, tyhjästä taustasta otetun kuvan keskiarvona (esim. Elgammal et al., 2000). Monimutkaisemmissa malleissa sovelletaan muun muassa useiden normaalijakaumien yhdistelmiä (esimerkiksi Stauffer et al., 2000). Tässä työssä oletetaan, että valvottava kohde on sisätiloissa, jolloin taustan malliksi riittää valita n:n kuvan keskiarvo 1. Ulkoa tuleva valo vaikuttaa kuitenkin myös sisätilojen valaistukseen, joten taustan mallia on päivitettävä. Taustan päivittämisessä sovellettiin Heikkilän ja Silvénin esittelemää (1999) rekursiivista suodinta: B i+1 = (1 α)b i + αi i (5.31) Edellisessä B i+1 on taustan uusin arvo, B i taustan edellinen arvo ja I i viimeisin videolaitteiston tuottama kuva. Suodin kompensoi valaistuksen muutosten aiheuttamien häiriöiden lisäksi myös taustan pysyvät muutokset. Pysyvän luonteisia muutoksia ovat esimerkiksi kohteet, jotka tuodaan tarkkailtavaan ympäristöön, tai joiden paikkaa ympäristössä vaihdetaan. Mitä suurempi α:n arvo valitaan, sitä nopeammin muutokset huomioidaan taustan mallissa. Toisaalta suuri α:n arvo aiheuttaa liikkuvien kohteiden perään häntiä, joten α:n arvo on syytä valita melko pieneksi. 1 Käytännössä huomattiin, että n:n arvo 1 on riittävä.

62 LUKU 5. MENETELMIEN KUVAUS 52 Kohteiden erottaminen ja esikäsittely Kun merkitään taustaa B:llä ja viimeisintä analysoitavaa kuvaa I i :llä saadaan valvottavan tilan etualan kohteet seuraavan epäyhtälön tuloksena I i B > τ (5.32) Toisin sanoen etualan kohteet saadaan, kun taustan mallin ja tutkittavan kuvan intensiteetit vähennetään toisistaan, ja tulos kynnystetään τ:n ehdolla. τ on ennalta määritelty kynnysarvo. Segmentoinnin tuloksena saadaan binarisoitu kuva, jossa etualan kohteita merkitään arvolla 1 ja taustaa arvolla 0. Kynnystysarvosta τ riippuen binarisoitu etualan kohteiden kuva I b sisältää mahdollista kohinaa ja muita häiriöitä, jotka tulee suodattaa pois. Seurattavat kohteet ovat niin ikään usein reikäisiä tai muuten rikkonaisia. Binarisoidun kuvan suodattamiseen ja käsittelyyn sovelletaan tyypillisesti morfologisia operaatioita (esimerkiksi Gonzales & Woods, 1993). Heikkilä ja Silvén totesivat (1999), että monet morfologiset operaatiot ovat laskennallisesti raskaita lukuun ottamatta avaamista ja sulkemista, jotka voidaan suorittaa tietokoneen prosessorin rekisteritasolla. He käyttivätkin rikkonaisten kohteiden korjaamiseen sulkemisoperaatiota, joissa oli 3 3 -kokoinen, neliön muotoinen kerneli. VSAM-projektissa (Kanade et al., 1998) puolestaan binarisoidulle kuvalle suoritettiin kaksi peräkkäistä dilaatiota ja eroosio, eli dilaatio ja sulkeminen. Morfologisten operaatioiden sijaan suodatuksessa voidaan soveltaa myös spatiaalisuotimia. Esimerkiksi McKenna et al., 2000 suodattivat erotuskuvansa 3 3 kokoisella mediaanisuotimella. Rota & Thonnat (2000) suodattivat sekä taustan mallin että käsiteltävän kuvan vastaavalla spatiaalisuotimella ennen erotuskuvan laskemista. Edellisessä erotuskuvat laskettiin RGB-avaruudessa. Varjojen, sekä muiden segmentointia vaikeuttavien tekijöiden vaikutusta pyrittiin pienentämään erilaisilla taustan malleilla, mutta Fuentes & Velastin (2001) laskivat erotuskuvansa RGB-avaruuden sijaan YUV-avaruudessa. He totesivat, että silloin esimerkiksi varjojen merkitys pienenee, ja saavuttivat kokeissaan hyviä tuloksia. Jäljittäminen Kohteen jäljittämisellä tarkoitetaan taustastaan erotettujen kohteiden ajallista yhdistämistä videovirran eri kuvaruutujen välillä. Moeslundin et al. (2001) mukaan jäljittämisessä haetaan kohteen esitysmuodon arvojen vastaavuuksia peräkkäisten videoruutujen välillä. Heidän mukaansa ongelman vaikeusaste riippuu sekä taustan että seurattavien kohteiden monimutkaisuudesta. Moeslundin et al. mukaan jäljittämisongelman ratkaisussa pyritään usein ennustamaan seurattavan kohteen piirteet (nopeutta, paikkaa, kokoa jne.) tulevaa ruutua varten, jolloin pienennetään vertailtavien kuvatason alueiden kokoa. AVS-järjestelmissä ennustamiseen sovelletaan usein Kalman-suotimia (KF, Kalman Filter). Niissä

63 LUKU 5. MENETELMIEN KUVAUS 53 on kuitenkin rajoituksensa ja monia muita lähestymistapoja on esitetty (Moeslund & Granum, 2001). Fuentes et al. (2001) sekä McKenna et al. (2000) yhdistivät peräkkäisten kuvaruutujen kohteet toisiinsa siten, että käyttivät kriteerinä kohteiden kuvatasossa rajoittamien suorakaiteiden päällekkäisyyttä. Rota et al. (2000) sovelsivat kuvatason etäisyyden lisäksi maailmankoordinaatiston etäisyyksiä eri kohteiden yhdistämisessä. Intille et al. (1997) puolestaan laskivat jokaiselle taustastaan irrotetulle kohteelle keskimääräisen värin, paikan, nopeuden ja koon. He laskivat edellisten muuttujien avulla kustannusmatriisin käsiteltävän kuvan, ja sitä edellisen välille. Samankaltaista menetelmää sovellettiin myös VSAM-projektissa (Collins et al., 2000). Siinä tunnettujen kohteiden, ja uusien, taustasta erotettujen kohteiden välillä laskettiin kustannusfunktio, jonka sai argumenteikseen paikkojen, kokojen, massakeskipisteiden sekä värihistogrammien erotukset. Tämän diplomityön puitteissa ei jäljittämiseen soveltuvaa moduulia ehditty toteuttaa, vaikka alun perin niin suunniteltiinkin. Tässä työssä laskettujen, liikkuviin kohteisiin liittyvien piirteiden (katso seuraava kohta), sekä edellisten menetelmien avulla jäljittämisongelma voidaan kuitenkin ratkaista. Kohteiden luokittelu AVS-järjestelmissä valvontakameroiden kuvista erotetut liikkuvat kohteet halutaan usein luokitella. Niiden hahmontunnistusmenetelmät ovat ohjattuja, sillä tyypillisesti niiden tehtävänä on erotella tunnetut luokat toisistaan. Luokkia voivat olla esimerkiksi ihmiset, ihmisryhmät ja ajoneuvot. AVS-järjestelmissä luokittimen erityispiirteenä on valvontakamerakuvien alhainen resoluutio, sekä kohteiden pieni ehkä vain muutaman pikselin koko (Dick & Brooks, 2002). VSAM-projektissa (Collins et al., 2000) sovellettiin kahta eri luokittelumenetelmää. Ensimmäisessä käytettiin kameraspesifiä kolmikerrosneuroverkkoa, jolle annettiin syötteinä kohteen kehän pituuden neliön ja pinta-alan suhde, pinta-ala, kohdetta rajoittavan suorakaiteen sivujen pituuksien suhde, sekä kameran polttoväli. Ulostulokerros luokitteli kohteet kolmeen ryhmään: ihmiset, ihmisryhmät ja ajoneuvot. VSAM-projektin (Collins et al., 2000) toinen luokittelija perustui k-nn -algorimtiin. Sille annettiin syötteenä 11-dimensioinen piirrevektori, jonka muuttujia olivat muun muassa kohteen pinta-ala, massakeskipiste, leveys ja korkeus. Ennen varsinaista luokittelua vektori projisoitiin LDA-algoritmilla alempiulotteiseen avaruuteen. Heikkilä ja Silvén (1999) olettivat työssään, että polkupyöräilijöistä ja jalankulkijoista muodostettavat piirrevektorit muodostavat erilliset klusterit, ja ovat siten luokiteltavissa. Yksittäisten jalankulkijoiden lisäksi huomioitiin myös kahden ja kolmen hengen ryhmät, sekä muiksi kohteiksi ryhmiteltävät luokat. He totesivat, että klusterit eivät muodosta lineaarisia päätöspintoja ja sovelsivat työssään oppivaa vektorikvantisaatiota (LVQ, Learning Vector Quantization). Heikkilä ja Silvén käyttivät luokittelun piirteinä muun muassa kohteen leveyden ja korkeuden suhdetta, pintaalaa sekä kohteen rajoittavan suorakaiteen suhteen laskettua massakeskipistettä.

64 LUKU 5. MENETELMIEN KUVAUS 54 x wc H x hw x w [x wc, y wc, 0] T Kuva 5.7: Liikkuvien kohteiden todellinen koko laskettiin yhdenmuotoisten kolmioiden avulla. Tässä työssä jäljittämistä ja luokittelua varten jokaisesta taustastaan irrotetusta kohteesta laskettiin seuraavat piirteet: Kohdetta rajoittava suorakaide kuvatasossa. Kohteen korkeuden ja leveyden suhde kuvatasossa. Kohteen pinta-ala pikseleinä. Sijainti kuvatasossa. Korkeus kuvatasossa. Leveys kuvatasossa. Todellinen korkeus. Todellinen leveys. Sijainti maailmankoordinaatistossa. Kohteen todellinen korkeus voidaan laskea kuvan 5.7 mukaisesti. Siinä x w on kohteen sijainti maailmankoordinaatistossa, x hw kohteen päälaen homografiamatriisilla projisoitu paikka, ja x cw kameran sijainti. Kun merkitään, että d = x w x hw ja D = x w [x cw, y cw, 0] T, niin kohteen korkeus H saadaan yhdenmuotoisten kolmioiden avulla: d H = z cw (5.33) D Kohteen todellinen leveys saadaan seuraavan suhteen mukaan: W = H w i h i (5.34) Tässä työssä luokittimella on kaksi tehtävää. Toisaalta sen tarkoitus on poistaa loput häiriöt laskettujen etualan kohteiden joukosta, ja toisaalta se ilmoittaa hälyttävien kohteiden ilmaantumisen valvontakameran kuva-alaan.

65 LUKU 5. MENETELMIEN KUVAUS 55 Häiriöiden poistamisessa huomioidaan z = 0 -oletus. Silloin kaikki ne kohteet, jotka lokalisoidaan valvottavan tilan ulkopuolelle, voidaan hylätä. Tällöin vähennetään esimerkiksi seiniin heijastuvien varjojen ja kiiltojen vaikutusta. Lisäksi etualan kohteiden joukkoa voidaan suodattaa muilla ehdoin, kuten poistamalla kaikki tiettyä rajakokoa pienemmät kohteet. Kohdassa 7.5 on esitetty, kuinka tämän diplomityön yhteydessä toteutetun laboratorioprototyypin suodatus tapahtui. Varsinainen luokittelu tehtiin sääntöpohjaisesti, eli edellä laskettua piirrevektoria analysoitiin vertaamalla eri piirteiden arvoja ennalta määriteltyihin arvoihin. Menetelmä on yksinkertainen toteuttaa, mutta sen avulla voidaan saavuttaa kuitenkin hyviä tuloksia (esimerkiksi Collins et al., 2000). Tässä työssä tavoitteena oli pyrkiä erottamaan liikkuvien kohteiden joukosta oudosti käyttäytyvät ihmiset. Ehdot ja tuloksia on esitetty kappaleessa 7.5.

66 Luku 6 Ohjelmiston arkkitehtuurikuvaus Strange eyes keep on watching me I see those strange eyes keep on watching me Strange eyes keep on watching me I see those strange eyes keep on watching me 60 Second Assassin, Strange Eyes Tässä luvussa esitellään lisättyä todellisuutta informaation visualisoinnissa soveltavan videovalvontajärjestelmän ohjelmistoarkkitehtuuri. Arkkitehtuuri pyritään esittelemään siten, että se on mahdollisimman implementaatioriippumaton. Toteutuksen riippumattomuuden lisäksi arkkitehtuurin on tarkoitus olla sellainen, että se on sovellettavissa mahdollisimman monenlaisiin lisättyä todellisuutta ja videovalvontaa yhdistäviin käyttötarkoituksiin. Arkkitehtuuri on laadittu tila- ja aluevalvonnan sovellutuksia silmällä pitäen. Luvun tarkoitus on selvittää edellä kuvatun järjestelmän loogiset rakenteet kuvanmuodostuksen ja -käsittelyn mielessä. Luvussa selvitetään aluksi visuaalisten valvontajärjestelmien perusrakennetta, jonka jälkeen tarkastellaan lisätyn todellisuuden arkkitehtuureja. Sen jälkeen esitellään muutamia projekteja, joiden perusteella tässä esitelty arkkitehtuuri on laadittu. Lopussa selvitetään järjestelmän perusrakenne moduuleineen ja niiden välisine rajapintoineen. 6.1 Visuaalisten valvontajärjestelmien rakenne Olennainen osa AVS-järjestelmien toimintaa on automatisoitu kuva-analyysiyksikkö. Sen tehtävänä on suodattaa valvontakamerajärjestelmän tuottamia kuvasignaaleita, jolloin vasteena saadaan kohteita ja tapahtumia sekä niihin liittyviä tietoja. 56

67 LUKU 6. OHJELMISTON ARKKITEHTUURIKUVAUS 57 Gonzales ja Woods (1993) jakavat automatisoidun kuva-analyysijärjestelmän loogisesti kolmeen eri prosessointikerrokseen. Eri kerrosten tehtävät ovat sovellusriippuvaisia eikä jako ole mitenkään ehdoton. Kuvassa 6.1 on esitetty automaattisen kuvaanalyysijärjestelmän rakenne heidän esittelemällään tavalla. Siinä eri kerrokset on rengastettu katkoviivoilla, jotka ovat osin päällekkäisiä kuten todellisten sovellusten tehtävätkin. Kuva-analyysijärjestelmän datavirta on sellainen, että alemman tason prosessointikerrosten tuottama informaation toimii syötteenä seuraavalle kerrokselle. Kaikkien kerrosten toimintaa ohjataan edelleen ennalta järjestelmään syötettyjen a-priori tietojen perusteella. Eri kerrosten väliset tehtävät ovat seuraavat (Gonzales & Woods, 1993): Alimman tason prosessointikerroksen tehtävänä on tuottaa kuvasignaalit muun järjestelmän käyttöön. Lisäksi se huolehtii signaalien esikäsittelystä, eikä sen toiminnalta edellytetä älykkäitä ominaisuuksia; algoritmit toimivat samoin syötteistä riippumatta. Tässä kuvasignaalien esikäsittelyllä tarkoitetaan niiden näytteistämistä ja digitalisointia, koodausta, dekoodausta, erilaisia transformaatioita, suodatusoperaatioita sekä muita menetelmiä, joilla dataa normalisoidaan ja saatetaan ylempiä prosessointitasoja ajatellen käyttökelpoisempaan muotoon. Välitason prosessointimenetelmillä käsiteltävistä signaaleista haetaan mielenkiintoisia alueita ja kohteita. Kuva segmentoidaan osiin siten, että jäljelle jäävät ne alueet, joista ollaan kiinnostuneita. Usein haetuille alueille lasketaan piirteitä, joiden perusteella niitä voidaan ylemmillä tasoilla luokitella. Toisella tasolla muodostetaan myös kohteille järjestelmän kannalta sovelias esitysmuoto. Esitysmuoto riippuu ylimmän tason prosessointikerroksen rakenteesta. Ylimmän tason prosessointimenetelmissä hyödynnetään toisen tason tuloksia, ja tavoitteena on tulkita alkuperäisen kuvan sisältöä automaattisesti. Kohteet luokitellaan ja tunnistetaan, sekä niiden käyttäytymistä analysoidaan. Tila- ja aluevalvontaan soveltuvilla AVS-järjestelmillä pyritään tyypillisesti havaitsemaan ja seuraamaan valvottavalla alueella liikkuvia ihmisiä. Lisäksi halutaan selvittää, mitä ihmiset alueella tekevät, sekä milloin ja missä toiminta tapahtuu. Koko tavoitteen saavuttamiseksi järjestelmään liittyvän kuva-analysointiyksikön tulee suoriutua seuraavista osaongelmista: Liikkuvien kohteiden erottaminen taustasta. Kohteiden luokittelu, identifiointi sekä ajan mukainen jäljittäminen. Kohteiden käyttäytymisen ymmärtäminen. Vaatimukset täyttäviä perusarkkitehtuureita on esitelty useita, ja tässä esimerkkinä mainittakoon Forestin & Rolin työ (2000), jossa keskityttiin erityisesti korkean tason kuva-analyysiin, ja eri tilanteiden automaattiseen tulkitsemiseen. He jakoivat

68 LUKU 6. OHJELMISTON ARKKITEHTUURIKUVAUS 58 Segmentointi Esitysmuoto Esikäsittely Tietokanta Luokittelu, ymmärtäminen Kuvan kaappaus Tehtävät Lopputulos Kuva 6.1: Tyypillisen automatisoidun kuva-analyysijärjestelmän rakenne. Järjestelmä koostuu kolmesta kerroksesta, joiden vasteet toimivat syötteinä seuraavan kerroksen moduuleille. Eri vaiheiden toimintaa ohjataan järjestelmään ennalta syötettyjen tietojen perusteella. Kuva: Gonzales & Woods, Kuvan kaappaus Kuva Liikkeen tunnistus Kohde Kuva Taustan päivitys Tausta Kohde Kohteiden luokittelu Kohteen luokka Kohteiden paikannus Paikkatiedot ja rata Tilanneanalyysi Hälytykset Kuva 6.2: Forestin & Rolin esittelemän AVS-järjestelmän looginen arkkitehtuuri. Kuva: Foresti & Roli, järjestelmän rakenteen kuuteen osaan, jotka ovat kuvan kaappaus, taustan päivitys, liikkeen havaitseminen, liikkuvien kohteiden luokittelu, kohteiden lokalisointi ja jäljittäminen sekä kohteiden käyttäytymisen tulkitseminen. Kuvassa 6.2 on esitetty Forestin & Rolin järjestelmän lohkokaavio. Kuvan 6.2 mukaisessa kaaviossa kuvan kaappaus -moduuli tuottaa kuvasignaalin, jo-

69 LUKU 6. OHJELMISTON ARKKITEHTUURIKUVAUS 59 ka toimii syötteenä liikkeen tunnistus -moduulille. Liikkeen tunnistus saa syötteenä myös taustan mallin, joka lasketaan taustan päivitys -moduulissa kuvan kaappauksen tuottaman kuvasignaalin perusteella. Liikkeen tunnistus -moduulin segmentoimat liikkuvat kohteet lokalisoidaan kohteiden paikannus -moduulissa, jonka vaste toimii syötteenä tilanneanalyysi-moduulille. Tilanneanalyysi saa syötteenä myös kohteiden luokittelu -moduulin tuloksen. Forestin & Rolin työssä alimman tason prosessointikerroksen muodostavat kuvan kaappaus ja sen apuna toimiva taustan päivittäminen. Välitason prosessointikerrokseen voinaan lukea liikkeen tunnistaminen ja paikannus. Ylimmällä tasolla toimivat puolestaan kohteiden luokittelu ja tilanteiden automaattinen selittäminen. 6.2 Lisätyn todellisuuden arkkitehtuurit Mikäli lisätty todellisuus määritellään Azuman (katso kappale 3.2) kolmen ehdon mukaan, voidaan todeta, että lisätyn todellisuuden arkkitehtuuri tulee laatia seuraavat asiat huomioiden: 1. Ensimmäisen olettamuksen mukaan järjestelmässä tulee määritellä todellisen ympäristön ja siihen liitettävien keinotekoisten kohteiden väliset suhteet. Todellinen ympäristö tulee tuntea riittävän hyvin esimerkiksi okluusion toteuttamiseksi. Edelleen on syytä määritellä ja tiedostaa, mitä todellisella näkymällä tai ympäristöllä tarkoitetaan, ja kuinka sitä havainnoidaan. 2. Azuman toisen vaatimuksen toteuttamiseksi järjestelmässä tulee määritellä siinä käytettävät syöttö- ja tulostuslaitteet, sekä virtuaalisten objektien toiminnallisuudet. Tämä vaatimus edellyttää myös järjestelmän syöttö- ja tulostuslaitteilta reaaliaikaista toimintaa. 3. Kolmas vaatimus edellyttää, että käyttäjän näkymän muodostavan kuvantamislaitteen ominaisuudet tunnetaan. VST-järjestelmissä ominaisuudet ovat kameran ulkoiset ja sisäiset parametrit, kuten sijainti, orientaatio ja polttoväli. Lisäksi grafiikan renderöintiin käytetyn virtuaalisen kameran parametrien tulee olla yhdenmukaiset kuvantamislaitteen parametrien kanssa. Brügge et al. tutkivat (2004) kahdeksaatoista AR-projektia, ja keskittyivät erityisesti niiden arkkitehtuureihin. Eri järjestelmien vertailua ja analysointia varten he laativat abstraktin AR-arkkitehtuurin. Heidän mukaansa esitetty arkkitehtuuri ei ole optimaalinen tai yleinen ratkaisu, vaan malli, jonka osat tai osia voidaan erottaa käytännössä kaikista AR-järjestelmien arkkitehtuureista. Brüggen et al. esittelemässä arkkitehtuurissa on seuraavat osat: Sovellusosa rakentuu järjestelmän sovelluskohtaisista ominaisuuksista. Sen toiminnallisuudet eivät välttämättä liity sinänsä lisättyyn todellisuuteen, mutta se kommunikoi muiden osajärjestelmien kanssa.

70 LUKU 6. OHJELMISTON ARKKITEHTUURIKUVAUS 60 Paikannusjärjestelmä vastaa käyttäjän sijainnin määrittämisestä ja se kapseloi sisäänsä eri menetelmät, joita tehtävän suorittamiseksi käytetään. Syöttöjärjestelmä kapseloi eri syöttölaiteet ja -rajapinnat ja vastaanottaa käyttäjän tekemät toiminnot. Tulostusjärjestelmä generoi virtuaaliset kohteet ja sovittaa ne oikealla tavalla käyttäjän näkymään. Tilajärjestelmä sisältää muiden osajärjestelmien konteksiriippuvaisen datan ja ylläpitää sitä dynaamisesti. Maailman malli pitää sisällään tiedot käyttäjää ympäröivästä maailmasta. AR-järjestelmien suunnitteluun on olemassa monia erilaisia lähestymistapoja, jotka ovat kovin sovellusriippuvaisia. Erilaisia yleistyksiä on toki pyritty laatimaan. Esimerkiksi Bauer et al. esittelivät (2001) komponenttipohjaisen sovelluskehyksen, jonka tarkoituksena on helpottaa AR-järjestelmien kehitystyötä. Sovelluskehyksessä eri komponentit muodostavat palveluita, jotka ovat itsenäisiä ohjelmia, ja voivat toimia erillisissä laitteistoissa. Eri palvelut muodostavat näin dynaamisen verkon, jonka rakenteen määräävät komponenttien ominaisuudet ja tarpeet. Edellisen tekijät laativat sovelluskehyksestään käytännön toteutuksen DWARF-projektin muodossa (DWARF). Uchiyama et al. esittivät (2002) MR Platform -nimisen perusratkaisun MR-järjestelmien tutkimus- ja tuotekehityskäyttöön. Artikkelissaan he kuvaavat alustan ohjelmistoarkkitehtuurin, joka on laadittu monenlaisia sovelluksia silmällä pitäen ja kattaa Milgramin taksonomiassa luokan 3 vaatimukset. MR Platform -alustan ohjelmistoarkkitehtuuri jaetaan kahteen osaan siten, että osa ohjelmakomponenteista toimii käytönaikaisesti, ja osaa hyödynnetään järjestelmän kalibroinnissa ja alustamisessa. Kaiken kaikkiaan arkkitehtuuri muodostuu yli sadasta eri luokasta, jotka Uchiyama et al. jakoivat seitsemään eri ryhmään niiden käyttötarkoitusten perusteella: Videolaitteisiin liittyvillä luokilla ohjataan kameroita ja ne tuottavat järjestelmän vaatimat kuvasignaalit. Nämä luokat määrittelevät myös videosignaalien ja yksittäisten kuvien tietorakenteet ja tyypit. Kuvankäsittelyyn liittyvillä luokilla tuotetaan järjestelmään yksittäisiä kuvia kuvankäsittelyalgoritmien syötteiksi. Ryhmään kuuluvat myös kuvankäsittelyyn tarkoitetut luokat. Sensoreiden käsittelyyn liittyvien luokkien tehtävänä on käsitellä paikantamislaitteiden tuottamaa dataa, ja suorittaa sen perusteella muun muassa tarvittavat koordinaatistomuunnokset.

71 LUKU 6. OHJELMISTON ARKKITEHTUURIKUVAUS 61 Ajonaikaiset komponentit Kamera Kuvan kaappaus Todellinen näkymä Merkkipisteiden haku Virtuaalinen näkymä Paikantaminen Sovitus Virtuaalinen kamera 6-DOF sensori Sensorin kalibrointi Merkkipisteiden tiedot Kameran kalibrointi Alustustukseen liittyvät komponentit Kuva 6.3: Uchiyama et al. esittelemän AR-arkkitehtuurin lohkokaavio. Arkkitehtuuri jaetaan kahteen osaan, joista toiseen kuuluvat ajonaikaiset moduulit ja toiseen kalibrointiin ja alustamiseen liittyvät työkalut. Kuva: Uchiyama et al., 2002.

72 LUKU 6. OHJELMISTON ARKKITEHTUURIKUVAUS 62 Merkkipisteiden käsittelyyn tarkoitetut luokat hakevat kamerakalibroinnissa tarvittavat merkkipisteet kalibrointikuvista. Lisäksi merkkipisteisiin liittyvät tiedot, kuten positiot maailmankoordinaatistossa, tallennetaan näihin luokkiin. Kameroihin liitettyjen luokkien avulla keinotekoisten objektien renderöintiin käytetty virtuaalinen kamera parametrisoidaan vastaamaan kuvantamiseen käytettyjen kameroiden fysikaalisia ominaisuuksia. Nämä luokat hyödyntävät toiminnassaan sensoreiden ja merkkipisteiden haun keräämiä tietoja. Renderöinnin luokat tulostavat kameroiden kuvaamat näkymät käyttäjälle, ja kompositoivat näkymään myös virtuaaliset objektit. Kameroiden aiheuttamat linssivirheet kompensoidaan kamerakalibraation sisäisten parametrien avulla. Muut luokat sisältävät aputyökaluja esimerkiksi vektori- ja matriisilaskuihin, sekä tietoliikenteeseen liittyen. 6.3 Perusrakenteen kuvaus Tässä diplomityössä esitelty visuaalisen valvontajärjestelmän arkkitehtuurikuvaus jaetaan kuuteen eri moduuliin, jotka toimivat itsenäisinä yksiköinä, ja joiden väliset rajapinnat esitellään. Moduulit on pyritty laatimaan siten, että ne muodostavat järkeviä kokonaisuuksia. Silloin ne ovat helposti paranneltavia, laajennettavia ja niitä voidaan suoraan soveltaa myös muunlaisiin ongelmiin. Arkkitehtuurin laatimisessa lähdettiin liikkeelle siitä huomiosta, että AVS- ja ARjärjestelmillä on monia yhteisiä ominaisuuksia, joiden avulla ne voidaan sitoa saumattomasti toisiinsa: AVS-järjestelmän tulostuslaitteena käytetään monitoria. Tämä vastaa hyvin WoW-tyyppistä AR-järjestelmää. AVS-järjestelmien toiminta perustuu videosignaalien automaattiseen käsittelyyn ja analysointiin. VST-tyyppisissä AR-ratkaisuissa sovelletaan hyvin usein kuva-analyysiä eri parametrien laskemiseen. AVS-järjestelmien kameroiden parametrisointi haetaan ennalta määriteltävien kalibrointiproseduurien avulla. Samoja parametrejä käytetään AR-järjestelmissä virtuaalisten objektien sovittamiseen ja renderöintiin. Sekä AVS- että AR-järjestelmien perimmäinen lähtökohta on lisätä käyttäjän havainnoiman tiedon määrää. Käytännössä arkkitehtuurin AVS-osan suunnittelussa sovellettiin Forestin ja Rolin (Foresti & Roli, 2000) esittelemää arkkitehtuuria (katso kuva 6.2). AR-arkkitehtuuriin otettiin puolestaan mallia Uchiyaman et al. esittelemästä rakenteesta. Yhdistämällä edellisiä malleja sopivalla tavalla, saadaan aikaan kuvan 6.4 mukainen lohkokaavio, joka esittää järjestelmän datavirtoja ajonaikaisessa tilassa.

73 LUKU 6. OHJELMISTON ARKKITEHTUURIKUVAUS 63 Kohde Kuvan kaappaus Kuva Liikkeen tunnistus Kohde Kuva Taustan päivitys Tausta Kohteiden luokittelu Luokka Kohteiden paikannus Paikka yms. Kohteiden tiedot Tiedot Tiedot Parametrit Kameran paikannus Parametrit Tilanneanalyysi Tallennus Kompositointi Näyttölaite Ehostettu kuva Objektit Käyttäjän valinnat Hälytykset Virtuaaliset objektit Kuva 6.4: AVS ja AR -tekniikoita yhdistävän arkkitehtuurin lohkokaavio. Eri lohkojen tehtävät ja datavirrat on esitetty ajonaikaisessa tilassa, eikä kalibrointiin tai alustamiseen liittyviä osia ole esitetty. Tallennus -lohko on piirrettu katkoviivalla, sillä tässä työssä sen problmematiikkaan ei juuri puututa. Arkkitehtuurin suunnittelussa huomioitiin erityisesti Forestin & Rolin (2000), sekä Uchiyaman et al. (2002) tekemät työt.

74 LUKU 6. OHJELMISTON ARKKITEHTUURIKUVAUS 64 Kuvan 6.4 mukaisen järjestelmän toiminta etenee pääpiirteissään siten, että sensorin tuottamasta kuvasignaalista erotetaan kuva, jonka avulla päivitetään taustan mallia. Samainen kuva, yhdessä taustan mallin kanssa, toimii argumenttina liikkuvien kohteiden erottamiseen. Liikkuvat kohteet luokitellaan ennalta määriteltyihin luokkiin, jonka lisäksi niiden paikkatieto haetaan maailmankoordinaatistossa. Kohteisiin liittyvät paikka- ja laatutiedot yhdistetään yhdeksi objektiksi, joka toimii syötteenä tilanteiden automaattiselle analysointiyksikölle. Mikäli kohteiden käyttäytymisessä on jotain hälyttävää, välitetään siitä viesti virtuaalisten objektien generoimiseen tarkoitetulle yksikölle, jolloin automaattinen hälytys voidaan esittää käyttäjälle. Virtuaalisten objektien generointiyksikkö saa argumenttina myös aiemmin lasketut kohteiden tiedot. Niiden perusteella generoidaan kohteisiin liittyvät keinotekoiset objektit. Hälytykset ja muut epäilyttävät tilanteet ilmoitetaan myös mahdolliselle tallennusyksikölle. Generoidut virtuaaliset objektit lähetetään edelleen kompositoitavaksi, johon syötetään myös alkuperäinen kuva. Kompositointi saa lisäksi argumentikseen kameran parametrit, jolloin virtuaaliset kohteet saadaan sovitettua kohdalleen. Kompositoinnissa voidaan myös soveltaa linssivirheistä johtuvien vääristymien kompensointia virheettömän sovituksen aikaansaamiseksi. Kompositoinnin tuottama ehostettu kuva tulostetaan lopuksi käytetylle näyttölaitteelle. 6.4 Toteutetun prototyypin osajärjestelmät Edellä kuvatun rakenteen perusteella laadittiin EYES-niminen laboratorioprototyyppi. Prototyypin toteutukseen ja testaukseen liittyviä asioita on käsitelty luvussa 7. Tässä esitellään puolestaan arkkitehtuurin ajonaikainen rakenne, joka on hyvin kuvailtavissa UML-mallinnuskielen (UML) mukaisilla osajärjestelmillä (subsystem) sekä niiden välisillä rajapinnoilla (interface). Osajärjestelmät ovat kokoelmia samankaltaisiin tehtäviin tarkoitettuja objekteja, ja niiden väliset rajapinnat ovat eri objektien tarjoamia julkisia metodeita. Tässä esittelyssä ei oteta kantaa siihen, kuinka eri osajärjestelmät suoriutuvat niille asetetuista tehtävistä. Olennaista on se, millaisia tehtäviä niillä on, ja millaisia tietoja eri osajärjestelmien välillä vaihdetaan. Esityksen paino on kokonaisuuden loogisen rakenteen selvittämisessä. Kuvassa 6.5 on esitetty prototyypin jako kuuteen eri osaan. Liitteessä A on puolestaan tässä esiteltyä arkkitehtuuria noudattavan yksinkertaisen ohjelman pseudokoodiesitys. Kuvan kaappaus Kuvan kaappaus -moduulin tehtävänä on abstraktoida järjestelmässä käytettävät videokamerat ja muut kuvalähteet siten, että ne näkyvät muulle järjestelmälle yhdenmukaisina laitteina. Kuvalähteitä voivat olla esimerkiksi USB-kamera, FireWire-

75 LUKU 6. OHJELMISTON ARKKITEHTUURIKUVAUS 65 Datan tallennus Videoanalyysi Tallennus Seurattava kohde Kuvan kaappaus Kuva Virtuaaliset objektit Virtuaalinen objekti Käyttöliittymä Kompositointi Kompositointi Kuva 6.5: Kehitetyn sovelluksen jako ajonaikaisiin osajärjestelmiin. Eri osajärjestelmillä on erilaiset tehtävät, ja tietoa vaihdetaan niiden tarjoamien rajapintojen välityksellä.

76 LUKU 6. OHJELMISTON ARKKITEHTUURIKUVAUS 66 kamera, kuvatiedostot, videotiedostot ja niin edelleen. Moduulin tarjoaman rajapinnan nimi on Kuva. Kuvantamislaitteiden lisäksi Kuvan kaappaus -moduulilla mallinnetaan erilaisia keskuslaitteita. Niiden avulla järjestelmään voidaan kytkeä useita erilaisia kuvalähteitä. Kuvan kaappaus -osajärjestelmä tarjoaa Kuva-rajapinnan kautta seuraavat julkiset metodit: +lisääkamera(kamera) : void +poistakamera(kamera) : void +haevideoruudut() : VideoRuutu[] +käynnistäkamera() : void +pysäytäkamera() : void +säädäkamera(parametrit) : void Edellisissä Kamera on kuvalähdettä vastaava objekti, VideoRuutu järjestelmän käyttämän kuvatietorakenteen edustaja. Parametrit puolestaan määrittelevät Kameraobjektin käyttöön liittyviä parametreja, kuten kuvanopeuden ja -koon. Käyttöliittymä Käyttöliittymä on järjestelmän ja käyttäjän välinen rajapinta. Tässä tapauksessa käyttöliittymä ei sinällään tarjoa toisille moduuleille mitään, mutta käyttää toisten moduulien tarjoamia olioita ja metodeita. Toteutetussa prototyypissä Käyttöliittymä vastaa kuvassa 6.4 esiintyvää lohkoa näyttölaite. Käyttöliittymä hyödyntää Virtuaalinen objekti -rajapintaa virtuaalisten objektien tarjoamien toiminnallisuuksien käyttämiseen. Erityisesti käytetään seuraavia metodeita: näytäinforuutu, korosta, osoitinpäällä, osoitinpoissa, osoitinpainettu ja näytä. Kompositointi-rajapinnasta käytetään puolestaan haeehostettukuva-metodia, joka palauttaa ehostetun kuvan näytettäväksi edelleen käyttäjälle. Käyttöliittymä sisältää lisäksi syöttölaitteen tapahtumankuuntelun, sekä ohjelman pääsilmukan. Kompositointi Kompositointi-osajärjestelmän tulee yhdistää keinotekoiset objektit ja ympäristöstä saatu todellinen kuva toisiinsa siten, että ne sovitetaan saumattomasti toisiinsa. Tehtävän suorittamiseksi kompositoinnin tulee saada syötteenään seraavat asiat: Ympäristöstä saatu todellinen kuva. Keinotekoiset objektit ja niihin liittyvät renderöinnin parametrit. Keinotekoisten objektien renderöintiin käytettävän virtuaalisen kameran ulkoiset ja sisäiset parametrit.

77 LUKU 6. OHJELMISTON ARKKITEHTUURIKUVAUS 67 Kompositointi-rajapinta tarjoaa seuraavat metodit: +asetaulkoisetkameraparametrit(ulkoisetkameraparametrit) : void +asetasisäisetkameraparametrit(sisäisetkameraparametrit) : void +haeehostettukuva() : Videoruutu Kompositointi-moduuli käyttää Kuvan kaappaus -moduulin tarjoaman Kuva-rajapinnan haevideoruudut -metodia käsiteltävän kuvan hankkimiseen. Lisäksi se käyttää Virtuaaliset objektit -rajapinnan haevirtuaalisetobjektit-metodia keinotekoisten objektien hakemiseen sovitustyötä varten. Virtuaaliset objektit Virtuaaliset objektit -moduulin tehtävänä on tarjota joukko objekteja, ja niihin liittyviä toiminnallisuuksia muulle järjestelmälle. Moduulin tarjoaman rajapinnan nimi on Virtuaalinen objekti. Yleisesti virtuaalisille objekteille tulee olla määritelty ainakin seuraavat ominaisuudet: Objektin geometrinen tietorakenne ja geometria. Renderöintiin liittyvät attribuutit, kuten värit, normaalit, tekstuurit, varjostusalgoritmit sekä geometriset muunnokset, joilla kappaletta skaalataan, siirretään, venytetään tai rotatoidaan. Objektien toiminnallisuuksiin liittyvät ominaisuudet. Tällaisia ovat esimerkiksi reagointi käyttäjän syötteeseen, sekä vuorovaikutus toisten objektien kanssa. Tässä työssä Virtuaaliset objektit -moduulin tärkein luokka on ToiminnallinenObjekti, joka toimii kaikkien keinotekoisten objektien yliluokkana (katso kappale 4.3). ToiminnallinenObjekti tarjoaa Virtuaalinen objekti -rajapinnan kautta seuraavat julkiset metodit: +näytäinforuutu(boolean piilotettu) : void () +korosta() : void +osoitinpäällä() : void +osoitinpoissa() : void +osoitinpainettu() : void +näytä(boolean piilotettu) : void +lisääliikkuvakohde(kohteentiedot[]) : void näytäinforuutu-metodin avulla toiminnallisesti objektista saadaan esiin siihen liitettyjä tietoja erillisen Inforuutu-objektin välityksellä. korosta-metodi reagoi toisen objektin tai käyttäjän syötteeseen korostamalla kohdetta ennalta määrätyllä

78 LUKU 6. OHJELMISTON ARKKITEHTUURIKUVAUS 68 tavalla. osoitinpäällä-metodia käytetään aktivoimaan toiminnallinen objekti. Samoin toimivat osoitinpoissa ja osoitinpainettu. näytä-metodilla säädellään objektin näkyvyyttä ja +lisääliikkuvakohde-metodilla ylläpidetään toiminnallisen objektin tilannetietoisuutta. Virtuaalinen objekti -rajapinta tarjoaa vielä metodin virtuaalisten objektien hakemiseen: +haevirtuaalisetobjektit() : ToiminnallinenObjekti[] Osa virtuaalisista objekteista määritellään kiinteästi alustusvaiheessa, mutta osa generoidaan dynaamisesti. Tätä varten Virtuaaliset objektit -moduuli käyttää Seurattava kohde -rajapinnan haekohteet-metodia. haekohteet-metodin palauttamien olioiden perusteella luodaan liikkuvia kohteita vastaavat polut (katso esimerkiksi kuva 7.12). ToiminnallinenObjekti-oliot voivat olla myös vuorovaikutuksessa keskenään. Tätä varten ne voivat käyttää itsekin edellä määriteltyjä metodeita. Videoanalyysi Videoanalyysi-komponentti sisältää kuvan 6.4 mukaisesta kaaviosta taustan päivitysosan, liikkeentunnistusosan, luokittelu- ja paikannusosan sekä tilanteiden automaattisen analysointiosan. Se tarjoaa Seurattava kohde -nimisen rajapinnan, ja moduulin eri luokkien tarjoamat julkiset metodit ovat seuraavat: +haekohteet() : KohteenTiedot[] haekohteet-metodi palauttaa joukon KohteenData-objekteja, jotka sisältävät liikkuvasta kohteesta laskettujen piirteiden (katso kohta 5.5) lisäksi luokittelun tuloksen. Videoanalyysi käyttää Kuva-rajapinnan haevideoruudut-metodia käsiteltävän kuvadatan hakemiseen.

79 Luku 7 Laboratorioprototyypin toteutus ja testaus Cybernetic microscopes and metal antidote Two telescopes that magnify the size of a roach Three computers to cup of coffee planted with my hand and astroplanets detached turn on rear foggers Dr. Octagon, Blue Flowers Tämän diplomityön yhteydessä toteutettiin laboratorioprototyyppi visuaalisesta valvontajärjestelmästä, jossa tietojen visualisoinnissa sovellettiin AR-tekniikkaa. Prototyypille annettiin nimeksi EYES (Enhanced eyes for surveillance). Tässä luvussa käsitellään prototyypin rajaukset, vaatimukset ja ominaisuudet, sekä analysoidaan toteutuksen toimintaa. 7.1 Prototyypin vaatimukset, rajaukset ja ominaisuudet Tutkimuksen alkuperäisenä tavoitteena oli laatia valvontakamerasovelluksen perusjärjestelmä, jossa sovellettaisiin AR-tekniikkaa tietojen esittämisessä. Perusjärjestelmän ominaisuudet esitettiin hyvin väljästi, ja ne tarkentuivat ajan kuluessa. Ensisijaisesti haluttiin pystyttää demoympäristö, jossa erilaisia AVS-järjestelmiin liittyviä menetelmiä voisi helposti kehittää ja testata. Seuraavat ominaisuudet oli tarkoitus implementoida: 1. Sekä nauhoitettujen että reaaliaikaisten videosignaaleiden kaappaus ja käsittely. 2. Kuva-analyysiyksikkö, jossa videovirrasta erotetaan liikkuvat kohteet. 69

80 LUKU 7. LABORATORIOPROTOTYYPIN TOTEUTUS JA TESTAUS Järjestelmään liittyvien tietojen esittäminen AR-tekniikan keinoin. Perusjärjestelmä toteutettiin vaaditussa määrin. Ensimmäisen kohdan osalta toteutettiin järjestelmään mahdollisuus tuottaa kuvasignaalia USB-kameran, IP-kameran, videotiedostojen ja erillisten kuvatiedostojen avulla. Toinen kohta toteutettiin siten, että järjestelmä toimii, mikäli liikkuvien kohteiden ja taustan värisävyt ja intensiteetit eroavat toisistaan. Kolmanteen kohtaan liittyen järjestelmään laadittiin ARtekniikkaa soveltava käyttöliittymä. Alkuperäiseen vaatimusten listaan tehtiin työn aikana myös tarkennuksia ja lisäyksiä, jotka toteutettiin seuraavassa määrin: Kohteiden laadun analysointi ja sääntöpohjainen luokittelu eri ryhmiin. Intuitiivisen käyttöliittymän laatiminen AR-tekniikalla toiminnallisten objektien mielessä. Kohteisiin liittyvän tapahtumahistorian visualisointi. Järjestelmään liittyvien tietojen visualisointi. Seuraavat lähtökohdat ja ympäristötekijät rajaavat EYES-järjestelmän toteutusta: Valaistus on vakio tai muuttuu hitaasti. Järjestelmässä käytetään yhtä valvontakameraa kerrallaan. Käytettävä kamera sijaitsee kuvattaviin kohteisiin nähden ylhäällä. Kameran sisäiset parametrit pysyvät ajan suhteen vakioina. Kameran ulkoiset parametrit pysyvät vakioina. Käytännössä kameraa voidaan ohjata, mutta silloin ulkoinen parametrisointi tulee hakea eri näkymille erikseen. Valvottavan tilan mitat tunnetaan. Seurattavien kohteiden oletetaan liikkuvan tasossa. Liikkuvien kohteiden oletetaan olevan taustaan nähden (riittävän) erivärisiä. 7.2 Käyttöliittymästä EYES-prototyypin käyttöliittymän perustana on tavallinen monitori, jossa esitetään valvontakameran tuottama kuvasignaali. Kuvasignaaliin kompositoidaan virtuaalisia elementtejä AR-tekniikan hengessä, ja järjestelmän voidaankin luokitella VST WoW-tyyppiseksi AR-näytöksi. Milgramin taksonomiassa EYES vastaa luokkaa 1 (katso taulukko 3.1). EYES-prototyypin EWK:n määrä on melko suuri, sillä valvottavan kohteen mitat tunnetaan ja kamera pysyy paikallaan. Liikkuvista kohteista ei tiedetä kaikkea, mutta niitä analysoidaan ja verrataan järjestelmän tietoihin, jolloin niidenkin osalta

81 LUKU 7. LABORATORIOPROTOTYYPIN TOTEUTUS JA TESTAUS 71 EWK:n määrä kasvaa. RF:n mielessä EYES ei yllä kovin korkealle. Näkymään lisätyt graafiset elementit ovat yksinkertaisia viivapiirroksia ja osin läpinäkyviä pintoja. Myös EMP:n arvo on melko alhainen. EMP:n määrää kuitenkin kasvattaa PTZkameran käyttäminen. EYES:sin voisikin sanoa edustavan FTVR-tyyppistä näyttölaitetta (katso kohta 3.4). Syöttölaitteena EYES-järjestelmässä käytetään tavallista hiirtä. Käyttöliittymän tärkeimpiä osia ovat kappaleessa 4.3 esitellyt toiminnalliset objektit, joita EYES-prototyyppiin implementoitiin seuraavasti: Ovet toimivat tilassa laskureina, jotka pitävät kirjaa niiden kautta kulkeneista ihmisistä. Yksittäiselle ovelle voidaan määritellä lukittu-tila, jolloin ovesta kulkeminen aiheuttaa hälytyksen. Alueet ovat lattiatason osia. Ne aiheuttavat hälytyksen silloin, kun hahmo-tyyppinen toiminnallinen objekti saapuu alueen vaikutuspiiriin. Samassa tilanteessa alue aktivoi myös hahmoa vastaavan polun. Hahmot ovat liikkuvia kohteita. Mikäli hahmon käyttäytymisen tulkitaan olevan epämääräistä, korostetaan sitä eri värein. Värit määräytyvät sen mukaan, mihin luokkaan hahmo päätetään kuuluvaksi. Polut ovat liikkuvien hahmojen ratoja, jotka toimivat käyttöliittymänä hahmon tapahtumahistoriaan. Käytännössä polun muodostaa kuvakkeiden joukko, jotka reagoivat käyttöliittymän osoittimeen näyttämällä paikkaa vastaavan kuvan tapahtumahistoriasta. Hälytykset ovat automaattisesti aktivoituvia toiminnallisia objekteja, ja niiden herätteenä voivat toimia ovet, alueet ja hahmot. Hälytys esitetään käyttäjälle inforuutu-objektin muodossa siten, että jokaiseen hälytykseen liitetään tietoja hälytyksen aiheuttaneesta toiminnallisesta objektista. Nuolet auttavat käyttäjää vaihtamaan näkymää. Lisäksi nuolet reagoivat hahmojen käyttäytymiseen siten, että näkymää vaihdetaan automaattisesti siihen suuntaan, minne nuolen ylittänyt hahmo liikkui. Inforuutu liittyy kaikkiin muihin toiminnallisiin objekteihin. Sen avulla objekteista saadaan esiin niihin liitettyjä tietoja. Edellisten lisäksi todettiin, että kartta-tyyppinen toiminnallinen objekti olisi hyödyllinen elementti. Se on valvottavan tilan pohjapiirros, johon piirretään seurattavien objektien polut, kameroiden kuvaamat alueet, ovet, sekä muut toiminnalliset objektit. Kartan avulla toiminnallisten objektien kontrollointi on intuitiivista. Siinä visualisoidut käyttöliittymäkomponentit toimivat pikalinkkeinä vastaaviin objekteihin, jolloin siirtyminen eri kameranäkymien välillä helpottuu. Karttaa ei tämän diplomityön puitteissa toteutettu.

82 LUKU 7. LABORATORIOPROTOTYYPIN TOTEUTUS JA TESTAUS 72 EYES-prototyyppi Matlab Java OpenGL Java3D Windows XP PC, I/O, muu laitteisto Kuva 7.1: EYES-prototyypin laatimiseen käytettyjen ohjelmistokomponenttien väliset suhteet. 7.3 Käytetty tekniikka EYES-järjestelmä kehitettiin, ja sitä testattiin DELL OPTILEX DX260 Pentium 4 PC-tietokoneella (2.4 GHz/512MB RAM), jossa käyttöjärjestelmänä oli Microsoft Windows XP (2002/SP 1). Prototyyppi laadittiin Matlab (Matlab) ohjelmiston varaan siten, että kalibrointiin ja kuva-analyysiin liittyvät toiminnallisuudet toteutettiin Matlablilla, ja käyttöliittymään sekä visualisointiin liittyvät osat Javalla (Java , Java). 3D-grafiikkan generoimiseen käytettiin Java3D SDK:ta (Java3D). Kuvassa 7.1 on esitetty prototyypin tekemiseen käytettyjen ohjelmistokomponenttien suhteet. Kuvantamislaitteena käytettiin SONY SNC-RZ30P -verkkokameraa, jonka tuottaman videovirran resoluutioiksi valittiin testausta varten ja pikseliä. Kalibrointiproseduurit tehtiin kuitenkin resoluutiolla tarkkuuden parantamiseksi. Käytetty kamera tuottaa muun muassa MJPEG (Motion JPEG) -formaatin mukaista kuvasignaalia. EYES-prototyypissä kameralta haettiin kuitenkin yksittäisiä JPEG-formaatin mukaisia kuvia. Kameran ohjaus tapahtuu HTTP (Hypertext Transfer Protocol) -protokollan yli ajamalla kameran sisäisellä verkkopalvelimella olevia CGI (Common Gateway Interface) -skriptejä. Tässä työssä tingittiin AR-järjestelmille yleensä asetettavista reaaliaikavaatimuksista. Työn tavoitteena oli tutkia AR-tekniikan soveltamismahdollisuuksia AVS-järjestelmässä, eikä niinkään keskittyä tekemään optimoitua ja valmista tuotetta. Toteutusympäristö ja -kielet valittiin siten, että eri ominaisuuksien implementointi olisi mahdollisimman nopeaa ja vaivatonta. 7.4 Alustus ja kalibrointi EYES-prototyyppi vaatii muutamia kalibrointi- ja alustusproseduureja ennen kuin sitä voidaan täysipainoisesti käyttää. Alustusvaiheessa tulee määritellä käytetyn kameralaitteiston sisäiset ja ulkoiset parametrit, jonka lisäksi AR-tekniikkaan liittyvät virtuaaliset kohteet tulee määritellä. Kuva-analyysiä varten tarvitaan lukuisia parametreja. Tässä työssä niitä ei kuitenkaan vakioitu, vaan järjestelmän toimintaa

83 LUKU 7. LABORATORIOPROTOTYYPIN TOTEUTUS JA TESTAUS 73 Takaisinprojisoitujen pisteiden virhe pikseleinä Kuva 7.2: Kameran sisäisten parametrien perusteella takaisinprojisoitujen pisteiden virheet. Eri värit vastaavat eri kalibrointikuvia. kokeiltiin kuva-analyysin suhteen eri parametrien eri arvoilla. Kameran sisäiset parametrit Kameran sisäisiä parametreja tarvitaan etenkin ulkoisten parametrien määrittämiseen. Lisäksi polttoväliä käytetään liikkuvien kohteiden lokalisointiin ja todellisen koon määrittämiseen. FOV:ta hyödynnetään puolestaan virtuaalisten objektien sovittamisessa. Linssivirheen parametreja olisi voinut hyödyntää sen vaikutuksen vähentämiseen. Tämän työn puitteissa linssivirheen vaikutuksia tyydyttiin kuitenkin vain arvioimaan. Käytetyn kameran sisäisten parametrien hakemiseen käytettiin kohdassa 5.3 esiteltyä proseduuria. Käytännössä sovellettiin Bouguet n () laatimaa Matlab-kielistä implementaatiota, joka perustuu Zhangin (1999) sekä Heikkilän ja Silvénin (1997) töihin. Kalibrointia varten A3-kokoiselle paperiarkille tulostettiin sen kokonaan kattava kalibrointiruudukko, jossa yhden ruudun koko oli 2 2 cm. Kalibrointiruudukko teipattiin vielä lastulevyyn kiinni, jolloin se pakotettiin tasoksi. Sitten ruudukosta kuvattiin 15 kappaletta pikselin kokoista monokromaattista kuvaruutua eri kuvakulmista. Käytännössä kalibrointiproseduuri eteni siten, että jokaiseen kalibrointikuvaan merkittiin origo ja kalibrointiruudukon reunat. Syötteenä annettiin myös kalibrointiruudukon ruutujen mitat. Ohjelma laskee edellisten perusteella ruutujen maailmankoordinaatiston arvot, ja erottaa niitä vastaavat pisteet kuvatasossa. Varsinainen kalibrointi tapahtuu kahdessa osassa siten, että ensin lasketaan alus-

84 LUKU 7. LABORATORIOPROTOTYYPIN TOTEUTUS JA TESTAUS Säteittäisen linssivirheen vaikutus kuvatasossa Kuva 7.3: Linssin optiikan aiheuttama säteittäinen virhe kuvatasossa. Kuvasta nähdään, että kuvatasosta mitattujen pisteiden virhe on maksimissaan 14 pikseliä. Kuvaan on merkitty o -kirjaimella todellinen optisen akselin paikka, sekä x -kirjaimella kuvan laskennallinen keskipiste. Taulukko 7.1: Kalibrointiproseduurin tuottamat kameran sisäiset parametrit. Polttoväli Optisen akselin keskipiste Viistouma κ HFOV VFOV [ , ] T ± [ , ] T [ , ] T ± [ , ] T ± , ± [ , ] T ± [ , ] T tava arvio suljetussa muodossa sisäisille parametreille ilman linssivääristymien vaikutusta. Tämän jälkeen maailmankoordinaatiston pisteet projisoidaan kuvatasolle, ja virhettä minimoidaan pienimmän neliösumman mielessä. Kuvassa 7.2 on esitetty kaikkien käytettyjen kalibrointipisteiden takaisinprojisioiden virheet kalibroinnin jälkeen. Kuvasta voidaan todeta, että kameran sisäisten parametrien määrittäminen onnistui hyvin. Kaikki virheet ovat vähemmän kuin yksi pikseliä. Taulukossa 7.1 on esitetty kalibrointiproseduurin tuottamat kameran sisäiset parametrit. Käytännössä todettiin, että säteittäisen virheen kuudennen asteen kertoimella ei ole merkitystä ja se jätettiin estimoimatta. Samoin tangentiaalisen vääristymän kertoimien arvot tulivat virheitään pienemmiksi, joten ne jätettiin huomiotta. Kameran malli redusoitui Heikkilän ja Silvénin mallia yksinkertaisemmaksi, ja vastasi lopulta Zhangin käyttämää mallia. Kuvassa 7.3 on esitetty käytetyn mallin säteittäisen virheen vaikutus kuvatasossa. Siitä voidaan todeta, että linssin optiikka aiheuttaa maksimissaan 14 pikselin virheen kuvatasolta mitattuihin pisteisiin.

85 LUKU 7. LABORATORIOPROTOTYYPIN TOTEUTUS JA TESTAUS 75 Kuvapisteet (+) sekä takaisinprojisoidut pisteet (o) Kuvapisteet (+) sekä takaisinprojisoidut pisteet (o) Z Z O 350 X Y 350 O X Y Kuva 7.4: Kameran parametrisoinnin perusteella uudelleen kuvatasoon projisoidut pisteet. Kuvia on suurennettu, jotta merkkipisteet näkyisivät paremmin. Taulukon 7.1 mukaisten sisäisten parametrien joukossa on myös arvio CCD-kennon kuvaelementtien viistoumasta. Se on käytännössä niin pieni, että kuva-elementtien voidaan sanoa olevan suorakulmaisia. Sekä vaakatason että pystytason polttoväli on ilmoitettu pikseleinä. Mikäli polttoväli haluttaisiin millimetreinä, tulisi CCD-kennon koosta olla tietoa. Tätä kameran valmistaja ei spesifikaatioissaan kuitenkaan esitä. Kameran käyttöoppaan mukaan sen polttoväli on käytetyillä asetuksilla 2.4 mm. HFOV:n arvoksi ilmoitetaan puolestaan 45. Kameran ulkoiset parametrit Myös kameran ulkoiset parametrit haettiin Bouguet n laatimalla implementaatiolla. Niiden hakemista varten sisäisten parametrien hakemiseen käytetystä kalibrointiruudukosta tehtiin suurennettu versio. Nyt käytettiin 5 7 kokoista ruudukkoa, jonka jokaisen ruudun sivun pituus oli 120 mm. Kalibrointiruudukko asetettiin koetilan lattialle siten, että ruudukon origo ja maailmankoordinaatiston origo yhtyivät. Kameran ulkoiset parametrit haettiin molempiin näkymiin erikseen. Kuvassa 7.4 on esitetty eri näkymät, sekä niihin sijoitetut kalibrointiruudukot. Kalibrointiruudukon origo on molemmissa kuvissa samassa kohtaa. Bouguet n kalibrointiproseduurissa yhtälö 5.8 kirjoitetaan seuraavassa muodossa: x c = Rx w + t (7.1) ja sen mukaan molemmille näkymille saadaan haettua translaatiovektori ja rotaatiomatriisi. Translaatiovektoreiksi saatiin seuraavat: t 1 = [ , , ] T (7.2) t 1 = [ , , ] T

86 LUKU 7. LABORATORIOPROTOTYYPIN TOTEUTUS JA TESTAUS 76 ja rotaatiomatriiseiksi R 1 = R 2 = (7.3) Sisäisten ja ulkoisten parametrien, sekä yhtälön 7.1 mukaan kuvatasoon uudelleen projisoidut kalibrointiruudukon pisteet on esitetty kuvassa 7.4. Kuvasta huomataan, että kalibrointi on hyvin onnistunut; maksimivirhe on vain muutaman pikselin luokkaa. Homografiamatriisit Kohteiden lokalisointiin tarvittavat homografiamatriisit saadaan sivutuotteena ulkoisten parametrien laskemisen yhteydessä. Bouguet n menetelmän mukainen homografiamatriisi on ensimmäiselle näkymälle seuraava: H 1bouguet = (7.4) Edellinen kuvaa jokaisen lattiatason pisteen johonkin kuvatason pisteeseen yhtälön 5.27 mukaisesti. Mikäli tiettyä kuvatason pistettä vastaava maailmankoordinaatiston piste halutaan selvittää, riittää edellisestä ottaa käänteismatriisi ja kertoa kuvatason pistettä vastaavalla homogeenisellä pisteellä. Tässä homografiamatriisit haettiin kuitenkin suoraan yhtälöiden 5.29 ja 5.30 avulla käyttäen hyväksi neljää pisteparia maailmankoordinaatiston ja kuvatason välillä. Homografiamatriisien laskemiseksi lattiatasoon kiinnitettiin merkkipisteet, joiden sijainti maailmankoordinaatistossa tunnettiin. Merkkipisteiden vastinpisteet mitattiin kuvatasosta ja näiden välinen riippuvuus laskettiin. Eri näkymiä vastaavat homografiamatriisit on esitetty alla H 1 = (7.5) H 2 = Tässäkään ei otettu huomioon linssivirheen vaikutusta. Parempiin tuloksiin olisi päästy, mikäli homografiamatriisit olisi laskettu sellaisten kuvien perusteella, joissa

87 LUKU 7. LABORATORIOPROTOTYYPIN TOTEUTUS JA TESTAUS 77 linssivirheen vaikutus on kompensoitu. Lisäksi liikkuvien kohteiden kuvatason pisteisiin olisi pitänyt soveltaa linssivirheen kompensointia. Toimenpiteitä ei kuitenkaan nähty tarpeellisiksi, sillä lokalisointi tehtiin visualisointia varten, eivätkä tarkkuusvaatimukset olleet kovin suuret. Käyttötesteissä todettiin, että lokalisointi onnistui käyttötarkoitukseen nähden riittävän hyvin. Renderöinnin parametrit ja sovitus Prototyypissä grafiikan generoitiin ja projisoimiseen käytettiin Java3D:tä. Sovituksen onnistumisen kannalta on ensiarvoisen tärkeää, että Java3D:n virtuaalisen kameran parametrit vastaavat käytetyn kuvantamislaitteen parametreja. Käytännössä Java3D:n projisiomatriisia varten tarvittiin sisäisistä parametreista HFOV ja VFOV. Ulkoisten parametrien avulla puolestaan laskettiin kolme vektoria, jotka määrittelevät kameran paikan, orientaation ja katselusuunnan. Bouguet n implementaatiossa ulkoiset parametrit saatiin yhtälön 7.1 mukaan, jolloin paikka, orientaatio ja katselusuunta saadaan maailmankoordinaatistossa seuraavasti: x w = R 1 (x ci t) (7.6) Edellisessä x ci, i = [p, o, k] ovat vastaavat Java3D:n oletusarvoiset paikka-, orientaatio- ja katselusuuntavektorit. Java3D:ssä kameran oletusarvoinen paikka on [0, 0, 0] T, orientaatio (pystyvektori) [0, 1, 0] T ja katselusuunta [0, 0, 1] T. 7.6 mukaisen muunnoksen jälkeen ensimmäistä näkymää vastaavat ulkoiset parametrit saivat arvot x cp = [4.9354, , ] T (7.7) x co = [ , , ] T x ck = [ , , ] T sekä toista näkymää vastaavat parametrit arvot x cp = [4.9295, , ] T (7.8) x co = [ , , ] T x ck = [ , , ] T Kuvassa 7.4 on esitetty kumpaakin näkymää vastaavat kuvat silloin, kun niihin on sovitettu virtuaalinen koordinaatisto. Koordinaatisto on mitoiltaan d x = 5 120, d y = ja d z = 1000 (mm). Punainen akseli vastaa maailmankoordinaatiston x-akselia, vihreä y-akselia ja sininen z-akselia. Sovitus onnistuu origossa hyvin, mutta reunoja kohden sen tarkkuus pienenee. Suurimman ongelman tässä muodostaa luonnollisesti linssivirheiden vaikutus, eikä sitä voi suoraan mallintaa Java3D:llä. Sovitusta voisi parantaa siten, että jokaista kameralta saapuvaa kuvaa korjattaisiin edellä kuvatun linssivirheen mielessä. Proseduuri on kuitenkin raskas, ja hidastaisi merkittävästi järjestelmän toimintaa. Toisaalta Java3D:n renderöintiin käyttämä virtuaalinen kamera voitaisiin korvata kokonaan, ja

88 LUKU 7. LABORATORIOPROTOTYYPIN TOTEUTUS JA TESTAUS 78 Kuva 7.5: Virtuaalinen koordinaatisto augmentoituna valvontakameran kuvasignaaliin. projisoida pisteet kuvatasoon suoraan sisäisten ja ulkoisten parametrien, sekä yhtälön 7.1 avulla. Silloin sovituksesta saataisiin yhtä tarkka, kuin kuvassa 7.4. Tällöin ei voitaisi kuitenkaan käyttää Java3D:n valmiiksi implementoituja ominaisuuksia yhtä laajalti. Toiminnalliset objektit Toiminnallisten objektien määrittelyä varten valvotusta tilasta otettiin mitat, jolloin eri objektit saatiin oikeille paikoilleen oikean kokoisina. Lisäksi objekteille määriteltiin erilaisia ehtoja, joiden mukaan ne toimivat, ja mitä tietoja ne käyttäjälle esittävät. Kaiken kaikkiaan EYES-prototyyppiin määriteltiin kaksi ovea, alue sekä nuoli. Lisäksi valvottavassa tilassa liikkuvia hahmoja korostetaan ennalta määriteltyjen ehtojen toteutuessa, ja ne jättävät jälkeensä polkuja. Toiminnalliset objektit määriteltiin ja alustettiin suoraan ohjelmakoodiin. Valmiissa sovelluksessa tulisi olla erillinen editori, jolla toiminnallisia objekteja voisi helposti määritellä valvottavaan tilaan. 7.5 Kuva-analyysi Erotuskuvan laskeminen Kuva-analyysin ensimmäisessä vaiheessa käsiteltävä kuva vähennetään taustan mallista, ja tulos kynnystetään ennalta määrätyn arvon mukaan (kaava 5.32). Kuvassa 7.6 on esitetty käsiteltävä kuva, taustan malli sekä laskettu erotuskuva. Erotuskuva on esitetty lisäksi negatoituna, jolloin kohina näkyy selvemmin. Kynnystyksen tulos eri kynnysarvoilla on esitetty puolestaan kuvassa 7.7. Testeissä todettiin, että optimaalinen kynnystysarvo riippuu liikkuvan kohteen vä-

89 LUKU 7. LABORATORIOPROTOTYYPIN TOTEUTUS JA TESTAUS 79 Kuva 7.6: Erotuskuvan laskemisen vaiheet. Vasemmalta lukien: käsiteltävä kuva, taustan malli, erotuskuva sekä negatoitu erotuskuva. Liikkuva kohde on tumma suhteessa taustaan ja erotuskuvan laskeminen onnistuu hyvin. Kuva 7.7: Erotuskuvan kynnystäminen eri kynnystysarvoilla. Vasemmalta oikealle: τ = 0.2, τ = 0.3 ja τ = 0.6. Kuvista nähdään, että kynnystysarvon valinta vaikuttaa huomattavasti segmentointitulokseen. reistä, eikä vakioarvolla voida saavuttaa hyvää tulosta eri tilanteissa. Mikäli kohde on taustan värinen, on tässä esitetyllä menetelmällä hyvin vaikea saada kohdetta segmentoitua. Parempiin tuloksiin päästäisiin esimerkiksi käyttämällä kynnystysarvon hakemiseen iteratiivista algoritmia (Sonka et al., 1999), tai suorittamalla erotuskuvan laskeminen Fuentesin et al. esittämällä tavalla YUV-avaruudessa (Fuentes & Velastin, 2001). Tässä työssä ei kuitenkaan keskitytty taustan vähentämiseen liittyvään problematiikkaan, ja todettiin, että perusmenetelmä toimii riittävässä määrin. Häiriöiden suodattaminen ja piirreirroitus Kynnystetyt erotuskuvat sisältävät kohinaa, joka tulee suodattaa pois. Lisäksi kohteet voivat olla rikkonaisia. Tässä työssä kohinan ja rikkoneisuuden vähentämiseen käytettiin morfologisio operaatioita, lähinnä dilaatiota ja eroosiota. Lopullisen segmentoinnin onnistuminen riippuu hyvin paljon kynnystysarvon lisäksi eri morfologisten operaatioiden kernelin koon valinnasta. Kuvassa 7.8 on esitetty neljä erilaista tuloskuvaa, jotka on saatu aikaan eri operaatioin. Jälleen todettiin, että optimaalinen tulos riippuu hyvin paljon kohteen ja taustan värien suhteesta. Testikäytössä riittäviä tuloksia saatiin kynnystysarvolla τ = 0.3 ja käyttämällä 5 5 kokoista kerneliä kahdessa peräkkäisessä dilaatiossa ja eroosiossa. Morfologisen suodatuksen avulla ei voida poistaa kaikkia häiriöitä. Ongelmia aiheuttavat etenkin varjot ja kiillot. Segmentoinnin tulosta voidaan kuitenkin parantaa esimerkiksi kehittämällä taustan mallia, mutta tässä työssä jäljelle jääneiden häi-

90 LUKU 7. LABORATORIOPROTOTYYPIN TOTEUTUS JA TESTAUS 80 Kuva 7.8: Morfologisten operaatioiden vaikutus segmentointiin. Vasemmalta oikealle: kynnystysarvo τ = 0.6, kerneli 3 3 kokoinen neliö, operaatioina dilaatio ja eroosio. τ = 0.6, kerneli 3 3 neliö, dilaatio, dilaatio ja eroosio. τ = 0.3, kerneli 5 5 neliö, dilaatio, dilaatio, eroosio, eroosio. τ = 0.2, kerneli 5 5 neliö, dilaatio, dilaatio, eroosio, eroosio. Taulukko 7.2: Segmentoiduille kuville lasketut laatutiedot. Laatutietojen avulla häiriöiden määrää voidaan vähentää. Lisäksi laatutietoja käytettiin kohteiden sääntöpohjaiseen luokitteluun. Leveyden ja korkeuden suhde Pinta-ala (pikseliä) 3643 Rajoittava suorakaide [236.5, 34.5, 44, 144] T Paikka kuvatasossa (u,v) [258, 178] T Mitat kuvatasossa [44, 144] T Todelliset mitat (metriä) [0.5436, ] T Todellinen paikka (x, y) [0.2745, ] T riöiden poistamisessa sovellettiin kohteiden laatutietoja. Käytännössä morfologisten operaatioiden tuloksena saaduille kohteille laskettiin piirteitä, joiden perusteella häiriöistä yritettiin päästä eroon. Piirteet on esitetty kappaleessa 5.5, ja ne on koottu vielä taulukkoon 7.2. Samassa taulukossa on esitetty kuvan 7.9 mukaisen kohteet tiedot. Laatutietojen perusteella jäljellä olevista etualan kohteista hylättiin ne, jotka toteuttivat seuraavat ehdot: Kohteen pinta-ala (pikseleiden lukumäärä) on vähemmän, kuin 1000 pikseliä. Kohteen paikka maailmankoordinaatistossa ylittää valvottavan tilan rajat (kohde ei sijaitse tasossa). Kuvassa 7.9 on esitetty edellisiä hieman huonommin segmentoituva tilanne, jossa kulkijan varjo lankeaa lattiaan ja seinään. Samassa kuvassa on esitetty lisäksi kynnystysarvolla τ = 0.2 segmentoitu kuva, johon on jäänyt varsinaisen kohteen lisäksi häiriöitä. Edelleen kuvassa 7.9 on esitetty tulos silloin, kun tuloskuvaa on suodatettu morfologisten operaatioiden jälkeen edellä kuvatuin ehdoin. Kuvasta huomataan, että laatutietoihin perustuvilla suodatusoperaatioilla häiriöiden vaikutusta voidaan vähentää.

91 LUKU 7. LABORATORIOPROTOTYYPIN TOTEUTUS JA TESTAUS 81 Kuva 7.9: Huonosti segmentoituva kuva. Vasemmalta oikealle: käsiteltävä kuva, segmentoitu kuva morfologisten operaatioiden jälkeen, laatutietojen perusteella suodatettu kuva. Kuva 7.10: Epäilyttävät hahmot haettiin sääntöpohjaisen luokittelumenetelmän perusteella. Kohteiden luokittelu Jäljelle jääneet etualan kohteet luokiteltiin sääntöpohjaisesti edellä laskettujen piirteiden avulla. Pyrkimyksenä oli etsiä liikkuvien hahmojen joukosta sellaiset, jotka käyttäytyvät oudosti. Nämä kohteet aiheuttavat järjestelmässä automaattisen hälytyksen, ja niitä korostetaan eri tavoin (katso kappale 7.6). Kohteen oletetaan käyttäytyvän oudosti, mikäli se kävelee kyykyssä, konttaa tai ryömii. Edellisen perusteella laadittiin seuraavat säännöt kriteerien toteutumiselle: Kohteen leveyden ja korkeuden suhde on yli 0.6 (kohde pyöreähkö). Kohteen todellinen korkeus on alle 1.2 m (kohde kyykyssä, kontallaan tai makuullaan). Kuvassa 7.10 on esitetty konttaavia ja ryömiviä ihmisiä molemmissa eri näkymissä, jotka luokiteltiin edellä kuvattujen sääntöjen valossa epäilyttäviksi. Vertailun vuoksi kuvien joukossa on myös kädet ja jalat harallaan kulkeva hahmo, joka on sangen pyöreä, mutta luokitellaan kuitenkin oikein, koska kohteen todellinen korkeus on kynnysarvoa suurempi.

Lisätty todellisuus ja sen sovellukset: kiehtovaa visualisointia ja havainnollistamista

Lisätty todellisuus ja sen sovellukset: kiehtovaa visualisointia ja havainnollistamista This document is downloaded from the Digital Open Access Repository of VTT Title Lisätty todellisuus ja sen sovellukset: kiehtovaa visualisointia ja havainnollistamista Author(s) Siltanen, Sanni Citation

Lisätiedot

Vuorekseen liittyvä tutkimusja kehitysprojekti. Langaton Vuores. Kotikatupalvelin

Vuorekseen liittyvä tutkimusja kehitysprojekti. Langaton Vuores. Kotikatupalvelin Vuorekseen liittyvä tutkimusja kehitysprojekti Langaton Vuores Kotikatupalvelin Tutkimuksen tausta Langaton tietoliikenne on arkipäivää Personoidut päätelaitteet (taskutietokone, matkapuhelin, kannettava

Lisätiedot

T-110.460 Henkilöturvallisuus ja fyysinen turvallisuus, k-04

T-110.460 Henkilöturvallisuus ja fyysinen turvallisuus, k-04 T-110.460 Henkilöturvallisuus ja fyysinen turvallisuus, k-04 Harri Koskenranta Fyysinen turvallisuus 21.4.2004: Videovalvontajärjestelmät SUOJAUKSET UHKAT VAHINGOT TURVALLISUUSVALVONTA 21.4.2004 T-110.460

Lisätiedot

T-110.5610 TOIMITILATURVALLISUUS. - Videovalvontajärjestelmä. Harri Koskenranta 25.4.06

T-110.5610 TOIMITILATURVALLISUUS. - Videovalvontajärjestelmä. Harri Koskenranta 25.4.06 T-110.5610 TOIMITILATURVALLISUUS - Videovalvontajärjestelmä Harri Koskenranta 25.4.06 T-110.5610 Koskenranta 1 SUOJAUKSET UHKAT VAHINGOT TURVALLISUUSVALVONTA T-110.5610 Koskenranta 2 VIDEOVALVONTA / KAMERAVALVONTA

Lisätiedot

Kaikki analogiset järjestelmät digitaalisiksi ja verkkokäyttöisiksi - jo tänään Kustannustekkuutta ja joustavuutta työskentelyyn

Kaikki analogiset järjestelmät digitaalisiksi ja verkkokäyttöisiksi - jo tänään Kustannustekkuutta ja joustavuutta työskentelyyn Kaikki analogiset järjestelmät digitaalisiksi ja verkkokäyttöisiksi - jo tänään Kustannustekkuutta ja joustavuutta työskentelyyn Terveydenhuollon 29. ATK-päivät Jyväskylä 25-27.5.2003 Verkostoitumisen

Lisätiedot

Digitaalisen tallennuksen edelläkävijä

Digitaalisen tallennuksen edelläkävijä Digitaalisen tallennuksen edelläkävijä NUUO digitaalitallentimet edustavat analogisen ja IP-pohjaisen videovalvonnan uusinta teknologiaa. NUUO tarjoaa kehittyneitä ratkaisuja kameravalvonnan lisäksi myös

Lisätiedot

Älykästä. kulunvalvontaa. toimii asiakkaan omassa tietoverkossa

Älykästä. kulunvalvontaa. toimii asiakkaan omassa tietoverkossa Älykästä kulunvalvontaa e Acces toimii asiakkaan omassa tietoverkossa Perinteisen kulunvalvonnan seitsemän pullonkaulaa eli miksi useat yritykset eivät ole hankkineet kulunvalvontajärjestelmää? 1. Koska

Lisätiedot

Tietoturvallisuus yhteiskunnan, yritysten ja yksityishenkilöiden kannalta

Tietoturvallisuus yhteiskunnan, yritysten ja yksityishenkilöiden kannalta Tietoturvallisuus yhteiskunnan, yritysten ja yksityishenkilöiden kannalta Sähköurakoitsijapäivät 21.11.2013 Kari Wirman 7.11.2013 Kari Wirman 21.11.2013 Kari Wirman, ICT-pooli Tieto Tieto on nyky-yhteiskunnan

Lisätiedot

VIDEOVALVONTA / KAMERAVALVONTA

VIDEOVALVONTA / KAMERAVALVONTA SUOJAUKSET T-110.5610 TOIMITILATURVALLISUUS - Videovalvontajärjestelmä UHKAT VAHINGOT Harri Koskenranta 26.4.07 TURVALLISUUSVALVONTA T-110.5610 Koskenranta 1 T-110.5610 Koskenranta 2 PERUSLAITTEISTO VIDEOVALVONTA

Lisätiedot

T-110.1100: Virtuaali- ja lisätty todellisuus

T-110.1100: Virtuaali- ja lisätty todellisuus T-110.1100: Virtuaali- ja lisätty todellisuus Kai Puolamäki Mediatekniikan laitos 9.4.2010 Kiitokset: Mark Billinghurst, Tapio Lokki 1 http://metaverseroadmap.org/overview/index.html 2 Ajan ja tietokoneiden

Lisätiedot

Sulautettu tietotekniikka 2007 2013 Ubiquitous Real World Real Time

Sulautettu tietotekniikka 2007 2013 Ubiquitous Real World Real Time Sulautettu tietotekniikka 2007 2013 Ubiquitous Real World Real Time for First Lives 2009 Kimmo Ahola 1 Mitä ohjelma tarjoaa Rahoitusta Resursseja Tietoa Päätösten tukea Verkostoja Luottamusta - Mahdollisuuksia

Lisätiedot

Yritysturvallisuuden perusteet

Yritysturvallisuuden perusteet Yritysturvallisuuden perusteet Teemupekka Virtanen Helsinki University of Technology Telecommunication Software and Multimedia Laboratory teemupekka.virtanen@hut.fi 7.Luento Vartiointi ja valvonta Vartioinnin

Lisätiedot

Järjestelmäarkkitehtuuri (TK081702) Web Services. Web Services

Järjestelmäarkkitehtuuri (TK081702) Web Services. Web Services Järjestelmäarkkitehtuuri (TK081702) Standardoidutu tapa integroida sovelluksia Internetin kautta avointen protokollien ja rajapintojen avulla. tekniikka mahdollista ITjärjestelmien liittämiseen yrityskumppaneiden

Lisätiedot

Opetuksen ja opiskelun tehokas ja laadukas havainnointi verkkooppimisympäristössä

Opetuksen ja opiskelun tehokas ja laadukas havainnointi verkkooppimisympäristössä Opetuksen ja opiskelun tehokas ja laadukas havainnointi verkkooppimisympäristössä Jukka Paukkeri (projektitutkija) Tampereen Teknillinen Yliopisto Matematiikan laitos Intelligent Information Systems Laboratory

Lisätiedot

Malleja ja menetelmiä geometriseen tietokonenäköön

Malleja ja menetelmiä geometriseen tietokonenäköön Malleja ja menetelmiä geometriseen tietokonenäköön Juho Kannala 7.5.2010 Johdanto Tietokonenäkö on ala, joka kehittää menetelmiä automaattiseen kuvien sisällön tulkintaan Tietokonenäkö on ajankohtainen

Lisätiedot

10 yleisintä kysymystä kameravalvonnasta

10 yleisintä kysymystä kameravalvonnasta 10 yleisintä kysymystä kameravalvonnasta Ari Räty, tekninen johtaja, Demon Turvallisuus Oy 1: Miten toimittamanne kamerat näkevät pimeässä? Kameran kuvaus perustuu kohteesta heijastuvaan valoon. Ellei

Lisätiedot

Visualisointi informaatioverkostojen 2011-2012. Opintoneuvoja Pekka Siika-aho 24.11.2011 (päivitys mm. Janne Käen visualisoinnin pohjalta)

Visualisointi informaatioverkostojen 2011-2012. Opintoneuvoja Pekka Siika-aho 24.11.2011 (päivitys mm. Janne Käen visualisoinnin pohjalta) Visualisointi informaatioverkostojen opinto-oppaasta 2011-2012 Opintoneuvoja Pekka Siika-aho 24.11.2011 (päivitys mm. Janne Käen visualisoinnin pohjalta) Diplomi-insinöörin tutkinto (DI, 120 op) Diplomityö

Lisätiedot

Agenda. Johdanto Ominaispiirteitä Kokonaisjärjestelmän määrittely Eri alojen edustajien roolit Sulautetut järjestelmät ja sulautettu ohjelmointi

Agenda. Johdanto Ominaispiirteitä Kokonaisjärjestelmän määrittely Eri alojen edustajien roolit Sulautetut järjestelmät ja sulautettu ohjelmointi 1. Luento: Sulautetut Järjestelmät Arto Salminen, arto.salminen@tut.fi Agenda Johdanto Ominaispiirteitä Kokonaisjärjestelmän määrittely Eri alojen edustajien roolit Sulautetut järjestelmät ja sulautettu

Lisätiedot

Futuristic History Avoimen tiedon innovaatiot. Aluetietopäivät 21.1.2014 Tuomas Mäkilä / Turun yliopisto

Futuristic History Avoimen tiedon innovaatiot. Aluetietopäivät 21.1.2014 Tuomas Mäkilä / Turun yliopisto Futuristic History Avoimen tiedon innovaatiot Aluetietopäivät 21.1.2014 Tuomas Mäkilä / Turun yliopisto Sisältö 1. Yhdistetty todellisuus 2. Futuristic History hanke 3. Avoimen tiedon innovaatiot Futuristic

Lisätiedot

VÄRISPEKTRIKUVIEN TEHOKAS SIIRTO TIETOVERKOISSA

VÄRISPEKTRIKUVIEN TEHOKAS SIIRTO TIETOVERKOISSA VÄRISPEKTRIKUVIEN TEHOKAS SIIRTO TIETOVERKOISSA Juha Lehtonen 20.3.2002 Joensuun yliopisto Tietojenkäsittelytiede Kandidaatintutkielma ESIPUHE Olen kirjoittanut tämän kandidaatintutkielman Joensuun yliopistossa

Lisätiedot

Pertti Pennanen DOKUMENTTI 1 (5) EDUPOLI ICTPro1 29.10.2013

Pertti Pennanen DOKUMENTTI 1 (5) EDUPOLI ICTPro1 29.10.2013 Virtualisointi Pertti Pennanen DOKUMENTTI 1 (5) SISÄLLYSLUETTELO Virtualisointi... 2 Virtualisointiohjelmia... 2 Virtualisointitapoja... 2 Verkkovirtualisointi... 2 Pertti Pennanen DOKUMENTTI 2 (5) Virtualisointi

Lisätiedot

Lisätty Todellisuus / Augmented Reality

Lisätty Todellisuus / Augmented Reality Lisätty Todellisuus / Augmented Reality Charles Woodward / VTT Tietotekniikka Lisätty Todellisuus Augmented Reality (AR) Määritelmä yhdistää todellista ja virtuaalista reaaliaikainen interaktio toimii

Lisätiedot

Divar. Käyttökohdeopas. Divar application guide

Divar. Käyttökohdeopas. Divar application guide Divar Käyttökohdeopas Bosch Divar application Divar Digitaalitallennin guide Bosch Divar Digitaalitallennin Divar on digitaalitallennin, joka tuo digitaalisen CCTV-valvontatekniikan entistä laajemman käyttäjäryhmän

Lisätiedot

Lisätyn todellisuuden ratkaisuja sisustus- ja rakennussuunnitteluun. Prof. Charles Woodward VTT Digitaaaliset tietojärjestelmät

Lisätyn todellisuuden ratkaisuja sisustus- ja rakennussuunnitteluun. Prof. Charles Woodward VTT Digitaaaliset tietojärjestelmät Lisätyn todellisuuden ratkaisuja sisustus- ja rakennussuunnitteluun Prof. Charles Woodward VTT Digitaaaliset tietojärjestelmät SISÄLTÖ Lisätty todellisuus - Johdanto Sovelluksia sisustussuunnittelussa

Lisätiedot

Web sovelluksen kehittäminen sähkönjakeluverkon suojareleisiin

Web sovelluksen kehittäminen sähkönjakeluverkon suojareleisiin TEKNILLINEN KORKEAKOULU / VAASAN YLIOPISTO Diplomityöesitelmä Web sovelluksen kehittäminen sähkönjakeluverkon suojareleisiin Timo Ahola 2006 Web sovellus Web palvelut joiden avulla laite voidaan liittää

Lisätiedot

TURVALLISEN TEKNIIKAN SEMINAARI 2003. Laitteiden etähallinta tietoverkkojen välityksellä Jani Järvinen, tuotepäällikkö

TURVALLISEN TEKNIIKAN SEMINAARI 2003. Laitteiden etähallinta tietoverkkojen välityksellä Jani Järvinen, tuotepäällikkö TURVALLISEN TEKNIIKAN SEMINAARI 2003 Laitteiden etähallinta tietoverkkojen välityksellä Jani Järvinen, tuotepäällikkö Mitä on etähallinta? Jotain muuta kuin laitteen välittömässä läheisyydessä tapahtuvaa

Lisätiedot

mikä sen merkitys on liikkuvalle ammattilaiselle?

mikä sen merkitys on liikkuvalle ammattilaiselle? artikkeli WWAN-verkko WWAN-verkko: mikä sen merkitys on liikkuvalle ammattilaiselle? Nopeiden, saumattomien yhteyksien merkitys minkä tahansa yrityksen menestykseen sekä liikkuvan ammattilaisen tehokkuuteen

Lisätiedot

Tieteellinen visualisointi. Esityksen rakenne. Taustaa. Motivointi 2. Motivointi 1

Tieteellinen visualisointi. Esityksen rakenne. Taustaa. Motivointi 2. Motivointi 1 Tieteellinen visualisointi Richard Hamming:" The purpose of scientific computing is insight not numbers." Matti Gröhn Esityksen rakenne Taustaa Taustaa Käyttökohteita, rajoituksia ja tavoitteita Visualisointitekniikoita

Lisätiedot

Avoimet standardit ja integraatio

Avoimet standardit ja integraatio Avoimet standardit ja integraatio Avoimet standardit ja integraatio Trendin ainutlaatuinen lähestymistapa avoimiin standardeihin ja integraatioon tarjoaa odottamasi hyödyt, sekä markkinoiden johtavat innovaatiot

Lisätiedot

OULA TelemArk - arkkitehtuuri

OULA TelemArk - arkkitehtuuri OULA TelemArk - arkkitehtuuri Fax +358 (0)8 551 3870 www.buscom.fi Date: 9.12.2004 Page: 1 Versiohistoria Versio Pvm Tekijä Muutoksen kuvaus 0.01 02.03.2004 Pvu Ensimmäinen versio. 0.02 11.03.2004 Pvu

Lisätiedot

TEKA-valvontakamerat. koti- ja mökkikäyttöön sekä pienyritysten valvontatarpeisiin. tools not toys. visisystems.fi

TEKA-valvontakamerat. koti- ja mökkikäyttöön sekä pienyritysten valvontatarpeisiin. tools not toys. visisystems.fi TEKA-valvontakamerat koti- ja mökkikäyttöön sekä pienyritysten valvontatarpeisiin 4/8/16 kanavaiset, kehittyneet videotallentimet HDMI ulostulolla. 4/8 x 600 TVL korkearesoluutioiset kamerat Helppo nettikäyttö

Lisätiedot

Arkkitehtuurikuvaus. Ratkaisu ohjelmistotuotelinjan monikielisyyden hallintaan Innofactor Oy. Ryhmä 14

Arkkitehtuurikuvaus. Ratkaisu ohjelmistotuotelinjan monikielisyyden hallintaan Innofactor Oy. Ryhmä 14 Arkkitehtuurikuvaus Ratkaisu ohjelmistotuotelinjan monikielisyyden hallintaan Innofactor Oy Ryhmä 14 Muutoshistoria Versio Pvm Päivittäjä Muutos 0.4 1.11.2007 Matti Eerola 0.3 18.10.2007 Matti Eerola 0.2

Lisätiedot

S-38.1105 Tietoliikennetekniikan perusteet. Piirikytkentäinen evoluutio. Annukka Kiiski

S-38.1105 Tietoliikennetekniikan perusteet. Piirikytkentäinen evoluutio. Annukka Kiiski S-38.1105 Tietoliikennetekniikan perusteet Piirikytkentäinen evoluutio Annukka Kiiski Verkon topologia Kuvaa verkon rakenteen Fyysinen vs looginen topologia Tähti asema keskitin Perustopologioita Kahdenvälinen

Lisätiedot

Järjestelmäarkkitehtuuri (TK081702) Avoimet web-rajapinnat

Järjestelmäarkkitehtuuri (TK081702) Avoimet web-rajapinnat Järjestelmäarkkitehtuuri (TK081702) SOA yleistyvät verkkopalveluissa Youtube Google... Avaavat pääsyn verkkopalvelun sisältöön. Rajapintojen tarjoamia tietolähteitä yhdistelemällä luodaan uusia palveluja,

Lisätiedot

Virtuaalitilat tulevaisuudessa. Päivi Aarreniemi-Jokipelto TkT, yliopettaja

Virtuaalitilat tulevaisuudessa. Päivi Aarreniemi-Jokipelto TkT, yliopettaja Virtuaalitilat tulevaisuudessa Päivi Aarreniemi-Jokipelto TkT, yliopettaja 2 Väite: Virtuaalitilat katoavat 2030 mennessä Jäljellä ainoastaan erikoistuneita asiantuntijatehtäviä varten Teknologinen kehitys

Lisätiedot

YHTIÖKOKOUS 9.4.2015 Finlandia-talo, Helsinki. Teleste Proprietary. All rights reserved.

YHTIÖKOKOUS 9.4.2015 Finlandia-talo, Helsinki. Teleste Proprietary. All rights reserved. YHTIÖKOKOUS 9.4.2015 Finlandia-talo, Helsinki VISIO - Alamme johtavana toimijana luomme modernia verkottunutta maailmaa uusien laajakaista- ja videoratkaisujen avulla. 1 Teleste lyhyesti 2 Vuosi 2014 keskeiset

Lisätiedot

Tassu Takala pääaineinfo 2.3.2009

Tassu Takala pääaineinfo 2.3.2009 Tassu Takala pääaineinfo 2.3.2009 1 Kaksi näkökulmaa mediaan Tekniikka eri medialajeja ja koosteita käsittelevät algoritmit uudet teknologiat Sisältö mediatuotteiden käsittely valmiilla välineillä tuotantoprosessin

Lisätiedot

Liikkuvien työkoneiden etäseuranta

Liikkuvien työkoneiden etäseuranta Liikkuvien työkoneiden etäseuranta TAMK IoT Seminaari 14.4.2016 2 1) IoT liiketoiminnan tukena 2) Iot ja liikkuvat työkoneet 3) Case esimerkit 4) Yhteenveto, johtopäätökset, tulevaisuuden näkymät Cinia

Lisätiedot

Ubiikkiteknologia ja sosiaalinen media alueellisessa ja paikallisessa kehittämisessä

Ubiikkiteknologia ja sosiaalinen media alueellisessa ja paikallisessa kehittämisessä Ubiikkiteknologia ja sosiaalinen media alueellisessa ja paikallisessa kehittämisessä tutkija Sirkku Wallin Yhdyskuntasuunnittelun tutkimus ja koulutuskeskus YTK Aalto yliopisto Digitalisaatiosta elinvoimaa

Lisätiedot

Korkean suorituskyvyn lämpökameran käyttö tulipesämittauksissa. VI Liekkipäivä, Lappeenranta 26.1.2012 Sami Siikanen, VTT

Korkean suorituskyvyn lämpökameran käyttö tulipesämittauksissa. VI Liekkipäivä, Lappeenranta 26.1.2012 Sami Siikanen, VTT Korkean suorituskyvyn lämpökameran käyttö tulipesämittauksissa VI Liekkipäivä, Lappeenranta 26.1.2012 Sami Siikanen, VTT 2 OPTICAL MEASUREMENT TECHNOLOGIES TEAM Kuopio, Technopolis Key research area: Development

Lisätiedot

Kuluttajat ja uuden teknologian hyväksyminen. Kuluttajan ja markkinoijan suhde tulevaisuudessa Anu Seisto, VTT

Kuluttajat ja uuden teknologian hyväksyminen. Kuluttajan ja markkinoijan suhde tulevaisuudessa Anu Seisto, VTT Kuluttajat ja uuden teknologian hyväksyminen Kuluttajan ja markkinoijan suhde tulevaisuudessa Anu Seisto, VTT 2 Miksi kuluttaja / käyttäjänäkökulma on mielenkiintoinen? Jokainen käyttäjä havainnoi teknologian

Lisätiedot

IISALMEN KAUPUNKI KIINTEISTÖJEN KAMERAVALVONTA 19.2.2016 1. Matti Rönkkö tekninen isännöitsijä Iisalmen kaupunki / tilapalvelu

IISALMEN KAUPUNKI KIINTEISTÖJEN KAMERAVALVONTA 19.2.2016 1. Matti Rönkkö tekninen isännöitsijä Iisalmen kaupunki / tilapalvelu IISALMEN KAUPUNKI KIINTEISTÖJEN KAMERAVALVONTA Matti Rönkkö tekninen isännöitsijä Iisalmen kaupunki / tilapalvelu 19.2.2016 1 Iisalmen kaupungin tekninen keskus / tilapalvelu on asentanut tallentavan kameravalvonnan

Lisätiedot

Älykkään vesihuollon järjestelmät

Älykkään vesihuollon järjestelmät Älykkään vesihuollon järjestelmät Älykkään vesihuollon järjestelmät fcgsmart.fi Älykäs vesihuolto 6. Organisaatio, johtaminen ja asiakaspalvelu 5. Tiedon yhdistäminen ja analysointi 4. Tiedon hallinta

Lisätiedot

Jussi Klemola 3D- KEITTIÖSUUNNITTELUOHJELMAN KÄYTTÖÖNOTTO

Jussi Klemola 3D- KEITTIÖSUUNNITTELUOHJELMAN KÄYTTÖÖNOTTO Jussi Klemola 3D- KEITTIÖSUUNNITTELUOHJELMAN KÄYTTÖÖNOTTO Opinnäytetyö KESKI-POHJANMAAN AMMATTIKORKEAKOULU Puutekniikan koulutusohjelma Toukokuu 2009 TIIVISTELMÄ OPINNÄYTETYÖSTÄ Yksikkö Aika Ylivieska

Lisätiedot

Emergence Palvelukonsepti

Emergence Palvelukonsepti Emergence Palvelukonsepti Huoletonta ja älykästä valvontaa Emergence palvelukonsepti koostuu kahdesta palvelumallilla toimitettavasta aloituskokoonpanosta: kamera- tai työmaavalvonnasta. Kameravalvonta

Lisätiedot

Toimilohkojen turvallisuus tulevaisuudessa

Toimilohkojen turvallisuus tulevaisuudessa Toimilohkojen turvallisuus tulevaisuudessa Turvallisuusseminaari ASAF 30.10-1.11.2006 Mika Strömman Teknillinen korkeakoulu 1 Sisältö Luotettavuuden lisääminen hyvillä tavoilla Toimilohkokirjastot Turvatoimilohkot

Lisätiedot

TKK 100 vuotta -merkki

TKK 100 vuotta -merkki TKK 100 vuotta -merkki jari laiho design studio WHO ARE YOU oy Merkin esittely TKK Viestintä elementit TKK Viestintä TKK Viestintä TKK Viestintä TKK Viestintä TKK Viestintä TKK Viestintä TKK Viestintä

Lisätiedot

Digi-tv vastaanottimella toteutetut interaktiiviset sovellukset

Digi-tv vastaanottimella toteutetut interaktiiviset sovellukset Vaatimusmäärittely Digi-tv vastaanottimella toteutetut interaktiiviset sovellukset Versio Päiväys Tekijä Kuvaus 0.1 12.10.01 Pekka Koskinen Ensimmäinen luonnos 0.2 17.10.01 Pekka Koskinen Lisätty vaatimuksia

Lisätiedot

Esittelyssä AutoDome Easy Täydellinen keskikokoisiin kohteisiin

Esittelyssä AutoDome Easy Täydellinen keskikokoisiin kohteisiin Esittelyssä AutoDome Easy Täydellinen keskikokoisiin kohteisiin PTZ-kamera, joka on suunniteltu sopimaan täydellisesti kaikkialle Kun kiinteä minidome-kamera ei riitä, mutta perinteinen PTZ-kamera on turhan

Lisätiedot

4.12.2005. SEPA REFAKTOROINTI Antti Ahvenlampi, 57408L Erik Hakala, 57509T

4.12.2005. SEPA REFAKTOROINTI Antti Ahvenlampi, 57408L Erik Hakala, 57509T SEPA REFAKTOROINTI Antti Ahvenlampi, 57408L Erik Hakala, 57509T SEPA: REFAKTOROINTI 2 (9) SEPA: REFAKTOROINTI 3 (9) VERSIOHISTORIA Version Date Author Description 0.1 2.12.2005 Erik Hakala Ensimmäinen

Lisätiedot

TIES530 TIES530. Moniprosessorijärjestelmät. Moniprosessorijärjestelmät. Miksi moniprosessorijärjestelmä?

TIES530 TIES530. Moniprosessorijärjestelmät. Moniprosessorijärjestelmät. Miksi moniprosessorijärjestelmä? Miksi moniprosessorijärjestelmä? Laskentaa voidaan hajauttaa useammille prosessoreille nopeuden, modulaarisuuden ja luotettavuuden vaatimuksesta tai hajauttaminen voi helpottaa ohjelmointia. Voi olla järkevää

Lisätiedot

FiSMA 1.1 Toiminnallisen laajuuden mittausmenetelmä Ohje monikerrosarkkitehtuurin mittaamiseen

FiSMA 1.1 Toiminnallisen laajuuden mittausmenetelmä Ohje monikerrosarkkitehtuurin mittaamiseen FiSMA 1.1 Monikerrosarkkitehtuuri 1 (6) FiSMA 1.1 Toiminnallisen laajuuden mittausmenetelmä Ohje monikerrosarkkitehtuurin mittaamiseen 1. Yleiset periaatteet FiSMA 1.1 -menetelmässä mitataan sovellusperiaatteen

Lisätiedot

Johdatus rakenteisiin dokumentteihin

Johdatus rakenteisiin dokumentteihin -RKGDWXVUDNHQWHLVLLQGRNXPHQWWHLKLQ 5DNHQWHLQHQGRNXPHQWWL= rakenteellinen dokumentti dokumentti, jossa erotetaan toisistaan dokumentin 1)VLVlOW, 2) UDNHQQHja 3) XONRDVX(tai esitystapa) jotakin systemaattista

Lisätiedot

Uudelleenkäytön jako kahteen

Uudelleenkäytön jako kahteen Uudelleenkäyttö Yleistä On pyritty pääsemään vakiokomponenttien käyttöön Kuitenkin vakiokomponentit yleistyneet vain rajallisilla osa-alueilla (esim. windows-käyttöliittymä) On arvioitu, että 60-80% ohjelmistosta

Lisätiedot

ModerniOptiikka. InFotonics Center Joensuu

ModerniOptiikka. InFotonics Center Joensuu ModerniOptiikka InFotonics Center Joensuu Joensuun Tiedepuistossa sijaitseva InFotonics Center on fotoniikan ja informaatioteknologian yhdistävä kansainvälisen tason tutkimus- ja yrityspalvelukeskus. Osaamisen

Lisätiedot

työryhmien SharePoint-yhteistyötä helpottava ratkaisu

työryhmien SharePoint-yhteistyötä helpottava ratkaisu työryhmien SharePoint-yhteistyötä helpottava ratkaisu LIIKKEENJOHDON SUURIN HAASTE Modernin yrityksen on muutoksen kyydissä pysyäkseen suunniteltava tehokas strategia ja seurattava sitä. Siinä piilee kuitenkin

Lisätiedot

Vaatimusmäärittely Ohjelma-ajanvälitys komponentti

Vaatimusmäärittely Ohjelma-ajanvälitys komponentti Teknillinen korkeakoulu 51 Vaatimusmäärittely Ohjelma-ajanvälitys komponentti Versio Päiväys Tekijä Kuvaus 0.1 21.11.01 Oskari Pirttikoski Ensimmäinen versio 0.2 27.11.01 Oskari Pirttikoski Lisätty termit

Lisätiedot

HTTP-välityspalvelimen käyttö tapahtumien keräämiseen

HTTP-välityspalvelimen käyttö tapahtumien keräämiseen HTTP-välityspalvelimen käyttö tapahtumien keräämiseen Tero Tähtinen Teknillinen korkeakoulu Tietoliikenneohjelmistojen ja multimedian laboratorio Diplomityöesitelmä 29.11.2004 1 Johdanto Diplomityössä

Lisätiedot

Ohjelmiston toteutussuunnitelma

Ohjelmiston toteutussuunnitelma Ohjelmiston toteutussuunnitelma Ryhmän nimi: Tekijä: Toimeksiantaja: Toimeksiantajan edustaja: Muutospäivämäärä: Versio: Katselmoitu (pvm.): 1 1 Johdanto Tämä luku antaa yleiskuvan koko suunnitteludokumentista,

Lisätiedot

Tallennuspalvelu Käyttöohjeet

Tallennuspalvelu Käyttöohjeet Tallennuspalvelu Käyttöohjeet Sisäänkirjautuminen Kirjoita käyttäjä tunnuksesi ja salasanasi kirjautumisruutuun. Jos et muista salasanaasi ota yhteyttä IP-Valvonnan asiakaspalveluun. 1 Valvontanäkymät

Lisätiedot

TAUCHI Tampere Unit for Computer-Human Interaction Aktiiviset oppimistilat kampuksella

TAUCHI Tampere Unit for Computer-Human Interaction Aktiiviset oppimistilat kampuksella Aktiiviset oppimistilat kampuksella Jussi Okkonen, projektipäällikkö Arto Hippula, yhteyspäällikkö Roope Raisamo, professori SIS/ TAUCHI Tampereen yliopisto Tausta Oppimisen ja tutkintojen tavoitteet asetetaan

Lisätiedot

exacqvision videovalvontaohjelmisto Loppukäyttäjän pikaohje

exacqvision videovalvontaohjelmisto Loppukäyttäjän pikaohje exacqvision videovalvontaohjelmisto Loppukäyttäjän pikaohje 7.2.2011 1 Johdanto exacqvision Client -ohjelmassa on kolme toimintatilaa: Live, Haku ja Asetukset. Tässä pikaohjeessa käydään läpi yleisimmät

Lisätiedot

Avoimen ja jaetun tiedon hyödyntäminen. Juha Ala-Mursula BusinessOulu

Avoimen ja jaetun tiedon hyödyntäminen. Juha Ala-Mursula BusinessOulu Avoimen ja jaetun tiedon hyödyntäminen Juha Ala-Mursula BusinessOulu Agenda Internetin kehityskaari Määritelmiä: Jaettu data Avoimet rajapinnat Avoin arkkitehtuuri Esimerkki sovelluskohteesta: OuluHealth

Lisätiedot

Digitalisoituminen ja elinkeinorakenteiden muutos. Vihdin visiopäivä 26.3.2009 Matti Lehti

Digitalisoituminen ja elinkeinorakenteiden muutos. Vihdin visiopäivä 26.3.2009 Matti Lehti Digitalisoituminen ja elinkeinorakenteiden muutos Vihdin visiopäivä 26.3.2009 Matti Lehti Tietotekniikan ja tietoliikenteen läpimurrot 1900- luvulla avasivat tien digitaaliseen tietoyhteiskuntaan Transistori

Lisätiedot

S11-04 Kompaktikamerat stereokamerajärjestelmässä. Projektisuunnitelma

S11-04 Kompaktikamerat stereokamerajärjestelmässä. Projektisuunnitelma AS-0.3200 Automaatio- ja systeemitekniikan projektityöt S11-04 Kompaktikamerat stereokamerajärjestelmässä Projektisuunnitelma Ari-Matti Reinsalo Anssi Niemi 28.1.2011 Projektityön tavoite Projektityössä

Lisätiedot

010627000 Tietoturvan Perusteet Yksittäisen tietokoneen turva

010627000 Tietoturvan Perusteet Yksittäisen tietokoneen turva 010627000 Tietoturvan Perusteet Yksittäisen tietokoneen turva Pekka Jäppinen 31. lokakuuta 2007 Pekka Jäppinen, Lappeenranta University of Technology: 31. lokakuuta 2007 Tietokone Koostuu raudasta ja ohjelmista

Lisätiedot

Tietokone. Tietokone ja ylläpito. Tietokone. Tietokone. Tietokone. Tietokone

Tietokone. Tietokone ja ylläpito. Tietokone. Tietokone. Tietokone. Tietokone ja ylläpito computer = laskija koostuu osista tulostuslaite näyttö, tulostin syöttölaite hiiri, näppäimistö tallennuslaite levy (keskusyksikössä) Keskusyksikkö suoritin prosessori emolevy muisti levy Suoritin

Lisätiedot

TURVAVÄYLÄSEMINAARI. Erilaiset kenttäväylät ja niiden kehitys 13.11.2002. Jukka Hiltunen

TURVAVÄYLÄSEMINAARI. Erilaiset kenttäväylät ja niiden kehitys 13.11.2002. Jukka Hiltunen TURVAVÄYLÄSEMINAARI Erilaiset kenttäväylät ja niiden kehitys 13.11.2002 Jukka Hiltunen Miksi väylätekniikkaa? 1. luonnolliset perusteet: : kehittyneiden kenttälaitteiden ja ylemmän tason laitteiden välille

Lisätiedot

Service Fusion -konsepti

Service Fusion -konsepti Service Fusion -konsepti Chiru-projekti 3D User experience for Mobile Network Virtual Environments Seamus Hickey Minna Pakanen Leena Arhippainen firstname.lastname@cie.fi Teemaseminaari: Tulevaisuuden

Lisätiedot

Lähettimet. Vastaanotin Hälytykset. OV-yksikkö DPR990

Lähettimet. Vastaanotin Hälytykset. OV-yksikkö DPR990 Vastaanottimet Omavalvontyksikkö DPR990 PromoLog-omavalvontaohjelma asennettuna Webserver-ohjelmisto asennettuna Yksinkertainen käyttöönotto, ei ohjelmien asennusta PromoLog-ohjelma käynnistyy automaattisesti

Lisätiedot

KODAK EIM & RIM VIParchive Ratkaisut

KODAK EIM & RIM VIParchive Ratkaisut ATK Päivät 2006 Mikkeli KODAK EIM & RIM VIParchive Ratkaisut 29.-30.5. 2006 Stefan Lindqvist HCIS Sales Specialist Health Care Information Systems Kodak Health Group 3/24/2013 1 Arkistoinnin haasteita

Lisätiedot

S-108.3020 Elektroniikan häiriökysymykset. Laboratoriotyö, kevät 2010

S-108.3020 Elektroniikan häiriökysymykset. Laboratoriotyö, kevät 2010 1/7 S-108.3020 Elektroniikan häiriökysymykset Laboratoriotyö, kevät 2010 Häiriöiden kytkeytyminen yhteisen impedanssin kautta lämpötilasäätimessä Viimeksi päivitetty 25.2.2010 / MO 2/7 Johdanto Sähköisiä

Lisätiedot

Tulevaisuuden ubimaailmassa liikkuminen

Tulevaisuuden ubimaailmassa liikkuminen Tulevaisuuden ubimaailmassa liikkuminen Eija Kaasinen VTT Navigaattori kourassa rotvallin reunalla Käytettävyyspäivä Tampereella 13.11.2008 11 Esityksen sisältö Mikä ubi? Miten? VTT:n visio Käytettävyyden

Lisätiedot

IT-OSAAJA, TIETOJENKÄSITTELYN ERIKOISTUMISOPINNOT

IT-OSAAJA, TIETOJENKÄSITTELYN ERIKOISTUMISOPINNOT IT-OSAAJA, TIETOJENKÄSITTELYN ERIKOISTUMISOPINNOT KOULUTUKSEN KOHDERYHMÄ SISÄLTÖ Koulutuksen tavoitteena on antaa opiskelijalle valmiudet uusien tietoteknisten menetelmien ja välineiden hyödyntämiseen.

Lisätiedot

Advanced Test Automation for Complex Software-Intensive Systems

Advanced Test Automation for Complex Software-Intensive Systems Advanced Test Automation for Complex Software-Intensive Systems Aiheena monimutkaisten ohjelmistovaltaisten järjestelmien testauksen automatisointi Mistä on kyse? ITEA2-puiteohjelman projekti: 2011-2014

Lisätiedot

Teknisiä käsitteitä, lyhenteitä ja määritelmiä

Teknisiä käsitteitä, lyhenteitä ja määritelmiä Teknisiä käsitteitä, lyhenteitä ja määritelmiä Yleistä Asuinkiinteistön monipalveluverkko Asuinkiinteistön viestintäverkko, joka välittää suuren joukon palveluja, on avoin palveluille ja teleyritysten

Lisätiedot

Laaja-alainen, opiskelijalähtöinen ja projektiperusteinen opetussuunnitelma, case Monitori

Laaja-alainen, opiskelijalähtöinen ja projektiperusteinen opetussuunnitelma, case Monitori Laaja-alainen, opiskelijalähtöinen ja projektiperusteinen opetussuunnitelma, case Monitori Insinöörikoulutuksen Foorumi 2012 Seminaariesitelmä Timo Turunen ja Matti Welin Monitori koulutusalarajat ylittävä

Lisätiedot

MIGS videoendoskooppi

MIGS videoendoskooppi Endoskoopit MIGS videoendoskooppi Käyttökohteet: Piilo-onteloiden tähystys 4,5-350mm putkien tähystys Moottorin tutkiminen. Kulman taakse ontelossa tähystys Tärkeimmät ominaisuudet: Vaihdettavat Videokaapelit

Lisätiedot

DAISY. Esteetöntä julkaisua

DAISY. Esteetöntä julkaisua DAISY Digital Accessible Information SYstem Esteetöntä julkaisua Markku Leino 27.4.2009 ESITYKSEN SISÄLTÖ Mikä on DAISY kirja? DAISY-järjestelmän lyhyt historia Miten rakentaa DAISY-kirja ja kirjatyypit

Lisätiedot

Mekatroniikan tutkimusverkoston kehittäminen Raumalla, METURA

Mekatroniikan tutkimusverkoston kehittäminen Raumalla, METURA 3.12.2015 1 Mekatroniikan tutkimusverkoston kehittäminen Raumalla, METURA 2 3 Mekatroniikka? Mekatroniikka tulee sanoista mekaniikka ja elektroniikka. Mekatroniikka termi keksittiin Japanissa 1970-luvulla,

Lisätiedot

Teollisuuden uudistuvat liiketoimintamallit Teollinen Internet (Smart Grid) uudistusten mahdollistajana

Teollisuuden uudistuvat liiketoimintamallit Teollinen Internet (Smart Grid) uudistusten mahdollistajana Teollisuuden uudistuvat liiketoimintamallit Teollinen Internet (Smart Grid) uudistusten mahdollistajana 2/27/2014 Ind. Internet_energy 1 2/27/2014 Ind. Internet_energy 2 Energia- ym. teollisuuden tietoympäristö

Lisätiedot

Testauksen tuki nopealle tuotekehitykselle. Antti Jääskeläinen Matti Vuori

Testauksen tuki nopealle tuotekehitykselle. Antti Jääskeläinen Matti Vuori Testauksen tuki nopealle tuotekehitykselle Antti Jääskeläinen Matti Vuori Mitä on nopeus? 11.11.2014 2 Jatkuva nopeus Läpäisyaste, throughput Saadaan valmiiksi tasaiseen, nopeaan tahtiin uusia tuotteita

Lisätiedot

Sisällys. Valtion tietotekniikan rajapintasuosituksia. XML:n rooleja sähköisen asioinnin tavoitearkkitehtuurissa. dbroker - asiointialusta

Sisällys. Valtion tietotekniikan rajapintasuosituksia. XML:n rooleja sähköisen asioinnin tavoitearkkitehtuurissa. dbroker - asiointialusta Palveluita ja sisältöä portaaliin - XML:n mahdollisuuksista XML-tietokannat ja julkishallinnon XML-sovellukset, 28.05.2002 Lasse Akselin, TietoEnator Oyj Sisällys Valtion tietotekniikan rajapintasuosituksia

Lisätiedot

Valo- ja äänisuunnittelun laitoksen kehittämishanke Digitaalisen äänen tutkimusprojekti

Valo- ja äänisuunnittelun laitoksen kehittämishanke Digitaalisen äänen tutkimusprojekti Valo- ja äänisuunnittelun laitoksen kehittämishanke Digitaalisen äänen tutkimusprojekti Jatkohanke vuonna 2001 aloitetulle digitaalisen valon ja äänen tutkimushankkeelle, jolle saatiin 2001 osarahoitus.

Lisätiedot

CT50A2602 Käyttöjärjestelmät Seminaarityö. Tietokoneen muisti nyt ja tulevaisuudessa

CT50A2602 Käyttöjärjestelmät Seminaarityö. Tietokoneen muisti nyt ja tulevaisuudessa CT50A2602 Käyttöjärjestelmät Seminaarityö Tietokoneen muisti nyt ja tulevaisuudessa Jyrki Eurén Raimo Asikainen Janne Laitinen Teppo Lapinkoski Manu Toivanen Pasi Ruuth Johdanto Taustaa Työn taustana ryhmän

Lisätiedot

Kylmäjärjestelmien etävalvonta

Kylmäjärjestelmien etävalvonta Kylmäjärjestelmien etävalvonta Palvelumme on reaaliaikainen, jonka avulla asiakkaamme kaupan ja kylmäalalla saavat reaaliaikaista tietoa etäkohteista. Mikäli kohteissa tapahtuu jotain poikkeuksellista,

Lisätiedot

Perusarkkitehtuurin ja vuorovaikutuksen mallintamisen perusteita.

Perusarkkitehtuurin ja vuorovaikutuksen mallintamisen perusteita. Perusarkkitehtuurin ja vuorovaikutuksen mallintamisen perusteita. Arkkitehtuuriin vaikuttavat ympäristötekijät Jo kehittämisen alkuvaiheessa on tarpeellista hahmotella arkkitehtuurin perusratkaisu. Lähtökohdat

Lisätiedot

PARHAAT KÄYTÄNNÖT KÄYTÄNNÖSSÄ JAPANI 2006. EGLO vuosiseminaari 30.5.2006

PARHAAT KÄYTÄNNÖT KÄYTÄNNÖSSÄ JAPANI 2006. EGLO vuosiseminaari 30.5.2006 PARHAAT KÄYTÄNNÖT KÄYTÄNNÖSSÄ JAPANI 2006 Liikenteen ja logistiikan innovaatiohanke EGLO vuosiseminaari 30.5.2006 Työn tavoite Työn päätavoitteena on liikennetelematiikan kansainvälisen huippuosaamisen

Lisätiedot

7signal Sapphire. Ratkaisuesittely

7signal Sapphire. Ratkaisuesittely 7signal Sapphire Ratkaisuesittely Agenda 7signal Ratkaisu Yleiskuvaus Kolme komponenttia Tehtävät Kohdeasiakkaat Palvelut Esimerkkikuvia 7signal Langattomien verkkojen hallintaan, ylläpitoon ja kehittämiseen

Lisätiedot

Rakentamisen 3D-mallit hyötykäyttöön

Rakentamisen 3D-mallit hyötykäyttöön Rakentamisen 3D-mallit hyötykäyttöön 1 BIM mallien tutkimuksen suunnat JAO, Jyväskylä, 22.05.2013 Prof. Jarmo Laitinen, TTY rakentamisen tietotekniikka Jarmo Laitinen 23.5.2013 Jarmo Laitinen 23.5.2013

Lisätiedot

HELSINKI AREA TESTBED. Martti Mäntylä, HIIT 12.3.2003

HELSINKI AREA TESTBED. Martti Mäntylä, HIIT 12.3.2003 HELSINKI AREA TESTBED Martti Mäntylä, HIIT 12.3.2003 Pääkaupunkiseudun innovaatioympäristö Pääkaupunkiseudulla hyvät lähtökohdat uusien ICTyritysten syntymiseen Innovaatioympäristöä täytyy kehittää edelleen:

Lisätiedot

Älyliikenteen innovaatio-, kokeilu- ja kehitysympäristö

Älyliikenteen innovaatio-, kokeilu- ja kehitysympäristö Älyliikenteen innovaatio-, kokeilu- ja kehitysympäristö ITS Factory lyhyesti Älyliikenteen yhteistyöverkosto aloittanut Tampereella jo 2006 (Tampere region ITS - TRITS) ITS Factory perustettu 2012 Mukana

Lisätiedot

Täydellinen kameravalvontajärjestelmä

Täydellinen kameravalvontajärjestelmä Täydellinen kameravalvontajärjestelmä Ominaisuudet Erittäin helppo oppia ja käyttää Tukee useita megapikselikameroita Vapaasti muokattavat kameranäkymät Rajattomasti käyttäjiä yksilöidyin oikeuksin Monipuolinen

Lisätiedot

Digi-tv vastaanottimella toteutetut interaktiiviset sovellukset

Digi-tv vastaanottimella toteutetut interaktiiviset sovellukset Toiminnallinen määrittely: Editori Digi-tv vastaanottimella toteutetut interaktiiviset sovellukset Versio Päiväys Tekijä Kuvaus 0.01 7.11.01 Pekka Koskinen Alustava sisällysluettelo 0.1 12.11.01 Pekka

Lisätiedot

Pitkäaikaistallennus. CSC - Tieteen tietotekniikan keskus IT2008 Ari Lukkarinen

Pitkäaikaistallennus. CSC - Tieteen tietotekniikan keskus IT2008 Ari Lukkarinen Pitkäaikaistallennus CSC - Tieteen tietotekniikan keskus IT2008 Ari Lukkarinen Mitä on pitkäaikaistallennus? Tiedon tallennuksen aikajänne ylittää tallennusjärjestelmän sekä laite-että ohjelmistokomponenttien

Lisätiedot

Digikamera. Perustietoa digikamerasta ja kuvien siirtämisestä tietokoneelle

Digikamera. Perustietoa digikamerasta ja kuvien siirtämisestä tietokoneelle TEEMA 1 Tietokoneen peruskäyttö Digikamera Perustietoa digikamerasta ja kuvien siirtämisestä tietokoneelle Tämä tietopaketti hahmottaa lukijalle, millä tavalla kuvat voidaan siirtää kamerakännykästä tai

Lisätiedot

LANGATON TIEDONSIIRTO ENERGIA

LANGATON TIEDONSIIRTO ENERGIA LANGATON TIEDONSIIRTO ENERGIA Radiomodeemit ovat yksi luotettavimmista tavoista langattomaan tiedonsiirtoon toimintakriittisissä -sovelluksissa kuten sähköntuotannossa, -siirrossa ja -jakelussa. Satel

Lisätiedot

Parempaa liiketoimintaa henkilöstöjohtamisen uusilla välineillä

Parempaa liiketoimintaa henkilöstöjohtamisen uusilla välineillä Parempaa liiketoimintaa henkilöstöjohtamisen uusilla välineillä Sirpa Huuskonen ja Harri Nikander ISS Palvelut ISS Palvelut Oy 12 000 työtekijää Suomessa Siivous Kiinteistön ylläpito Turvallisuuspalvelut

Lisätiedot