KUVIEN LAADUN ANALYSOINTI

Transkriptio

1 KUVIEN LAADUN ANALYSOINTI Lasse Makkonen Joensuun Ylopsto Tetojenkästtelytede Pro gradu tutkelma

2 Tvstelmä Tutkelmassa luodaan katsaus krjallsuudessa esntyvn dgtaalsten kuven laadullsen analysonnn menetelmn. Valkotua osaa nästä myös sovelletaan kokeellsest joukolle testkuva. Tarkotuksena on löytää se kuvssa esntyvä prre, joka ols omnanen erlasa panopapereta käyttävlle panotuotokslle. Analysonttyökaluja etstään kuven laatumttojen, ssältöpohjasen kuvatetokantahaun sekä eräden muden tunnettujen kuvankästtelymenetelmen prstä. Valttujen menetelmen avulla tuotettuja prrevektoreta vsualsodaan kokeellsessa osassa mm. tseorgansovan kartan avulla. Lsäks estellään uudenlanen sovellettu prre, nn kään tseorgansovan kartan avulla ratkastava valltsevmpen vären joukko. Tämä prre tuottaakn ns. spektrkuven laatumtta -prteen ohella kakken lupaavmpa tuloksa. Tutkelma on osa laajempaa tutkmusta, jonka päämääränä on parantaa panotuotteden laatua erlasssa panatusolosuhtessa. Avansanat: kuva-analyys, laatumtat, tseorgansova kartta (SOM).

3 Ssällysluettelo 1 Johdanto Kuven laadun analysont DIGITAALINEN KUVA VÄRIMALLIT SISÄLTÖPOHJAINEN KUVATIETOKANTAHAKU Kuvahakujärjestelmät Peruskästtetä Etäsyysmtat Värhstogrammt Värkorrelogrammt Muta teknkota KUVIEN LAATUMITAT Ihmsen näköjärjestelmä Havantokykyyn perustuva kuven vertalu Ylenen kuven laatundeks Laatumtta spektrkuven tvstykselle LBP-TEKSTUURIPIIRRE ITSEORGANISOIVA KARTTA Käytetyt menetelmät ja testanesto MENETELMIEN VALINNASTA TESTIMATERIAALI Kokeellset tulokset TILASTOLLINEN ANALYYSI VÄRIAVARUUSPROJEKTIOT VALLITSEVA VÄRI SOM-ANALYYSI Pohdnta Vteluettelo Lte 1: Laplace-suodnmatrst Lte 2: Olohuone-kuvasarja Lte 3: Syötekuvat kakku ja parveke Lte 4: SOM-vsualsonnt syötekuvasta kakku Lte 5: SOM-vsualsonnt syötekuvasta parveke Lte 6: Syötekuven väravaruusprojektota

4 1 Johdanto Tämä tutkelma on osa M-realn ja Joensuun ylopston tetojenkästtelyteteen latoksen värkuvautkmusta. Tutkmuksen tavotteena on löytää sellasa kuvankästtelymenetelmä, joden avulla mm. erlaslle paperelle panettujen kuven laatu votasn maksmoda rppumatta panatuksessa valltsevsta olosuhtesta. Panatusolosuhtella tässä yhteydessä tarkotetaan panatusprosessn lttyvä muuttuva parametreja, esmerkks käytetyn panopapern tyyppä ja laatua sekä värpgmentten levttämseen käytettyä teknkkaa. Ajatellaan hetk kahta panettua kuvaa. Molemmat kuvat ovat peräsn samasta lähteestä, kentes Suomen tetotomston uutskuva-arkstosta. Ne esttävät samaa kohdetta ja ovat alun pern olleet täysn denttsä keskenään. Kuvat on kutenkn panettu er kohtesn, esmerkks halpaa sanomalehtpapera käyttävään pakallslehteen sekä toseen, laadukkaampaa papera hyödyntävään julkasuun. Tällä tavon alun pern denttslle kuvlle on saattanut aheutua panoprosesssta johtuva, hmsslmn selväst havattavssa oleva laadullsa eroavasuuksa. Nämä eroavasuudet vovat olla erttän merkttävä, äärmmäsessä tapauksessa kuvassa alun pern vallnnut yleslme on saattanut muuttua hyvnkn erlaseks, jollon katsojalle välttyvä kuvallnen vest e välttämättä olekaan enää entsen kaltanen. Panettujen kuven laadullsten omnasuuksen tutkmnen on tässä työssä keskesessä osassa. Tavotteeseen pyrtään kuven dgtaalsten analysontmenetelmen tutkmsen ja kehttämsen kenon. Pääpano on sellasen analysontmenetelmän (ta menetelmen) etsmsessä, jonka avulla votasn pakallstaa se prre, joka on jollakn tavalla omnanen tettyä paperlaatua käyttävlle panotuotokslle. Tosn sanoen pyrtään selvttämään stä, mkä antaa tetynlaselle paperlaadulle panetulle kuvlle nlle tyypllsen yleslmeen, mkäl sellanen on löydettävssä. On syytä huomata, että tutkmus on vasta alkuvaheessa. Tätä tutkelmaa vodaankn ajatella eräänlasena ensaskeleena koht dgtaalsta panokuven laadun 1

5 analysonta, joka lopulta tetämyksen lsääntyessä ve koht lopullsta päämäärää el panettujen kuven laadun parantamsta. Luvussa 2 selvtetään lyhyest dgtaalsen kuva-analyysn peruskästtestöä. Nän lukjalla on mahdollsuus tutustua perusasohn ja samalla myös työssä käytettävään termstöön. Tämän jälkeen luodaan katsaus krjallsuudesta pomttuhn menetelmn, jotka lttyvät prteden rrottamseen dgtaalssta kuvsta. Nästä kesktytään välttömäst tutkmuksen kohteeseen lttyvän materaaln puutteessa ertysest ssältöpohjaseen kuvatetokantahakuun ja erlasn kuven laatumttohn. Lsäks estellään kokeellsessa osassa käytetty tekstuurprre LBP sekä lopuks tässäkn työssä runsaast hyödynnetty tedon vsualsontmenetelmä, prof. Kohosen tseorgansova kartta. Kokeellsessa osassa käytetty testmateraal estellään luvussa 3. Tässä yhteydessä nmetään myös lyhyest ne menetelmät, jota työssä sovellettn. Testmateraalna käytettn joukkoa erlaslta panopaperelta dgtotuja valokuva, jotka annettn syötteeks mantulle analysontmenetelmlle. Kokeellset tulokset raportodaan luvussa 4. Kohdassa 2.3 estellystä kuvahakuun lttyvstä prtestä jatkotarkastelun kohteeks pomttn tseokeutetust värhstogramm sekä RGB-värarvojen käyttö prrevektorena. Hstogrammt tallentavat tetyn tapahtuman tässä tapauksessa tetyn värsävyn globaaln esntymstheyden kuvan alueella. Testkuva vertaltn näden prteden osalta ja myös saavutettn osn hyväkn tuloksa. Laatumttojen edustajana tutkmuksessa käytettn puolestaan laatumttaa spektrkuven tvstykselle, joka estellään tarkemmn kohdassa Laatumtta koostuu kolmesta vrhekomponentsta, jotka mttaavat kuven kontrasta, spataalsta rakennetta ja rakesuutta. Myös tätä prrettä soveltamalla saadut tulokset olvat kohtuullsa. Tutktusta prtestä LBP-tekstuurprre osottautu tarkotukseen hekommn soveltuvaks. Lsäks tutkttn myös erlasa 2

6 väravaruusprojektota. Ndenkään osalta tulokset evät olleet ertysen rohkaseva. Vmesessä luvussa 5 on yhteenveto kokeellssta tulokssta ja pohdntaa stä, mtä sekkoja kannattaa huomoda sllon, kun tutkmusta tulevasuudessa vedään eteenpän. Tärkemmät tekstssä esntyvät symbolt on estetty alla olevassa taulukossa. Er menetelmen yhteydessä käytettävä termejä, merkntöjä ja symboleja on pyrtty johdonmukasest yhtenästämään. Symbol Merktys Symbol Merktys α autokorrelogramm g Laplace-suodn γ korrelogramm G ylenen kuven laatundeks ρ panopste h hstogramm σ keskhajonta H hstogrammavaruus c vär I, Q kuva C kontrastprre L P ylestetty Mnkowsk-metrkka, vektoren välnen etäsyys D ylenen etäsyysfunkto m tseorgansovan kartan mall e C, e S, e K E C E G E M E N, θ E S E Z f spektrkuven vrhemtan vrhekomponentt vektoren välnen Canberraetäsyys LBP/C-jakaumen vertaluun sovtettu etäsyysmetrkka vären sjantkuvaajalle sovtettu etäsyysmetrkka vektoren kulmen erotukseen pohjautuva etäsyysmetrkka spataals-kromaattselle hstogrammlle sovtettu etäsyysmetrkka vektoren välnen Czekanowskkerron tseorgansovan kartan naapurustofunkto n p P w vären lukumäärä / omnasuusvektorn ulottesuus pksel pkseljoukko panokerron X, Y kuvan dmensot x, y, z koordnaatteja x, y, z (omnasuus)vektoreta, alkot muotoa x Taulukko 1: Käytetyt symbolt. 3

7 2 Kuven laadun analysont Tässä luvussa luodaan katsaus krjallsuudessa esntyvn kuven laadullsen analysonnn menetelmn. Kästeltyjen menetelmen krjavuus selttyy osn sllä, että tämän tutkmuksen tarpesn sellasenaan soveltuva menetelmä e juurkaan ollut saatavlla. Ensmmässsä kohdssa 2.1 ja 2.2 tutustutaan kutenkn aluks aheprn peruskästtesn. Nssä määrtellään lyhyest dgtaalsen kuvan käste sekä estetään ylesmmät käytössä olevat värmallt. Seuraavaks kohdassa 2.3 estellään anakn näennäsest lähtökohdltaan tämän työn aheprstä eroava tutkmusala: ssältöpohjanen kuvatetokantahaku. Tämä tutkmuskenttä ssältää kutenkn yhtesä tavotteta laadullsen analyysn kanssa. Kuvatetokantahaussa dgtaalssta kuvsta rrotetaan tavallsest jokn prre ta prrejoukko jota myöhemmn käytetään tetokannan kuven ndeksonnssa hakuprosessn akana. Kantava ajatus tämän työn näkökulmasta onkn jatkossa soveltaa erätä tässä kohdassa kuvattuja prtetä kuven laadullseen analysontn, tosn sanoen tutka stä, mllä tavon erlaslle panopaperelle panetut kuvat eroavat tosstaan näden kuvahaun prstä lanattujen prteden osalta. Tämän jälkeen kohdassa 2.4 on estetty jotakn erlasa ns. kuven laatumttoja. Nmtys on hvenen harhaanjohtava, sllä tämä tutkmusala on lähnnä keskttynyt mttaamaan dgtaalsten kuven laatua sellasessa tlanteessa, jossa kuvat ovat altstuneet jollekn nden laatuun hekentäväst vakuttavalle tekjälle; tyypllsest esmerkks jonkn tvstysmenetelmän käytöstä johtuvlle väärstymlle. Näden menetelmen permmäsenä tarkotuksena onkn arvoda laskennallsest stä degradaaton määrää, joka on hmsslmn havattavssa alkuperäsen kuvan ja jollekn väärstymälle altstuneen, muuton oleellsest saman kuvan välllä. Perusvaatmus tässä yhteydessä yleensä onkn, että sekä alkuperänen että väärstynyt kuvasgnaal on käytettävssä tarkastelua varten. Kuten edellä, myös laatumtosta saattaa olla erävstä tavottestaan huolmatta merkttävää 4

8 hyötyä tämän tutkmuksen eteenpän vemsessä. On kutenkn samalla todettava, että laatumttojen luonteesta johtuen valtaosaa nstäkään e voda soveltaa tässä työssä sellasenaan. Kohdassa 2.5 estellään menetelmä, joka pyrk kuvaamaan kuvssa esntyvä pakallsa tekstuurkuvota numeerslla arvolla. Myös tekstuuranalyys eroaa tavotteltaan huomattavast kuven laadullsesta arvonnsta, mutta sen käyttö vo slt tässä yhteydessä olla perusteltua. Tekstuurprre e vaad referensskuvaa ja nnpä stä vodaan helpost soveltaa yksttäslle kuvlle. Tällön on syytä tutka myös stä, saatasnko tämän prteen avulla mtattua erlasten panopaperen käytön seurauksena syntyvä laadullsa eroja kuven välllä. Luvun lopuks kohdassa 2.6 estellään tseorgansova kartta, joka on monulottesen datan jäsentelyyn ja vsualsontn tarkotettu menetelmä. Stä käytetään laajalt hyväks tutkmuksen kokeellsessa osassa. Monet luvussa 4 estettävstä tulokssta hyödyntävätkn tseorgansovan kartan kykyä vsualsoda monmutkasa prrevektoren välsä suhteta. 2.1 DIGITAALINEN KUVA Kuva vodaan määrtellä kaksulottesena funktona I(x,y), jossa x ja y ovat avaruudellsa tasokoordnaatteja. Harmaasävykuven tapauksessa funkton I arvoa mnkä tahansa koordnaattparn (x,y) kohdalla kutsutaan kuvan ntensteetks (ta harmaasävyks) kysesessä psteessä. Värkuvat puolestaan koostuvat tavallsest useammasta kun yhdestä tämän kaltasesta komponenttkuvasta, tosn sanoen värkanavasta, jotka yhdessä määrttävät kussakn psteessä valltsevan värn ja krkkauden [10]. Kuvaa kutsutaan dgtaalseks kuvaks sllon, kun x ja y samon kun myös I(x,y) ovat äärellsä, dskreettejä suureta. Termllä dgtaalnen kuvankästtely vtataan tlanteeseen, jossa dgtaalsa kuva prosessodaan tetokoneen avulla. Dgtaalnen kuva koostuu ss äärellsestä määrästä elementtejä, josta jokasella on tetty sjant ja arvo. Nätä elementtejä 5

9 kutsutaan tavallsest kuvaelementeks el pkseleks. Termestä pksel on usemmten käytetty, kun halutaan vtata yhteen dgtaalsen kuvan elementtn [10]. Algortmt, jotka analysovat ja prosessovat kuva, yleensä kästtelevät enssjasest pkseletä. Synteettsä kuva generovat algortmt esmerkks tuottavat tulosteenaan joukon pkselarvoja. Sovelluksssa pkselt vodaankn ajatella herarkksen rakenteen almmaseks tasoks. Nän esmerkks dgtaalsten kuven analysonta vodaan ajatella sellasena prosessna, joka alkaa matalalta tasolta ja joka korkeammalla tasolla pyrk muodostamaan rakenteellsa rppuvuussuhteta pkselen vällle [38]. Dgtaalsessa kuvassa esntyven pkselen kokonaslukumäärää kutsutaan avaruudellseks resoluutoks. Vastaavast stä tarkkuutta, jolla (värkuvan) pkselen er ntensteettarvot vodaan esttää, kutsutaan värresoluutoks. Tavallsest kuvan resoluuton ja vsuaalsen laadun välllä on tettyyn rajaan ast vomassa korrelaato: mtä suuremp resoluuto, stä paremp on myös kuvan laatu. Dgtaalsen kuvankästtelyn yhteydessä on myös tyypllstä, että nn vär- kun avaruudellnenkn resoluuto määräytyvät käytettävssä olevan latteston vaatmuksa vastaavks [38]. 2.2 VÄRIMALLIT Dgtaalsta kuvankästtelyä tarkasteltaessa on kuvattavan kohteen lsäks tärkeää myös valon omnasprteden tuntemnen. Valoa kutsutaan akromaattseks sllon, kun sllä e ole värsävyä. Tällön sen anoa omnasuus on ntensteett (krkkaus). Tämän kaltasta valoa vo nähdä esmerkks mustavalkotelevsossa. Valon värn määräävä omnasuus on puolestaan kromaattsuus. Sen kuvaamseen käytetään kolmea perussuuretta: radanssa, lumnanssa ja krkkautta. Radanss on valonlähteestä sätelevä kokonasenerga. Lumnanss puolestaan mttaa stä energamäärää, jonka havannoja havatsee. Esmerkks nfrapuna-alueella sätelevällä valonlähteellä vo olla suur kokonasenerga (radanss) mutta havattu lumnanss stä huolmatta lähes olematon. Lopuks krkkaus on 6

10 subjektvnen prre, jota on käytännössä mahdotonta mtata. Se lmentää vär-ntensteetn akromaattsta omnasuutta ja se on yks avantekjöstä hmsen värhavantoa määrteltäessä [10]. Värä käytetään usen apuna kuvankästtelyssä muun muassa seuraavsta kahdesta syystä. Ensnnäkn se on vahva prre, joka usen helpottaa kuvssa esntyven objekten tunnstamsta ja nden erottamsta taustastaan. Toseks hmnen kykenee erottamaan tosstaan tuhansa er värsävyjä ja ntensteettejä. Er harmaasävyjä hmnen pystyy stä vaston tunnstamaan van muutama kymmenä [10]. Värmalln (ta väravaruuden) tarkotus on mahdollstaa vären määrttelemnen tetyllä, ylesest hyväksytyllä ja standardlla tavalla. Pohjmmltaan värmall on määrtelmä koordnaattjärjestelmälle ja sen alavaruudelle, jossa tettyä värä edustaa yks pste. Usemmat nykyään käytössä olevat värmallt ovat joko lattestoa (esmerkks näyttöpäättetä ta prntteretä) takka sellasa sovelluksa koht suunnattuja, jossa vären manpulont on tarpeen [10]. Dgtaalsen kuvankästtelyn prssä lattestosuuntautunesta mallesta usemmn käytetään RGB-malla (red, green, blue), jota suostaan mm. erlasssa näyttölattessa sekä suuressa joukossa vdeokamerota. Lsäks CMY (cyan, magenta, yellow) ja CMYK (cyan, magenta, yellow, black) -mallt esntyvät mm. värtulostuksen ja erlasten panoteknkoden yhteydessä. HSI-mall (hue, saturaton, ntensty) vastaa edellä manttuja paremmn stä tapaa, mllä hmnen ymmärtää ja tulktsee värejä. Tässä värmallssa on lsäks se etu, että se erottelee kuvan vär- ja harmaasävynformaaton tosstaan. Tällön esmerkks harmaasävyjä hyväkseen käyttävä teknkota vodaan soveltaa sellasenaan. Mona erlasa värmalleja on kehtetty, sllä värtutkmus on tänä pävänä laaja tutkmuskenttä, joka ptää ssällään suuren joukon sovellusalueta. RGB-värmallssa kukn vär koostuu kolmesta prmäärsestä spektrkomponentsta: punasesta, vhreästä ja snsestä [10]. Snä käytetään karteessta koordnaattjärjestelmää, jollon kunkn värn määrttämseen tarvtaan arvokolmkko, joka ss vastaa 7

11 sjantkoordnaatteja kolmulottesessa RGB-avaruudessa. RGB-alavaruus on kuuto, jonka kahdeksasta kulmasta kolme edustaa ns. päävärejä, kolme ns. sekundäärvärejä ja loput kaks edustavat valkosta ja mustaa. Harmaasävyt kulkevat vmemanttujen välllä kuuton lävstäjää ptkn sen vastakkasesta kulmasta toseen. Käytännössä RGB-arvot ovat usen tetokoneen mustssa 8-bttsä kokonaslukuja, jollon nden arvot sjatsevat välllä [0,255] matemaattsest houkuttelevamman väln [0,1] sjasta. Nän ollen tässä ns. full-color järjestelmässä käytettävssä oleven vären lukumäärä on yhteensä non 16 mljoonaa (2 8*3 ). Koska nykysssä näyttölattessa usemmten suostaan RGB-malla, suurn osa dgtaalssta kuvsta ja sten myös suur osa kuvankästtelyjärjestelmstä käyttää tätä malla [3][10]. Edellä kuvattu RGB-mall on luonteeltaan addtvnen. Maksmmäärä kakka värkomponentteja tuottaa valkosen värn. Sen sjaan CMY- ja CMYK -värmallt ovat luonteeltaan substraktvsa. Ntä käytetään ylesest sellasssa järjestelmssä, joden tarkotus on tuottaa värpgmenttejä paperlle. Kun panotuotteden yhteydessä puhutaan nelvärpanatuksesta, vtataan CMY-malln kolmeen perusvärn mustalla täydennettynä. Jos oletetaan, että RGB-arvot on normalsotu vällle [0,1], vodaan muunnos RGB:n ja CMY:n välllä suorttaa seuraavalla yksnkertasella kaavalla [10]: C 1 R M = 1 G Y 1 B (1) RGB-mall vastaa hyvn stä fyskaalsta tosasaa, että hmsslmä havanno vomakkaast punasta, vhreää ja snstä prmäärvärä [10]. Tästä huolmatta se e sovellu ertysen hyvn vären käytännöllseen ja ntutvseen kuvalemseen. Kun hmnen katsoo värllstä esnettä, sen omnasuuksa ovat sävy, saturaato ja krkkaus. Sävy on prre, joka lmasee puhdasta värä (keltasta, oranssa, punasta jne.). Saturaato taas kertoo kunka paljon puhtaaseen värn on sekottunut valkosta. Lopuks 8

12 krkkaus on ntensteetn akromaattnen osa, joka tärkeä tekjä värhavantoa määrteltäessä. HSI-värmall erottaa värkuven ntensteettkomponentn ja värsävyn ssältävät komponentt (sävy ja saturaato) tosstaan tällä tavalla. Se onkn hyvä välne sllon, kun on tarkotus kehttää sellasa kuvankästtelyalgortmeja, jossa kästellään värejä hmselle luontasella tavalla. Kuten edellä manttn, dgtaalsen värkuvan pkseleden vär-nformaato vodaan normaalst esttää tettyä 3-ulottesta väravaruusmalla hyödyntäen. Useta värmalleja käytetäänkn tähän tarkotukseen, joskaan anuttakaan nstä e ole ylesest tunnustettu parhammaks. Hyvältä värmalllta vodaan kutenkn edellyttää omnasuuksa, jota vovat olla täydellsyys, yhtenäsyys, tvys ja käyttäjäsuuntautunesuus [30]. Täydellsyys tarkottaa stä, että mall mahdollstaa kakken hmsslmn havattavssa oleven vären esttämsen. Yhtenäsyydellä tarkotetaan stä, että mtattu lähesyys kahden värn välllä on suoraan verrannollnen nden havatun samankaltasuuden kanssa. Tvydellä tarkotetaan stä, että mallssa kukn yksttänen värarvo edustaa sen havattavssa olevaa eroa muhn nähden. Käyttäjäsuuntautunesuus puolestaan edellyttää, että kunkn värkomponentn vakutus lopullseen värn on ntutvnen ja ennalta arvattava. Tosn sanoen, värmalln tuls mahdollstaa kakken hmsen havannomen vären esttämnen sten, että vär-nformaato ja myös sen muutos korrelos mahdollsmman hyvn hmsen omen havantojen kanssa. 2.3 SISÄLTÖPOHJAINEN KUVATIETOKANTAHAKU Tedon prosessont- ja tallennuskapasteetn jatkuva kasvu vme vuoskymmennä on mahdollstanut entstä laajempen multmedakokoelmen synnyn. Kun dgtaalsten kuven tuottamnen on nykyään sekä halpaa että helppoa, nden määrä er medossa on kasvanut vomakkaast [26]. Kun kuva- ja vdeotetokantojen koko kasvaa suureks, stä seuraa myös nden käytettävyyteen lttyvä ongelma. Tärken nästä on vsuaalsen tedon hakuongelma. Informaatokokoelmen hyödyt jäävät 9

13 vähäsks, mkäl haluttua tetoa e pystytä hakemaan rttävällä tarkkuudella ja rttävän nopeast. Koska pelkästään käyttäjän määrttämän tekstuaalsen metadatan esmerkks tetuesn ltettäven avansanojen avulla kuvahaku e ole ylesessä tapauksessa rttävän tehokasta, on syntynyt tarve hakea tetoa myös kuven vsuaalsen ssällön perusteella. Tähän haasteeseen pyrk vastaamaan ssältöpohjanen tetokantahaku, joka onkn tutkmusalana saanut vme akona runsaast huomota osakseen [8]. Seuraavassa estellään joukko olemassa oleva kuvahakumenetelmä, jotka perustuvat prteden rrottamseen dgtaalssta kuvsta. Vakka kuvahaun permmänen tavote, tehokas ja tarkotuksenmukanen haku kuvatetokannasta e snänsä kuulu tämän tutkelman kenttään, nässä menetelmssä kuvsta rrotetut prteet saattavat sopa myös kuven laadun määrttämseen ja nden kesknäseen laadullseen vertaluun Kuvahakujärjestelmät Kuvahakuprosessssa kuva etstään tetokannasta tavallsest käyttäjän määrttämän kyselyn perusteella. Usemmat olemassa olevat kuvahakujärjestelmät tukevat yhtä ta useampaa seuraavsta hakutavosta: satunnanen selaus, haku esmerkn perusteella, haku luonnoksen perusteella, haku avansanan perusteella ja kategorsotu navgont [22][32]. Itse kuvahakuprosess vodaan jakaa kolmeen erllseen vaheeseen: prteden rrottamseen, monulotteseen ndeksontn sekä hakujärjestelmän suunntteluun [32]. Jatkossa kesktytään tarkastelemaan nästä lähnnä kahta ensn manttua, sllä ne lttyvät tvmmn tämän työn aheprn. Valmta ta jatkokehtyksen kohteena oleva kuvahakujärjestelmä on olemassa useta erlasa. Ntä on suunnteltu sekä kaupallsn tarkotuksn että myös tutkmuskäyttöön. Olemassa olevsta kuvahakujärjestelmstä esmerkkenä manttakoon IBM:n QBIC-järjestelmä 10

14 [8], Kolumban ylopston kehttämä VsualSeek [33] sekä Helsngn teknllsen korkeakoulun tseorgansovan kartan käyttöön pohjautuva PcSOM [20] Peruskästtetä Vär on tärken yksttänen matalan tason prre, jota käytetään hyväks kuvahaussa. Tämä e snänsä ole kovnkaan yllättävää, sllä esmerkks hmsen vsuaalnen hahmotuskyky ja mustamnen ovat ptkält rppuvasa värstä [2]. Värn ohella tonen ylesest hahmontunnstuksessa ja myös kuvahaussa käytetty prre on tekstuur. Tekstuurlla tarkotetaan pntakuvonta, jossa joukko prmtvsä elementtejä esntyy tetyllä kuvan alueella tasasest jakautuneena. Tekstuurelementt on yleensä yksnkertasen muotonen yhtenäsen ntensteetn omaava alue, joka tostuu ympärstössään. Tekstuura vodaan analysoda pksel-kkuna -tasolla (tlastollnen analyys) ta tekstuurelementttasolla (rakenneanalyys). Jälkmmänen lähestymstapa sop tlanteeseen, jossa tekstuurelementt vodaan selkeäst erotella tosstaan, kun sen sjaan tlastollsta analyysä vodaan käyttää henojakosemman kuvonnn tulktsemsessa [3]. Tlastollslla mtolla vodaan mtata sellasa tekstuurn prtetä kuten kontrasta, karkeutta ja kuvonnn suuntaa. Myös Fourer-spektrejä käytetään tekstuuren kuvaamseen. Suorttamalla Fourer-muunnos tekstuur-kkunalle saadaan kkunalle tunnusarvo. Saman ta samankaltasen tunnusarvon omaavat kkunat vodaan tämän jälkeen tulkta samaan tekstuuralueeseen kuuluvks [3]. Rakenneanalyysssä pyrtään tunnstamaan kuvasta tekstuurelementt, määrttämään nden muoto sekä sjottelusäännöt. Sjottelusäännöt kertovat, kunka elementt sjatsevat kuvassa tosnsa nähden. Rakenneanalyysssä mtattavn asohn vovat kuulua esmerkks elementten naapuren lukumäärä, esntymstheys ja säännöllsyys [3]. 11

15 Ylesest yks vakemmsta kuvahaun osa-aluesta on muoto- ja hahmopohjanen haku. Tämä johtuu kuvssa esntyven kohteden segmentonnn vakeudesta. Muotojen löytämnen kuvasta edellyttää yleensä kuvan eskästtelyä, joka vahtelee sovellusalueesta rppuen. Kun haluttu kohde on pakannettu, sen reuna vodaan etsä reunanetsntäalgortmlla. Tämän jälkeen kohteen muotoa vodaan kuvata esmerkks sen kaltaslla mtolla kun eksentrsyys, pyöreys, reunan kaarevuus, etäsyys keskpsteeseen, muodon momentt, reunan fraktaaldmenso jne. Kakka edellä manttuja vodaan kuvata numeerslla arvolla [3]. Jotta haku kuvatetokannasta ols mahdollsta, tetokantaan tallennetaan yleensä yks omnasuusvektor kuvaa kohden ndeksonta varten [34]. Haku tapahtuu soveltamalla tettyä etäsyysmetrkkaa tässä omnasuusavaruudessa. Kun käytettävä etäsyysmetrkka on valttu, sen avulla vodaan laskea etäsyydet tarkasteltavasta kuvasta rrotetun omnasuusvektorn ja kunkn tetokannan kuvan omnasuusvektorn välllä. Nätä etäsyyksä verrataan sellaseen kynnysarvoon, jonka perusteella palautuvat hakutulokset lopulta määräytyvät. Omnasuusvektoreta vodaan muodostaa kuvsta monella tavalla. Kuvan vsuaalsta ssältöä vodaan ajatella esmerkks abstraktoden herarkana [3]. Almmalla abstraktotasolla ovat pkselen ntensteettarvot, jotka ss ssältävät krkkaus- ja vär-nformaaton. Jatkokästtelyn avulla nden perusteella vodaan tuottaa erlasa prtetä, kuten reunoja, kulma, vvoja, käyrä ja väralueta. Korkeammalla abstraktotasolla nätä prtetä vodaan edelleen yhdstellä ja tulkta kokonasuutena. Lsäks vodaan mahdollsest pyrkä muodostamaan nstä kuvassa esntyvä objekteja ja näden attrbuutteja. Kakken korkemmalla abstraktotasolla ovat hmselle luonnollset kästteet objektesta ja näden välsstä vuorovakutussuhtesta, esmerkks "hmnen ptämässä puhetta". Ylesessä tapauksessa korkean tason omnasuuksen tulktsemnen kuvasta automaattsest ja luotettavast e kutenkaan ole nykysen tetämyksen nojalla mahdollsta. 12

16 2.3.3 Etäsyysmtat Prteden rrotusprosessssa saadaan tuloksena yleensä yks n-ulottenen omnasuusvektor kuvaa koht. Kuten edellä manttu, nätä omnasuusvektoreta vodaan kuvahakujärjestelmässä käyttää kuven ndeksomseen. Tällön hakutulosten muodostamsta varten on pystyttävä määrttämään kahden omnasuusvektorn välnen erlasuus, ts. nden kesknänen etäsyys tosstaan [23][39]. Tarkasteltaven omnasuusvektoren komponentten e välttämättä tarvtse olla metrsen avaruuden alkota. Mkäl ne ovat, nden välstä etäsyyttä vodaan mtata ns. vektoravaruusmalla käyttäen [39]. Tässä etäsyyden määrttämseen käytetään mtä tahansa tarkotukseen sopvaa n- ulottesessa avaruudessa määrteltyä metrkkaa. Kuvahaussa ylesmmn käytetty omnasuusvektoren välnen etäsyysmetrkka on L2, Eukldnen norm, mutta myös muta LP -perheen metrkota, kuten L1, Manhattan norm, vodaan käyttää. Ylestetty vektoren välnen Mnkowsk-metrkka LP on seuraava [1]: L P 1/ P r r P ( x, y) = x y, P 1 (2) Alla on lsäks estetty kaks tosenlasta vektoren etäsyysmetrkkaa, Canberra-etäsyys (3) ja Czekanowsk-kerron (4) [2]. Molempa vodaan käyttää e-negatvslle monulotteslle vektorelle, kuten esmerkks RGBväravaruuden pstelle (jota [2] käyttää kuvahaun omnasuusvektorena): r r x y E C ( x, y) = x + y (3) E Z 2* r r ( x, y) = 1 mn( x, y ) ( x + y ) (4) 13

17 Androutsos (et al.) [2] tutkvat etäsyysfunkton vakutusta kuvahaun onnstumseen. Hedän mukaansa tlanteessa, jossa hakuavamna käytetään RGB-väravaruuden vektoreta, parhammat tulokset hmsen värhavantoon nähden saadaan käyttämällä prrevektoren kulmen erotukseen pohjautuva metrkota. Seuraavassa on estetty kaks tämän kaltasta metrkkaa (5) ja (6). Nästä jälkmmänen on ertysest kuvahakua varten kehtetty metrkka, joka yhdstää vektoren välsen kulman ja näden välsen etäsyyden. Kun mtattavat vektort ovat yhdensuuntaset, eron määrää anoastaan nden ptuuden erotus. r 2 x r 1 y θ = 1 cos r r (5) π x y E N r r r r r r 2 x y x y 1 x y (, ) = 1 1 cos r r x y 1 π * (6) kulmatekjä ptuustekjä Yllä olevssa kaavossa kulma normalsodaan kertomella mahdollnen kulma on normalsontkerron 2, sllä suurn π π. Lsäks jälkmmäsessä kaavassa käytetty * 255 vodaan johtaa stä, että käytännön sovelluksssa psn vektoren välnen etäsyys RGB-avaruudessa on tavallsest (255,255,255), jonka ptuus ss on 2 3 * 255. Jälkmmäsessä EN -metrkassa on lsäks velä se etu, että tarvttaessa kulma- ja ptuuskomponentelle vodaan asettaa tosstaan erävät panokertomet mkäl tosen merktystä halutaan korostaa. Normaalssa tapauksessa omnasuusavaruuden ulottesuus n on kakken kästeltäven vektoren suhteen vako. Ylesessä tapauksessa nän e kutenkaan välttämättä tarvtse olla. Tällön vodaan käyttää vektoravaruusmalla rajottuneempaa ns. metrsen avaruuden malla [39]. Tässä tapauksessa omnasuusavaruuteen vodaan määrtellä jokn etäsyysfunkto D sten, että slle pätee 14

18 () postvsuus: D ( x, y) 0, ja D( x, x) = 0, () symmetrsyys: D ( x, y) = D( y, x), () kolmoepäyhtälö: D ( x, z) D( x, y) + D( y, z). Kuvahaun yhteydessä puhutaan myös usen ylesemmn erlasuusfunktosta, jotka evät välttämättä täytä kakka edellä manttuja matemaattselle metrkalle asetettuja vaatmuksa, kuten esmerkks kolmoepäyhtälö [4] Värhstogrammt Dgtaalssta kuvsta vodaan suhteellsen helpost rrottaa erlasa matalan tason prtetä, kuten värsävy, krkkaus, reunasuus ta esmerkks värsävyn ta krkkauden yhtesesntymnen [4]. Nästä matalan tason prtestä vodaan puolestaan muodostaa hstogrammeja, theysjakauma, jota vodaan käyttää esmerkks sellasenaan omnasuusvektorena kuven ndeksonnssa ja kuvahaussa. Perntesest kuvahaussa onkn käytetty runsaast värhstogrammeja [24]. Värhstogrammlla tarkotetaan ss kuvan vären globaalsta esntymstheydestä muodostettua vektormuotosta estystä. Värhstogrammn käste vodaan formuloda esmerkks seuraavalla tavalla käyttäen apuna todennäkösyysfunktota Pr. Kuvan I värhstogramm määrtellään snä esntyvlle värelle c seuraavast [11][26]: h ( c I) = XY Pr[ p I c ] p I (7) Yllä I ss vastaa kuvaa, jonka dmensot ovat X*Y. Kuva koostuu pkselestä p ja värestä c1,c2,...,cn. Mlle tahansa kuvan pksellle todennäkösyyden slle, että kyseessä oleva pksel edustaa värä c. h c ( I ) XY antaa 15

19 Tlastollsessa melessä dgtaalsen kuvan vodaan ajatella rakentuvan kahdesta komponentsta: pakka-avaruudesta ja väravaruudesta [4]. Pakka-avaruus koostuu kaksta mahdollssta pkselen sjannesta ja väravaruus vastaavast kaksta mahdollssta käytettävssä olevsta värestä. Jotta värhstogrammeja votasn käyttää, on molemmat avaruudet aluks kvantsotava sopvaan tarkkuuteen. Kvantsontprosessssa kuvan vär-nformaato muunnetaan dskreettn väravaruuteen, jossa on yhteensä n värä. Värhstogramm on tällön n- ulottenen vektor ( h h,..., h ) c, c2 1 c n, jossa kukn elementt h c vastaa värn c esntymen lukumäärää kuvassa. Sovellusalueen kakken mahdollsten hstogrammen joukkoa kutsutaan hstogrammavaruudeks, joka on n- ulottesen vektoravaruuden alavaruus. Jos oletetaan yksnkertasuuden vuoks, että pkselen lukumäärä sovellusalueen jokasessa kuvassa on X*Y, vodaan hstogrammavaruuden käste formuloda seuraavast [34]: H n = ( hc, hc,..., hc ) hc 0, (1 n), h 1 2 n = 1 c = XY (8) Kuven kesknästä vertalua varten nden hstogrammen välstä etäsyyttä määrttämään valtaan jokn etäsyysmetrkka. Kun kahden hstogrammn välnen etäsyys t on tedossa, sen avulla vodaan määrtellä, että kyseset hstogrammt ovat t-samanlaset, mkäl näden välnen etäsyys on t ta vähemmän [34]. Vastaavast hstogrammen vodaan sanoa olevan t-erlaset, mkäl näden välnen etäsyys on enemmän kun t. Nän ollen hstogrammpohjasen kuvahaun näkökulmasta tetokannassa oleva kuva vodaan palauttaa hakutuloksena, mkäl se on t-samanlanen kyselykuvan kanssa. Tässä t on ss haussa käytettävä kynnysarvo, jonka avulla vodaan vakuttaa palautuven tulosten lukumäärään. Kynnysarvon valntaan on syytä knnttää huomota, sllä lan suur arvo vo näkyä suurena määränä e-tovottuja hakutuloksa ja vastaavast lan pen arvo vo jättää haluttuja kuva tulosjoukon ulkopuolelle. 16

20 Kuven ndeksont kuvahaussa hstogrammen avulla tom tehokkaast anoastaan snä tapauksessa, että sovellusalueen kuvatetokannan hstogrammt sjatsevat hstogrammavaruudessa harvassa [34]. Tätä omnasuutta vodaan tutka ns. hstogrammkapasteetn avulla. Kästteellä tarkotetaan stä suurnta lukumäärää t-erlasa hstogrammeja, jotka mahtuvat n-ulotteseen hstogrammavaruuteen sllon, kun käytössä on tetty etäsyysmtta D. Tällä tavon vodaan arvoda hstogrammvertalun teoreettsta erottelukykyä, el tosn sanoen hstogrammprteen kykyä erotella tetokannan kuva tosstaan. Kuvassa esntyvät värt luoktellaan kvantsonnn yhteydessä luokkn. Luokan koko vo olla joko vako, ta se vo myös vahdella luokasta rppuen [4]. Tällä tavon muodostuva hstogrammresoluuto vakuttaa tetokantaan tallennettaven omnasuusvektoren tlan tarpeeseen sekä myös laskennan komplekssuuteen. Mtä penempä omnasuusvektort ovat, stä nopeamp ntä on kästellä. Nnpä hakuprosessn kannalta hstogrammresoluuton tuls olla nn matala kun mahdollsta lman, että hakutulokset hekkenevät merkttäväst. Mkäl hstogrammresoluuto e ole optmaalnen, tuloksena saavutettu kvantsont vo olla joko yl- ta altarkka kuvaus kyseessä olevasta hajonnasta. Eräs tapa arvoda optmaalsta hstogrammn luokken vakokokoa sh on käyttää esmerkks alla olevaa Scottn kaavaa [4]: 1/ 3 s h = 3.5σ N (9) Tässä N vastaa näytteen kokoa ja σ on arvo sen keskhajonnasta. Värhstogrammen käyttö kuvahaussa on varsn ylestä, sllä ne täyttävät kohtuullsen hyvn vaatmukset, jota kuvsta rrotettavlle prtelle vodaan tässä yhteydessä asettaa. Tärken yksttänen sekka, joka tukee hstogrammen käyttöä tähän tarkotukseen on se, että nden muodostamnen ja kästtelemnen e vaad suurta laskennallsta tehoa. On arvotu, että nykypävänä jo vaatmatonkn lattesto kykenee 17

21 värhstogrammen avulla vertalemaan keskenään yl mljoonaa kuvaa sekunnssa [26]. Värhstogrammella on kutenkn myös puutteensa [11][24][29]. Ne kuvaavat anoastaan vären globaala jakaumaa, jollon sjant-nformaato jää kokonaan valle huomota. Kahdella vsuaalsest hyvnkn ernäkösellä kuvalla vo olla lähes denttnen hstogramm, mkäl ne ssältävät samankaltasa värejä anoastaan er tavon ryhmttyneenä. Tämä onkn ongelma ertysest sllon, kun sovellusalue kästtää lukumäärällsest paljon erlasa kuva. Tällön vrheellsten hakutulosten todennäkösyys kasvaa huomattavast. Lsäks esmerkks kuvakulman vahtamnen vo aheuttaa merkttävä muutoksa kuvan hstogrammn, vakka kuva tse edelleen esttäskn samaa kohdetta. Edellä kuvattuun ongelmaan eräs ratkasu on esmerkks segmentoda kuva tasasest samankokosn osakuvn (kkunohn) ja käyttää omnasuusvektorna useampaa, kustakn kkunasta erkseen muodostettua hstogramma [11]. Tätä lähestymstapaa on käytetty mm. tämän työn kokeellsessa osassa Värkorrelogrammt Värkorrelogrammeja on estetty pakkaamaan hstogrammen puutteta. Värkorrelogramm tallentaa vären spataalsen nformaaton ja stä vodaan käyttää kuvaamaan globaala jakaumaa vären pakallsten sjanten korrelaatosta. Lsäks korrelogrammn kehttäjen (Huang et al.) [11] mukaan korrelogramm on myös helppo laskea ja sen tlan tarve on suhteellsen pen. Se onkn er tutkmuksssa osottautunut hstogrammeja ja ns. värkoherenssvektoreta (ks. kohta 2.3.6) tehokkaammaks menetelmäks kuven ndeksontn ja tetokantahakuun [11][21][26]. Käytännön sovelluksssa kuvan värkorrelogramm on taulukko, jota ndeksodaan värparella (c, cj) sten, että t:s alko rvllä (,j) vastaa stä todennäkösyyttä, jolla c - ja cj värset pkselt esntyvät kuvassa 18

22 etäsyydellä t tosstaan. Korrelogramm vodaan määrtellä hstogrammn määrtelmää (7) vastaavalla notaatolla seuraavast [11][26]: ( t) γ c, ( I ) Pr [ p2 I p1 p2 t] c = j c = j (10) p1 I, p c 2 I Tosn sanoen, γ ( t) c, c j vastaa stä todennäkösyyttä, että pksel tetyn etäsyyden t päässä mstä tahansa värä c lmentävästä pkselstä kuvassa I lmentää värä cj. Pkselen etäsyyttä korrelogrammssa mtataan yksnkertasuuden vuoks L -normlla, jollon pkseleden p1 = (x1,y1) ja p2 = (x2,y2) etäsyys saadaan kaavalla p p = max( x x y y ) , 1 2 Korrelogrammn tlavaatmus on n 2 *k, jossa n vastaa vären määrää kuvassa ja k puolestaan vastaa kakken mahdollsten pkselen etäsyyksen joukon (t1,t2,...,tk) alkoden lukumäärää [26]. Mkäl pkselen etäsyyksä e rajoteta ekä enempää kvantsoda, on k tällön yhtä kun max(x,y), jossa X ja Y on kuvan leveys ja korkeus pkselenä. Monen käytännön sovellusten tarpesn rttää kutenkn yleensä suppeamp korrelogrammn osajoukko, autokorrelogramm, joka on tla- ja laskentavaatvuudeltaan huomattavast korrelogramma kevyemp. Kuvan I autokorrelogramm α antaa todennäkösyyden slle, että kaks denttstä värä c löydetään kuvasta etäsyydellä t tosstaan [26]: ( t) ( t) α ( I) γ ( I) (11) c c, c Autokorrelogrammlla saavutetaan merkttävä laskennallsa etuja yleseen korrelogrammn verrattuna. Ensnnäkn sen tlan tarve on enää n*max(x,y), joka on olennasest vähemmän kun ylesessä korrelogrammssa. Toseks tlastollnen keskmääränen osumen lukumäärä yhtä hstogrammn solua XY koht kasvaa. Autokorrelogrammssa tämä arvo on, kun taas n k 19

23 korrelogrammssa vastaava arvo vo olla huomattavast penemp, XY n k 2. Nän korrelogrammen tlastollnen luotettavuus paranee, joka myös helpottaa nden kesknästä vertalua. Krjallsuudessa yleensä edellytetään hstogrammn solun ssältävän keskmäärn anakn 5-10 osumaa, jotta hstogramm ols tlastollsest luotettava [26]. Valmta korrelogrammeja vodaan vertalla samaan tapaan kun hstogrammejakn. Nän ollen ss edellä mantut hstogrammen etäsyysmetrkat, mukaan luken Eukldnen norm, ovat suoraan sovellettavssa myös korrelogrammehn Muta teknkota Värkoherenssvektor on jaettu värhstogramm, jossa hstogrammn elementt jakautuvat velä kahteen alluokkaan pkselen avaruudellsen koherenssn perusteella [5][21][29]. Pkseln katsotaan olevan koherentt snä tapauksessa, että se kuuluu tettyä kynnysarvoa suurempaan yhtenäseen alueeseen. Muussa tapauksessa pkseln katsotaan olevan epäkoherentt. Nän saadaan hstogramm, joka on kaks kertaa perntestä värhstogramma somp, mutta tallentaa ssäänsä tetoa myös pkselen kesknässtä suhtesta kuvassa. Cnquen (et al.) [5] kehttämä menetelmä, spataals-kromaattnen hstogramm, pyrk laajentamaan tätä ajatusta. Tämä prre pyrk tuottamaan vastauksen seuraavn kolmeen kysymykseen: kunka monta merktsevää värä kuvassa on, mssä tosaan mustuttavat pkselt kuvassa lkmäärn sjatsevat ja mten nämä pkselt ovat avaruudellsest jakautuneet. Prteen laskennan aluks kuvan I värt redusodaan jollakn kvantsontmenetelmällä kokoelmaan, joka kästtää yhteensä n värä. Spataals-kromaattnen hstogramm on vektor, jossa on n elementtä. Jokanen elementt j = {1..n} ssältää tosaalta värä cj lmentäven pkselen 20

24 lukumäärän kuvassa mutta myös tetoa kysesten pkselen spataalsesta rakenteesta. Määrtellään joukko P c I) = {( x, y) I I( x, y) = c } ( sellasten pkselen joukoks kuvassa I, jotka edustavat värä c. Sen avulla vodaan määrtellä hc värä c edustaven pkselen suhteellseks lukumääräks kuvassa I (jonka dmensot ovat X*Y) seuraavast [5]: Panopste Pc ( I ) hc ( I) = (12) XY ρ c on spataals-kromaattsen hstogrammn komponentt ja se on määrtelty pkselelle joukossa Pc seuraavalla tavalla [5]: ρ c ( I) = x, y (13) X Pc ( I) ( x, y) P ( I ) Y Pc ( I ) c ( x, y) Pc ( I ) Panopsteen avulla saadaan vtettä samanvärsten pkselen sjannsta. Se on hyödyllnen välne kuvaamaan hyvn määrteltyjä, yhtenäsä väralueta. Yksnään se on kutenkn velä varsn karkea kuvaus pkselen spataalsesta järjestyksestä koko kuvan alueella. Tämän vuoks spataals-kromaattsta hstogramma varten lasketaan lsäks velä pkselen keskhajonta σ c, joka kuvaa pkselen hajontaa panopsteen ympärllä [5]: 1 σ c ( I) = ( p, ρ ( I ) (14) P ( I) c 2 L2 c ) p Pc ( I ) Yllä p tarkottaa joukkoon Pc kuuluvaa pkselä, jonka suhteellset koordnaatt ovat (xp,yp). Lsäks L2 on kahden pkseln pakkakoordnaatten välnen Eukldnen etäsyys. Spataals-kromaattnen hstogramm C vodaan nyt edellsten perusteella määrtellä n-alkoseks joukoks seuraavast [5]: 21

25 ( h ( I), ( I), ( I) ), { 1 n} Cc ( I) = c ρ c σ c =.. (15) Valms prrejoukko on pen kooltaan ja se vodaan laskea nopeast. Koska sen laskennassa käytetyt prteet normalsodaan, se on myös nvarantt skaalan vahdokslle. Prteen kehttäjät ehdottavat kahden spataalskromaattsen hstogrammn välsen etäsyyden määrttämseen seuraavanlasta etäsyysmetrkkaa [5]: E S ( I, Q) = ( ρ c ( I), ρ c ( Q) ) mn( σ c ( I), σ c ( Q) ) + 2 max( σ ( I), σ ( Q) ) n ( ) 2 L2 mn hc ( I), hc ( Q) = 1 c c (16) Yllä I on kyselyssä käytettävä kuva, lsäks Q on tonen, tetokannassa esntyvä kuva. Kuven spataals-kromaattset hstogrammt = ( h( I), ρ( I), σ ( )) ja C( Q) ( h( Q), ρ( Q), σ ( Q) ) C( I) I = oletetaan tunnetuks. Merkttävn ero perntesten etäsyysfunktoden ja yllä estetyn välllä on snä, että vär- ja avaruudellnen nformaato kästellään tässä erllään tosstaan. Panofunkto vahvstaa avaruudellsta komponentta sellasessa tlanteessa, jossa kuvassa esntyy suur määrä yhtäläsen värsä pkseletä. Komponentn arvo kasvaa tlanteessa, jossa panopsteet sjatsevat lähellä tosaan. Spataals-kromaattsen hstogrammn kehttäjät ovat kokelleet stä käytännön kuvahaussa ja myös saavuttaneet rohkaseva tuloksa. Vären sjantkuvaaja [13] on heman tosenlanen menetelmä, joka myös pyrk esttämään vären avaruudellsta (spataalsta) jakaumaa kuvassa. Se on kehtetty osaks MPEG-7 -standarda, joka pyrk luomaan yhtenäsen välnestön multmedan ssällön kuvaamseen. MPEG-7 -standard ssältääkn mm. tehokkata kuvausteknkota, jotka on suunnteltu juur samankaltasuuden perusteella tapahtuvaan kuvahakuun [22]. Kasutann ja Yamadan kehttämän vären sjantkuvaajan [13] omnasuuksn kuuluu mm. erttän vaatmaton tlantarve. Valmn omnasuusvektorn koon e nmttän tarvtse olla enempää kun 63 bttä (8 22

26 tavua). Sen avulla onkn mahdollsta suorttaa kuvahaku erttän nopeast ja lsäks myös suhteellsen tarkast. Sjantkuvaajan penen koon ansosta sllä vodaan sen kehttäjen mukaan käydä läp jopa 24 tunta vdeokuvaa sekunta lyhyemmässä ajassa. Itse sjantkuvaajan laskentaprosess vodaan jakaa seuraavn neljään vaheeseen. Ensmmäseks kuva ostetaan sen koosta rppumatta 64 samankokoseen alueeseen. Kunkn alueen koko on tällön ss ( X, Y ), 8 8 jossa X ja Y vastaavat alkuperäsen kuvan leveyttä ja korkeutta pkselenä. Ostuksen jälkeen jokasesta alueesta valtaan yks ns. domnova vär edustamaan kysestä aluetta. Tähän tehtävään vodaan soveltaa mtä tahansa tunnetusta menetelmstä domnovan värn löytämseks. Kasutan ja Yamada käyttävät työssään yksnkertasta värarvojen keskarvolaskua. Nän saadaan pen, 8*8 kokonen kuva, jossa esntyy alkuperäsen kuvan tärkemmät värt alkuperästä kuvaa vastaavalla tavalla sjoteltuna. Tämän jälkeen kakkn kolmeen komponenttkuvaan sovelletaan 8*8 dskreett kosnmuunnos, jonka tuloksena saadaan kolme DCT-kertomen joukkoa. Laskennan päätteeks tästä kerronjoukosta rrotetaan muutama matalataajuuksnen kerron zgzag-skannauksen osottamassa järjestyksessä. Kertomet velä kvantsodaan haluttuun tarkkuuteen ja lopuks yhdstetään nämä prteet muodostamaan valms sjantkuvaaja [13]. Sjantkuvaajan laskennassa alkuperäsen kuvan oletetaan olevan YCbCr väravaruudessa. Kun penennetylle 8*8 kuvalle suortetaan edellä kuvatun prosessn mukasest dskreett kosnmuunnos, saadaan tuloksena yks DCkerron ja 63 AC-kerronta kullekn kolmelle komponenttkuvalle. Kokeellsten tulosten perusteella koko-optmaalseen sjantkuvaajaan ssällytetään kuus ensmmästä lumnansskanavan (Y) kerronta ja vastaavast kolme ensmmästä kummankn kromnansskanavan (Cb ja Cr) kerronta. Kertomen kvantsont suortetaan sten, että DC-kerron saa kuus bttä ja AC-kertomet vs bttä kukn. Nän ollen valmn vären sjantkuvaajan koko on anoastaan (6+5*2)*2+(6+5*5)=63 bttä [13]. 23

27 Kahden kuvan välsen eron ta kuvan ja luonnoksen välsen eron määrttämnen vodaan suorttaa laskemalla etäsyysfunkton arvo kahden sjantkuvaajan välllä. Prteen kehttäjät ehdottavat, että tähän tarkotukseen vodaan käyttää esmerkks panotettua L2 -norma seuraavaan tapaan [13]: E M ( I, Q) = ( Cr) w3 ( Y ) w1 ( Cr ( I) Cr ( Q) ) 2 ( Y ( I ) Y ( Q) ) + w2 ( Cb ( I) Cb ( Q) ) 2 ( Cb) 2 + (17) Edellä merknnät Y(I), Cb(I) ja Cr(I) tarkottavat :nnettä DCT-kerronta komponentelle Y, Cb ja Cr kuvassa I. Lsäks w1, w2 ja w3 edustavat parametrena oleva, kullekn tekjälle ennalta määrättyjä panokertoma. Panokertomen arvojen tuls olla laskeva zgzag skannauksen järjestyksen mukasest. Panokertomna myös suostellaan käytettävän 2:n potensseja, jollon kehttäjen mukaan vodaan saavuttaa laskentatehon kasvua [13]. 2.4 KUVIEN LAATUMITAT Krjallsuudessa esntyy runsaast sellasa dgtaalsten kuven laadullsen arvonnn menetelmä, jotka on tarkotettu jollekn väärstymälle altstuneen kuvan ja alkuperäsen kuvan välsen degradaaton mttaamseen [9][12][19][35][37]. Pääasallnen sovelluskohde nälle menetelmlle löytyy kuven tvstysmenetelmen tutkmuksen prstä, jossa erlasten tvstysmenetelmen suorutumsta pyrtään arvomaan käyttäen nätä laatumttoja. Tässä luvussa estellään muutama tämän kaltasa laatumttoja. Kuvankästtelyn prssä eräs merkttävmmstä tutkmuskohtesta on perntesest ollut kuven tvstämnen. Vakka tedon tallennus- ja srtokapasteett ovatkn jo ptkään olleet kasvussa, on myös kuven määrällnen tarve sekä nltä vaadttava tarkkuus (ts. pksel- ja värresoluuto) jatkuvast kasvanut [28]. Dgtaalset kuvat vaatvatkn tyypllsest huomattavan paljon tlaa ja sks ntä joudutaan usen 24

28 käytännön sovelluksa varten tvstämään käyttämällä jotan tvstysmenetelmää. Ideaaltapauksessa tvstykseen vodaan käyttää hävötöntä menetelmää. Tällä tavon saavutettavssa olevat tulokset ovat kutenkn varsn rajallsa. Mkäl halutaankn pakkaussuhde, joka on suuremp kun non 2:1, on normaalst turvauduttava hävöllseen tvstykseen [19]. Hävöllsessä tvstyksessä osa alkuperäsestä kuvanformaatosta jätetään tarkotuksellsest pos tvstysprosessn akana. Tästä johtuen kuvassa esntyvän melvaltasen pkseln p ntensteetn I(p) arvo tvstysprosessn läpkäynnn jälkeen rekonstruodussa kuvassa Q(p) saattaa olla erlanen alkuperäseen ntensteettarvoon verrattuna. Usemmssa hävöllsssä tvstysmenetelmssä käytetään hyväks jotakn seuraavsta teknkosta: muunnos-koodausta, vektorkvantsonta, fraktaaleja, altaajuuskoodausta ta wavelet-koodausta [6]. Tavotteena on postaa kuvasta psykovsuaalsest ja tlastollsest tarpeetonta tetoa. Kun bttmäärää tarpeeks lasketaan, kukn tvstysmenetelmä lopulta myös aheuttaa väärstymä kuvan laatuun. Näden väärstymen tyypp ja luonne on tavallsest etukäteen tedossa. Tuloksena vo syntyä menetelmästä rppuen esmerkks rososa, sumeta, lakullsa ta tuhrusa kuva. Erlasa standardeja kuvantvstysmenetelmä on kehtetty, nästä esmerkknä laajalt käytetty JPEG-pakkaus [19]. Standarden tvstysmenetelmen jatkoks on olemassa myös suur joukko er sovellusaluelle ertysest räätälötyjä menetelmä. Er sovellusalueella tvstysmenetelmltä vodaankn edellyttää erlasa omnasuuksa. Tästä syystä useta erlasa tvstysmenetelmä käytetään yhä samanakasest. Usemmat menetelmstä tukevat lsäks yhtä ta useampaa parametra, jonka avulla lopputulokseen vodaan myös vakuttaa. Sks okean tvstysmenetelmän valnta ja sen parametront sovellusalueelle sopvaks on tärkeää parhaan mahdollsen lopputuloksen saavuttamseks. 25

29 Vodaan ajatella, että hävöllsen tvstysmenetelmän suorutumsta tehtävästään vodaan arvoda sen perusteella, kunka paljon tvstysprosessn läpkäynyt kuva mustuttaa alkuperästä kuvaa jotan tettyä krteerä apuna käyttäen. Tosn sanoen, käyttämällä haluttua mttaa d(i,q) kuvajoukossa vodaan määrttää pakkauksen jälkeen rekonstruodun kuvan ja alkuperäsen kuvan 'etäsyys' tosnsa nähden. Tämän kaltasa mttoja kutsutaan laatumtoks [19]. Kun käytettävä laatumtta on tedossa, vodaan optmaalsn tvstysmenetelmä valta sen perusteella, mnkä menetelmän tulokssta mtattu keskmääränen etäsyys kuven kesken on penn [19]. Tässä lähestymstavassa parhaan tvstysmenetelmän valnta ss edellyttää aluks sopvan laatumtan löytämstä. Jossakn tapauksssa tämä vo olla jopa trvaal tehtävä: esmerkks jos ollaan knnostuneta anoastaan yhdestä tetystä kuvssa esntyvästä prteestä, vodaan mtaks valta sellanen, joka mttaa kuven eroavasuuden määrän juur tämän kysesen omnasuuden osalta. Monssa käytännön tlantessa e kutenkaan etukäteen voda tetää, mstä kuven prtestä ollaan knnostuneta. Laatumttoja vodaan luoktella er perusten. Koska tavallsten kuven tapaan myös dgtaalset kuvat on yleensä tarkotettu hmsslmällä katseltavks, luotettavn arvo nden laadusta saadaan käyttämällä arvonnssa hmsen omaa havannonta [6]. Tämän kaltasa subjektvsa mttoja on kahden tyyppsä, absoluuttsa ja vertaleva. Absoluuttnen arvont on prosess, jossa havannoja antaa kullekn kuvalle arvosanan ennalta määrätyn astekon mukasest. Vertalevassa arvonnssa puolestaan verrataan kuvapareja keskenään ja nästä valtaan paremp kunnes paremmuusjärjestys on selvllä. Subjektvsssa arvonnessa on kutenkn myös hattapuolensa, josta eräs on tostettavuusongelma. Tuloksn nmttän vakuttavat muun muassa kuven tyypp, nden koko sekä käytetty kuvavalkoma. Lsäks tuloksn vakuttaa myös havannojen tausta, motvaato sekä tutkmusolosuhteet, john lukeutuu esmerkks valastus ja näyttölatteen laatu [6]. 26

30 Subjektvsten mttojen vastakohtana ovat objektvset laatumtat, jotka ovat nykyään tärkeä osa erlasa kuvankästtelysovelluksa [7][37]. Ne vodaan jakaa edelleen kahteen luokkaan lähestymstavan perusteella. Ensmmäsenä ovat matemaattsest määrtellyt kvanttatvset mtat, john lukeutuu perntesest paljon käytetty nelöllnen keskvrhe (MSE), sen johdannaset sgnaal-kohnasuhde (SNR) ja huppu sgnaal-kohnasuhde (PSNR) sekä näden lsäks muun muassa keskvrhe (RMSE) ja keskmääränen absoluuttnen vrhe (MAE). Tosessa luokassa ovat puolestaan sellaset mtat, jossa pyrtään huomomaan ja käyttämään hyväks hmsen näköjärjestelmän rajotuksa ja ertysprtetä. Kvanttatvset laatumtat ovat tärketä, kun halutaan arvoda ja testata erlasa kuven tvstysmenetelmä [6]. Ideaalsest paras laatumtta ols sellanen, joka on helppo muodostaa, rppumaton katseluetäsyydestä ja kykenee mttaamaan kaken tyyppsä väärstymä kuvssa. Oletetaan, että I on referensskuva, jonka koko on X*Y. Vastaavast Q on saman kokonen, väärstymlle altstettu kuva. Kysesten kuven välnen MSE-arvo vodaan määrttää seuraavalla tavalla [35]: MSE = 1 ( I( x, y) Q( x, y) ) 2 (18) XY x, y Usessa yhteyksssä käytetään myös edellsten sukulasmttoja SNR ja PSNR, jotka määrtellään seuraavast [12]: o 2 E XY s SNR = 10log10, PSNR = 10log cr 10 (19) cr E E Tässä s on kuvan sgnaaln huppuarvo, käytännössä normaalst s = = 255. E o on alkuperäsen kuvan energa ja E cr puolestaan on alkuperäsen kuvan ja väärstyneen kuvan energoden erotus. Edellä estetyn kaltasten matemaattsten mttojen hekkouksn vodaan lukea muun muassa se, että ne muodostetaan tavallsest pkseltasolla, jollon kuven rakenteellnen nformaato jää lähes kokonaan valle 27

31 huomota. Tällä tavon mtatut arvot korrelovatkn hmsen näköhavannon kanssa varsn huonost [7][35]. Ongelmana on se, että jokanen eroavasuus vsuaalsesta kontekststa rppumatta panotetaan laskennassa samalla panoarvolla. Jokanen pksel dgtaalsessa kuvassa e kutenkaan ole hmsslmän kannalta samanarvonen. Nän ollen tarvtaankn ns. kvaltatvsa mttoja, joden avulla pyrtään määrttämään kuven laatu sellasena kun hmnen sen havatsee. Vakka matemaattsten mttojen hekkoudet on ylesest tunnustettu, nden käyttö saattaa velä edelleenkn olla houkutteleva vahtoehto lähnnä kahdesta syystä. Ensnnäkn ne ovat tavallsest huomattavast yksnkertasempa ja laskennaltaan kevyempä monmutkasn havantojärjestelmään perustuvn mttohn verrattuna. Toseks yhdenkään hmsen havantojärjestelmään perustuvan mtan suorutumsta e ole tähän mennessä votu osottaa krttsessä ja ylesluontosessa testtlanteessa oleellsest esmerkks PSNR -tyyppsä mttoja paremmaks [37] Ihmsen näköjärjestelmä Usempen vsuaalsta laatua mttaaven mallen lähtökohtana on pyrkä määrttämään stä, mllä tavon hmsen näköjärjestelmään lttyvä matalan tason fysologa rajottaa hmsen havantokykyä kuven havatsemsen suhteen [28]. Mallehn vodaan ssällyttää sen kaltasa lmötä kun valastustaso, pakkataajuus, sgnaalssältö ja lkkuvan kuvan tapauksessa myös ajallnen muutos. Ihmsen näköjärjestelmän omnasuukssta pyrtään muodostamaan kynnysarvoja, joden perusteella määräytyy se väärstymän maksmmäärä, jonka lsäämnen kuvaan aheuttaa hmselle havattavssa olevan astmuksen. Tätä kutsutaan joskus termllä juur havattavssa oleva väärstymä (JND level). Tosn sanoen hmsslmä e kykene erottamaan kuvassa esntyvää väärstymää jos väärstymän määrä alttaa tämän kynnysarvon. Valosuuden astmus hmsslmässä määräytyy epälneaarsest lumnanssn funktona. Ilmö tunnetaan myös näköjärjestelmän ampltudn 28

32 epälneaarsuutena. Tähän lttyy nn sanottu Webern lak, joka vodaan esttää kaavalla I = I k [36]. Tässä I on sellanen ntensteetn muutoksen kynnysarvo, jonka hmsslmä juur ja juur kykenee erottamaan. I vastaavast on alkuperänen ntensteettarvo ja k puolestaan vako, jonka suuruuteen I:n arvolla e ole vakutusta. Kontrastherkkyysfunkto pyrk kuvaamaan hmsen näköjärjestelmän taajuusvastetta [28]. Tätä funktota vodaan ajatella päästökastasuotmena ja se vodaan määrttää kokeellsest. On huomattava, että tetyllä taajuudella esntyven ykstyskohten erotettavuus rppuu myös katseluetäsyydestä. Nän ollen kuven laatumtolta vodaan edellyttää sellasen lähmmän katseluetäsyyden knnttämstä, jota apuna käyttäen väärstymän suuruus määrtetään. Luonnollset kuvat ssältävät tavallsest laajan taajuuksen krjon monssa er skaalossa. Tästä aheutuu lmö, joka tunnetaan kontrastpettona. Tlannetta vodaan havannollstaa esmerkllä, jota varten tarkastellaan kahta kuvtteellsta kuvaa. Tosessa kuvassa ntensteett on vako ja tonen esttää esmerkks hekkarantaa. Molempn lsätään sellanen satunnasta kohnaa mustuttava sgnaal, joka vakontensteettkuvassa on juur havattavssa. Koska hekkarantakuvassa kutenkn esntyy er taajuuskomponentteja runsan mton jo valmks, nämä pettävät härösgnaaln alleen sten, että se e olekaan enää havattavssa. Kontrastpetto vttaa ss tlanteeseen, jossa yhden kuvakomponentn havattavuus vähenee tosen, samantyyppsen komponentn esntymsen johdosta [28]. Lkkuvan kuvan laatua määrtettäessä tärkeä käste on myös ajallnen pettymnen [28]. Krjallsuudessa lmötä kästellään yleensä kahdessa muodossa, jotka ovat ympärstönvahdos ja ajallnen kontrastherkkyysfunkto. 29

33 2.4.2 Havantokykyyn perustuva kuven vertalu Kuten edellä todettu, nelöllseen keskvrheeseen (MSE) pohjautuvat mallt panottavat jokasta eroa kahden kuvan välllä samanarvosena. Tällön esmerkks selväst taka-alalla olevat, kohnasta johtuvat vrheet kuvan taustalla vakuttavat mtattuun laatuun yhdenvertasest sellasten vrheden kanssa, jotka esntyvät hmsslmän kannalta tärkessä objektessa. Kun laatua mtataan kvaltatvsest el laadullsest, eroavasuuksa (vrhetä) hmsen havantokyvyn kannalta tärkeämmssä kuvan osssa pyrtään panottamaan muta osa enemmän. Seuraavassa estellään Tompan, Mortonn ja Jerngann pakallsen melenknnon kohde-energa -menetelmä [35], joka pyrk tähän tavotteeseen laajentamalla perntestä MSE-mttaa tähän suuntaan. Pakallsta melenknnon kohdetta kuvassa vodaan mtata usella er tavolla, esmerkks käyttämällä apuna harmaasävytasoa, pakallsta varanssa, reunasuutta ta spataalsta htausmomentta. Harmaasävytasoa ja pakallsta varanssa vodaan käyttää sellasenaan MSE:n panottamseen, koska havannoja saattaa knnttää enemmän huomota krkkasn ta suuren kontrastn omaavn kuvan osn. Lsäks katsojan huomo vo knnttyä tavallsta enemmän myös reunasuuden määrään ja reunojen suuruuteen, jota vodaan mtata esmerkks Sobel reunanlmasmella. Nnpä myös tätä omnasuutta vodaan käyttää [35]. Tonen htausmomentt lasketaan kohtelemalla kuvan harmaasävytasoja massa-arvona. Tämä prre pyrk kuvaamaan pkselen avaruudellsta jakaumaa ja se on määrtelty sekä x- että y-suuntaan. Myös stä vodaan käyttää prteenä MSE:n panottamsessa. Seuraavassa on htausmomentn kaava y-suunnassa [35]: a 2 a 2 2 F ( x, y) = j I ( x +, y + j) (20) = a j = a 2 2 Tässä I on ss kuvan osa ja a on käytettävän kkunan koko molemmssa ulottuvuuksssa. 30

34 Todennäkösyys tetyn harmaasävyn esntymselle kuvassa on määrtelty kysesen sävyn suhteellsena osuutena kaksta kuvan pkselestä. Tämä todennäkösyys lasketaan jakamalla harmaasävyn esntymen lukumäärä hc kuvan pkselen kokonasmäärällä X*Y. Tätä kutsutaan Shannonn tsenformaatomtaks, jonka avulla vodaan ss määrttää tetyn kuvaelementn anutlaatusuus koko kuvan alueella [35]: hc ( I) Sc ( I) = (21) XY Tästä todennäkösyydestä vodaan puolestaan määrttää se nformaaton määrä, joka ssältyy kuhunkn kuvassa esntyvään tapahtumaan, edellä ss esmerkks tetyn harmaasävyn esntymseen. Tämän nformaatoarvon täytyy olla esntymstodennäkösyyden suhteellnen kääntesluku, jollon tulokseks saadaan suur nformaatoarvo harvon esntyvlle tapahtumlle ja kääntäen myös pen arvo usen esntyvlle tapahtumlle. Jotta sälytetään tärkeät nformaatoarvojen välset suhteet, lopullnen arvo määrtetään ottamalla logartm tästä esntymstodennäkösyyden kääntesluvusta [35]: 1 S' c ( I ) = log (22) S ( I) c Nän saadaan postvnen lukuarvo, joka lmasee stä nformaaton määrää, joka lttyy tettyyn tapahtumaan. Tapahtuma vo olla pats harmaasävytaso, myös jokn muu edellä mantusta energamtosta. Käyttämällä nätä energamttoja tapahtumna saadaan joukko erlasa mtta-arvoja, jotka pyrkvät kuvaamaan havannotua pakallsta melenkntoa kuvassa [35]. Kuven vertalu tämän menetelmän avulla tapahtuu seuraavalla tavalla. Aluks sekä alkuperänen että väärstynyt kuva panotetaan nden vastaavlla pakallsta melenkntoa kuvaavlla nformaatokartolla. Tämän jälkeen lasketaan MSE normaaln tapaan. Nän varmstetaan se, että ntä väärstymä jotka ovat havannonnn kannalta tärketä myös panotetaan muta enemmän [35]. 31

35 Ennen nformaatokartan muodostamsta kuva kästellään eksponenttoperaattorlla. Nän vodaan vähentää algortmn herkkyyttä penn vahteluhn kuvan tummlla aluella. Eskästtelyn jälkeen kuva muunnetaan prrekartaks käyttäen prteenä haluttua kuvan omnasuutta ta tapahtumaa. Sen jälkeen Shannonn tsenformaatomttaa sovelletaan prrekartalle. Prosessn tuloksena saadaan kuvalle nformaatokartta I (x,y), jota käytetään lopuks MSE-mtan panokertomena. Alla on estetty tällä tavon syntyvä pakallsen melenknnon kohde-energa -prre [35]: IMSE = 1 XY x, y ( I( x, y) I' ( x, y) Q( x, y) Q'( x, y) ) 2 (23) Yllä I on alkuperäsen kuvan I nformaatokartta. Vastaavast Q on väärstymälle altstetun kuvan Q nformaatokartta. Menetelmän kehttäjät ovat tutkneet sen suorutumsta erlasten kuven ja väärstymen arvonnssa. Saadut tulokset ovat käytettyjen testtapausten osalta parempa kun mtä saatasn käyttämällä panottamatonta MSE mttaa sellasenaan Ylenen kuven laatundeks Wang ja Bovk [37] ovat myös kehttäneet vahtoehdon MSE:n käytölle kuvan laadun määrttämsessä. Ylenen kuven laatundeks on matemaattsest määrtelty mtta, jota vodaan käyttää kuven laadun mttaamseks. Kehttäjen mukaan se on rppumaton käytetystä kuvsta, katseluolosuhtesta ja havatsjosta. Lsäks stä vodaan soveltaa usessa erlasssa kuvankästtelysovelluksssa. Se myös tuottaa melekkään tuloksen vertaltaessa monen tyyppsä väärstymä kuvssa. Oletetaan, että I on alkuperänen kuvasgnaal, joka koostuu ntensteettarvosta I(), = 1,2,...,XY. Lsäks Q on väärstynyt kuvasgnaal, joka koostuu vastaavalla tavalla ntensteettarvosta Q(). Ylenen kuven laatundeks G vodaan nyt määrtellä seuraavast [37]: 32

36 σ I Q 2IQ 2σ Iσ G = 2 2 (24) σ σ ( I) + ( Q) σ + σ I Q 2 I Q 2 Q jossa I = 1 XY XY = 1 I( ) Q = 1 XY XY Q( ) ( ) I = I( ) I = 1 XY 1 = 1 XY XY 2 1 σ σ = ( Q( ) Q) Q XY 1 = 1 2 σ I Q = 1 XY 1 = 1 XY ( I( ) I )( Q( ) Q) Laatundeksn G ensmmänen komponentt on korrelaatokerron I:n ja Q:n välllä, joka mttaa näden kahden välsen lneaarsen korrelaaton määrää välllä [-1,1]. Paras arvo, 1, saavutetaan snä tlanteessa, jossa Q() = a*i() + b (a>0 ja b ovat vakota) kaklle = 1,2,...,XY. Vakka I ja Q olsvatkn lneaarsessa suhteessa, suhteellsa väärstymä vo kutenkn esntyä nden välllä. Nätä pyrtään mttaamaan kahdella jälkmmäsellä vrhekomponentlla. Tonen komponentt mttaa stä, kunka lähellä keskmääränen lumnanss on I:n ja Q:n välllä. Se saa arvoja välltä [0,1] ja saavuttaa huppuarvon 1 anoastaan snä tapauksessa, että I = Q. Lopuks vmenen komponentt mttaa stä, mten lähellä kuven kontrastt ovat tosaan. Myös sen arvoalue on [0,1], josta 1 saavutetaan anoastaan snä tapauksessa, että σ = σ [37]. I Q Nän ollen laatundeksn G dynaamnen arvoalue on [-1,1]. Paras arvo, 1, vodaan saavuttaa van ja anoastaan snä tapauksessa, että I() = Q() kaklle = 1,2,...,XY. Sen sjaan hekon arvo, -1, saavutetaan tlanteessa, jollon ehto Q( ) = 2I I( ) on vomassa kaklle = 1,2,...,XY. Kysenen laatundeks ss mttaa mllasta tahansa yhdstelmää kolmen tyyppsä väärstymä: korrelaaton hävämstä sekä väärstymä kuven lumnanssssa ja kontrastssa [37]. 33

37 Kuvan laatua halutaan usen käytännössä lmasta käyttäen shen anoastaan yhtä lukuarvoa huolmatta stä, että laatu kuvassa vahtelee yleensä pakallsest. Sks onkn enemmän tarkotuksenmukasta mtata tlastollsa prtetä anoastaan pakallsella tasolla ja muodostaa nden pohjalta yks laatuarvo vasta prosessn päätteeks. Myös ylenen laatundeks lasketaan globaaln lähestymstavan sjaan pakallsest, käyttäen apuna a*a pkseln kokosta lukuvaa kkunaa. Ikkunaa srretään kuvan alueella yks pksel kerrallaan. Kuvan rvt ja sarakkeet käydään läp, alottaen vasemmasta yläkulmasta ja päätyen okeaan alakulmaan. Tässä prosessssa askeleen j akana määrtetään pakallnen laatundeks Gj kyseessä olevan kkunan alueella. Jos oletetaan, että koko prosessssa on yhteensä M askelta, nn lopullnen laatundeks lasketaan pakallsten arvojen keskarvona seuraavast [37]: G = 1 M M G j j= 1 (25) Ylesen kuven laatundeksn kehttäjät vertasvat sen suorutumsta MSE:n suorutumseen tlanteessa, jossa testkuvat altstettn erlaslle väärstymlle, mukaan luken JPEG-tvstys. Tuloksa verrattn koehenklöllä teetettyhn subjektvsn arvohn samosta väärstymstä. Osottautu, että laatundeks korrelo subjektvsten arvoden kanssa oleellsest MSE:tä paremmn Laatumtta spektrkuven tvstykselle Laatumtta spektrkuven tvstykselle on kvaltatvnen menetelmä, jonka avulla vodaan mtata ertysest tvstysprosessn läpkäyneden spektrkuven laatua [12]. Se on kehtetty laajentamalla harmaasävykuvlle tarkotettua ruuduttasta vrhemttaa [9] sten, että sllä vodaan kästellä harmaasävykuven lsäks myös spektrkuva. Kehttäjen mukaan tätä laatumttaa vodaan käyttää mllasten tahansa spektrkuven arvontn. Mtta huomo sekä suhteellset että absoluuttset vrheet kuvssa. Tulokset ovat myös keskenään vertalukelposa rppumatta käytetystä kuvajoukosta 34

38 ta tvstysmenetelmästä (ts. väärstymän luonteesta). Lsäks laatumtta perustuu kuvan tärkesn prtesn, jollon myös vsuaalset havannot sopvat yhteen sen antamen tulosten kanssa [12]. Harmaasävykuven ruuduttanen vrhemtta käyttää 3*3 pkseln kokosta lukuvaa kkunaa kuvan läpkäyntn. Kunkn kkunan alueelta lasketaan kolme er komponentta: kontrast, spataalnen rakenne sekä tosstaan pokkeaven harmaasävyjen lukumäärä. Kontrast mttaa stä, kunka paljon kukn pksel eroaa taustastaan. Reuna-alueet kuvssa ovat tärketä, sllä ne saattavat sumentua ta muuttua rakesks tvstysprosessn akana. Tätä mtataan spataalsen rakenteen avulla. Lsäks rososuus on tyypllnen tvstyksen tuloksena syntyvä väärstymä. Stä pyrtään mttaamaan kkunan alueella esntyven anutlaatusten ntensteettarvojen lukumäärän avulla [12][9]. Spektrkuvaa vodaan ajatella kolmulottesena kuvana, jolla on kaks spataalsta ulottuvuutta ja lsäks yks spektrulottuvuus [12]. Nnpä harmaasävyvrhemtan laskennassa käytetty kaksulottenen lukuva kkuna muutetaan kolmulotteseks kuutoks tämän menetelmän tarpeta vastaavast. Kontrast on pakallnen krkkauden muutos. Se määrtellään kunkn pkseln krkkauden suhteena sen taustan krkkauteen. Koska hmsslmän herkkyys valosuudelle on luonteeltaan eksponentaalnen, harmaasävykuvan kontrasta vodaan mtata käyttämällä keskhajontaa. Spektrkuvlle kontrast lasketaan harmaasävykuva vastaavalla tavalla, ottaen huomoon kakk kuuton ssällä olevat pkselt [12]: 1 2 σ ( I) = (26) a a a a ( I( x +, y + j, z + k I ) ) 3 = a 2 j= a 2 k= a 2 Yllä I(x,y,z) on pkseln ntensteettarvo psteessä (x,y,z), I on stä ympärövän naapuruston keskmääränen ntensteett ja a on käytetyn kkunan koko kakssa ulottuvuuksssa. 35

39 Ensmmänen vrhekomponentt, kontrastvrhe ec, lasketaan keskhajontojen erotuksen nelönä alkuperäsen kuvan I ja mtattavan kuvan Q vastnalueden välllä [12]: e C ( σ ( I ) σ ( Q) ) max( 1, σ ( I) ) 2 = (27) Komponentn arvo normalsodaan alueen kontrastlla σ (I) stä syystä, että hmsslmä on herkemp muutokslle matalan kontrastn aluella verrattuna suuremman kontrastn omaavn aluesn. Tonen vrhekomponentt perustuu pkselen spataalseen rakenteeseen. Sen arvo saadaan kkunalle suortetun reunanetsntäoperaaton tuloksena. Tähän käytetään Laplace-suodnta, joka on ensn muunnettu kolmulotteseks. Tällön se mttaa reunasuuden määrää myös spektrulottuvuuden suuntasest. Reunasuodnoperaatot g, =x,y,z kolmulotteselle 3*3*3 kuutolle noudattavat seuraavanlasta rakennetta [12]: C g = 16 1 B A (28) Tässä A, B ja C ovat Laplace-suotmesta johdettuja 3*3 reunasuotma. Kyseset Laplace-suodnmatrst on estetty ltteessä 1. Itse spataalnen vrhekomponentt, es, on arvoltaan kakken reunaoperaatoden tulosten summa, lopuks velä ensmmäsen vrhekomponentn tapaan alueen pakallsella kontrastlla normalsotuna [12]: e S g x ( I) g x ( Q) + g y ( I) g y ( Q) + g z ( I) g z ( Q) = (29) 3max 1, ( σ ( I) ) 36

40 Edellä g(i) on reunasuotmen tulos alkuperäselle kuvalle ja g(q) puolestaan on vastaava arvo väärstyneestä kuvasta laskettuna. Kolmas ja vmenen vrhekomponentt, kvantsontvrhe ek, määrtellään molemmssa kuvssa kuuton alueella esntyven anutlaatusten ntensteettarvojen lukumäären, q(i) ja q(q), erotuksen nelönä [12]: e K ( q( I ) q( Q) ) 2 = (30) Alkuperäsen ja väärstyneen kuvan välset kokonasvrheet, e C, e S ja e K, määrtellään pakallsten vrhearvojen ec, es ja ek keskarvona koko kuvan alueella [12]: e C = 1 N N = 1 ( e C ), e S = 1 N N = 1 ( e S ), e K = 1 N N = 1 ( e K ) (31) Tässä N on pakallsten 3*3*3 kuutoden kokonaslukumäärä kuven alueella. Summattavat ec, es ja ek on määrtelty edellä. Vrhemtan lopullnen arvo eln on keskmäärästen vrheden panotettu summa [12]: e = w f ( ec ) + w f ( es ) + w f ( ek ) (32) ln C S K Edellä wc, ws ja wk ovat panokertoma, joden suuruus määrtetään emprsest sten, että korrelaato mtan eln ja subjektvsten arvoden välllä on maksmaalnen. Funkto f tom skaalausfunktona, joka on määrtelty skaalauskertomen k avulla seuraavast [12]: e f ( e ) = 1 mn(1, ), = C, S, K (33) k Kertomet k skaalaavat funkton f arvot vällle [0,1] ja samalla ne tomvat myös kynnysarvona. Mkäl e > k, nn ( e ) = 0 f. Spektrkuven vrhemtan avulla saavutettavn tuloksn vakuttaa oleellsest kunkn vrhekomponentn panottamseen käytetyt kertomet. Kertomen arvot määrtettn subjektvsten testen perusteella [12], jotka 37

41 jakautuvat kahteen osaan. Ensmmäsessä osassa pyrttn määrttämään kolmen käytetyn testkuvan kuvakohtanen laatu er suuruusluokkaa oleven väärstymen kohdalla. Tässä yhteydessä väärstymnä käytettn erlasten hävöllsten tvstysmenetelmen aheuttama vrhetä kuvan laadussa. Lopuks kuvsta saadut arvot pyrttn yhdstämään samaan mttakaavaan sten, että vertalut myös er kuven kesken olsvat melekkätä saman astekon puttessa. Kuven subjektvsessa arvonnssa käytettn ns. mean opnon score (MOS) menetelmää. Prosessn tulokset on nähtävssä lähteessä [12]. 2.5 LBP-TEKSTUURIPIIRRE Kuven segmentont nssä esntyven tekstuurpntojen perusteella vo olla haastava tehtävä. Usenkaan e voda etukäteen tetää, mnkä tyyppsä tekstuureja kuvssa esntyy, kunka monta erlasta tekstuura lukumäärällsest vodaan erotella ja mtkä kuvan aluesta lmentävät mtäkn nästä tekstuuresta. Jotta votasn luotettavast erottaa kaks tekstuura tosstaan, täytyy tarkastella varsn suurta näytettä molemmsta, tosn sanoen suhteellsen suurta kuvan aluetta. Kutenkaan suur kuvaalue e enää välttämättä kuulu kokonaan samaan tekstuuralueeseen, jollon ongelmaks muodostuu alueden välsten rajojen määrttämnen [27]. Korkean erottelukyvyn omaaven tekstuurprteden valnta on tärken tekjä tekstuursegmentonnn onnstumsessa. Valttujen prteden tuls kyetä erottelemaan monen tyyppsä tekstuureja. Lsäks nden laskennassa käytettävän kkunan koon tuls olla kylln pen, jotta se ols käyttökelponen myös penlle kuvan oslle. Penkokosen kkunan käyttö saattaa myös tuottaa vähemmän vrhetä alueden reunolla. Tekstuurn rakennetta pyrtään seuraavassa kuvaamaan käyttämällä shen kahden yhdstetyn prteen jakaumaa: pakallsta bnäärkuvota (LBP) sekä kontrastprrettä (C) [27]. LBP-prteen laskentaprosess tetyn pkseln naapurustossa on seuraava. Kysesen pkseln alkuperänen 3*3 naapurusto kynnystetään keskmmäsen 38

42 pkseln arvolla. Tuloksena saadaan bnäärmatrs, jonka alkot koostuvat arvosta 0 ja 1. Arvosta 0 esntyy snä tapauksessa, että kysestä alkota vastaava pkselarvo ol keskustan pkselarvoa adost penemp ja vastaavast arvo 1 muuton. Seuraavaks tämän bnäärmatrsn alkot kerrotaan bnomssta panokertomsta koostuvalla kerronmatrslla. Lopullnen kkunan LBP-arvo saadaan ottamalla nän syntyneen tulomatrsn alkoden summa. Kontrastarvon C laskenta puolestaan suortetaan seuraavast. Mkäl C 1 on kkunan alkuperästen pkselarvojen keskarvo nden alkoden osalta, jotka bnäärmatrsssa savat arvon 1, ja vastaavast C 0 nden alkuperästen pkselarvojen keskarvo, jotka bnäärmatrsssa savat arvon 0, nn kkunan kontrastarvo määrtellään näden erotuksena C = C 1 C0. LBP:n ja kontrastprteen laskentaprosessa on havannollstettu kuvassa 1 [27] LBP = = C = ( )/4 ( )/4 = 4.5 Kuva 1: LBP- ja kontrastprteen laskenta pkseln naapurustossa LBP/C-jakaumaa kuvataan dskreetn kaksulottesen hstogrammn avulla, jonka koko on 256*nC. Tässä nc on C:n er luokken lukumäärä C:n arvoalueen kvantsonnn jälkeen. Hstogrammen kesknänen vertalu on mahdollsta esmerkks alla estetyn logartmsen todennäkösyyssuhteen EG avulla (34). Kysenen etäsyysmetrkka kuvastaa stä todennäkösyyttä, jolla kaks näytejakaumaa ovat peräsn samasta populaatosta [27]: 39

43 E G = 2* n h1, h2 = 1 h log h logh = 1 h1, h2 h1, h2 n h + n h1, h2 = 1 h log h log h1, h2 = 1 = 1 n n h n h1, h2 = 1 h (34) Tässä h1 ja h2 ovat kaks näytehstogramma, jotka molemmat koostuvat yhteensä n alkosta. Merkntä h tarkottaa hstogrammn :nnen alkon arvoa. Mtä suuremp logartmsen todennäkösyyssuhteen EG arvo, stä epätodennäkösempää on, että kyseset kaks näytettä edustavat samaa populaatota. Ojala ja Petkänen [27] käyttävät kolmvahesta algortma kuven segmentontn. Vaheet ovat herarkknen osttamnen, alueden yhdstämnen sekä pkseltason luokttelu. Herarkksessa osttamsessa suorakateen muotonen kuva-alue jaetaan neljään tasakokoseen alalueeseen snä tapauksessa, että koko alue e edusta yhtenästä tekstuura. Nän jatketaan teratvsest, kunnes tetty lopetusehto täyttyy. Yhdstämsprosessssa yhdstetään samaa tekstuura lmentävät alueet. Lopuks alueden rajat pyrtään pehmentämään pkseltasolla. Kehttäjät ovat tutkneet edellä kuvatun menetelmän suorutumsta mm. erlasten mosakktekstuurkuven ja myös tavallsa luonnonmasema esttäven kuven segmentonnssa [25][27]. Tutkmustulokset ovat olleet lupaava, vakka kehttäjät myöntävätkn, että hyvn er kokoluokkaa oleven tekstuuren tunnstamnen kuvsta luotettavast lman etukätesnformaatota nden ssällöstä saattaa olla jopa epärealstnen vaatmus. 2.6 ITSEORGANISOIVA KARTTA Itseorgansova kartta (SOM) on tehokas työvälne monulottesen tedon vsualsontn. Perusmuodossaan sen avulla vodaan tuottaa eräänlanen samankaltasuuskuvaaja syötteenä käytettävälle monulotteselle datalle. Syötteen epälneaarset tlastollset suhteet muuntuvat tseorgansovassa 40

44 kartassa sen kuvapsteden välsks yksnkertasks geometrsks suhteks, jotka estetään havannollsen, matalaulottesen estyksen avulla [14][16][17]. Koska tseorgansova kartta tvstää tetoa samalla kun se sälyttää tärkemmät estyksen prmäärsten elementten välset topologset suhteet, sen vodaan ajatella myös muodostavan eräänlasen abstrakton syötedatalle. Nätä kahta sen edellä manttua omnasuutta, vsualsonta ja abstrahonta, vodaan käyttää hyväks monssa erlasssa sovelluksssa. Nähn lukeutuvat esmerkks prosessen analysont, konenäkö, kontrollont ja kommunkaato [17]. Sellaset verkkoarkktehtuurt ja sgnaalprosesst, jotka mallntavat hermostollsa järjestelmä, vodaan jakaa nden lähtökohten perusteella karkeast kolmeen ryhmään. Myötäkytkentäverkot muuntavat syötesgnaalen joukon tulossgnaalen joukoks. Muunnos edellyttää yleensä ulkosta ja valvottua järjestelmän parametren muuntelua. Takasnkytkentäverkkojen tapauksessa alkuperänen syöte määrttää ertysen palautejärjestelmän alkutlan. Tlanvahdosten jälkeen muodostuva asymptoottnen lopputla tulktaan laskennan tulokseks. Kolmannessa ja vmesessä hermostollsa järjestelmä mallntaven prosessen ryhmässä neuraalsen verkon naapursolut klpalevat aktvteetessaan keskenään ja vuorovakuttavat tostensa kanssa, kunnes nstä adaptvsest kehttyy eräänlasa detektoreja erlaslle sgnaalsarjolle. Tämän tyyppstä oppmsta kutsutaan klpalevaks, ohjaamattomaks ta tseorgansovaks. Nän ollen myös tseorgansova kartta kuuluu tähän vmeks manttuun kategoraan [14]. Formaalst tseorgansova kartta vodaan määrtellä epälneaarsena, järjestettynä ja tasasena kuvauksena, jossa monulottenen syötedata kuvautuu säännöllsen, matalaulottesen tetorakenteen solulle. Tämä kuvaus määrtellään seuraavalla tavalla, joka mustuttaa heman perntestä vektorkvantsonta. Oletetaan yksnkertasuuden vuoks, että syötemuuttujen joukko { ξ j } vodaan määrtellä reaalvektorna 41

45 T n [ ξ ξ,..., ] R x = ξ 1, 2 n. Itseorgansova kartta rakentuu verkkotopologaa noudattavsta solusta. Tämän tetorakenteen kuhunkn soluun ltetään parametrnen reaalvektor [ ] n m T 1, µ 2 n R, jota tässä kutsutaan = µ,..., µ mallks. Oletetaan lsäks tunnetuks ylenen etäsyysmetrkka x:n ja m:n välllä ja merktään stä D(x,m). Syötevektorn kuva tseorgansovan kartan solussa vodaan nyt määrtellä sks elementks ma, jonka etäsyys x:n kanssa on kakken penn. Tosn sanoen, kunkn syötevektorn kuva on se tseorgansovan kartan solu, jonka ndeks a saadaan seuraavast [15][16][17]: { D( x m )} a, = arg mn (35) Perntesestä vektorkvantsonnsta poketen seuraava tehtävä on määrttää m sllä tavon, että lopputuloksena saadaan järjestetty ja deskrptvnen kuvaus x:n jakaumasta. On huomattava, että tseorgansovan kartan mallen e tarvtse välttämättä olla vektortyyppsä. Rttää, että ylenen etäsyysmetrkka D(x,m) on määrtelty kakken x:n alkoden sekä rttävän suuren malljoukon m välllä. Myöskään mallen alkuarvojen valnta e ole lopputuloksen kannalta merktsevä. Alkuarvot vodaan valta esmerkks satunnasest, meluten kutenkn samasta joukosta syötteen kanssa [17]. Tarkastellaan seuraavaks syötevektoren lstaa x(t), jossa t on kokonaslukuarvonen ndeks. Jokasta syötevektora x(t) verrataan kakkn kartan mallehn m ja kopodaan stten tämän syötteen x(t) arvo sellaseen allstaan, joka lttyy shen kartan soluun, joka on käytetyn etäsyysmetrkan perusteella kakken lähmpänä kysesen syötteen kanssa [17]. Kun kakk x(t):n syötealkot on jaoteltu kukn vastaavaan allstaansa edellä kuvatulla tavalla, tarkastellaan seuraavaks naapurustoa N malln m ympärstössä. Tämä kartan solujen joukko N koostuu nstä solusta, jotka sjatsevat korkentaan määrätyn etäsyyden päässä solusta. Muodostetaan seuraavaks yhdste kaksta joukkoon N kuuluvsta allstosta ja etstään tästä yhdstejoukosta sen 'keskmmänen' syötearvo x. Tämä määrtellään sks syötealkoks, jolla on penn etäsyyksen summa alkuperäsn 42

46 syöttesn x(t) nähden, sllon kun allstojen joukon ylestetyks medaanks [17]. t N. Tätä syötettä x kutsutaan Seuraava tehtävä on muodostaa jokanen x kullekn kartan solulle edellä kuvatulla tavalla, huomoden ana naapurusjoukko N jokasen solun ympärstössä. Lsäks kukn malln m vanha arvo korvataan uudella arvolla. Tätä prosessa jatketaan eteenpän teratvsest. Tosn sanoen alkuperäset syötteet x(t) jaotellaan uudestaan allstohn, jotka nyt ss muuttuvat, koska myös m on muuttunut. Uudet x arvot lasketaan, vanhat mallt korvataan nllä ja nn edespän. Kysymyksessä on eräänlanen regressoprosess [17]. Tämä prosess tuottaa lopulta asymptoottsest lähestyvät arvot mallelle m. Tuloksena on kokoelma, joka approksmo syötteden x(t) jakaumaa tetyllä, järjestäytyneellä tavalla. Itseorgansovan kartan tetorakenteen solujen muoto vodaan myös valta vapaast: esmerkks suorakulmasa, kuuskulmasa ta perät epäsäännöllsä topologota vodaan käyttää [17]. Nästä kuuskulmanen muoto soveltuu hyvn vsuaalseen estykseen, joten stä käytetään mm. tässä työssä. Yllä kuvattua prosessa, jossa kartan soluja muokataan syötteen perusteella, kutsutaan kartan opettamseks. Opetusprosess vodaan saattaa kaavan muotoon seuraavanlasella notaatolla [17][18]: [ x( t) m ( )] m ( t + 1) = m ( t) + f ( t) t (36) a x Tässä t = 0,1,2,... on kokonaslukuarvonen, dskreett aka-koordnaatt. Funktolla fa on keskenen rool: se tom ns. naapurustofunktona, jonka tulee olla määrtelty koko kartan alueelle. Konvergenssn vuoks on tarpeen, että f a ( t) 0, kun t. Usemmten f ( t) f ( r r t) =, jossa a a, r, r a R 2 ovat sjantvektort kartan solulle a ja. Kun r r kasvaa, nn f 0. a a Naapurustofunkton keskmääränen laajuus ja muoto määrttävät 43

47 eräänlasen jäykkyyden syötedatan pstesn sovtettavalle elastselle pnnalle [17]. Krjallsuudessa esntyy säännöllsest anakn kaks erlasta vahtoehtoa naapurustofunktoks. Nästä yksnkertasemp on myös edellä kuvatun tyyppnen nden naapursolujen joukko, jotka ympärövät solua a. Merktään nätä naapursoluja Na (vodaan määrtellä Na = Na(t), josta jälkmmänen ajan funktona). Nyt f a ( t) = µ ( t), jos N a ja f a ( t) = 0 jos N a. Tässä arvo funktolle µ(t) määräytyy ns. oppmsnopeuskertomen perusteella (0 < µ(t) < 1). Sekä µ(t) että naapuruston Na(t) säde yleensä laskee monotonsest oppmsprosessn akana ajan funktona [17]. Tonen usen käytetty, edellstä pehmeämp naapurustofunkto vodaan lmasta Gaussn funkton muodossa seuraavast [17]: f a ra r ( t) = µ ( t) exp (37) 2ν 2 ( t) Tässä a(t) on tonen, skalaararvonen oppmsnopeuskerron. Parametr µ(t) vastaa Na(t):n sädettä edellä. Sekä µ (t) että ν (t) ovat ajan mukana monotonsest laskeva funktota. 44

48 3 Käytetyt menetelmät ja testanesto On hyvä ptää melessä, ette yhtäkään edellsssä luvussa estetystä menetelmstä ole varta vasten kehtetty yksttästen kuven laadullsta analysonta slmällä ptäen. Tämän kaltasa menetelmä esntyy krjallsuudessa erttän harvon, jos lankaan. Jotakn yksttästen kuven laatua mallntamaan suunnteltuja teknkota on avan vme akona kyllä estetty, mutta ne perustuvat yleensä subjektvsn arvontehn [23][31]. Pääasallnen syy tähän lenee se, että kuvan laatu on hmsen kannalta ana subjektvnen käste. Nnpä sellasen objektvsen laatumtan kehttämnen, jossa vertalukohtana e ole laadultaan täydellseks oletettua mallkappaletta, on erttän vakeaa, jos edes melekästäkään [28]. Tästä huolmatta kuten myös aemmn todettu tämän tutkmuksen tarkotuksena ol kutenkn pyrkä löytämään sen kaltasa laskennallsa laadullsa prtetä, joden avulla saatasn eslle sellasa säännönmukasa eroja kuven vällle, jotka mahdollsest votasn lsäks yhdstää kuvssa käytettyhn panopaperehn. Luvussa 5 tullaan toteamaan, että kuvat evät tässä yhteydessä ole pkseltasolla suoraan vertalukelposa keskenään. Nnpä anoa vahtoehto on pyrkä soveltamaan nhn sellasa prtetä, jotka käyttävät syötteenään anoastaan yksttäsä kuva. Nän ollen tehtäväks jää vertalla kuva nätä prtetä hyödyntäen sllä tavon, että mahdollnen panopapern vakutus saatasn lopulta paljastettua. 3.1 MENETELMIEN VALINNASTA Akasemman tutkmusmateraaln puuttuessa jouduttn turvautumaan suhteellsen suureen testmenetelmen krjoon. Menetelmät pyrttn valtsemaan sten, että kukn edellsssä luvussa estelty menetelmätyypp ols edustettuna. Kokeellsessa osassa kesktytään ss testaamaan krjallsuudessa esntyvä prtetä kuven laadun mttaamsessa ja nden kesknäsessä vertalussa. 45

49 Suur osa kohdassa 2.3 estellystä kuvahakujärjestelmstä käyttää hyväkseen erlasa värhstogrammeja ta nden johdannasa. Nnpä tämän prteen käyttökelposuutta kokeltn myös kuven laadullsessa analysonnssa. Erlaset hstogrammt ovatkn näkyväst esllä työn kokeellsessa osassa. Aluks syötekuven värhstogrammeja vertallaan keskenään käyttäen nden pohjalta laskettuja tlastollsa tunnuslukuja. Tämän jälkeen testataan erlasten väravaruuksen omnasuuksa käyttäen värarvojen 2-ulottesa hstogrammeja. Lopuks RGB-värhstogrammeja käytetään velä sellasenaan prrevektorena tseorgansovalle kartalle. Kohdassa 2.4 kuvattujen laatumttojen soveltuvuutta on myös syytä kokella tässä yhteydessä. Nden edustajaks valttn laatumtta spektrkuven tvstykselle, jota nän ollen ss sovellettn testanestona käytetylle syötekuvlle. Laatumtan avulla muodostetut prrevektort annettn tseorgansovan kartan jäsenneltävks. Myös kohdan 2.5 tekstuurprrettä kokeltn samaan tapaan kun spektrkuven laatumttaakn. Tässä yhteydessä tyydyttn tekstuurprteen heman yksnkertastettuun versoon, jollon kontrastprre jätettn huomomatta ja käytettn pelkkä kkunoden LBP-arvoja. Lopuks tseorgansova kartta on laajalt käytössä tässä työssä. Sen avulla mm. muodostetaan uus ns. valltseva vär -prre, joka on kuvattu tarkemmn kohdassa 4.3. Kokeellsen osan lopussa monulottesa prrevektoreta myös vsualsodaan käyttäen tseorgansovaa karttaa. 3.2 TESTIMATERIAALI Tutkmusta varten ol saatu yhteensä kahdeksan akakausleht-tyyppstä panotuotosta, jotka olvat ssältönsä puolesta denttsä keskenään. Erot akakauslehten vällle syntyvät nden panamseen käytetystä paperlaadusta, sekä tämän lsäks käytetystä panatusteknkasta. Testmateraal kästt kakkaan neljä erlasta panopaperlaatua ja kaks erlasta panatusteknkkaa, jollon kukn kahdeksasta akakauslehdestä 46

50 edust anutlaatusta kombnaatota nästä. Tosn sanoen kumpaakn panatusteknkkaa koht ol neljä ertyyppselle paperlle panettua versota kysesestä lehdestä. Alla olevasta taulukosta selvää kunkn lehden panatukseen käytetty teknkka ja panopapern laatu. Leht Panopaper Panoteknkka L1 kltävä perntenen L2 krkas stokastnen L3 hmmeä stokastnen L4 e-fluoresova perntenen L5 e-fluoresova stokastnen L6 hmmeä perntenen L7 krkas perntenen L8 kltävä stokastnen Taulukko 2: Akakauslehdet, lehdstä käytetyt lyhenteet ja lehten omnasuudet. Lehdssä esntyvstä lukussta valokuvsta valttn kolme erlasta ja mahdollsmman edustavaa otosta. Valtut kohteet olvat olohuone, kakku ja parveke. Nästä muodostettn kolme kuvasarjaa, jotka ssälsvät neljä kuvaa kukn. Kuvasarjan kuvat ss esttvät samaa kohdetta, anoastaan kukn ykslöllselle paperlaadulle panettuna. Kakk valtut lehdet edustvat ns. perntestä panatusteknkkaa, sllä tässä vaheessa päätettn jättää tonen ns. stokastnen panatusteknkka kokonaan valle huomota, mm. jotta parametren määrä testanestossa votn tutkmuksen alkuvaheessa ptää mahdollsmman penenä. Valtut testkuvat dgtotn dgtaalkameralla. Tuloksena saatn mantut kolme sarjaa (yhteensä 12 kappaletta) dgtaalsa RGBkolmkomponenttkuva. Kukn nästä kuvsta ss estt tettyä kohdetta (ts. akakauslehden valokuvaa) sllä tavon, kun se esntyy panettuna kullekn neljästä erlasesta papervahtoehdosta perntestä panoteknkkaa käyttäen. 47

51 Kakk kuvat dgtotn samankaltasssa kuvausolosuhtessa. Kuvauksessa käytettn 180 mllsekunnn valotusakaa. Mahdollsten kamerasta ja dgtontteknkasta johtuven vrheden mnmomseks kuvausetäsyys pyrttn valtsemaan sten, että yks dgtaalkuvan pksel ssältää nformaatota, joka on peräsn useammasta kun yhdestä panokuvan rasterpsteestä. Tosaalta kutenkn tällä tavon muodostuvan kuven pakkaresoluuton tul olla rttävän suur tutkmuksen tarpesn. Dgtotujen kuven tallentamseen käytettn hävötöntä TIFFtedostomuotoa. Kuvatun dgtontprosessn lopputuloksena saatuja kuva käytettn stten tutkmuksen akana syötteenä joukolle erlasa analysontmenetelmä. Nähn dgtaalsn kuvn vtataan jatkossa termllä syötekuva, ta velä lyhyemmn anoastaan termllä kuva sllon, kun sekaannuksen vaaraa e ole. Dgtonnn jälkeen syötekuvat velä lekattn kuvankästtelyohjelmalla saman kokosks. Kuven pakkaresoluutoks muodostu 416*416 pkselä. Käytetty värresoluuto ol puolestaan 24-bttnen, joka nän ollen ss mahdollst kunkn pkseln värn valtsemsen non 16 mljoonan er värsävyn joukosta. Lsäks jokasesta kuvasta muodostettn neljänneskokonen penennös (kooltaan 208*208 pkselä) käyttäen penentämseen keskarvosuodnta. Nätä penempä kuvaversota käytettn sompen vastnedensa sjasta erässä laskennossa. Kuvat lsäks jaoteltn tosa menetelmä varten tasakokosn osakuvn el kkunohn. Kun yhden kkunan kooks valttn 32*32 pkselä, kukn syötekuva jakautuu tasasest 13*13 kkunaan. Nän kkunota ss muodostuu yhteensä 169 kappaletta. Kuvassa 2 on estetty olohuone-kuvasarjan ensmmänen leht ja sen kkunarakenne. Kakk syötekuvat noudattvat vastaavaa kkunarakennetta. Kahden muun kuvasarjan (kakku ja parveke) ensmmänen leht on estetty ltteessä 3a ja 3b. 48

52 Kuva 2: Olohuone-kuvasarjan ensmmänen kuva ja sen jako kkunohn. Kakk seuraavassa luvussa estetyt tulokset on saatu käyttämällä edellä esteltyä materaala syötteenä analysontmenetelmlle. Tulokset laskettn Matlab-ohjelmstolla. 49

53 4 Kokeellset tulokset Tässä luvussa estetään yhteenveto tutkmuksen akana saavutetusta kokeellssta tulokssta. Tulokset on organsotu allukuhn sen perusteella, mllasta teknkkaa nden akaansaamseks on käytetty. Luvun ensmmänen kohta 4.1 e kerro mnkään varsnasen menetelmän avulla saadusta lopputulokssta. Sen tarkotuksena on ennemmnkn tutustuttaa lukja syötedataan ja sen perusomnasuuksn esttämällä syötedatasta rrotettuja erlasa yksnkertasa tunnuslukuja. Kohdassa 4.2 on puolestaan esmerkkejä 2-ulottessta hstogrammesta jotka saadaan, kun syötekuven vär-nformaato on muunnettu erlasn tunnettuhn väravaruuksn. Kohdassa 4.3 on estetty tuloksa, jotka on saatu käyttämällä tseorgansovaa karttaa apuna eräänlasen valltsevan värsävyn rrottamseks syötekuvsta. Menetelmän avulla vodaan laskea sellasa värarvoja, jotka kuvaavat tetyllä tavalla kuvassa valltsevaa yleslmettä. Vertaamalla er paperelle panettujen, samaa kohdetta esttäven kuven vastaava arvoja, saatetaan saada vttetä panopapern vakutuksesta kyseselle kohteelle. Lopuks kohdassa 4.4 estetyt tulokset on saatu käyttäen monpuolsnta menetelmen valkomaa. Yhdstävä tekjä nälle on tseorgansovan kartan käyttö tulosten havannollstamsessa. Kukn menetelmä antaa lopputuloksena prrevektoreta, jotka kuvastavat syötekuva kukn omalla tavallaan. Koska nämä prrevektort omaavat tyypllsest jopa satoja ulottuvuuksa, nden kesknänen vertalu lman apuvälnetä ols hyvn hankalaa ja epähavannollsta. Tästä syystä tseorgansovan kartan organsontvomaa onkn käytetty hyväks tulosten vsualsomsessa. 50

54 4.1 TILASTOLLINEN ANALYYSI Tutkmuksen alkuvaheessa kuvsta pyrttn rrottamaan anoastaan yksnkertasa prtetä. Näden perustana ovat pkselen ntensteettarvosta laskettavat erlaset tlastollset tunnusluvut. Esmerkk tämän kaltassta yksnkertassta mtosta ovat erlaset hstogrammt. Tunnuslukujen avulla pyrtään tutustumaan syötedatan er omnasuuksn ja tlastollsn perusprtesn. Tlan säästämseks seuraavassa estetään tuloksa kustakn kolmesta kuvasarjasta anoastaan lehdstä 4 ja 6 (kuvaajssa merknnät L4 ja L6), joden välnen ero on slmämääräsest kakken suurn. Kuvassa 3 on nälle kahdelle lehdelle panettujen kuven pkselen RGBarvosta sellasenaan tuotettuja yksnkertasa prtetä. Kolme ensmmästä pylvässarjaa esttää punasen, vhreän ja snsen kanavan pkselen ntensteetten keskarvoja (kuva 3a) kussakn syötekuvassa. Neljäs pylvässarja esttää koko syötekuvan kakken kolmen kanavan ntensteetten keskarvoa. Nämä arvot kertovat er värkanaven kokonasenergasta. Alla olevsta arvosta vodaan esmerkks päätellä, että olohuone-kuva on kakken valosn. Kuvassa kakku punasta värä on suhteellsest enemmän, kun taas kuvassa parveke snnen on valltseva sävy. Lsäks kuvassa 3b on estetty ntensteettarvojen kanavakohtaset keskhajonnat ja näden keskarvot. Nämä kertovat stä, kunka paljon hajontaa ntensteettarvojen kesken kuvssa esntyy. 51

55 RGB-keskarvot R G B KA a Kakku L4 Kakku L6 Olo L4 Olo L6 Parv L4 Parv L6 RGB-keskhajonnat R G B KA b Kuva 3: RGB ntensteettarvojen keskarvot (a) ja hajonnat (b) kuudessa esmerkkkuvassa. Kuvassa 4 on vastaavat arvot kun edellä, mutta nyt sllä erotuksella, että syötekuven ntensteett-nformaato on muunnettu ntutvsemmn tulkttavssa olevaan HSV-väravaruuteen. HSV-keskarvot HSV-keskhajonnat Kakku L4 Kakku L6 Olo L4 Olo L6 Parv L4 Parv L H S V KA a H S V KA b Kuva 4: Intensteettarvojen keskarvot (a) ja hajonnat (b) HSV-avaruudessa. Kuvassa 5 on edelleenkn vastaavat tunnusluvut kun edellä, mutta nyt kuva on muunnettu pääkomponenttanalyysn (PCA) avulla pääkomponenttestykseks. Pääkomponenttanalyysssä RGB-kuuto kään kun pyörtetään sellaseen sopvaan asentoon, jossa ensmmänen komponenttkuva ptää ssällään enten nformaatota, tonen seuraavaks enten ja vastaavast vmenen on merktykseltään kakken vähäsn. 52

56 PCA-keskarvot PCA-keskhajonnat Kakku L4 Kakku L6 Olo L4 Olo L6 Parv L4 Parv L KA KA 0.05 a b Kuva 5: Intensteettarvojen keskarvot (a) ja hajonnat (b) PCA-muunnoksen jälkeen. Kuvassa 6 on erlasten hstogrammen pohjalta tuotettuja kuvaaja, jossa arvona estetään kunkn hstogrammn medaan (6a) ja keskhajonta (6b). Ylesest hstogrammt kuvaavat ntensteettarvojen globaala jakaumaa kuvssa. Alla kolme ensmmästä pylvässarjaa edustaa syötekuven RGBhstogrammen pohjalta tuotettuja arvoja. Neljäs pylvässarja puolestaan esttää ertysen PCA-suhdekuvan hstogrammn vastaavat arvot. Tämä suhdekuva lasketaan jakamalla pkselettän kunkn syötekuvan tosen pääkomponenttkanavan ntensteetten tsesarvot ensmmäsen kanavan vastaavlla arvolla. Hstogrammen medaant Hstogrammen keskhajonnat Kakku L4 Kakku L6 Olo L4 Olo L6 Parv L4 Parv L R G B PCA 1/2 R G B PCA 1/2 a b Kuva 6: Er hstogrammen pohjalta tuotettuja tunnuslukuja. 53

57 Kuvassa 7 esntyvät arvot on pomttu syötekuvsta, jotka on ensn kästelty Laplace-reunasuotmella. Nämä arvot kertovat syötekuven kontraststa ja reunasuudesta. HSV Laplace -keskarvot HSV Laplace -keskhajonnat Kakku L4 Kakku L6 Olo L4 Olo L6 Parv L4 Parv L H S V H S V 1 a b Kuva 7: Reunasuotmella kästellystä HSV-kuvsta rrotettuja tunnuslukuja. Fourer-muunnoksen avulla alkuperäsen kuvan sgnaal-nformaato vodaan muuntaa taajuuskomponenttestykseks. Tällä tavon vodaan mtata er taajuuskomponentten läsnäoloa kuvassa. Tätä omnasuutta käytetäänkn hyväks monssa kuvankästtelysovelluksssa. Vmesen kuvan 8 arvot on laskettu syötekuvsta komponentettan suortetun Fourermuunnoksen jälkeen. Arvot vastaavat sellasen suurmman energapkn Eukldsta etäsyyttä kuvan keskpsteeseen, joka sjatsee vähntään tetyn kynnysarvon (10 pkselä) päässä kuvan keskpsteestä Kakku L4 Kakku L6 Olo L4 Olo L6 Parv L4 Parv L R G B Kuva 8: Fourer-huppuarvojen etäsyyksä keskpsteestä syötekuvssa. 54

58 4.2 VÄRIAVARUUSPROJEKTIOT Tutkmuksessa haluttn testata myös erlasten väravaruuksen käyttökelposuutta syötekuven omnasuuksen tulktsemsessa. Tätä varten kuven värkanaven ssältämästä nformaatosta muodostettn eräänlasa 2-ulottesa hstogrammeja käyttäen vären määrttelyyn lukusa erlasa tunnettuja väravaruuksa. Käytetyt väravaruudet olvat RGB, Ohta, YCbCr, NCC, Log, P1P2, HSV, AB ja TSL. Usemmat nästä väravaruukssta määrtellään 3-ulottesen koordnaatston avulla, nnpä seuraavassa estetyt kuvat ovat käytännössä näden avaruuksen tasoprojektota. Ensmmäseks syötekuven vär-nformaato on kuvassa 9 estetty RGBavaruuden pokklekkauksena R/G-tasossa. Kuvassa 10 on vastaava estys, mutta tässä syötekuven vär-nformaato on ensn muunnettu Ohtaväravaruuteen. Vmenen kuva 11 on edelleen vastaava, mutta tällä kertaa YCbCr-väravaruudessa. L1 L4 L6 L7 Kakku Olohuone Parveke Kuva 9: RGB-väravaruusprojektot R/G-tasossa kakssa 12 syötekuvassa. 55

59 L1 L4 L6 L7 Kakku Olohuone Parveke Kuva 10: Ohta-väravaruusprojektot kahden ensmmäsen värkomponentn suhteen. L1 L4 L6 L7 Kakku Olohuone Parveke Kuva 11: YCbCr-väravaruusprojektot Y/Cb-tasossa. 56

60 Loput väravaruusprojektokuvat (mukaan luken edellä estettyjen ortogonaalprojektot) löytyvät ltteestä VALLITSEVA VÄRI Tässä kohdassa estellään tuloksa, jotka on saatu sellasen menetelmän avulla, jota e sellasenaan löydy krjallsuudesta (sen sjaan tosenlanen menetelmä vsuaalsest domnovan värn määrttämseks löytyy esmerkks lähteestä [24]). Tässä menetelmässä syötekuvsta rrotetaan prre, joka on ntutvselta merktykseltään eräänlanen valltseva vär. Tosn sanoen sellanen vär, joka on kullekn kuvalle tetyllä tavalla omnanen. Tuloksena saadut värarvot kuvaavat syötekuvassa valltsevaa yleslmettä. Näden värarvojen kesknänen vertalu saattaa myös lmentää panopapern vakutusta syötekuven välllä. Prteen laskentaprosess yhdelle syötekuvalle suortetaan seuraavalla tavalla. Ensn kuva jaetaan tasasest a*a pkseln kokosn kkunohn (a on penehkö kokonasluku, tässä arvoks valttn a=4). Seuraavaks lasketaan kkunoden ssältämen pkselen ntensteetten keskarvot, jotta päästään eroon mahdollssta penstä esmerkks dgtontmenetelmästä johtuvsta vrhestä. Nämä keskarvot edustavat kysesä kkunota jatkossa. Tuloksena saadaan m kappaletta 3-ulottesa vektoreta, jotka sen jälkeen annetaan syötteeks tseorgansovalle kartalle. Kun kartta on opetettu nällä arvolla, stä valtaan k kappaletta enten osuma saanutta solua. Kuten mustetaan luvusta 2.6, syötedatan vektort evät kuvaudu tseorgansovan kartan solulle tasasest, vaan samankaltaset syötteet kuvautuvat lähelle tosaan. Tämän jälkeen käydään läp tämä solujen joukko yks kerrallaan. Oletetaan, että tarkastelun kohteena on :nneks enten osuma saanut solu r (=1,2,...,k). Tarkastellaan nyt ntä syötevektoreta, jotka kuvautuvat kartan opettamsen jälkeen tähän kyseseen soluun ja lasketaan lopuks näden alkuperästen syötteden keskarvovektor. Nän tuloksena saadaan sellanen värarvo, joka on approksmaato nstä tosaan mustuttavsta värestä, jota alkuperäsessä kuvassa esnty :nneks enten. On huomattava, että kysestä värsävyä e välttämättä sellasenaan esnny alkuperäsessä 57

61 kuvassa, vaan kyseessä on ennemmnkn yhdstetty kuvaus tosaan mustuttavsta, usen esntyvstä värsävystä. Kuvassa 12 on edellä kuvatun menetelmän avulla tuotettuja ntensteettarvoja syötekuvlle (a, b ja c). Kustakn syötekuvasta määrtettn kaks valltsevnta värä. Laskennassa apuna käytetty tseorgansova kartta koostu kuuskulmo-topologaa noudattavsta 4*4 solusta. Tulokset on estetty RGB-värarvona. Kuvan okeassa alakulmassa sjatsevassa taulukossa (kuva 12d) on lsäks estetty jokasen syötekuvan kummankn valltsevmman värn maksm-ntensteett ( I maks max( R, G, B) = ), sekä kuvasarjan ssänen kesknänen järjestys kysesten arvojen osalta. Huomon arvosta on säännönmukasuus, joka on selväst erotettavssa er kuvasarjojen kesken Red Green Blue Kakku vär Olohuone vär vär L1 L4 L6 L7 L1 L4 L6 L7 a Parveke vär 2 vär 1 L1 L4 L6 L7 L1 L4 L6 L7 c 0 L1 L4 L6 L7 L1 L4 L6 L7 Kakku Oloh. Parveke b vär 1 vär 2 L L L L L L L L L L L L d Kuva 12: Syötekuvsta rrotetut kaks valltsevnta värarvoa RGB-avaruudessa kullekn kuvasarjalle (a, b ja c) sekä kysesten värarvojen kuvakohtaset maksm-ntensteett ja näden kesknänen järjestys (d). 58

62 Myös tseorgansova kartta sellasenaan muodostaa abstraktn kuvauksen syötedatasta. Kuva 13 on saatu akaan samaan tapaan kun edellä, mutta tällä kertaa sllä erotuksella, että kuvaajassa esntyvät arvot on pomttu suoraan opetetun kartan mallesta. Tosn sanoen, tettyyn kartan soluun kuvautuneden syötearvojen keskarvoa e tässä tarvta, vaan enten osuma saaneden solujen ssältämät mallt on pomttu sellasenaan edustamaan kysesä syöttetä. Tulokset ovat samankaltasa kun edellä Red Green Blue vär 1 Kakku Olohuone 1 vär vär L1 L4 L6 L7 L1 L4 L6 L7 a Parveke vär 2 vär 1 L1 L4 L6 L7 L1 L4 L6 L7 c 0 L1 L4 L6 L7 L1 L4 L6 L7 Kakku Oloh. Parveke b vär 1 vär 2 L L L L L L L L L L L L d Kuva 13: Syötekuven värarvojen perusteella muodostetut kaks ylesntä tseorgansovan kartan malla kullekn kuvalle (a, b ja c), sekä näden arvojen maksm-ntensteett ja kesknänen järjestys (d). 4.4 SOM-ANALYYSI Tässä kohdassa erlasa kuvsta rrotettuja prtetä on pyrtty jäsentämään tseorgansovaa karttaa käyttäen. Syötekuvsta rrotettavat prteet ovat tyypllsest hyvnkn monulottesen avaruuden vektoreta, jollon nden välsä suhteta vo olla vakea hahmottaa. Nnpä tähän ongelmaan on pyrtty vastaamaan antamalla prrevektort tseorgansovan kartan 59

63 järjesteltävks. Sen jäsennys- ja vsualsontvoma pääsee tämän kaltasessa tlanteessa okeuksnsa. Seuraavassa käytetyt prteet ovat syötekuven RGB-hstogrammt, RGBvärarvot sellasenaan, kohdan 2.5 tekstuurprre (LBP) sekä kohdassa estelty spektrkuven vrhemtta. Kuten kohdassa 3.2 todettn, kukn kuvasarja ssäls neljä kuvaa. Itseorgansovan kartan opettamnen anoastaan neljää syötevektora käyttäen e kutenkaan juurkaan ole melekästä, nnpä laskentaa varten syötekuvat jaettn tasasest 32*32 pkseln kokosn kkunohn. Ikkunota muodostuu tällä tavalla kakkaan 169 kappaletta (kuvssa ndekst ). Nästä jatkotarkastelun kohteeks valkotn kutenkn van 15 kappaletta kakken krkkampa. Krkkaus määrtettn kkunan alueella esntyven pkselen ntensteetten kokonasenergan perusteella, käyttäen kunkn kuvasarjan ensmmästä lehteä ndeksen määräämseen. Kästtelyn rajaamsta koskemaan van krkkampa kuvan osa vodaan perustella sllä, että nässä kohdssa panomusteen vakutus on suhteellsest vähäsemp ja sten panopapern osuus on paremmn havattavssa. Ideaaltapauksessa syötteenä käytetty kuvsta rrotettu prre ols sellanen, että er lehdltä tosn sanoen er panopaperlaadulta peräsn olevat prrevektort kuvautusvat kartassa mahdollsmman etäälle tosstaan. Nän ollen mkäl kartassa esntyy valtaosa sellasa soluja, jotka ssältävät uselta er paperelta peräsn oleva prrevektoreta, on tulos tulkttava huonost onnstuneeks. Tämän omnasuuden hahmottamsta helpottamaan tseorgansovan kartan solut on seuraavssa vsualsonnessa värjätty er vären sllon, kun solussa esntyy enemmstö samalta lehdeltä peräsn oleva syöttetä. Edellä kuvattujen alkuehtojen valltessa kukn tseorgansova kartta opetettn ss 15*4 prrevektorn perusteella. Kartan koko ol kaklle käytetylle prtelle sama, 7*7 solua. Myös tämän luvun tseorgansoven 60

64 karttojen laskennassa käytettn kuuskulmo-topologaa. Seuraavassa estettävät kuvat vsualsovat kartan tlaa opettamsprosessn päätyttyä. Kuvassa 14 on olohuone-kuvan kkunoden hstogrammen perusteella muodostettu tseorgansova kartta. Kartan solulla esntyvät symbolt ovat muotoa LxWy, jossa x on lehden numero ( x {1,4,6,7} ) ja y on kkunan ndeks ( y [0,168] ). Kuva 14: Itseorgansovan kartan järjestelemät prrevektort olohuone-kuvasta, kun prteenä on käytetty kkunoden RGB-hstogrammeja. Symbolt ovat muotoa LxWy, jossa x on lehden numero ja y on kkunan ndeks. Kuvassa 15 on vastaava kuvaaja kun edellä. Tällä kertaa prrevektorena käytettn pkselen ntensteettarvoja sellasenaan. Tässä yhteydessä 61

65 käytössä ol syötekuven neljännespenennökset, jollon kkunan koko ol myös samassa suhteessa penemp. Kuva 15: Itseorgansovan kartan järjestelemät prrevektort olohuone-kuvasta, kun prteenä on käytetty kkunoden pkselen RGB-ntensteettarvoja. Symbolt ovat muotoa LxWy, jossa x on lehden numero ja y on kkunan ndeks. Hstogrammt ta ntensteettarvot sellasenaan evät huomo syötekuven spataalsa rakenteta. Nnpä seuraavassa kuvassa 16 prrevektorena on käytetty LBP-tekstuurprteen perusteella muodostettuja hstogrammeja. Tekstuurprre muodostetaan pkselen naapurustojen perusteella, joten se tallettaa tetoa myös pkselen spataalsesta rakenteesta. 62

66 Kuva 16: Itseorgansovan kartan järjestelemät prrevektort olohuone-kuvasta, kun prteenä on käytetty kkunoden LBP-tekstuurprteden hstogrammeja. Symbolt ovat muotoa LxWy, jossa x on lehden numero ja y on kkunan ndeks. Luvun lopuks kuvassa 17 estetään edellsten kaltanen kuvaaja, jossa tällä kertaa prteenä on käytetty spektrkuven laatumttaa. Syötteenä käytetyt RGB-kuvat on tässä yhteydessä ajateltu spektrkuven erkostapaukseks, osn stä syystä, että tutkmuksessa on tarkotus jatkossa keskttyä juur spektrkuven analysontn. Lsäks mtan laskennassa normaalst edellytetty referensskuva on jätetty prteen laskennassa huomotta. Tätä referensskuvaa e nmttän tässä tapauksessa voda määrttää järkeväst, sllä kuvasarjan ssällä esntyy kuven kesken mm. erlasa srtymä- ja rotaatovrhetä, jotka vakuttavat oleellsest nden kesknäseen vertaluun. Sten referensskuvaks e voda knnttää yhtäkään kuvasarjan kuvsta lman lmestä vaaraa tulokseen vakuttavsta, oleellsen suursta vrhestä. 63

67 Kuva 17: Itseorgansovan kartan järjestelemät prrevektort olohuone-kuvasta, kun prteenä on käytetty kkunoden vrhemtta-arvoja (E C, E S ja E K). Symbolt ovat muotoa LxWy, jossa x on lehden numero ja y on kkunan ndeks. 64

68 Kuvassa 18 on velä estetty vertalun vuoks saman spektrkuven vrhemtan tuottamat arvot kullekn syötekuvalle sllon, kun syötteenä on käytetty koko kuva-alaa edellä käytetyn krkkampn kkunohn jaottelun sjasta Kakku L1 L4 L6 L Olohuone Parveke Ec Es Eq 0 Ec Es Eq 0 Ec Es Eq Kuva 18: Spektrkuven vrhemtan tuottamat arvot (E C, E S ja E K) syötekuvlle. 65

69 5 Pohdnta On syytä korostaa, että ne tutkmustulokset, jota edellä on estetty, evät tarjoa lopullsta ratkasua alkuperäseen tutkmusongelmaan. Tätä tutkelmaa vodaankn ajatella sellasena perustana, joka vo toma pohjana lsätutkmukselle. Tässä pohdntaluvussa nmetään jotakn tutkmuksen akana kohdattuja ongelma sekä sellasa haasteta, john e tostaseks olla täysn kyetty vastaamaan. Lsäks luodaan katsaus saavutettuhn tuloksn sekä shen, mhn sekkohn tutkmuksen jatkon kannalta ols syytä knnttää ertystä huomota. Ensmmänen oleellnen kysymys ratkastavaks tutkmuksen lähtökohta ajatellen on syötemateraaln hanknta. Etukäteen e voda tetää esmerkks stä, syntyvätkö erot er panopaperen vällle korkean- va matalan tason prtessä. Kun kuvat dgtodaan dgtaalkameralla, nstä muodostuu eräänlanen abstrakto, jonka tuloksa vodaan kyllä analysoda, mutta dgtontvaheessa tetoa kutenkn västämättä hävää. Jotan tärkeää vo tällön yhtä hyvn jäädä myös kokonaan huomotta. Käytännössä esmerkks lmen, että suorttamalla kuvaus lan läheltä akakauslehden pntaa, saattaa lopputuloksessa esntyä mm. nn sanottujen Morèkuvoden kaltasa, rasteronnsta aheutuva väärstymä. Olosuhteden pakosta dgtonnssa jouduttn tyytymään varsn karkean tason kuvaukseen alkuperässtä akakauslehden kuvsta. Tällä sekalla yhdstettynä shen tosasaan, että lehtn panetut kuvat ovat alun pern olleet täysn denttsä keskenään on merkttävä seurauksa. Muun muassa dgtonnn tuloksena saatujen syötekuven spataalnen rakenne on hyvn samankaltanen; pos luken tse dgtontprosesssta aheutuneet vrheet, jotka ovat tässä yhteydessä tse asassa panopapersta ja panoteknkasta johtuva eroja merkttävämpä. Tästä välttömänä seurauksena onkn odotettavssa, että erlaset pkselen spataalsta rakennetta mttaavat prteet (kuten tutkmuksessa käytetty tekstuurprre) tuottavat erttän vaatmattoma tuloksa. 66

70 Edellseen lttyen oleellnen sekka ymmärtää valttuja menetelmä ja nden avulla saatuja tuloksa tarkasteltaessa onkn se, että kuvasarjojen ssällä syötekuvat evät sunkaan ole pkseltasolla suoraan vertalukelposa keskenään. Vakka kuvat dgtotn yhtälässsä olosuhtessa, ne ssältävät slt västämättä vrhetä, john lukeutuvat ertysest erlaset rotaatovenymä- ja srrosvrheet. Tätä havannollstetaan kuvassa 19. Stä varten on laskettu kolme pkselettän otettua erotuskuvaa olohuone-kuvasarjan ssällä sten, että ensmmäsestä lehdestä dgtotua kuvaa on käytetty referensskuvana johon muta on sen jälkeen verrattu. Kuten vodaan esmerkks suurn prten kuvan keskellä sjatsevaa taulua tarkastelemalla havata, erotuskuvat ovat keskenään hyvnkn erlasa huolmatta stä, että kuvasarjan alkuperäset kuvat mustuttavat spataalsen rakenteensa puolesta tosaan lähes denttsest. Ltteessä 2 on asan varmentamseks estetty kakk neljä olohuone-kuvasarjan kuvaa sellasenaan. 67

71 Leht 1 Lehten 1 ja 4 erotus Lehten 1 ja 6 erotus Lehten 1 ja 7 erotus Kuva 19: Olohuone-kuvasarjan lehten erotuskuven negaatot. Erotuskuvat on lsäks skaalattu vakolla, jotta eroavasuudet saadaan selvemmn näkyvn. Koska kuvasarjojen kuvat evät nän ollen koostu joukosta sellasa vastnpkseletä, joden kesknänen vertalu ols melekästä, valtaosaa olemassa olevsta kuven laatua mttaavsta teknkosta e voda sellasenaan soveltaa tässä yhteydessä. Käytännössä tämän kaltasta laatumttaa haluttn tässä tutkmuksessa kutenkn testata, nnpä laatuprteen laskennassa normaalst tarvttava referensskuva yksnkertasest jätettn huomotta. Tosn sanoen laskenta suortettn kästtelemällä kutakn syötekuvaa musta erllsenä kokonasuutena. Kästteellsest on kutenkn vakeaa sanoa, mtä tämän kaltanen laatumtta lman vertalusyötettä tse asassa mttaa. 68

72 Eräs ongelma tämän kaltasessa tutkmuksessa on myös prteden jäsentely. Tutktut menetelmät tuottavat syötedatan perusteella prrevektorn, jossa vo olla vahteleva ja hyvnkn suur määrä ulottuvuuksa. Prtetä vodaan muodostaa joko globaalst ta pakallsest kkunatasolla. Globaal lähestymstapa tuottaa yhden prrevektorn kuvaa koht, kun taas pakallnen lähestymstapa tuottaa suuremman prrevektoren joukon. Pakallset prteet vodaan lopuks joko yhdstää yhdeks globaalks prteeks ta ne vodaan vahtoehtosest myös kästellä erkseen. Tässä työssä käytetyt syötekuvasarjat koostuvat neljästä kuvasta. Nän ollen globaaln prteen käyttö kuvasarjan kuvlle tuottaa tässä tapauksessa anoastaan neljä prrevektora. Vähäsestä lukumäärästä huolmatta kysesten prrevektoren kesknänen vertalu saattaa olla hyvnkn hankalaa, ertysest sllon, kun nämä ssältävät lukusa tosstaan rppumattoma ulottuvuuksa. Numeerset arvot sellasenaan ovat vakeast tulkttavssa, nnpä er muuttujen välsten suhteden hahmottamnen ja vsualsont on tässä yhteydessä oleellnen kysymys ratkastavaks. Tovottavaa olskn, että lopullnen laatua mttaava prre tuottaskn kuvalle hyvn rajallsen määrän tunnusarvoja, meluten tetyst anoastaan yhden. Kokeellsa tuloksa tarkastelemalla nähdään, että er panopapert aheuttavat selvästkn säännönmukasa eroja nltä dgtotujen kuven kokonasenergohn. Tosn sanoen syötekuven kokonaskrkkaudessa on eroja, jotka vodaan yhdstää käytettyyn panopapern. Tämä käy lmeseks esmerkks tutkmalla tlastollsen analyysn yhteydessä estettyjä RGB- ja HSV-keskarvoja (kuvat 3 ja 4). Sama lmö lenee myös valltseva vär - prteen erottelukyvyn takana. Tämä prre luokttelee kuvassa esntyvät värt kään kun kahdella tasolla: tosaalta sen avulla löydetään tosaan lähesest mustuttavat värsävyt, mutta lsäks myös kysesten värsävyjen esntymstheys kuvan alueella. Kun tarkastellaan kussakn kuvassa suhteellsest enten esntynetä sävyjä syötekuvasarjan ssällä, vodaan olettaa, että valltsevmmat värarvot ovat peräsn lkman vastaavlta 69

73 aluelta syötekuvssa. Tämä prre onkn varsn vakaa esmerkks snä melessä, että se on nvarantt mm. rotaatovrhelle ja skaalan vahdokslle. Kuvaa 12 tarkastelemalla vodaan todeta, että syötekuven kahden ylesmmän värsävyn ntensteett noudattavatkn selvää säännönmukasuutta. Tetyltä panopaperlta peräsn olevat sävyt ovat tosa krkkaampa. Kääntäen myös tetyltä paperlta peräsn olevat sävyt ovat muta tummempa. Sama lmö on selväst havattavssa kummankn ylesmmän värsävyn kohdalla. Nän votasn ss saada vtettä stä, että panopapereta tehokkaast tosstaan erotteleva prre saattas lttyä pkselen globaalehn ntensteettarvohn kuvssa. Muden tlastollsten prteden, kuten kohdassa 4.1 estettyjen hajontojen, PCA- ta Fourer-muunnoksen pohjalta laskettujen tunnuslukujen soveltuvuus vodaan puolestaan kyseenalastaa. Ertysest kuvassa 8 estetyt merkttävmmän taajuuskomponentn esntymstä mttaavat etäsyysarvot ovat lähes satunnasen olosa, ekä nden perusteella syötekuvsta voda sanoa juur mtään. Tämä saatto tosaalta olla odotettavssakn, sllä kuten todettu, syötekuvat er kuvasarjojen ssällä mustuttavat spataalsen rakenteen puolesta vomakkaast tosaan. Tämä syötekuvasarjojen omnasuus aheuttaakn ongelma ertysest kuvahakuprteden ja tekstuurprteden soveltamsessa. Nämä prteet on suunnteltu sellaseen tlanteeseen, jossa vertaltavat kuvat ovat keskenään varsn erlasa. Nän ollen nden suorutumnen tässä tutkmuksessa valltsevssa ertysolosuhtessa e välttämättä tuota optmaalsa tuloksa. Myös erlaset väravaruudet ja kohdassa 4.2 kuvatut 2-ulotteset hstogrammt osottvat van penä merkkejä käyttökelposuudesta. Nnpä ne jätettn jatkossa varsn vähäselle huomolle. Tarkastellaan seuraavaks ohesta taulukkoa 3. Shen on koottu luvussa 4.4 ja lttessä 4 ja 5 estettyjen SOM-vsualsonten pohjalta muodostettuja lukuarvoja. Arvot ovat prosenttlukuja, jotka kuvaavat tetyltä panopaperlta 70

74 peräsn olevan syötevektorn todennäkösyyttä kuvautua SOMvsualsonnssa sellaselle tseorgansovan kartan solulle, joka ssältää suurmman osan samalta paperlta peräsn oleva syöttetä. Työssä käytetyt kolme kuvasarjaa ja neljä tutkttua prrettä on estettynä. Taulukon arvoja e tule ottaa absoluuttsena totuutena er prteden suorutumsen mttarna, mutta nden avulla vo saada jonknlasen ntuton asasta. Optmaalnen prre ols sellanen, joka ryhmttels er panopaperelta peräsn olevat syötteet mahdollsmman kauas tosstaan, jollon tseorgansovan kartan solussa esntys pääosn anoastaan samalta panopaperlta peräsn oleva syöttetä. Tällön ss taulukossa esntyvät todennäkösyydet olsvat suura, pääsääntösest lähellä sataa prosentta. Olohuone L1 L4 L6 L7 KA RGB-hstogrammt RGB-värarvot LBP-tekstuurprre Vrhemtta Kakku L1 L4 L6 L7 KA RGB-hstogrammt RGB-värarvot LBP-tekstuurprre Vrhemtta Parveke L1 L4 L6 L7 KA RGB-hstogrammt RGB-värarvot LBP-tekstuurprre Vrhemtta a b c Taulukko 3: SOM-vsualsonten vertalua er prteden ja kuvasarjojen kesken. Arvot ovat syötevektoren prosentuaalsa osuma sellasn tseorgansovan kartan soluhn, jotka ssältävät suurmman osan samalta panopaperlta peräsn oleva syöttetä. Tutkmalla olohuone-kuvasarjasta saatuja tuloksa (taulukko 3a) tässä valossa paljastaa, että RGB-arvohn perustuvat prteet tomvat shen parhaten. Tämän kuvan osalta tekstuurprre tuottaa odotetust hekomman tuloksen ja spektrkuven vrhemtta puolestaan 71

75 kesknkertasen tuloksen. Tutkmalla parveke-kuvaa (taulukko 3c) kutenkn huomataan, että esmerkks RGB-värarvot prrevektorena ryhmttyvätkn lähes pänvastasella tavalla. Sama lmö on havattavssa myös kakkukuvasarjan ssällä. Vertalemalla prtetä kakken kolmen kuvasarjan kesken havataan, että sekä tekstuurprteen että vrhemtan suorutumnen ol kakesta huolmatta vakanta, vakka kummankaan nästä ertysest tekstuurprteen avulla saadut tulokset evät ole mssään yhteydessä ertysen hyvä. Yhteenvetona vodaankn sanoa, että ertysest testmateraaln ja myös testattujen menetelmen joukkoa ols laajennettava, jotta votasn tehdä ptemmälle menevä johtopäätöksä. Tähän ast suortetun tutkmuksen perusteella ykskään menetelmstä ta käytetystä prtestä e tuota ylvertasa tuloksa muhn nähden. Tosaalta yhtään menetelmätyyppä e edellsen perusteella voda myöskään täysn rajata ulos tarkastelun prstä. Jatkotutkmuksen kannalta menetelmä olskn selväst kehtettävä edelleen. Näyttää hyvn todennäköseltä, että parhaat tulokset on saavutettavssa van ertysellä, panopaperanalyysä varten varta vasten suunntellulla menetelmällä. 72

76 Vteluettelo [1] Adams, R.: Calculus: a complete course. Don Mlls: Addson-Wesley, [2] Androutsos, D., Platanots, K. N. ja Venetsanopoulos, A. N.: Dstance Measures for Color Image Retreval. Internatonal Conference on Image Processng, Vol. 2, ICIP '98, 1998, s [3] Aslandogan, Y. A. ja Yu, C. T.: Technques and systems for mage and vdeo retreval. IEEE Trans. on Knowledge and Data Engneerng, Vol. 11, No. 1, [4] Brunell, R. ja Mch, O.: On the Use of Hstograms for Image Retreval. Proc. IEEE Multmeda Systems '99 Internatonal Conference on Multmeda Computng and Systems [IEEE ICMCS99], 1999, s [5] Cnque, L., Levald, S., Olsen, K. A. ja Pellcanó, A.: Color-Based Image Retreval Usng Spatal-Chromatc Hstograms. IEEE Internatonal Conference on Multmeda Computng and Systems, Vol. 2, [6] Eskcoglu, A. M.: Qualty Measurement for Monochrome Compressed Images n the Past 25 Years. IEEE Internatonal Conference on Acoustcs, Speech, and Sgnal Processng (ICASSP), Vol. 4, [7] Eude, T. ja Mayache, A.: An Evaluaton of qualty metrcs for compressed mages Based on human Vsual Senstvty. Fourth Internatonal Conference on Sgnal Processng (ICSP'98), Chna, 1998, s [8] Flckner, M., Sawhney, H., Nblack, W., Ashley, J., Qan Huang, Dom, B., Gorkan, M., Hafner, J., Lee, D., Petkovc, D., Steele, D. ja Yanker, P.: Query by mage and vdeo content: the QBIC system. Computer, Volume: 28 Issue: 9, 1995, s [9] Fränt, P.: Blockwse Dstorton Measure for Statstcal and Structural Errors n Dgtal Images. Unversty of Joensuu, Department of Computer Scence Report Seres A , [10] Gonzalez, R. C. ja Woods, R. E.: Dgtal Image Processng. Prentce-Hall, New Jersey

77 [11] Huang, J., Kumar, S. R., Mtra, M., Zhu, W. J. ja Zabh, R.: Image ndexng usng color correlograms. IEEE Computer Socety Conference on Computer Vson and Pattern Recognton, 1997, s [12] Kaarna, A. ja Parkknen, J.: Qualty Metrc for Multspectral Image Compresson. Journal of the Imagng Socety of Japan, Vol. 41, no. 4, 2002, s [13] Kasutan, E. ja Yamada, A.: The MPEG-7 Color Layout Descrptor: a Compact Image Feature Descrpton for Hgh-speed Image/Vdeo Segment Retreval. Proc. Internatonal Conference on Image Processng, Vol. 1, 2001, s [14] Kohonen, T.: The self-organzng map. Proceedngs of the IEEE, Vol. 78 Issue: 9, 1990, s [15] Kohonen, T.: Thngs you haven't heard about the self-organzng map. IEEE Internatonal Conference on Neural Networks, Vol.3, 1993, s [16] Kohonen, T.: New developments and applcatons of self-organzng maps. Proc. Internatonal Workshop on Neural Networks for Identfcaton, Control, Robotcs, and Sgnal/Image Processng, 1996, s [17] Kohonen, T.: Self-Organzng Maps. Sprnger Seres n Informaton Scence 30, Thrd Edton. Sprnger-Verlag, Berln [18] Helsnk Unversty of Technology. The Self-Organzng Map (SOM). Internet WWWsvu, URL: ( ). [19] Kosheleva, O. ja Krenovch, V.: On the Optmal Choce of Qualty Metrc n Image Compresson. Ffth IEEE Southwest Symposum on Image Analyss and Interpretaton (SSIAI 02), [20] Laaksonen, J. T., Koskela, J. M., Laakso, S. P. ja Oja, E.: PcSOM - content-based mage retreval wth self-organzng maps. Pattern Recognton Letters, 21 (13-14): , [21] Ma, W-Y., Zhang, H. J.: Benchmarkng of Image Features for Content-based Retreval. Record of the 32nd Aslomar Conf. on Sgnals, Systems & Computers, Vol: 1.,

78 [22] Manjunath, B. S., Ohm, J-R., Vasudevan, V. V. ja Yamada, A.: Color and Texture Descrptors. IEEE Transactons on Crcuts and Systems for Vdeo Technology, Vol. 11, 2001, s [23] Martens, J-B.: Multdmensonal Modelng of Image Qualty. Proceedngs of the IEEE, Vol. 90, No. 1, 2002, s [24] Mojslovc, A. ja Hu, J.: A Method for Color Content Matchng of Images. IEEE Internatonal Conference on Multmeda and Expo, ICME2000, New York, [25] Mäenpää, T., Ojala, T., Petkänen, M. ja Sorano, M.: Robust texture classfcaton by subsets of Local Bnary Patterns. Proc. 15th Internatonal Conference on Pattern Recognton, [26] Ojala, T., Rautanen, M., Matnmkko, E. ja Attola, M.: Semantc Image Retreval wth HSV Correlograms. Proc. 12th Scandnavan Conference on Image Analyss, Bergen, Norway, s [27] Ojala, T. ja Petkänen, M.: Unsupervsed texture segmentaton usng feature dstrbutons. Pattern Recognton 32, 1999, s [28] Pappas, T. N. ja Safranek, R. J.: Perceptual crtera for mage qualty evaluaton. Handbook of Image and Vdeo Processng (A. C. Bovk, ed.), s , Academc Press, [29] Pass, G., Zabh, R. ja Mller, J.: Comparng mages usng color coherence vectors. Proceedngs of the fourth ACM nternatonal conference on Multmeda, Massachusetts US, [30] de Pátra, R. P. ja Nteró, R. J.: Comparng the Influence of Color Spaces and Metrcs n Content-Based Image Retreval. Int. Symposum on Computer Graphcs, Image Processng and Vson, SIBGRAPI '98, [31] de Rdder, H.: Image processng and the problem of quantfyng mage qualty. Proc. Internatonal Conference on Image Processng, Vol. 2, s

79 [32] Ru, Y. ja Huang, T. S.: Image Retreval: Current Technques, Promsng Drectons, and Open Issues. Journal of Vsual Communcaton and Image Representaton 10, 1999, s [33] Smth, J. R. ja Chang, S-F.: Local color and texture extracton and spatal query. Proc. Internatonal Conference on Image Processng, Vol. 3, 1996, s [34] Strcker, M. ja Swan, M.: The Capacty of Color Hstogram Indexng. Proc. IEEE Computer Socety Conference on Computer Vson and Pattern Recognton, CVPR '94, 1994, s [35] Tompa, D., Morton, J. ja Jerngan, E.: Perceptually Based Image Comparson. Proceedngs of ICIP2000 conference, [36] Unversty of South Dakota, Internet Sensaton & Percepton Laboratory. Weber's Law of Just Notceable Dfferences. Internet WWW-svu, URL: ( ). [37] Wang, Z. ja Bovk, A. C.: A unversal mage qualty ndex. IEEE Sgnal Processng Letters, Vol. 9, no. 3, 2002, s [38] Watt, A. ja Polcarpo, F.: The Computer Image. Addson-Wesley, New York [39] Whte, D. A. ja Jan, R.: Algorthms and Strateges for Smlarty Retreval. Tech. Rep. VCL , Vsual Comp. Lab., Unversty of Calforna,

80 Lte 1: Spektrkuven vrhemtan laskennassa käytetyt Laplacesuodnmatrst kerroksttan. A B C gx: gy: gz: A B C A B C

81 Lte 2: Olohuone-kuvasarjan kakk neljä lehteä. L1 L4 L6 L7

82 Lte 3a: Syötekuva kakku.

83 Lte 3b: Syötekuva parveke.