TEKNILLINEN KORKEAKOULU Tietoliikenneohjelmistojen ja multimedian laboratorio T Tietokonegrafiikan seminaari Kevät 2004

Transkriptio

1 TEKNILLINEN KORKEAKOULU Tietoliikenneohjelmistojen ja multimedian laboratorio T Tietokonegrafiikan seminaari Kevät 2004 Graphcut Textures Laura Kainonen 52627U

2 Graphcut Textures Laura Kainonen TKK, Tietoliikenneohjelmistojen ja multimedian laboratorio Tiivistelmä Tekstuurisynteesin tarkoituksena on luoda mallitekstuurista uusia, yleensä suurempia tekstuureita. Tässä paperissa käsitellään yleisesti tekstuurisynteesitekniikoita sekä erityisesti graph cut tekniikkaa. Tämän tekniikan ideana on, että uusia erikokoisia tekstuureita muodostetaan kopioimalla mallikuvasta epäsäännöllisen muotoisia alueita, joita liitetään yhteen saumattomasti. Graph cut tekniikan etuna on, että sitä voidaan suoraviivaisesti soveltaa sekä kuva- että videotekstuurisynteesiin. Tekniikkaa voidaan lisäksi käyttää muun muassa interaktiiviseen kuvasynteesiin, jossa useammista lähdekuvista muodostetaan elementtejä yhdistelemällä uusi kuva. 1 JOHDANTO Tekstuurien avulla tietokonegrafiikkaan voidaan lisätä realistisuutta. Tekstuurikuva voi esittää esimerkiksi pintakuviota, jolla voidaan realistisuuden lisäämiseksi päällystää erilaisia polygoneilla mallinnettuja objekteja. Tekstuuri määritellään yleensä äärellisenä mallina, joka voidaan mallintaa staattisen stokastisen prosessin avulla (Kwatra et al. 2003). Tekstuurisynteesi eli keinotekoinen tekstuurien luominen on tärkeä ja aktiivinen tietokonegrafiikan tutkimusalue. Tekstuurisynteesillä ja analyysillä on tärkeä rooli esimerkiksi psykologiassa, tilastotieteessä sekä tietokonenäön kehittämisessä (Efros & Freeman, 2001). Tekstuurisynteesillä pystytään luomaan monimutkaisiakin graafisia näkymiä yksinkertaisten pienten kuvanäytteiden perusteella. Tekstuurisynteesissä pyritään luomaan annetusta tekstuurinäytteestä uusi ja yleensä suurempi tekstuurikuva, jonka ominaisuudet ovat riittävän samanlaiset alkuperäisen kuvan kanssa. Tällöin ihminen havaitsee alkuperäisen ja syntetisoidun tekstuurin samanlaisiksi. Bela Juleszin tekstuurien erottelua käsittelevä tutkimus antoi pohjan tekstuurisynteesin kehitykselle (Efros & Freeman, 2001). Hänen mukaansa ihmiset havaitsevat kaksi tekstuuria samanlaisiksi, jos näiden kuvien tietyt tilastolliset ominaisuudet täsmäävät. Tämä havainnollinen samanlaisuus voidaan ymmärtää MRF:n (Markov Random Field) avulla (Kwatra et al. 2003). MRF - mallissa tekstuuri esitetään solmuruudukon avulla. Jokainen solmu viittaa pikseliin tai pikselien ympäristöön lähdetekstuurissa. Lähdetekstuurissa vierekkäiset samankaltaiset pikselit päätyvät vierekkäisiksi pikseleiksi myös uudessa generoidussa tekstuurikuvassa ja näin hahmottaminen säilyy samanlaisena. 1

3 Tekstuurisynteesiä varten on kehitetty useita erilaisia tekniikoita. Algoritmien ajoaika on kuitenkin osoittautunut ongelmaksi ja monissa tapauksissa syntetisoitujen tekstuurien laatu ei tyydytä. Yleisen, erityyppisten tekstuurien syntetisointiin sopivan algoritmin kehittäminen onkin osoittautunut vaikeaksi. Tässä paperissa käsitellään yleisesti tekstuurisynteesiä ja erilaisia synteesitekniikoita. Erityisesti tarkastellaan Kwatra et al. (2003) kehittämää graph cut tekniikkaa ja tekniikan käyttöä tekstuurisynteesissä. Tässä suhteellisen uudessa tekniikassa ideana on, että pienestä osasta mallitekstuuria luodaan suurempi tekstuuri, jolla on samanlaiset stokastiset ominaisuudet. Yleisesti ottaen tekstuurisynteesialgoritmit, jotka luovat uusia tekstuureja kopioimalla alueita mallitekstuurista, ovat kaksivaiheisia. Jokaisen uuden alueen kopioinnin kohdalla algoritmin täytyy suorittaa kaksi päätöstä. Ensin täytyy valita mihin kohtaan uutta tekstuuria alkuperäinen tekstuuri asetetaan. Tässä paperissa tätä kohtaa uudessa tekstuurissa kutsutaan siirroskohdaksi. Toiseksi täytyy valita mitkä osat alkuperäisestä lähdetekstuurista siirretään uuteen kuvaan. Tätä valitun alueen rajaa kutsutaan tässä alueen saumaksi. Algoritmi pyrkii laskemaan parhaimman sauman, eli sauman jonka MRF todennäköisyys on suurin mahdollinen kaikkien kyseisen siirroskohdan mahdollisten saumojen joukosta. Tekstuurisynteesimenetelmät soveltuvat usein vain tietyn tyyppisten tekstuurien syntetisointiin. Graph cut tekniikka on hyödyllinen sillä se sopii sekä säännöllisten että epäsäännöllisten ja myös luonnollisten kuvien syntetisointiin. Suuri osa aikaisemmasta tekstuurisynteesitutkimuksesta keskittyy 2D kuviin, mutta ongelma on samantyyppinen myös kolmiulotteisessa tapauksessa. Graph cut tekniikkaa voidaankin hyödyntää myös videotekstuurien synteesiin. Tässä paperissa käsitellään tarkemmin graph cut tekniikan käyttöä kaksiulotteisessa tekstuurisynteesissä. Lisäksi annetaan muutamia esimerkkejä videotekstuurisynteesistä sekä esitellään lyhyesti graph cut tekniikan laajennuksia ja sovelluksia. 2 TAUSTAA Tekstuurisynteesitekniikat, jotka käyttävät uuden tekstuurin luomiseen mallitekstuuria, voidaan karkeasti jakaa kolmeen luokkaan (Kwatra et al. 2003). Ensimmäiseen luokkaan kuuluvat tekstuurisynteesimenetelmät käyttävät erilaisten tekstuurien kuvaamiseen parametrista mallia, jossa parametrien määrä on vakio. Esimerkkinä tästä luokasta on Portillan ja Simoncellin (2000) parametrinen synteesimalli, joka perustuu aaltokertoimien tilastolliseen laskentaan. Kwatra et al. (2003) mukaan tämä on mahdollisesti paras parametrinen malli tähän mennessä kehitetyistä. Parametriset mallit ovat mukautuvampia tekstuurien tunnistukseen (Saisan et al. 2001) ja yleistettävämpiä kuin muut mallit. Nämä mallit eivät kuitenkaan sovi monien tekstuurien syntetisointiin, mutta ne käyttäytyvät hyvin tekstuurianalyysissä ja voivat auttaa havaintoprosessin tutkimisessa. Toinen tekstuurisynteesimallien luokka käyttää parametrien sijaan malliesimerkkien kokoelmaa tekstuurien mallintamiseen. Näille tekniikoille yhteistä on se, että ne luovat tekstuureja yksi pikseli kerrallaan. Esimerkkinä tästä luokasta on De Bonetin kehittämä malli (1997), joka perustuu moniresoluutioiseen näytteistykseen. Näytteistysmenetelmä 2

4 perustuu oletukseen, että tekstuurikuvissa on alueita, jotka erottuvat paremmin tietyillä resoluutioilla (De Bonet 1997). De Bonetin mukaan tämä tekniikka pystyy aikaisempia tekniikoita paremmin mallintamaan alkuperäisen tekstuurin ominaisuuksia. Kolmas luokka on viimeaikoina eniten tutkittu (Kwatra et al. 2003). Tähän luokkaan kuuluvat tekniikat luovat uusia tekstuureita kopioimalla kokonaisia alueita mallitekstuurista. Kwatra et al. (2003) mukaan näillä tekniikoilla saadaan parhaimmat tulokset tekstuurisynteesissä suurimmalle joukolle erilaisia tekstuureita. Tähän kolmanteen luokkaan kuuluu muun muassa seuraavassa esitetty graph cut tekniikka. Kwatra et al. (2003) esittämä graph cut muodostus on vastaava kuin Boykov et al. (1999) kuvaama, mutta graph cut muodostusta käyttävät myös muut tekniikat. 3 GRAPH CUT - TEKNIIKKA Graph cut tekniikassa uusi tekstuuri syntetisoidaan kopioimalla esimerkkikuvasta epäsäännöllisen muotoisia alueita, jotka sitten liitetään saumattomasti yhteen (Kwatra et al. 2003). Näin saadaan uusia mielivaltaisen kokoisia, mallikuvan kaltaisia tekstuureita. Kopiointiprosessi suoritetaan kahdessa vaiheessa. Ensimmäisessä vaiheessa valitaan mallikuvasta mahdollinen neliönmuotoinen alue. Valintaa varten uutta aluetta verrataan pikseleihin, jotka ovat jo tuloksena saatavassa kuvassa. Mahdollisten alueiden valinnassa käytettäviä algoritmeja on kolme ja ne kuvataan tarkemmin kappaleessa 3.2. Toisessa vaiheessa neliönmuotoisesta alueesta lasketaan epäsäännöllisen muotoinen alue, joka voidaan liittää tuloskuvaan mahdollisimman optimaalisesti niin, että näkyviä saumoja ei synny ja ainoastaan tämän alueen pikselit kopioidaan uuteen kuvaan. (Kwatra et al. 2003) Tämä kopioitava alue määritetään graph cut algoritmilla. Menetelmää on havainnollistettu kuvassa 1. Kuva 1: Tekstuurisynteesimenetelmä. Syötekuvasta valitaan ensin siirrosalue, jonka jälkeen lasketaan sauma. Ainoastaan tämä alue kopioidaan tuloskuvaan. (Kwatra et al. 2003) 3

5 3.1 Alueiden kopiointi Graph cut tekniikka pohjautuu image quilting tekniikkaan (Efros & Freeman 2001) ja sen kuvaaminen helpottaa graph cut tekniikan ymmärtämistä. Image quilting tekniikka on hyvin yksinkertainen ja siinä uusi kuva luodaan liittämällä yhteen pieniä alueita mallikuvasta. Ensimmäinen alue kopioidaan sattumanvaraisesti ja seuraavat alueet asetetaan niin, että ne ovat osittain päällekkäin aikaisemmin liitettyjen lohkojen kanssa. Efros ja Freeman valitsevat vanhan ja lisättävän alueen päällekkäin menevältä osalta polun niiden pikselien kautta, joilla uuden lisättävän ja vanhan aikaisemmin lisätyn alueen värit ovat samanlaiset. (Kwatra et al. 2003) Graph cut tekniikassa valittu polku kulkee pikseliparien välillä. Yksinkertaisin tapa on määrittää väriero pikseliparien välillä. Päällekkäin menevältä alueelta valitaan kaksi pikselipaikkaa sekä määritetään pikselien väriarvot molemmissa paikoissa, sekä uudelta että vanhalta alueelta. Näiden värierojen perusteella lasketaan kustannusfunktio, jonka perusteella valitaan polku. Poluksi valitaan pienimmän kustannuksen polku, joka erottaa uuden ja vanhan alueen toisistaan. Sopivan polun valitsemista on havainnollistettu kuvassa 2. Havainnollisuuden vuoksi merkitään yhtä pikseliä kuvaamaan yksi solmu. Tarkoituksena on valita tältä alueelta polku, jonka kustannusfunktio saa mahdollisimman pienen arvon. Yksinkertaisuuden vuoksi kuvassa alue on esitetty 3 x 3 pikselin avulla. Kuvaan on lisätty kaksi ylimääräistä solmua, A ja B, jotka kuvaavat vanhaa ja uutta siirrosaluetta. Kuvassa 2 on määritelty, että pikselit 1, 2 ja 3 otetaan vanhalta alueelta ja pikselit 7, 8 ja 9 uudelta alueelta. Määrittääksemme kummalta alueelta pikselit 4, 5 ja 6 otetaan, täytyy selvittää graph cut ongelma eli pienimmän kustannuksen polku, joka erottaa solmut A ja B toisistaan. Tätä klassista graafista ongelmaa kutsutaan min-cut ongelmaksi ja sen ratkaisevat algoritmit ovat helppoja implementoida (Kwatra et al. 2003). Kuvassa 2 punainen viiva esittää pienimmän kustannuksen polkua, joten pikseli 4 kopioidaan alueelta B ja pikselit 5 ja 6 vanhalta alueelta A. Tämä edellä esitetty tapaus on melko yksinkertainen, sillä siinä ei oteta huomioon tuloskuvassa jo valmiina olevia saumoja. Seuraavassa esitetäänkin ratkaisuja monimutkaisempiin tilanteisiin. Tilanne tulee monimutkaisemmaksi jos syntetisoidussa kuvassa on jo useita alueita liitettynä. Seuraava siirrosalue voidaan haluta asettaa kohtaan, jossa on jo alueita. Tällöin täytyy lisäksi määrittää peittääkö mikään uuden alueen pikseleistä vanhoja saumoja. Vanha sauma ja sen kustannus täytyy tällöin muistaa. Image quilting tekniikassa käytetään dynaamista ohjelmointia, jossa vanhojen ratkaisujen muistaminen ei ole Kwatra et al. (2003) mukaan mahdollista. Edellä esitetyissä tapauksissa oletettiin, että uudet alueet olivat päällekkäisiä vanhojen pikselien kanssa ainoastaan alueiden rajalla. Usein tässä synteesissä kuitenkin uusi alue saatetaan yrittää asettaa alueelle, joka on jo kokonaan peitetty. Tämän tarkoituksena on peittää mahdollisia näkyviä saumoja. Kuvassa 3 on esitetty synteesin vaiheita tällaisessa tapauksessa. Kuvassa vasemmalla on lähdekuva, keskellä on ensimmäinen syntetisoitu kuva initialisoinnin jälkeen ja oikealla lopullinen tulos viidennen parannuksen jälkeen. Jokaisella askeleella näkyviä saumoja on pyritty peittämään uuden siirrosalueen avulla. 4

6 Kuva 2: Vasemmalla esitetään uuden ja vanhan alueen päällekkäin menevä osa. Oikealla esitetään sauman, eli pienimmän kustannuksen polun etsiminen. Pienimmän kustannuksen polku on merkitty kuvaan punaisella. (Kwatra et al. 2003) Kuva 3: Vasemmalla on alkuperäinen kuva. Keskellä on syntetisoitu tekstuuri heti alustamisen jälkeen ja oikealla tuloskuva viiden hiomisvaiheen jälkeen. (Kwatra et al. 2003). Alustamisen jälkeen virheet näkyvät kuvassa selkeästi. Kun kuvaa on hiottu viisi kertaa, tulos on jo huomattavasti parempi, vaikka muutama virhe erottuu vielä selkeästi. 3.2 Algoritmit alueen valintaan Mahdollisen alueen valintaan voidaan käyttää erilaisia algoritmeja. Algoritmin valinta riippuu syntetisoitavasta tekstuurista. Kwatra et al. (2003) esittelevät kolme erilaista algoritmia, joista valitaan sopiva. Nämä algoritmit ovat random placement-, entire patch matching- ja sub-patch matching - algoritmi. Kaikissa algoritmeissa alueen valinta on rajoitettu aikaisemmin valitsemattomiin alueisiin. Kahdessa jälkimmäisessä algoritmissa sen hetkisestä tekstuurista etsitään alue, joka tarvitsee parantamista. Olemassa olevien saumojen kustannuksia käytetään tämän alueen virheen laskemiseen. Tämän jälkeen valitaan alue, jossa virhe on suurin. Tämän virhealueen määrittämisen jälkeen algoritmi pakotetaan valitsemaan ainoastaan sellaisia paikkoja, jotka peittävät virhealueen kokonaan. Samoja algoritmeja käytetään sekä kuvien että videotekstuurien synteesissä. Tässä tulee huomata, että siirrosalueen asettaminen on ainoastaan translaatio lähdekuvalle, ennen kuin se lisätään tuloskuvaan. 5

7 Random placement metodissa koko alkuperäinen kuva siirretään sattumanvaraiseen paikkaan. Graph cut algoritmi valitsee tästä alueesta palan, joka asetetaan uuteen kuvaan. Tämän jälkeen prosessi toistetaan. Tämä on nopein synteesitapa ja sillä saadaan hyviä tuloksia epäsäännöllisten tekstuurien syntetisoinnissa. Entire patch matching algoritmissa normalisoidaan SSD-kustannus (sum-of-squareddifferences) päällekkäisen alueen kanssa. Uuden alueen paikka valitaan todennäköisyysfunktion perusteella. Tämä tekniikka antaa parhaimman tuloksen säännöllisille tekstuureille, sillä niiden jaksollisuus saadaan hyvin tallennettua tällä kustannusfunktiolla. Sub-patch matching tekniikka on tekniikoista kaikkein yleisin. Se on myös paras menetelmä stokastisille tekstuureille sekä videosekvensseille, joissa on tekstuurien liikettä, esimerkiksi aaltoja ja savua. Tässä tekniikassa valitaan ensin pieni alue, joka on usein paljon pienempi kuin mallikuva. Tämän jälkeen lähdekuvasta etsitään uusi alue joka täsmää hyvin uuden tuloskuvan kanssa. Ainoastaan translaatiot, jotka sallivat lähdekuvan ja tuloskuvan täydellisen päällekkäisyyden, hyväksytään. Alue valitaan myös tässä stokastisesti käyttäen samanlaista todennäköisyysfunktiota kuin edellisessä tekniikassa. Kuva 4: Vasemmalla lammaslaumaa esittävä syötekuva ja oikealla graph cut tekniikkaa käyttäen saatu tulos. (Kwatra et al. 2003). Algoritmit eivät tietenkään tunnista mitä kuva esittää, joten tuloskuvaan voi tulla esimerkiksi kaksipäisiä lampaita. Tulos näyttää kuitenkin luonnolliselta ja virheitä voi löytää ainoastaan, jos kuvaa tutkii tarkemmin. 4 KUVASYNTEESI Graph cut tekniikalla voidaan syntetisoida hyvinkin erilaisia tekstuureja. Sitä voidaan käyttää sekä säännöllisten että epäsäännöllisten tekstuurien synteesiin sekä myös luonnollisten kuvien syntetisointiin. Kuvissa 4, 5, 6 ja 7 (Kwatra et al. 2003) esitetään tekstuurisynteesin tuloksia sekä hieman graph cut tekniikan vertailua image quilting tekniikkaan, jonka kehittivät Efros ja Freeman (2001). Kuvassa 5 verrataan graph cut tekniikan ja image quilting tekniikan tuloksia samasta syötetekstuurista. Kuvassa 5 on alueenvalitsemisalgoritmina käytetty entire patch matching algoritmia. Tämä algoritmi sopii parhaiten näppäimistötekstuurin syntetisointiin sillä näppäimistön säännöllisyys saadaan sillä hyvin säilytettyä. Kuvissa 4, 6 ja 7 on käytetty sub-patch matching algoritmia, sillä oliivi-, lammaslauma- ja liljatekstuurit ovat melko satunnaisia. Kuvien laskenta on suhteellisen nopeaa pääosin FFT:n perustuvan 6

8 laskennan vuoksi. Kwatra et al. (2003) esittivät 2D teksturisynteesitekniikkaan myös laajennuksia ja sovelluksia, joita käsitellään seuraavassa. Kuva 5: Vasemmalla syötekuva, keskellä tulos käyttäen image quilting tekniikkaa ja oikealla tulos graph cut tekniikalla. (Kwatra et al. 2003). GC tekniikan tulos näyttää selvästi luonnollisemmalta. Entire patch matching algoritmilla näppäimistön säännöllisyys on pystytty säilyttämään. 4.1 Lisämuunnoksia Graph cut tekniikkaa on laajennettu myös lisämuunnoksilla (Kwatra et al. 2003). Kwatra et al. (2003) keskittyi graph cut tekniikassa pääosin mahdollisuuteen siirtää syötealuetta tulosalueen suhteen. Tekniikkaa on kuitenkin yleistetty käsittämään muunkinlaiset muunnokset, esimerkiksi rotaation, peilauksen ja skaalauksen. Useampien muunnosten käyttäminen tuottaa tuloksena saatavasta tekstuurista joustavamman ja monipuolisemman. (Kwatra et al. 2003) Skaalaus mahdollistaa erikokoisten tekstuurielementtien yhdistämisen. Skaalauksella voidaan siis saada aikaan esimerkiksi syvyysvaikutelma. Kuvassa 7 liljatekstuurin synteesiin on käytetty yhden skaalan lisäksi useampia skaaloja. 7

9 Kuva 6: Vasemmalta järjestyksessä; syötekuva, image quilting tekniikalla saatu tulos, graph cut tekniikan tulos sekä tuloskuva kun on lisäksi käytetty rotaatiota ja peilausta. (Kwatra et al. 2003) Image quilting tulos on Efroksen ja Freemanin (2001) mukaan. Rotaatio ja peilaus näyttävät tuovan kuvaan lisää luonnollisuutta. Image quilting tekniikkaan verrattuna ero on selkeä. Kuva 7: LILIES Brad Powell. Vasemmalla syötekuva, keskellä käytetty yhtä skaalaa ja oikealla yhdistelty useampaa eri skaalaa. (Kwatra et al. 2003) Useamman skaalan käyttäminen tuo kuvaan syvyysvaikutelmaa. 4.2 Interaktiivinen kuvasynteesi Toinen graph cut tekniikan sovellus on interaktiivinen kuvien yhdistäminen, joka perustuu Mortensenin ja Barretin (1995) sekä Brooksin ja Dodgsonin (2002) tekniikoihin (Kwatra et al. 2003). Tässä sovelluksessa tuloksena saadaan kuva, johon on yhdistetty elementtejä useista eri lähdekuvista. Käyttäjä valitsee ensin lähdekuvista haluamansa alueet interaktiivisesti ja tämän jälkeen graph cut algoritmi etsii parhaan sauman kuvien välillä. Kuvassa 8 on esitetty joen ja veneen yhdistäminen. Viimeisessä kuvassa on myös saumat näkyvissä. 8

10 Kuva 8: RAFT ja RIVER Tim Seaver. Ylhäällä syötekuvat, eli vene ja joki. Alhaalla vasemmalla tulos ja alhaalla oikealla tulokseen on lisäksi merkitty saumat. (Kwatra et al.) ( 5 VIDEOSYNTEESI Yksi graph cut tekniikan vahvuuksista on se, että se on helposti laajennettavissa myös videotekstuurisynteesiin. Videotekstuurisynteesissä tarvitaan samat vaiheet kuin kuvasynteesissäkin, eli alueen sijoitus ja saumojen etsiminen. Samoin kuin 2D tekstuureilla alueen etsintätekniikka valitaan videon tyypin perusteella. Seuraavissa kappaleissa esitellään lyhyesti videotekstuurisynteesin tuloksia graph cut tekniikalla (Kwatra et al. 2003). 5.1 Saumojen löytäminen Videotekstuureja voidaan muokata etsimällä sujuvia siirtymiä videon yhdestä osasta toiseen. Näitä siirtymiä voidaan sitten käyttää syötevideon luuppaukseen. Tämä toimii ainoastaan jos videosta voidaan löytää pari samalta näyttäviä kehyksiä. Kuitenkin monet luonnolliset ilmiöt ovat liian epäsäännöllisiä toistuakseen. Kwatra et al. (2003) esittämä saumojen optimointi on kehittynyt vaihtoehto tämän ongelman ratkaisuun. Videoiden tapauksessa sauma tarkoittaa kaksiulotteista pintaa. (Kwatra et al. 2003). 9

11 5.2 Satunnaiset ajalliset siirroskohdat Jos videosekvenssi on hyvin lyhyt, luuppauksen jälkeen jaksollisuus on selvästi havaittavissa. Tässä tapauksessa video voidaan syntetisoida lisäämällä sarja lähdemateriaalin tekstuurialueita, jotka ovat ajallisesti sattumanvaraisesti korvaavia. Tällä menetelmällä saadaan yleisesti ottaen hyviä tuloksia, mutta tietyillä tekstuureilla tulos ei ole tyydyttävä. (Kwatra et al. 2003) Ratkaisuvaihtoehtoja käsitellään seuraavassa kappaleessa. 5.3 Ajan ja paikan suhteen staattiset videot Ainoastaan ajallisten siirtymien huomioiminen ei tuota tyydyttäviä tuloksia videoissa, joissa on staattisuutta ajan ja paikan suhteen, esimerkiksi savua kuvaava video. Tämä johtuu siitä, että tämäntyyppisissä videoissa liikkeellä on jokin dominoiva suunta. Tällöin ajallisten siirtymien lisäksi tarvitaan myös siirtymiä paikan suhteen. Spatiotemporaalisille tekstuureille 3D:ssä käytetäänkin sub-patch matching algoritmia, sillä se soveltuu hyvin satunnaisten videotekstuurien syntetisointiin (Kwatra et al. 2003). Kun siirtymät paikan suhteen otetaan huomioon tulokset paranevat huomattavasti (Kwatra et al. 2003). 6 LAAJENNUKSIA Tässä kappaleessa esitellään lyhyesti muutamia parannuksia ja laajennuksia kuva- ja videosynteesiin. Nämä laajennukset muun muassa nopeuttavat alueiden sovituksessa käytettäviä algoritmeja sekä pehmentävät näkyviä artefakteja. (Kwatra et al. 2003). Joissain tapauksissa tietyssä kohdassa tekstuuria on mahdotonta löytää hyvää saumaa ja graph cut tekniikka saattaa tällöin luoda näkyviäkin artefakteja. Tällaiset artefaktit on mahdollista peittää lomittamalla (feathering) pikseliarvoja saumojen lähellä. Laskentaa voidaan myös nopeuttaa käyttämällä FFT:tä (Fast Fourier Transforms). (Kwatra et al. 2003) Kappaleessa 3.2. viitattiin SSD:hen perustuviin algoritmeihin, jotka voivat olla hyvinkin raskaita laskennallisesti. Tätä laskemista voidaan huomattavasti nopeuttaa FFT:n avulla. Esimerkiksi tietylle videosekvenssille uuden alueen valintaan vaadittava aika voidaan lyhentää 10 minuutista 5 sekuntiin FFT:hen perustuvalla laskennalla (Kwatra et al. 2003). 7 YHTEENVETO Tekstuurisynteesitekniikat voidaan karkeasti jakaa kolmeen luokkaan. Viimeaikoina eniten tutkittu luokka luo uusia tekstuureita kopioimalla syötetekstuurista kokonaisia alueita. Tämäntyyppiset tekstuurisynteesimenetelmät luovat parhaan tuloksen laajalle joukolle erilaisia tekstuureja. Paperissa esiteltiin tähän luokkaan kuuluvaa graph cut tekniikkaa sekä sen sovelluksia. Erityisesti käsiteltiin algoritmeja alueen valintaan sekä alueiden kopiointia. Paperissa esiteltiin myös kuva- ja videotekstuurisynteesin tuloksia sekä laajennuksia perustekniikkaan. Graph cut tekniikkaa voidaan lisäksi hyödyntää muun muassa interaktiivisessa kuvasynteesissä. Tässä sovelluksessa muodostetaan yksi uusi kuva yhdistelemällä useiden syötekuvien tekstuurielementtejä. 10

12 Efros ja Freeman (2001) olivat ensimmäiset, jotka käsittelivät saumojen etsimistä käyttäen dynaamista ohjelmointia (Kwatra et al. 2003). Dynaaminen ohjelmointi ei kuitenkaan mahdollista vanhojen saumojen muistamista, joten tällä tekniikalla ei voida parantaa jo olemassa olevia saumoja. Kwatra et al. (2003) tulosten mukaan graph cut tekniikan hyötyjä ovat muun muassa se, että kopioitavan alueen muotoa ei ole mitenkään rajattu sekä se, että vanhojen saumojen kustannukset pystytään ottamaan huomioon. Vanhojen kustannusten huomioiminen mahdollistaa olemassa olevien saumojen parantamisen lisäämällä uusia alueita niiden päälle. Hyöty nähdään selvästi kuvasta 3, jossa ensimmäiset saumat eivät vielä ole kovinkaan näkymättömiä. Suurin osa aikaisemmasta tekstuurisynteesitutkimuksesta on keskittynyt 2D tekstuurien syntetisointiin. Yksi graph cut tekniikan vahvuuksista on myös se, että sitä voidaan helposti laajentaa käsittämään myös videotekstuurisynteesi. Graph cut tekniikka näyttää antavan melko hyviä tuloksia erilaisten tekstuurien syntetisoinnissa. Esimerkiksi kuvasta 5 nähdään, että graph cut tekniikan antama tulos näyttää realistisemmalta kuin image quilting tekniikan tulos. Kuvassa 4 taas on syntetisoitu lammaslaumaa esittävästä tekstuurista suurempi kuva. Jos kuvaa tutkii tarkkaan, voi huomata siinä virheitä, esim. lampaalta saattaa puuttua pää tai päitä voi olla useampikin. Tätä ei kuitenkaan suoralta kädeltä huomaa ja kuva näyttää suhteellisen aidolta. Kuvassa 6 on esitetty tulos myös rotaatiota ja peilausta käyttämällä. Tämä tekniikka parantaa mielestäni tulosta melko paljon ja syntetisoidusta kuvasta tulee luonnollisempi. Tässä kuvassa ero graph cut tekniikan ja image quilting tekniikan välillä on myös melko selkeä. Kuvassa 3 taas on esitetty alkuperäisen kuvan lisäksi tulos ensimmäisen askeleen jälkeen. Tulosta on tämän jälkeen hiottu asettamalla uusia alueita olemassa olevien saumojen päälle ja viimeisenä on tuloskuva viiden askeleen jälkeen. Keskimmäinen kuva ei näytä kovinkaan luonnolliselta. Viiden askeleen jälkeen tulos on huomattavasti parantunut, mutta virheitä on kuitenkin edelleen havaittavissa. Useat tekstuurisynteesitekniikat käsittelevät lähdekuvaa sellaisenaan, ilman mitään muutoksia (Ashikhmin 2001). Ne eivät ota huomioon esimerkiksi valaistusta eivätkä pintojen geometrista rakennetta. Yksi tulevaisuuden haasteista voisi olla sellaisten algoritmien kehittäminen, joilla voisi luoda valaistuksesta ja katselusuunnasta riippuvia tekstuureita. VIITTEET Ashikhmin, M Synthesizing natural textures ACM Symposium on interactive D Graphics (March), ISBN De Bonet, J. S., Multiresolution sampling procedure for analysis and synthesis of texture images. Proceedings of SIGGRAPH 97 (August 1997), Efros, A. A., Freeman, W. T Image quilting for texture synthesis and transfer. Proceedings of SIGGRAPH 97 (August), ISBN Graphcut textures: Image and video synthesis using graph cuts. (online) [Viitattu ] Saatavissa: 11

13 Kwatra, V., Schödl, A., Essa, I., Turk, G., Bobick, A Graphcut textures: Image and video synthesis using graph cuts, ACM Trans. Graph., Volume 22, Issue 3, July Saisan, P., Doretto, G., Wu, Y., Soatto, S Dynamic texture recognition. In proceeding of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), II: