Reaalmaalman ympärstön heastusmallen muodostamnen valokuven avulla Vlle Paasmaa TKK, Sähkö- a tetolkenneteknkan koulutusohelma vpaasma@cc.hut.f Tvstelmä Tämän semnaartyön aheena on perehtyä menetelmään, onka avulla vodaan tuottaa heastusmallea obektelle valokuven perusteella. Menetelmän syötteenä on kohteen geometra sekä tunnetussa valastusolosuhtessa a kamerapstessä otettu pen oukko valokuva. Menetelmän käyttämä heastusmall perustuu yksnkertaseen muutaman parametrn malln a oletukseen, että mallnnettaven pntoen dffuust omnasuudet vovat muuttua pakan funktona, mutta e-dffuust omnasuudet pysyvät muuttumattomna. Malln avulla vodaan kohde renderödä perntesn menetelmn a valastukseen sekä geometraan vodaan tehdä melvaltasa muutoksa. 1 JOHDANTO Todellsten kohteden mallntamnen vrtuaalmaalmaks on yks tetokonegrafkan nopeast kasvavsta sovellusaluesta. Elokuvateollsuus käyttää flmauskohteden kuvapohasta mallntamsta esmerkks haluttaessa vahtaa kuvatun kohtauksen valastusolosuhteta ta lsätä kohtaukseen rekvsttaa a hahmoa. Arkktehtuurssa kuvapohasta mallntamsta vodaan käyttää esm. vsualsomaan rakennusta uusssa kuvakulmssa ta valastuksssa. Aemp tutkmus kuvapohasessa mallntamsessa on osottanut, että valokuven a geometrsen malln pohalta dffuusesta kohtesta alkuperästä vastaavalla valastuksella renderödyt kuvat ovat varsn fotorealstsa. Jos kutenkn halutaan muuttaa valastusta ta geometraa, vaat se valon a esneden nterakton laskemsta uudestaan a esneden heastusomnasuuksen tuntemsta. Esneden heastusomnasuuksa e kutenkaan valokuvsta suoraan ole helpost saatavlla. Heastusomnasuuksen estmonta on tutkttu laboratoro-olosuhtessa erlaslla mttausmenetelmllä, mutta koska materaalen heastusomnasuudet ovat tlan a aan mukaan muuttuva, ovat ennalta suortetut yksttäset mallnnokset melko epäkäytännöllsä. Käytännöllsempää on kyetä mallntamaan halutun kohteen kakken näkyven obekten heastusomnasuudet yhdellä kertaa, a meluten suhteellsen penellä määrällä valokuva. Tässä on kutenkn kaks ongelmaa: 1
1. Koska valokuva on van pen oukko, on kuvsta välttyvä nformaato lan nukka täysn ylesten kakssuuntasten heastusakaumafunktoden (BRDF, Bdrectonal Reflectance Dstrbuton Functon) tuottamseen. Ratkasu tähän ongelmaan on mallntaa heastusfunktot yksnkertaslla, muutaman parametrn mallella a akaa kohde herarksest osa-aluesn sten että okasen osa-alueen ssällä dffuust heastusomnasuudet vovat muuttua pakan funktona, mutta tarkastelusuunnasta rppuvat omnasuudet, kuten pnnan klto, pysyvät vakona. 2. Reaalmaalman kohteessa esneet heastuvat tosstaan a sks okasen esneen pnnan radanss on monmutkanen valonlähteden, kohteen geometran a muden esneden velä ratkasemattomen heastusomnasuuksen funkto. Algortm ratkasee tämän ongelman optmontprosesslla, onka okasella teraatolla saadaan uudet tarkemmat estmaatt radansselle. Papern (Yu et al., 1999) krottaat ovat antaneet menettelytavalle nmen Inverse Global Illumnaton. Kuva 1 esttää Inverse Global Illumnaton -algortmn yleskuvauksen. Algortmn syötteenä on kohteen tunnetussa valastusolosuhtessa otettu oukko valokuva, geometrnen mall a ostus, oka akaa kohteen e-dffuusen omnasuuksen mukaan yhtenäsn osa-aluesn. Ulostulona saadaan kohteen heastusomnasuudet, otka muodostuvat kohteen pntoen korkearesoluutossta albedo-kartosta (albedo tarkottaa dffuusheastussuhdetta) sekä spekulaarheastusomnasuukssta. Malln avulla vodaan kohde renderödä perntesn menetelmn kenotekosella valastuksella, lsäobektella a halutulla muutokslla geometraan. 2 ALGORITMIN TAUSTAA Heastusomnasuuksen mallntamsta penellä parametroukolla on tutkttu o pdemmän akaa, a usella er mallella a menetelmllä on päästy realstseen lopputulokseen. Vme vuoskymmenen tutkmuksssa on panostettu palon mallen muodostamseen mttaamalla a käyttämällä kuvantamslatteta. Algortmn yhtenä syötteenä olevan geometrsen malln tuottamseen on myös mona er tapoa. Kuva 1: Inverse Global Illumnaton -algortmn yhteys tavallseen renderöntn normaalessa valastusolosuhtessa (Global Illumnaton) (Yu et al., 1999). 2
Esmerkks laser-etäsyysmttaus mahdollstaa kohteen geometran hyvnkn tarkan mallntamsen. Inverse Global Illumnaton -algortmn kannalta on sama, mten geometrnen mall on tuotettu. Krottaat ovat valnneet geometrsen malln muodostamstavaks teknkan, oka on estelty Sggraph 1996 konferenssssa (Debevec et al., 1996). Syötteenä olevat kameralla otetut valokuvat ssältävät kuvantamsprosessn epälneaarsuuksen taka vrhettä. Tämän taka kuvat evät edusta okeaa radanssakaumaa, mutta algortm koraa ongelman käyttämällä Debevecn a Malkn kehttämää teknkkaa (Debevec a Malk, 1997). 3 KÄÄNTEISRADIOSITEETTI Radosteettn el valon srontaan perustuva renderönt on erttän korkealaatunen tapa laskea valon heastuksa mallssa (Sllon a Puech, 1994). Kakk valon heastumnen pnnosta otetaan huomoon. Usemmssa reaalmaalman pnnossa on sekä spekulaarsta että dffuusa heastavuutta a molempen heastusmallen muodostamnen ympärstössä, ossa on obekten kesknäsheastusta, on monmutkasta. Raotutaan ensn tarkastelemaan yksnkertastettua tapausta, ossa kakk pnnat ovat dffuusea. Tämä nk. Lambert-mall yksnkertastaa globaaln valastuksen ongelmaa huomattavast a mahdollstaa radostettmenetelmän soveltamsen (Sllon a Puech, 1994). Tässä tapauksessa tarkotetaan kääntesradosteetlla ss pntoen dffuusen heastusmallen muodostamsta, kun tedetään kohteen geometra, radanssakauma a valastusolosuhteet. Radosteettmenetelmässä kohteen pnnat aetaan aluesn sten, että kunkn alueen radosteett a dffuus heastusomnasuus on vako alueen ssällä. Jokaselle tällaselle alueelle pätee yhtälö: B = E + ρ B F, (1) mssä B on radosteett, E emsso, ρ albedo el dffuusheastussuhde a F on kohteen geometrasta rppuva muotokerron (engl. form-factor), oka kuvaa mkä osa alueesta lähtevästä valosta osuu pntaan. Radanssakauma saadaan ottamalla kohteesta valokuva a kästtelemällä ne Hgh Dynamc Range Image -teknkalla (Debevec a Malk, 1997). Yks kameran sant yhtä pntaa kohden rttää, koska Lambert-mallssa pntoen radanssakaumat pysyvät vakona kuvakulmasta rppumatta. Arvot B a E saadaan suoraan kuvsta, a arvot F saadaan geometrasta. Nällä tedolla saamme laskettua yksnkertasest osa-alueden albedot. ρ = B E ) /( B F ) (2) ( 3
4 PARAMETRISOITUJEN KAKSISUUNTAISTEN HEIJASTUSJAKAUMAFUNKTIODEN MUODOSTAMINEN Kakssuuntanen heastusakaumafunkto (BRDF, Bdrectonal Reflectance Dstrbuton Functon) kuvaa pnnasta heastuvan valon suuntarppuvan akautumsen. Se on määrtelty katselusuuntaan heastuvan valon a pnnan rradanssn suhteena. BRDF on ss nelän muuttuan funkto (katselu- a valastussuunten atsmuutt- a korkeuskulmat). Koska valokuvat ovat kaksulottesa, ne evät ylesest rtä BRDF:n määrttämseen. BRDF vodaan kutenkn approksmoda käyttämällä parametrsotua BRDF-malla. Aatellaan kuvan 2 mukasta yksnkertasta tapausta, ossa on yks yhtenäsen BRDF:n omaava pnta, ota valastaan tetystä suunnasta a kuvataan tunnetusta kamerapsteestä. Jokasella pnnan psteellä on oma valastus- a katselusuuntansa pakallaan olevaan valoon a kameraan nähden. Tätä sekkaa hyväks käyttäen vodaan muodostaa parametrsotu approksmaato BRDF-mallsta yhden valokuvan perusteella Jokanen pksel kuvassa ssältää pnnan vastaavan psteen P radanssn L kameran suuntaan. Koska tedämme myös kameraposton a tedämme rradanssn I psteessä P, BRDF vodaan mallntaa dffuusn a spekulaarn heastustermn summana okaselle psteelle P seuraavalla yhtälöllä: ρ π d L = ( + ρsk( α, Θ)) I, (3) mssä radanss L, rradanss I a Θ tunnetaan. Θ on valastus- a katselusuunnan atsmuutt- a korkeuskulmat ssältävä vektor. α on pnnan karheusvektor. K on funkto onka muuttuat ovat Θ a α. Rppuen stä onko pnta sotrooppnen va ansotrooppnen on α vastaavast yks- ta kolmekomponenttnen. Ratkastavks yhtälöstä (3) äävät parametrt ρ d, ρ s a α. Rppuen stä onko pnta sotrooppnen va e on ratkastavana 3-5 parametra. Kuva 2: Jokasella pnnan psteellä on oma valastus- a katselusuuntansa pakallaan olevaan valoon a kameraan nähden. Tätä sekkaa hyväks käyttäen vodaan muodostaa parametrsotu approksmaato BRDF -mallsta yhden valokuvan perusteella. (Yu et al., 1999) 4
Yhtälötä on saatavlla yhtä monta kun kuvassa on pkseletä. Ongelma on muodoltaan epälneaarnen optmontongelma, onka ratkasuna saadaan parhaat estmaatt parametrelle ρ d, ρ s a α. Jotta optmontongelma a parametren etsmnen suus mahdollsmman robustst, on kuvan ssällettävä alueta, ossa on vahva spekulaarheastus a alueta, ossa spekulaarheastus on hekko ta stä e ole ollenkaan. Jos vahva spekulaarheastus puuttuu kuvasta, e ole tarpeeks nformaatota spekulaaren parametren estmomseen a pnta vodaan anoastaan tulkta dffuusks. 5 PARAMETRISOIDUN BRDF:N MUODOSTAMINEN KESKINÄISVALAISTUSSA YMPÄRISTÖSSÄ Kun tedämme, mten kääntesradosteett lasketaan dffuusssa heastusmallssa, a mten parametrsotu BRDF muodostetaan spekulaarsessa heastusmallssa, vomme tarkastella ylesempää tapausta, ossa pnnosta heastuvat sekä valonlähteet että musta pnnosta heastuvat valonsäteet, a pnnolla on sekä dffuus- että spekulaarkomponentt. Tarkastellaan kuvan 3 mukasta kohteen osa-alueen pnnalla olevaa pstettä P. Stä kameran C v suuntaan heastuva valo on kakken sen kautta heastuven valolähteden sekä musta pnnosta shen heastuven valonsäteden summa. Yhtälö (3) ylestyy muotoon: L Cv P = E Cv P + ρ d L + P A F A ρs L P P A K Cv P A, (4) mssä L on radanss kameran C C v P v suuntaan psteessä P, E on emsso kameran C v P C v suuntaan psteessä P, a F on geometrasta rppuva muotokerron, oka kuvaa P A Kuva 3: Pnnasta A psteen P suuntaan heastuva spekulaarkomponentt on ersuur kun kameraa C kohden heastuva komponentt. (Yu et al., 1999) k 5
mkä osa alueesta A lähtevästä valosta lähtee koht pstettä P., L on radanss P A pnnasta A psteen P suuntaan a ρ s K CvP A on spekulaarheastuksen term ratkastuna pstessä P kameran C v kuvakulmasta sten että valolähteenä on alue A. Tehtävänä on älleen estmoda parametrt ρ s, ρ d a spekulaarnen karheusvektor α. E = 0 pstelle otka evät kuulu valonlähteeseen, L saadaan suoraan kameran C C v P C v P v radansskuvasta a radansst L vodaan estmoda teromalla. Kuvassa 3 pnnan P A A kameran C k suuntanen radanss L on yhtäsuur radanssn L kanssa van os C k A P A pnnalla A on van dffuus heastuskomponentt. Mussa tapauksssa anoastaan dffuust heastuskomponentt ovat yhtäsuuret a spekulaarset komponentt eroavat tosstaan. Tällasta tlannetta kuvaa yhtälö L P A = L + S, (5) Ck A Ck P A mssä SCk P A = S P A S Ck A on psteen P suuntaan olevan radanssn spekulaarkomponentn a Cksuuntaan olevan spekulaarkomponentn erotus. Tarvtsemme pnnan A BRDF:n erotuksen S C k P A laskemseen. Koska pnnan A BRDF on tuntematon, erotukset on estmotava teratvsen prosessn avulla. S C k P A Jokasesta kohteen pnnasta on oltava anakn yks radansskuva, ossa näkyy spekulaarheastuksen huppuvalokohta, otta pntoen parametrsotuen BRDF:en muodostamnen on mahdollsta. Jokanen näyttestyspste antaa yhtälön, oka on muotoa (4). Nästä yhtälöstä vomme muodostaa okaselle pnnalle panotetun penmmän nelösumman ongelman. Optmonnn akana on kerättävä rradanssa okasessa näyttestyspsteessä. Tämä vodaan tehdä tehokkaast akamalla okanen pnta herarksest osa-aluesn a lnkttää er näyttestyspsteet er tasolle herarkassa. Jokasesta osa-alueesta näyttestyspsteeseen on olemassa radanssarvo a okasen lnkkparn välllä on spekulaarkomponentten erotus S. 5.1 Inverse Global Illumnaton -algortm Ensn etstään kakk pnnolla olevat spekulaarheastuksen valosmmat kohdat käyttäen kuvan 4 mukasta algortma. Jokaselle kamerapostolle C Jokaselle polygonlle T Jokaselle valonlähteelle O Etstään T tason a suoran CO lekauspste P (ossa O on O:n kanssa symmetrnen T:n suhteen); Testataan onko P polygonn T ssällä; Testataan ette O:n a P:n välllä ole okkluusota; (okkluuso = tukkeuma, este ota valonsäde e läpäse) Testataan ette C:n a mkä tahansa P:n lähympärstön psteen välllä ole okkluusota; /* huppuvalokohta löyty os P läpäsee kakk testt */ Kuva 4: Algortm huppuvalokohten etsmseen. 6
Sen älkeen alustetaan herarksn lnkkehn lttyvät S arvot nollks. Ratkasemalla oukon epälneaarsa optmontongelma, saamme alustavan estmaatn BRDF:n parametresta okaselle pnnalle erkseen. Estmomalla saatua spekulaarheastuksen parametrea käytetään älleen alustamaan uudet S a L arvot seuraavaa P A terontkerrosta varten. Inverse Global Illumnaton -algortm on estetty pseudokoodna kuvassa 5. 5.2 Käytännön sekkoa Inverse Global Illumnaton -algortmn tomvuus vodaan parhaten todeta käytännön kokelulla, koska e ole formaala määrtelmää testaamaan sen konvergotumsta, ekä BRDF:n parametrsonnssa sallttua vrheraoa ole määrtelty. Sen saan vodaan epäformaalst määrttää käytännön sekkoa, otka on otettava huomoon: 1. Jokaselta pnnalta on pyrttävä saamaan kuvatuks spekulaarnen huppuvalokohta, oka aheutuu suoraan ostan valonlähteestä. Jos käytetään useta valonlähtetä on todennäkösempää, että päästään tähän tlanteeseen. Usean valonlähteen käyttämnen lsää myös dffuusn heastuskomponentn panoarvoa a tukee spekulaarkomponentten erotuksen S alustamsta nollaks ennen algortmn teraatovahetta. 2. Suunnattuen valonlähteden käyttämnen parantaa spekulaarkomponentten erottuvuutta dffuuskomponentesta. 1. Ets huppuvalokohdat. 2. Valtse oukko näyttestyspstetä huppuvalokohten sekä ssä- että ulkopuolelta. 3. Muodosta herarksa lnkkeä näyttestyspsteden a kohteen osa-alueden vällle a käytä säteenseurantaa okkluusoden havatsemseen. 4. Aseta okaselle alueelle yks radansskuva a yks radansskeskarvo kamerapostosta kuvattuna. 5. Alusta S nollaks kakssa herarksssa lnkessä Iter=1 to N Jokaselle herarkselle lnklle käytetään lnkn S arvoa pävttämään shen lttyvää radanssarvoa; Jokaselle pnnalle, optmodaan BRDF parametrt näyttestyspstestä saadulla Jokaselle herarkselle lnklle, estmodaan uus S käyttäen BRDF parametrea; datalla Kuva 5: Inverse Global Illumnaton -algortm. 7
6 DIFFUUSIHEIJASTUSSUHDEKARTTOJEN MUODOSTAMINEN Edellä on pntoa mallnnettu sten, että nden heastusomnasuudet pysyvät osaaluettan vakona. Spekulaarkomponentten osalta onkn meneteltävä nän, koska penestä määrästä kuva a kuvakulma e saada spekulaarssta omnasuukssta tetoa kun muutamalle pnnan psteelle. Sen saan dffuuskomponentn mall vodaan muuttaa pakan mukaan muuttuvaks dffuusheastussuhdekartaks. Pnnan psteen x heastussuhde vodaan määrttää kartan avulla seuraavast: ρ ( x) = πd( x) / I( x), (6) d mssä ρd (x) on dffuusheastussuhdekartta, D (x) dffuusradansskartta a I (x) on rradansskartta. Kohteessa olevan pnnan radansskartta vodaan lausua sen dffuus- a spekulaarradansskarttoen summana seuraavast: L ( x) = D( x) + S( x), (7) mssä S(x) on pnnan spekulaarradansskartta kamerasannsta katsottuna. Yhtälön (6) dffuusradansskartta D (x) saadaan ratkastua yhtälöstä (7) vähentämällä kuvasta saatavasta radansskartasta L(x) pkselettän spekulaarkomponentn arvo, käyttäen o ratkastua spekulaarheastusparametrea. Irradansskartta I (x) saadaan muodostettua, kun tedetään valonlähteet a geometrasta rppuvat muotokertomet F, otka kuvaavat mkä osa alueesta lähtevästä valosta osuu pntaan. 7 ALGORITMIN SOVELTAMINEN Yu, Debevec, Malk a Hawkns ovat testanneet algortmaan a dokumentoneet tuloksa tämän estyksen pohana olevassa paperssa (Yu et al., 1999). 7.1 Smulotu kohde Ensmmänen esmerkk on tehty soveltamalla algortma kuvan 6 yksnkertaseen smulotuun huoneeseen, ossa on kesknäsheastava valastusmall. Smulotua huonetta on oletettavast käytetty testssä sks että on votu kytkeä kuvantamsprosessn epälneaarsuus pos valokuvsta, a verrata algortmn lopputulosta smulodussa kuvassa käytettyhn okesn arvohn. Jokasella kuvan 6 pnnalla on monokromaattset dffuusa spekulaarheastuskomponentt, mutta okasella pnnalla on omat parametrnsa. 8
Kuva 6: Smulotu huone. (Yu et al., 1999) Kuus synteettstä valokuvaa otetaan kuuton keskeltä s.e. kukn pnta näkyy ana yhdessä kuvassa. Tonen kuuden kuvan oukko otetaan tarkentaen kunkn pnnan huppuvalokohtaan. Käyttämällä nätä 12 kuvaa, sekä valonlähteden ntensteetteä a santea algortmn syötteenä, on esmerkssä ratkastu BRDF parametrt. Alkuperäset a ratkastut parametrt on lstattu taulukossa 1. Taulukko 1. Alkuperästen a estmotuen parametren vertalu (Yu et al., 1999) Esmerkn aoaka SGI O2 180MHz työasemalla on non puol tunta. Estmodussa parametressä on kolme er vrhelähdettä. 1) BRDF:n mallntamsessa syntyy vrhettä, koska mall e kykene täysn realstsest kuvaamaan alkuperästä materaala. 2) Renderönnn yhteydessä syntyy vrhe, os esm. valon transportaato approksmodaan. 3) BRDF:n regeneronnssa syntyvä vrhe. 7.2 Reaalmaalman kohde Tosena esmerkknä oleva okea kohde on huone, oka on valastu kuvan 7b mukasest kolmella krkkaalla hehkulampulla. Kohteesta otetusta radansskuvsta on ratkastu kohteen geometra a valonlähteden pakat (kuva 7a). Nällä syöttellä algortm ratkasee 9
kuvan pnnolle BRDF:t kahdessa vaheessa. Vaheessa 1 ratkastaan parametrsodut BRDF:t spekulaarheastusten pohalta. Tosessa vaheessa ratkastaan dffuusheastussuhdekartat (dffuse albedo maps) ensmmäsen vaheen tuloksen avulla vähentämällä kuvsta spekulaarkomponentt. Aoaka kummallekn vaheelle on non 3 tunta Pentum II 300MHz PC:llä. Algortm tuottaa useasta er radansskuvasta (yks kuvassa 8a) valastusrppumattoman dffuusoheastussuhdekartan (kuva 8b) postamalla taulusta huppuvalastuskohdat. Kuva 9 näyttää kolmen er puollla huonetta olleen ulsteen dffuusoheastussuhdekartat. Vakka ulsteet olvat kuvassa er valastuksssa, näyttävät kartat slt hyvn samanlaslta. Kuvassa 10 on vertaltu alkuperäsä kuva (yllä) renderötyhn kuvn. Kuvassa 11 on renderöty panoraamakuva kohteesta alkuperäsessä valastuksessa. Kuvassa 12 on vastaava kuva uudella valastuksella a kuvassa 13 lsättynä vrtuaalslla obektella. Kuva 7a: Geometra (Yu et al., 1999) Kuva 7b: Valastus (Yu et al., 1999) Kuva 8a: Spekulaarhuppuvalokohta (Yu et al., 1999) Kuva 8b: Dffuusoheastussuhdekartta (Yu et al., 1999) 10
Kuva 9: Dffuusheastussuhdekarttoa (Yu et al., 1999) Kuva 10: Alkuperästen kuven (yllä) a renderötyen kuven (alla) vertalu (Yu et al., 1999) Kuva 11: Synteettnen renderönt alkuperäsellä valastuksella (Yu et al., 1999) 11
Kuva 12: Synteettnen renderönt uudella valastuksella (Yu et al., 1999) 8 LOPUKSI Kuva 13: Vrtuaalsa lsäobektea (Yu et al., 1999) Vakka algortmn tomntaa on vakea formaalst mtata, vakuttaa se tomvan varsn hyvn käytännön näytön perusteella. Algortm mahdollstaa reaalmaalman obekten vemsen vrtuaalmaalmaan, ossa ntä vodaan tarkastella halutusta kulmasta, ne vodaan valasta mten tahdotaan a nden geometraa vodaan muuttaa. Tulevasuuden suuntauksena on algortmn kehttämnen yhä vrhesetosemmaks geometrsen malln vrhelle. Geometrnen mall ols tarkotus kyetä tuottamaan esm. laser-skannerlla. Algortmn konvergotumsehtoen löytämnen on teoreettsest melenkntonen a haastava tulevasuuden ongelma. VIITTEET Debevec, P; Taylor, C; a Malk, J. Modelng and Renderng archtecture from photographs: A hybrd geometry- and mage based approach. Proceedngs of SIGGRAPH 1996, svut 11-20 Debevec, P; a Malk, J. Recoverng Hgh Dynamc Range Radance Maps from Photographs. Proceedngs of SIGGRAPH 1997, svut 11-20 Sllon, F. X; a Puech, C. 1994, Radosty and Global Illumnaton. Morgan Kaufman Publshers, San Francsco Yu, Y.; Debevec, P.; Malk, J.; Hawkns, T.; Inverse global llumnaton: recoverng reflectance models of real scenes from photographs. Proceedngs of SIGGRAPH 1999, svut 215-224 12