HDR- ja stereoskooppinen 3D: kuvaus, koodaus ja näyttö Mikko Nuutinen 21.2.2013
Luento HDR-kuvaus, -koodaus ja -esitys Stereoskooppinen 3D: kuvaus, koodaus ja esitys Oppimistavoitteet HDR-kuvan tuotto kameralla ja esitystavat Stereoskooppisen 3D-kuvan tuotto kahdella kameralla ja esitystavat
HDR kuvaus kameran dynaaminen alue Dynaaminen alue valokuvauksessa tarkoittaa tekstuuria sisältävän valkoisen ja mustan suhdetta kuvassa ISO 17539:2003 (mittausstandardi) määrittää: "the ratio of the maximum unclipped luminance level of the minimum luminance level that can be reproduced with a signal-to-temporal noiseratio of at least 1." Digitaalikameroiden dynaaminen alue on pääosin riippuvainen A/D-muunnoksesta ja kohinatasosta (pikselikoko) kuluttajakamerat (pokkarit), 10-12-bittinen A/D ammattilaiskamerat (järkkärit), 12-16-bittinen A/D Mitattu dynaaminen alue Pienin luminanssitaso, joka voidaan toistaa niin, että SNR=1 Suurin luminanssitaso, jossa pikselit eivät ole vielä saturoituneet
HDR kuvaus näköjärjestelmän dynaaminen alue Ihmisen näköjärjestelmän dynaaminen alue noin Yhteensä (adaptoituminen): 10 10 = 1:10000000000 (34bit) Yhden näkymän: 10 4 = 1:10000 (14bit) Lokaali alue näkymässä: 10 2 = 1:100 (7bit) Näköjärjestelmä adaptoituu ympäristön valaistukseen
HDR kuvaus - historiaa Filmikuvaus Useita negatiiveja leikelty ja yhdistelty jo ~1850 luvulta lähtien H.P. Robinson "Fading Away" 1858 Yhdistetty 5 negatiivia
Digitaalinen HDR kuvaus määritelmiä HDR > 12-bittiä (määritelmä 1) kyseessä 12-bittiä lineaarista informaatioita Heikko määritelmä, koska kohinan vaikutus tulisi ottaa huomioon HDR ~ Usea valotus (määritelmä 2) Nykypäivän kuluttajakameroiden dynamiikka on yleensä maksimissaan noin 12-bittiä EDR (Extended Dynamic Range) termiä on joskus käytetty yhden RAW-kuvan käsittelystä ja HDR termiä usean kuvan yhdistämisestä HDR tone mapping Virheellisesti termiä HDR tai HDR-efekti käytetään usein tone mapping-prosessista
Dynamiikka digitaalikameroissa - pikselikoko ja kohina Digitaalisen järjestelmäkameran sensori 24 mm Pokkarin sensori 4,3 mm 36 mm 5,8 mm 12-24 Mpikseliä 8-15 Mpikseliä
Dynamiikka digitaalikameroissa - pikselikoko ja kohina Pikselimäärältään kahden eri järjestelmäkameran pikselikokojen hahmotelma Sensorikoko: 24 x 36 mm Eli jos pikselimäärää kasvatetaan, mutta sensorikoko ja teknologia pysyy vakiona, niin tuloksena pienempi SNR ja kapeampi dynamiikka Pikselimäärältään kahden eri pokkarin pikselikokojen hahmotelmat Sensorikoko: 4,3 x 5,8 mm 12 Mpikseliä 2828 x 4242 8,5 x 8,5 μm 72,25 μm 2 24 Mpikseliä 4000 x 6000 6,0 x 6,0 μm 36,0 μm 2 8 Mpikseliä 2450 x 3268 1,8 x 1,8 μm 3,24 μm 2 15 Mpikseliä 3360 x 4480 1,3 x 1,3 μm 1,69 μm 2
Dynamiikka digitaalikameroissa - pikselikoko ja kohina Detektoitu informaatio + pimeä virta
Dynamiikka digitaalikameroissa - pikselikoko ja kohina Pimeä virta voidaan kompensoida vähentämällä jokin vakio tai estimaatti pikselin intensiteettiarvosta. Samalla kuitenkin pikselin varauskapasiteetti laskee. + pimeä virta
Dynamiikka digitaalikameroissa - pikselikoko ja kohina Detektiossa on useita kohinalähteitä, joita ei voida kompensoida tai suodattaa (esim. fotonikohina) + kohina + pimeä virta
Dynamiikka digitaalikameroissa - pikselikoko ja kohina Näkymän valaistustaso matala -> ISO 200 / vahvistus x2 (gain 2) Eli pienempi pikseli saturoituu nopeammin ja sen kohinataso on korkeampi suhteessa kerättyyn varaukseen kuin isomman pikselin tapauksessa -> matala dynamiikka Pienessä pikselissä ei enää informaatiota, koska kohinataso liian korkea suhteessa signaaliin! + kohina + pimeä virta
HDR kuvaus usea valotus (Edellisten kalvojen perusteella) pikselikoko (=kohinataso) luo alarajan tummien kohteiden kuvaukseen (ts. ISO-luvun kasvattamiseen), mutta usealla eri valotusajan valotuksella ylärajaa voidaan kasvattaa*, jolloin laajan dynamiikan näkymän intensiteettitasot detektoituu *toki usean valotuksen avulla voidaan kohinatasoa laskea keskiarvoistamalla
HDR kuvaus usea valotus EV = Exposure Value tai tässä tapauksessa suhteellinen valotusarvo (Exposure compensation), EV -2 EV -1 EV 0 EV +1 EV +2 Usealla valotuksella saadaan tuotettua kuva näkymästä, jonka dynamiikka ylittää kameran yhden valotuksen dynamiikan
HDR kuvaus usea valotus Kuvien kohdistus saattaa olla tarpeellinen operaatio Usean kuvan kohdistuksessa epätarkkuutta ainakin käsivaralla kuvattaessa Vastaavasti puiden lehdet tai liikkuvat objektit aiheuttavat ongelmia myös tuetusti kuvattaessa Usean valotuksen yhdistetty kuva ilman kohdistusta Kohdistettu kuva G. Ward, Fast, robust image registration for compositing high dynamic range photographs from handheld exposures, Graphics Tools: The Jgt Editors' Choice, 2005, p. 329.
HDR kuvaus usea valotus - Kuvien kohdistus: MTB Yksinkertainen MTB (Median Threshold Bitmap) ja siirtymä multiscale-menetelmällä: Kuvaparin pyramidihajotus Kuvat muunnetaan useammalla skaalalle ja binarisoidaan mediaanikynnystyksellä, jonka jälkeen kuvien välinen siirto lasketaan niin, että estimaattia tarkennetaan aina tarkemmalla skaalalla Iteraatio 1 Iteraatio 2 Iteraatio 3 2x 2x Estimaattia tarkennetaan, kun siirrytään tarkemmalle skaalalle G. Ward, Fast, robust image registration for compositing high dynamic range photographs from handheld exposures, Graphics Tools: The Jgt Editors' Choice, 2005, p. 329.
HDR kuvaus usea valotus - Kuvien kohdistus: Piirrevektorit Piirrevektoreiden kohdistus Kuville 1 ja 2 sekä referenssikuvalle lasketaan piirrevektoreita (SIFT-menetelmällä, josta enemmän kuvahaun-luennoilla ja harkkatyössä). Etsitään vastinpisteet referenssikuvan sekä kuvien 1 ja 2 välille. Säilytetään analyysia varten ne vastinpisteet, jotka löytyvät referenssikuvan sekä kuvan 1 ja kuvan 2 väliltä Lasketaan muunnosmatriisit jäljelle jääneiden vastinpisteiden perusteella ja kohdistetaan kuvat 1 ja 2 referenssikuvaan A. Tomaszewska, R. Mantiuk, Image Registration for Multi-exposure High Dynamic Range Image Acquiaition Central Europe on Computer Graphics, Visualization and Computer Vision, 2007.
HDR kuvaus usea valotus Vastinpisteet löydetään alueilta, jotka eivät ole liian tummia tai kirkkaita A. Tomaszewska, R. Mantiuk, Image Registration for Multi-exposure High Dynamic Range Image Acquiaition Central Europe on Computer Graphics, Visualization and Computer Vision, 2007.
HDR kuvaus Yhden valotuksen kameratekniikoita Fujifilm Super CCD EXR Kolme kuvausmoodia HR - High Resolution Käytetään kaikki sensorin pikselit SR - High Sensitivity Yhdistetään kahden vierekkäisen pikselin tieto DR - High Dynamic Range Vierekkäisissä pikseleissä herkkyysero Muita HDR-sensorityyppejä Pixel binning (Super CCD EXR) Yhdistetään kahden vierekkäisen pikselin tieto Logaritminen vaste Herkkyys laskee valotuksen funktiona Eri herkkyyden fotodiodeja/pikseli Adaptiivinen pikseli Pikseli säätää herkkyyttä valotuksen mukaan
HDR kuvan koodaus Laajan dynamiikan kuva joko konvertoidaan normaalille näytölle sopivaksi 24 bitin kuvatiedostoksi (tone mapping) tai se tulee tallentaa sille tarkoitettuun kuvaformaattiin, joka tuntee tavan koodata enemmän bittejä
HDR kuvan koodaus Tone mapping Retinex-menetelmä pohjautuu kuvan lokaaliin normalisointiin Vastaavuutta näköjärjestelmän lokaaliin adaptoitumiseen Tuotettu kuva Gaussian suodatettu kuva Tone Mapping kuva I Ig Itm = I./ Ig
HDR kuvaformaatit Käytetään myös termiä Scene-Referred, muut formaatit Device-Referred tai Output- Referred. Termillä Scene-Referred tarkoitetaan sitä että näkymä tallennetaan sellaisena kuin se oli Device/Output-Referred: tallennetaan informaatio mitä oletettavalla tuloslaitteella pystytään esittämään Radiance RGBE (Gregory Ward Larson) 32bit - Red(8bit) Green(8bit) Blue(8bit) Exponent(8bit) OpenEXR (Industrial Light and Magic) 48bit - R/G/B (1bit sign, 10bit mantissa & 5bit exponent) JPEG XR (aiemmin Windows Media Photo ja HD Photo) useita eri koodaustapoja (8-32bit/channel)
HDR kuvaformaatit - OpenEXR OpenEXR kuvaformaatissa varattu 16bit / värikomponentti Kukin värikomponentti esitetään liukulukuna S - 1bit E - 5bit M - 10bit X (-1)^S*2^(E-15)*(1+M/1024) X virhe 0,00025 S = 0 / E = 3 / M = 25 0,0002501 0,0000001 0,98721 S = 0 / E = 14 / M = 998 0,9873 0,00009 86,3287 S = 0 / E = 21 / M = 357 86,3125 0,0162
HDR näyttö - Projektorin ja näytön yhdistelmä HDR-kyky perustuu kahden säädettävän tason käyttöön eli projektorin pikseleihin ja LCD-tason pikseleihin H. Seetzen, et al. High Dynamic Range Display Systems SIGGRAPH 2004
HDR näyttö Brightside DR37-P Perus 8-bittinen LCD-paneeli, mutta taustavalo toteutettu lokaaleilla LED-valoilla, joiden intensiteettiä voidaan kontrolloida (Dolby osti Brightside Technologies yhtiön vuonna 2007: Dolby vision ja Dolby contrast tuotteet esitetty) M. Trentacoste, W. Heidrich, L. Whitehead, H. Seetzen, and G. Ward, Photometric image processing for high dynamic range displays, J. Vis. Commun. Image Represent., vol. 18, no. 5, pp. 439-451, 2007.
HDR näyttö - SIM2 HDR47 series Perinteinen LED -taustavalo SIM2 LEDtaustavalo
Stereoskooppinen 3D-kuvaus Määritelmistä... Stereoskooppinen media Käyttäminen tapahtuu stereonäön kautta, silmille omat kuvat! 3D-media Käytetään usein kun puhutaan stereoskooppisesta mediasta Sekoittuu myös usein 3D-mallintamiseen jne.
Stereoskooppisen median yleistyminen Stereoskooppiset elokuvat Suomessa suljintekniikkaan perustuvat LCD-lasit 3DTV yleistynyt esim. USA:ssa ja Japanissa Suomessa Canal Digital tarjoaa 3Dkanavaa Kuluttajien still- ja videokuvaus Esim. Fuji (2009), Panasonic (2010), Sony (2011), HTC-kännykkä (2012).
Depth sensitivity D/ΔD Syvyyksien havaitseminen ja tulkinta rakentuu usean vihjeen varaan Stereonäkö tuottaa vahvimman vihjeen syvyyksien havaitsemiseen, kun kohteiden etäisyys < 10m 1000 Binocular disparity Far field 100 Motion parallax Texture Brightness Size 10 Convergence Accommodation Air-perspective contrast 1 10 100 1000 Viewing distance (m)
Syvyyksien havaitsemisesta Konvergenssi Stereoskooppinen näyttöpinta Konvergenssi Kun kuva esitetään stereoskooppisella näytöllä, niin ongelmana akkomodaatiokonvergenssi-ristiriita verrattuna todelliseen näkymään. Akkomodaatiolla tarkoitetaan silmän tarkennusetäisyyttä ja konvergenssillä silmien kulmaa, kun ne kohdistuvat tiettyyn pisteeseen. Akkomodaatio
Stereoskooppisen kuvan katselu Silmille muodostetaan eri kuvat Lasien kanssa Värisuotimet Polarisointi Tahdistetut sulkimet HMD-näytöt Ilman laseja Vapaa katselu Autostereoskooppiset näytöt Hilanäytöt Lentikulaarisilla linsseillä toimivat näytöt
Lasien kanssa - Valon aallonpituuteen perustuvat tekniikat Kuva esitetään silmille värikanavien avulla Yleisin tapa puna-syaani lasit % % λ λ
Lasien kanssa - Valon aallonpituuteen perustuvat tekniikat Aallonpituusalue voidaan jakaa silmille myös kaistanpäästösuotimilla (esim. Dolby Infitec -elokuvateatteri), jolloin värikuva on mahdollinen, mutta vaatimuksena erikoisnäyttö/projektori Dolby Infitec: käytännössä RGB-kuvat molemmille silmille, jotka tuotettu hieman siirretyillä kaistanpäästöillä
Lasien kanssa - Polarisointitekniikat Passiivipolarisaatio Eri silmille tarkoitetun kuvan valo polarisoidaan eri tavoin ja vastaavasti suodatetaan polarisoivilla laseilla Helppo toteuttaa kahdella videotykillä ja polarisaatiokalvoilla ja polarisaation säilyttävällä kankaalla
Lasien kanssa - Aktiivilasit Mekaaniset suljinlasit Valon läpäisy säädetään esim. nestekidelinssien avulla Käytössä esim. elokuvateattereissa ja useissa televisioissa http://www.sharp.fi/cps/rde/xchg/fi/hs.xsl/-/html/aquos-3d-technology.htm
Lasien kanssa - Silmikkonäytöt Kuva näytetään stereoskoopin tavoin molemmille silmille http://www.trivisio.com/index.php/products/hmdnte/vrvision-hmd
Ilman laseja - Vapaa katselu Kohdistetaan silmät eri kuville
Autostereoskooppiset näytöt Hilanäyttö Lentikulaarinen näyttö Esterakenne pikselimatriisin edessä ohjaa eri silmille eri pikselien emittoiman valon Optiikka pikselimatriisin edessä ohjaa eri silmille eri pikselien emittoiman valon
Yleisempien tekniikoiden vertailu Tekniikka + - Vapaa katselu Helppo, ei vaadi laseja eikä erillistä stereoskooppista näyttöä Vaikea katsoa, vain yksi katselupiste Valon aallonpituuteen perustuvat tekniikat (Anaglyfi) Helppo toteuttaa, ei vaadi erillistä stereoskooppista näyttöä Värien toistuminen, kuvanlaatu yleisesti Polarisaatio Helppo toteuttaa Pään kallistaminen ei mahdollista Aktiivilasit Täysi resoluutio mahdollinen Synkronointi Autostereoskooppiset näytöt Ei vaadi laseja Tarkkaan rajatut katselupisteet
Incompatibility level Stereokuvan tallennus ja koodaus Generation Level 1 Conventional High Definition display Compatible (CDC) Level 2 Conventional HD Frame Compatible (CFC) Level 3 High Definition Frame Compatible Level 4 Conventional High Definition Service Compatible (CSC) ITU 3D TV Categorization Matrix of signal formats for 3D TV Plano-stereoscopic 1 st generation 3D TV Optimized colour anaglyph Frame compatible Left and Right in same High Definition frame Frame compatible plus H.264/MPEG4- AVC resolution (for example, H.264 SVC) 2D HD + MVC (ie, H.264 MVC) Left and Right formed by matrixing Multiview profile 2 nd generation 3D TV 2D HD + MVC (ie, H.264 MVC) Depth, occlusion, transparency data Object wave profile 3 rd generation 3D TV H.264 SVC (scalable video coding) on laajennus, joka määrittää yhden tai useamman lisäbittivirran. Lisäbittivirtaan voidaan koodata syvyysinformaatio H.264 MVC (multiview video coding) on laajennus, joka mahdollistaa useamman näkymän koodauksen (useampi kuva sekä lisätietoa kuten syvyys, peittävyys, päällekkäisyys)
Stereokuvan koodaus Level 1 Valon aallonpituuden mukaan Level 2 Kaksi kuvaa samassa ruudussa Level 3 2D-kuva + pikselikohtainen syvyysinformaatio Level 4 Usea 2D-kuva + lisäinformaationa syvyys, peittävyys, päällekkäisyys
Stereokuvan tallennus ja koodaus Level 1: Optimized color anaglyph Yleisin tapa puna-syaani lasit % % λ λ
Stereokuvan tallennus ja koodaus Level 2: Frame compatible Left and Right in same High Definition frame Spatiaalinen Temporaalinen ~1/50 Aika (s)
Stereokuvan koodaus, DIBR Stereokuvaparin koodaaminen yhdeksi 2D-kuvaksi ja syvyyskartaksi (Depth Image Based Rendering) Säästetään kaistaa, syvyyskartassa ainoastaan 1 tavu/pikseli Syvyyttä voidaan säätää päätelaitteen mukaan
3DTV lähetykset perustuen DIBR:iin? Standardi-video Vain syvyysinformaatio ( intensiteettikuvavirtana ) C. Fehn et. al, Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3D-TV, Proceedings of SPIE Stereoscopic Displays and Virtual Reality Systems XI, 2004, pp. 93 104.
Asymmetrinen vs. symmetrinen pakkaus Symmetrisessä pakkauksessa pakataan yhtä paljon molempia kuvia, toisin kuin asymmetrisessa Esimerkki tutkimuksesta: Kolme stereoskooppista videota, joiden kuvapareja pakattiin eri suhteissa Lisäksi mitattiin monoskooppinen laatu eri pakkaustasoilla L.B. Stelmach and W. James Tam, Stereoscopic image coding: Effect of disparate image-quality in left- and right-eye views, Signal Processing: Image Communication, vol. 14, Nov. 1998, pp. 111-117.
Asymmetrinen vs. symmetrinen pakkaus Tulosten perusteella stereoskooppisen videon kuvat voidaan pakata eri pakkaussuhteilla ilman että havaittu laatu laskee SRC = alkuperäinen
Stereoskooppinen kuvaus Periaatteessa yksinkertaista Otetaan vasen ja oikea kuva Stereokameralla tai liikuttamalla yhtä kameraa Näytetään kuvat stereoskooppisella näytöllä Vasemmalle silmälle vasen kuva ja oikealle silmälle oikea kuva Käytännössä tarkkaa On huomioitava kameroiden tarkka keskinäinen sijainti ja suuntaus
C Kuvausgeometriasta Kääntyneet kamerat Kennon/kuvan siirto Parametri Polttoväli Siirto Tunnus f C h Kuvakanta Konvergenssietäisyys Konvergenssikulma Sensorin leveys B β W_c β B f Kameroiden kierto määrittää parallaksin nollatason Kameroiden etäisyys toisistansa määrittää parallaksin nollatason h
Kääntyneet kamerat Konvergenssietäisyydellä säädetään parallaksin nollatasoa ( Virtuaalinen näyttö ) Konvergenssin toteuttaminen kameran kierrolla aiheuttaa pystyparallaksia
Kennon tai kuvan siirtäminen ENNEN: Kuvan selitys: parallaksin nollatasoa siirretään lähemmäksi kasvattamalla kameroiden välistä etäisyyttä JÄLKEEN:
Syvyysbudjetin laajuus Määritetään syvyysalue näytön etuja takapuolelle Näyttö β-1 Syvyysbudjetti Yksi tapa on laskea yhden asteen säännön mukaan Z β β+1 I Katsoja
Ortostereoskopia Ortostereoskoopppinen systeemi pyrkii näyttäämään näkymän kuin silmät olisivat kameran paikalla Kameroiden etäisyys = pupillien väli (~6,3 cm) Kameran kuva-ala = näytön kuva-ala Konvergenssietäisyys = katsomisetäisyys Virtuaalinen näyttö Näyttö