Stereoskooppisen kuvan koodaus

Koko: px

Aloita esitys sivulta:

Download "Stereoskooppisen kuvan koodaus"

Anton Tikkanen
8 vuotta sitten
Katselukertoja:

1 Stereoskooppisen kuvan koodaus T Visuaalisen mediatekniikan perusteet Mikko Kytö, Mikko Kuhna Mediatekniikan laitos

2 Määritelmistä Stereoskooppinen media Käyttäminen tapahtuu stereonäön kautta, silmille omat kuvat! 3D-media Käytetään kansankielisesti kuvaamaan stereoskooppista mediaa Sekoittuu myös usein 3D-mallintamiseen jne.

3D-media Käytetään kansankielisesti kuvaamaan

4 Stereoskooppisen median yleistyminen Stereoskooppiset elokuvat 3DTV yleistynyt esim. USA:ssa ja Japanissa koelähetykset Suomessa vuonna vs.html Jalkapallon 2010 MM-kilpailut... Kuluttajien still-ja videokuvaus Esim. Fuji (2009), Panasonic (2010), Sony (2011) Painettu media lentikulaarinen kalvo

com/3dhdt vs.html Jalkapallon 2010 MM-kilpailut.

5 Convergence vs. accommodation convergence

6 Convergence vs. accommodation Display convergence Accommodation

7 Left half-image Right half-image Uncrossed (positive) disparity Zero disparity convergence Crossed (negative) disparity Disparity = parallax

8 Stereonäkö Stereonäön toimintaalue on rajallinen Kuvat fuusioituvat syvyyssuunnassa Panumin alueella ja Jopa 10 %:lla ihmisistä ei ole stereonäköä Panumin alue (laajuus riippuu sisällöstä) Positiivinen parallaksi Horopteri Negatiivinen parallaksi

%:lla ihmisistä ei ole stereonäköä Panumin alue (laajuus

9 Syvyyksien havaitsemisesta 1000 Far field Binocular disparity Depth sensitivity D/ΔD Convergence Motion parallax Accommodation Brightness Texture Size Air-perspective contrast Viewing distance (m)

Motion parallax Accommodation Brightness Texture Size

10 Stereoskooppisen median tuotanto- ja käyttöprosessi Katsominen Näyttäminen Tallennus, koodaus ja siirto Kuvaus

11 ITU 3DTV Road map Incompatibility level Level 1 Conventional High Definition display Compatible (CDC) Level 2 Conventional HD Frame Compatible (CFC) Level 3 High Definition Frame Compatible Level 4 Conventional High Definition Service Compatible (CSC) ITU 3D TV Categorization Matrix of signal formats for 3D TV Plano-stereoscopic1 st generation 3D TV Optimized colour anaglyph Frame compatible Left and Right in same High Definition frame Frame compatible plus H.264/MPEG4- AVC resolution (for example, H.264 SVC) 2D HD + MVC (ie, H.264 MVC) Left and Right formed by matrixing Generation Multiview profile2 nd generation 3D TV 2D HD + MVC (ie, H.264 MVC) Depth, occlusion, transparency data Object wave profile3 rd generation 3D TV

colour anaglyph Frame compatible Left and Right in same High Definition frame Frame compatible plus H.264/MPEG4- AVC resolution (for example, H.264 SVC) 2D HD + MVC (ie, H.

12 ITU 3DTV Road map Incompatibility level Level 1 Conventional High Definition display Compatible (CDC) Level 2 Conventional HD Frame Compatible (CFC) Level 3 High Definition Frame Compatible Level 4 Conventional High Definition Service Compatible (CSC) ITU 3D TV Categorization Matrix of signal formats for 3D TV Plano-stereoscopic1 st generation 3D TV Optimized colour anaglyph Frame compatible Left and Right in same High Definition frame Frame compatible plus H.264/MPEG4- AVC resolution (for example, H.264 SVC) 2D HD + MVC (ie, H.264 MVC) Left and Right formed by matrixing Generation Multiview profile2 nd generation 3D TV 2D HD + MVC (ie, H.264 MVC) Depth, occlusion, transparency data Object wave profile3 rd generation 3D TV

13 Valon aallonpituuteen perustuvat menetelmät Yleisin tapa puna-syaani lasit Aallonpituusalue voidaan jakaa silmille myös pätkittäin (esim. Dolby Infitec -elokuvateatteri) % % λ λ

14 ITU 3DTV Road map Incompatibility level Level 1 Conventional High Definition display Compatible (CDC) Level 2 Conventional HD Frame Compatible (CFC) Level 3 High Definition Frame Compatible Level 4 Conventional High Definition Service Compatible (CSC) ITU 3D TV Categorization Matrix of signal formats for 3D TV Plano-stereoscopic1 st generation 3D TV Optimized colour anaglyph Frame compatible Left and Right in same High Definition frame Frame compatible plus H.264/MPEG4- AVC resolution (for example, H.264 SVC) 2D HD + MVC (ie, H.264 MVC) Left and Right formed by matrixing Generation Multiview profile2 nd generation 3D TV 2D HD + MVC (ie, H.264 MVC) Depth, occlusion, transparency data Object wave profile3 rd generation 3D TV

15 Kuvien koodaus Spatiaalinen Ajallinen ~1/50 Aika (s)

16 Stereovideon siirto Stereokuvaformaatti tavallisen 2D-kuvan ruudussa Formaatti Hres Vres Siirto1080i 50/60 Hz * Siirto 720p 50/60 Hz * Vierekkäin H/2 V X Päällekkäin H V/2 X Hor. lomitettu H/2 V X Ver. lomitettu H V/2 X Shakkikuvio H V/2 X * HDMI 1.4 yhteensopivat formaatit

Vierekkäin H/2 V X Päällekkäin H V/2 X Hor. lomitettu H/2 V X Ver.

17 Ongelma koodaustekniikan vaihtumisesta Siirtyminen koodaustavasta toiseen aiheuttaa hävikkiä Esimerkki vierekkäin koodatun sovittamisesta shakkilautakuvion omaavalle näytölle Vasen ja oikea kuva vierekkäin Kuvat litistetään ruudulle kuva levitetään ruudulle ja välit Interpoloidaan Ruudulla näkyvissä vain 50% alkuperäisistä kuvista

omaavalle näytölle Vasen ja oikea kuva vierekkäin Kuvat litistetään ruudulle kuva

19 Asymmetrinen vs. symmetrinen pakkaus Symmetrisessä pakkauksessa pakataan yhtä paljon molempia kuvia, toisin kuin asymmetrisessa Esimerkki tutkimuksesta L.B. Stelmach and W. James Tam, Stereoscopic image coding: Effect of disparate image-quality in left- and right-eye views, Signal Processing: Image Communication, vol. 14, Nov. 1998, pp

toisin kuin asymmetrisessa Esimerkki tutkimuksesta L.B. Stelmach and W.

20 ITU 3DTV Road map Incompatibility level Level 1 Conventional High Definition display Compatible (CDC) Level 2 Conventional HD Frame Compatible (CFC) Level 3 High Definition Frame Compatible Level 4 Conventional High Definition Service Compatible (CSC) ITU 3D TV Categorization Matrix of signal formats for 3D TV Plano-stereoscopic1 st generation 3D TV Optimized colour anaglyph Frame compatible Left and Right in same High Definition frame Frame compatible plus H.264/MPEG4- AVC resolution (for example, H.264 SVC) 2D HD + MVC (ie, H.264 MVC) Left and Right formed by matrixing Generation Multiview profile2 nd generation 3D TV 2D HD + MVC (ie, H.264 MVC) Depth, occlusion, transparency data Object wave profile3 rd generation 3D TV

21 HDMI 1.4 TV-ohjelmat Vierekkäin lomitettu: or 59.94/60Hz; Päällekkäin lomitettu, tai 59.94/60Hz ja Elokuvat Pelit or 59.94/60Hz

22 Stereokuvan koodaus, DIBR Stereokuvan koodaaminen yhdeksi kuvaksi ja syvyyskartaksi (Depth Image Based Rendering) Säästetään kaistaa, syvyyskartassa ainoastaan 1 tavu/pikseli Syvyyttä voidaan säätää päätelaitteen mukaan esim. 2D Plus Delta (part of MPEG2 and MPEG4)

23 Stereokuvan koodaus, DIBR Depth warping Pikselien siirtäminen syvyyskartan mukaan Filtering Yksittäisten siirtymien poistaminen Disocclusions inpainting Paljastuneiden alueiden täyttäminen

24 3DTV lähetykset perustuen DIBR:iin? C. Fehn et. al, Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3D-TV, Proceedings of SPIE Stereoscopic Displays and Virtual Reality Systems XI, 2004, pp

25 DIBR MPEG-4 Part 10/H.264-AVC

26 Residuaalikuvan pakkaaminen Hyödynnetään kuvien välistä redundanssia T. Frajka and K. Zeger, Residual image coding for stereo image compression, Optical Engineering, vol. 42, 2003, p. 182

27 2. Harjoitustyö: Stereokuvan dekoodaus Kuvasta ja syvyyskartasta muodostetaan anaglyfistereokuva Kuvien siirto Suodattaminen Paljastuneiden alueiden täyttäminen Kuvan leikkaaminen Anaglyfimuunnokset matriisilaskuilla

Samankaltaiset tiedostot

HDR- ja stereoskooppinen 3D: kuvaus, koodaus ja näyttö. Mikko Nuutinen 21.2.2013

HDR- ja stereoskooppinen 3D: kuvaus, koodaus ja näyttö Mikko Nuutinen 21.2.2013 Luento HDR-kuvaus, -koodaus ja -esitys Stereoskooppinen 3D: kuvaus, koodaus ja esitys Oppimistavoitteet HDR-kuvan tuotto