Stereoskooppisen kuvan koodaus T-75.2122 Visuaalisen mediatekniikan perusteet Mikko Kytö, Mikko Kuhna Mediatekniikan laitos
Määritelmistä Stereoskooppinen media Käyttäminen tapahtuu stereonäön kautta, silmille omat kuvat! 3D-media Käytetään kansankielisesti kuvaamaan stereoskooppista mediaa Sekoittuu myös usein 3D-mallintamiseen jne.
Stereoskooppisen median yleistyminen Stereoskooppiset elokuvat 3DTV yleistynyt esim. USA:ssa ja Japanissa koelähetykset Suomessa vuonna 2009 http://www.3dmovielist.com/3dhdt vs.html Jalkapallon 2010 MM-kilpailut... Kuluttajien still-ja videokuvaus Esim. Fuji (2009), Panasonic (2010), Sony (2011) Painettu media lentikulaarinen kalvo
Convergence vs. accommodation convergence
Convergence vs. accommodation Display convergence Accommodation
Left half-image Right half-image Uncrossed (positive) disparity Zero disparity convergence Crossed (negative) disparity Disparity = parallax
Stereonäkö Stereonäön toimintaalue on rajallinen Kuvat fuusioituvat syvyyssuunnassa Panumin alueella ja Jopa 10 %:lla ihmisistä ei ole stereonäköä Panumin alue (laajuus riippuu sisällöstä) Positiivinen parallaksi Horopteri Negatiivinen parallaksi
Syvyyksien havaitsemisesta 1000 Far field Binocular disparity Depth sensitivity D/ΔD 100 10 Convergence Motion parallax Accommodation Brightness Texture Size Air-perspective contrast 1 10 100 1000 Viewing distance (m)
Stereoskooppisen median tuotanto- ja käyttöprosessi Katsominen Näyttäminen Tallennus, koodaus ja siirto Kuvaus
ITU 3DTV Road map Incompatibility level Level 1 Conventional High Definition display Compatible (CDC) Level 2 Conventional HD Frame Compatible (CFC) Level 3 High Definition Frame Compatible Level 4 Conventional High Definition Service Compatible (CSC) ITU 3D TV Categorization Matrix of signal formats for 3D TV Plano-stereoscopic1 st generation 3D TV Optimized colour anaglyph Frame compatible Left and Right in same High Definition frame Frame compatible plus H.264/MPEG4- AVC resolution (for example, H.264 SVC) 2D HD + MVC (ie, H.264 MVC) Left and Right formed by matrixing Generation Multiview profile2 nd generation 3D TV 2D HD + MVC (ie, H.264 MVC) Depth, occlusion, transparency data Object wave profile3 rd generation 3D TV
ITU 3DTV Road map Incompatibility level Level 1 Conventional High Definition display Compatible (CDC) Level 2 Conventional HD Frame Compatible (CFC) Level 3 High Definition Frame Compatible Level 4 Conventional High Definition Service Compatible (CSC) ITU 3D TV Categorization Matrix of signal formats for 3D TV Plano-stereoscopic1 st generation 3D TV Optimized colour anaglyph Frame compatible Left and Right in same High Definition frame Frame compatible plus H.264/MPEG4- AVC resolution (for example, H.264 SVC) 2D HD + MVC (ie, H.264 MVC) Left and Right formed by matrixing Generation Multiview profile2 nd generation 3D TV 2D HD + MVC (ie, H.264 MVC) Depth, occlusion, transparency data Object wave profile3 rd generation 3D TV
Valon aallonpituuteen perustuvat menetelmät Yleisin tapa puna-syaani lasit Aallonpituusalue voidaan jakaa silmille myös pätkittäin (esim. Dolby Infitec -elokuvateatteri) % % λ λ
ITU 3DTV Road map Incompatibility level Level 1 Conventional High Definition display Compatible (CDC) Level 2 Conventional HD Frame Compatible (CFC) Level 3 High Definition Frame Compatible Level 4 Conventional High Definition Service Compatible (CSC) ITU 3D TV Categorization Matrix of signal formats for 3D TV Plano-stereoscopic1 st generation 3D TV Optimized colour anaglyph Frame compatible Left and Right in same High Definition frame Frame compatible plus H.264/MPEG4- AVC resolution (for example, H.264 SVC) 2D HD + MVC (ie, H.264 MVC) Left and Right formed by matrixing Generation Multiview profile2 nd generation 3D TV 2D HD + MVC (ie, H.264 MVC) Depth, occlusion, transparency data Object wave profile3 rd generation 3D TV
Kuvien koodaus Spatiaalinen Ajallinen ~1/50 Aika (s)
Stereovideon siirto Stereokuvaformaatti tavallisen 2D-kuvan ruudussa Formaatti Hres Vres Siirto1080i 50/60 Hz * Siirto 720p 50/60 Hz * Vierekkäin H/2 V X Päällekkäin H V/2 X Hor. lomitettu H/2 V X Ver. lomitettu H V/2 X Shakkikuvio H V/2 X * HDMI 1.4 yhteensopivat formaatit
Ongelma koodaustekniikan vaihtumisesta Siirtyminen koodaustavasta toiseen aiheuttaa hävikkiä Esimerkki vierekkäin koodatun sovittamisesta shakkilautakuvion omaavalle näytölle Vasen ja oikea kuva vierekkäin Kuvat litistetään ruudulle kuva levitetään ruudulle ja välit Interpoloidaan Ruudulla näkyvissä vain 50% alkuperäisistä kuvista
Asymmetrinen vs. symmetrinen pakkaus Symmetrisessä pakkauksessa pakataan yhtä paljon molempia kuvia, toisin kuin asymmetrisessa Esimerkki tutkimuksesta L.B. Stelmach and W. James Tam, Stereoscopic image coding: Effect of disparate image-quality in left- and right-eye views, Signal Processing: Image Communication, vol. 14, Nov. 1998, pp. 111-117.
ITU 3DTV Road map Incompatibility level Level 1 Conventional High Definition display Compatible (CDC) Level 2 Conventional HD Frame Compatible (CFC) Level 3 High Definition Frame Compatible Level 4 Conventional High Definition Service Compatible (CSC) ITU 3D TV Categorization Matrix of signal formats for 3D TV Plano-stereoscopic1 st generation 3D TV Optimized colour anaglyph Frame compatible Left and Right in same High Definition frame Frame compatible plus H.264/MPEG4- AVC resolution (for example, H.264 SVC) 2D HD + MVC (ie, H.264 MVC) Left and Right formed by matrixing Generation Multiview profile2 nd generation 3D TV 2D HD + MVC (ie, H.264 MVC) Depth, occlusion, transparency data Object wave profile3 rd generation 3D TV
HDMI 1.4 TV-ohjelmat Vierekkäin lomitettu: 1080i@50 or 59.94/60Hz; Päällekkäin lomitettu, 720p@50 tai 59.94/60Hz ja 1080p@23.97/24Hz Elokuvat 1080p@23.98/24Hz Pelit 720p@50 or 59.94/60Hz
Stereokuvan koodaus, DIBR Stereokuvan koodaaminen yhdeksi kuvaksi ja syvyyskartaksi (Depth Image Based Rendering) Säästetään kaistaa, syvyyskartassa ainoastaan 1 tavu/pikseli Syvyyttä voidaan säätää päätelaitteen mukaan esim. 2D Plus Delta (part of MPEG2 and MPEG4)
Stereokuvan koodaus, DIBR Depth warping Pikselien siirtäminen syvyyskartan mukaan Filtering Yksittäisten siirtymien poistaminen Disocclusions inpainting Paljastuneiden alueiden täyttäminen
3DTV lähetykset perustuen DIBR:iin? C. Fehn et. al, Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3D-TV, Proceedings of SPIE Stereoscopic Displays and Virtual Reality Systems XI, 2004, pp. 93 104.
DIBR MPEG-4 Part 10/H.264-AVC
Residuaalikuvan pakkaaminen Hyödynnetään kuvien välistä redundanssia T. Frajka and K. Zeger, Residual image coding for stereo image compression, Optical Engineering, vol. 42, 2003, p. 182
2. Harjoitustyö: Stereokuvan dekoodaus Kuvasta ja syvyyskartasta muodostetaan anaglyfistereokuva Kuvien siirto Suodattaminen Paljastuneiden alueiden täyttäminen Kuvan leikkaaminen Anaglyfimuunnokset matriisilaskuilla