Audio ja Video II. Videosignaalit Värioppi Liikkeenennustus Videon pakkausstandardit H.261, H263 MPEG-1, MPEG-2, MPEG-4, MPEG-7 ja MPEG-21

Transkriptio

1 Audio ja Video II Videosignaalit Värioppi Liikkeenennustus Videon pakkausstandardit H.261, H263 MPEG-1, MPEG-2, MPEG-4, MPEG-7 ja MPEG-21 1

2 Videosignaali Videokamera skannaa kuvaa rasterikuvion mukaisesti Skannaus alkaa vasemmasta yläreunasta ja etenee vaakasuorien juovien mukaisesti 2

3 Kuvasuhde Kuvasuhteella tarkoitetaan vaakasuoran etäisyyden suhdetta pystysuoraan etäisyyteen Televisiossa kuvasuhde on 4:3 Laajakuva-televisiossa kuvasuhde on 16:9 3

4 Synkronointi Rasterikuvion synkronointi varmistetaan erillisillä synkronointipulsseilla Tahdistusta varten tarvitaan sekä vaakaettä pystysuorat synkronointipulssit Synkronointipulssit voidaan liittää videosignaaliin tai siirtää erillisenä 4

5 Resoluutio Resoluutiolla tarkoitetaan television kykyä toistaa yksityiskohtia Vaakasuora resoluutio tarkoittaan yhden juovan toisistaan erottuvien pisteiden lukumäärää Pisteiden lukumäärä riippuu skannauspisteen koosta Resoluutio mitataan laskemalla vierekkäisten valkoisten ja mustien pystysuorien viivojen lukumäärä 5

6 Resoluutio (jatk.) Vierekkäisistä valkoisista ja mustista viivoista aiheutuu korkeataajuuksinen signaali Käytännössä 80 viivaa vastaa yhtä 1 MHz NTSC-standardissa kaistanleveys on 4,5 MHz, joten vaakasuora resoluutio on 360 viivaa Pystysuora resoluutio riippuu skannattavien juovien lukumäärästä USA:ssa juovia on 525 ja Euroopassa 625 n. 40 juovaa menee skannauspisteen siirtämiseen 6

7 Kuvataajuus Liikkuva kuva vaatii useita kuvia sekunnissa Yleinen kuvataajuus on 25 tai 30 kuvaa/sekunti Välkkymisen estäminen vaatii 50 kuvaa/sekunti Tämä ei ole mahdollista, minkä takia käytetään kuvakenttien lomitusta Ensin lähetetään ja näytetään parittomat juovat ja sen jälkeen parilliset juovat Silmä ei erota pieni välkkyviä kohteita, joten välkkymistä ei näy 7

8 Kuvataajuus (jatk.) Lomittelusta aiheutuu kuitenkin myös häiriöitä Nopeasti liikkuvien kappaleiden reunassa näkyy sahanreunakuvio Vaakasuorissa terävissä reunoissa ja viivoissa näkyy välkkymistä Vaakasuoria reunoja näkyy erityisesti tietokonegrafiikassa 8

9 Kamerasensorit Kameraa ei yleensä toteuteta skannaavan kuvapisteen avulla Kontrasti on parempi, jos yksittäisten kuva-pisteiden tilaa seurataan jatkuvasti (intergointi) Valo kasvattaa kaksiulotteisen valoherkän materiaalin pinnalla olevien pisteiden jännitettä Pisteiden jännitteet luetaan skannaus-periaatteella Käytössä on sekä tyhjiöputkiin että puolijohteisiin perustuvat kameroita 9

10 Värioppi Väritelevisio perustuu teoriaan, jonka mukaan mikä tahansa väri voi esittää kolmen perusvärin summana Vähennys: syaani (sinivihreä), magenta (violetti) ja keltainen Summaus: punainen, sininen ja vihreä 10

11 Summaus ja vähennys 11

12 CIE 1931 Väriavaruus Tietty väri voidaan sekoittaa kolmesta perusväristä Summaus ei kuitenkaan tuota kaikkia värejä (negatiivinen käyrä) 12

13 Luminanssi ja krominanssi Negatiivisista arvoista pääsee eroon käyttämällä luminanssi (y) ja krominanssisignaaleja (x ja z) 13

14 Gamut-asteikko x= X / X Y Z y=y / X Y Z z=z / X Y Z X Y Z x y z= =1 X Y Z z=1 x y 14

15 Tyypillinen katodisädeputken Gamut-asteikko Yleensä näytöt eivät näyttä kaikkia värejä Paremmuusjärjestys: 3 laserin projektori Filmi Katodisädeputki Nestekide Televisio Maali Paino 15

16 Väritelevisio Väritelevisio perustuu summaavaan väriteoriaan Valo heijastetaan kolme eri sensorille linssi punainen vahvistin vihreä vahvistin sininen vahvistin RGB -monitori 16

17 Yksi sensori Yhden sensorin rakenne on helpompi toteuttaa Valo jaetaan erivärisiin komponentteihin Eri värisignaalit erotetaan elektroniikan avulla Käytännössä resoluutio on usein heikompi linssi sensori elektroniikka RGB -monitori 17

18 Komposiittisignaali Kolmen eri värisignaalin siirto on hankalaa, joten usein käytetään komposiitti-formaattia Kehitetty lähettämistä varten, mutta käytetään paljon laajemmin Signaali jakaantuu luminanssi (monokromi) ja krominanssiosiin (väri) Signaalit muodostetaan matriisimuunnoksella 18

19 Komposiittisignaali (jatk.) Luminanssi siirretään perustaajuudella ja krominannsisignaalit korkeammilla taajuuksilla Häiriöitä esiintyy vähän, koska luminanssisignaali ei ole herkkä häiriöille varsinkin, jos krominanssisignaalin perustaajuus on pariton monikerta puolesta juovataajuudesta silmä on paljon herkempi mustavalkoisille reunoille kuin värireunoille, joten krominannsisignaaleja varten varattu kaista voi olla 2-4 kertaa kapeampi 19

20 NTSC Pohjois-Ameriikka, Japani, ym. National Television Systems Committee, 50-luku Yhteensopiva vanhojen mustavalkoisten televisioiden kanssa (luminanssisignaali) Luminanssi Y (4.5 MHz) sekä krominanssi I (1.5 MHz) ja Q (0.5 MHz) Kaksi-vaihe-amplitudi-modulaatio I in-phase ja Q quadrature (90 asteen vaihe-ero) 20

21 PAL & SECAM Phase Alternating Line (PAL): sama kaistanleveys molemmilla krominanssisignaaleilla (U ja V) Sequentel Couleur avec Memoire (SECAM): krominanssisignaalit vuorottelevat juovilla (FM-modulaatio) Eri järjestelmillä tuotettujen ohjelmien välillä tarvitaan konversiota 21

22 Laitteisto Videolaitteiden markkinat ovat suuret, joten laitteita löytyy joka lähtöön Laitteet voidaan luokitella kolmeen laatutasoon Studio: isot televisioyhtiöt ym. Ammattilais: pienemmät yhtiöt, opetus, teollisuus ym. Kuluttaja: kotikäyttäjät 22

23 Värikamerat Studiotason kamerat käyttävät yleensä kolmen kamerasensorin ratkaisua Käytössä on useita linssejä (lähi, laaja, zoom ym.) Lisäksi pienempiä mukana kuljetettavia kameroita Myös ammattilaiskamerat käyttävät kolmea sensoria, mutta ovat yksinkertaisempia Kuluttajille suunnatuissa kameroissa on yksi sensori ja yleensä myös nauhuri 23

24 Filmikamerat Filmien näyttämistä varten on omat kameransa Filmeissä on yleensä 24 kuvaa/sekunti 25 Hz televisiojärjestelmissä filmiä näytetään nopeammin (nopeus kasvaa 4 %) 30 Hz televisiojärjestelmissä kuvia puolikuvina vuorotellen kolme ja kaksi kertaa Suhteeksi tulee 2:2.5 = 24:30 Tästä syntyy tiettyjä virheitä (esim. auton pyörät pyörivät taaksepäin) 24

25 Filmikamerat (jatk.) Toinen ongelma on värijärjestelmissä Televisio (summaava) ja Filmi (vähentävä) Televisiossa kirkkaat värit ovat parhaita Filmissä tummat värit ovat parhaita Tarvitaan gamma-korjausta, parempaa signaali/kohina-suhdetta ja värien käsittelyä 25

26 Monitorit Kuva- ja signaalimonitorit Studiotason monitorit on sovitettu keskenään Ammattilaistason monitorit ovat hieman halvempia Kotona käytetään televisiota (viritin + monitori) SCART-liitin mahdollistaa myös komposiitti- ja RGB-signaalien käytön 26

27 Liikkeenennustus Videossa peräkkäisissä kuvissa on yleensä paljon redundanssia Ongelmana on löytää muuttuvat kohdat ja irrottaa ne kuvasta Ratkaisu on jakaa kuva lohkoihin ja koodata ainoastaan muuttuneet lohkot Lisäksi voidaan koodata lohkojen liikkuminen 27

28 28

29 Algoritmit Yleensä kompressointialgoritmi hyödyntää useampaa koodausmenetelmää Algoritmeista pyritään saamaan virallisia standardeja International Organisation for Standardization ISO International Electrotechnical Commission IEC Joint Photographic Expert Group (JPEG) Motion Picture Expert Group (MPEG) 29

30 H.261 Alkuperäinen videokuva (625 tai 525 juovaa) muutetaan CIF-formaattiin Bittivirta sisältää kaiken tarpeellisen ja se voidaan yhdistää audion kanssa Bittivirta on 40 kbps - 2 Mbps Sekä yksi- että kaksisuuntainen kommunikaatio Virheenkoodaus Monipisteneuvottelu 30

31 CIF-formaatti Luminanssi - Krominanssi (Y, CB, CR) 8 bittiä/näyte 30 kuvaa/sekuntti Luminanssi 352 x 288 resoluutio Krominanssi 172 x 144 resoluutio Quarter-CIF formaatti puolittaa resoluutiot Kaikki kooderit/dekooderit tukevat QCIFformaattia; QIF-formaatti valinnainen 31

32 Koodausalgoritmi H.261 käyttää kuvien välistä ennustusta ja DCTkoodausta INTRA-moodissa kuva koodataan yksin ja INTER-moodissa käytetään ennustusta Kuva jaetaan 16 x 16 makrolohkoihin, jotka koostuvat neljästä 8 x 8 luminanssilohkosta ja kahdesta 8 x 8 krominanssilohkosta Lisäksi käytössä on lohkoryhmät 0, 1, 2 tai 3 kuvaa mahdollista tiputtaa 32

33 H , ITU-T julkaisi standardin H.263 Matalat bittinopeudet (< 30 kbps) Toimii myös korkeammilla bittinopeuksilla Formaatit: sub-qcif, QCIF, CIF, 4CIF ja 16CIF 1998, H , H

34 Valinnaiset koodausmoodit 34

35 MPEG-1 Hyvä kuvanlaatu 1,0 1,5 Mbps Symmetrinen tai asymmetrinen koodaus/dekood. Toisto mistä tahansa kohtaa mahdollista Kelaus ja käänteinen toisto mahdollista Audio/video synkronointi Datavirheet eivät saa aiheuttaa ongelmia Kompressio/dekompres sio-viiveen ohjaus Editointi mahdollista Eri formaatit (ikkunointi) Halpojen piirisarjojen kehittäminen mahdollista 35

36 Arkkitehtuuri Neljä erilaista kuvatyyppiä: I-kuvat muista riippumattomia P-kuvat ennustettuja (liike) muista I- tai P-kuvista B-kuvat interpoloituja sekä edellisistä että tulevista I- tai P-kuvista D-kuvat ovat nopeaa etsimistä varten I-kuvat vievät eniten tilaa; P-kuvat 3:1; B-kuvat edelleen 2-5:1 B-kuvien dekoodaus aiheuttaa viivettä 36

37 MPEG-kuvasarja 37

38 Bittivirran syntaksi Bittivirta koostuu useista eri tasoista: videosekvenssi (täydellinen sekvenssi) ryhmä kuvia (kaikki parametrit; haku) kuva (yksittäinen kuva) osakuva (sisältää synkronointi ym. tiedot) makrolohko (16 x 16; liikkeenkorjaus) lohko (8 x 8) 38

39 Tehokkuus Voidaan käyttää useita resoluutioita ja bittimääriä Esim. CD-ROM: 30 kuvaa/sekunti, 352 x 240 resoluutio (kuin VHS-nauhuri) Pakkaus ja purku voidaan tehdä ohjelmallisesti Reaaliaikainen pakkaus pitää kuitenkin tehdä laitteistolla 39

40 MPEG-2 MPEG-2: bittinopeus 2-15 Mbps Mahdollistaa myös teräväpiirtotelevision Käytössä digitaalisessa televisiossa Viisi audiokanavaa, bassot ja seitsemän selostus/kieli-kanavaa Video-, audio- ja datavirrat kootaan lähetysvirraksi (transport stream) 40

41 MPEG-4 MPEG-4: matalat bittinopeudet Kuva ja ääni voidaan jakaa osiin (tekijöihin) Eri osia varten voidaan käyttää eri koodaus-menetelmiä Uusien koodausmenetelmien käyttöönotto mahdollista 41

42 Kompositio Luonnollinen video Synteettinen audio Kompositio Demultiplekseri Luonnollinen audio Synteettinen video Omistus(c) Petri Vuorimaa oikeudet 42

43 MPEG-4 -profiilit Luonnollisen videon koodaamiseen on viisi eri profiilia: Simple Profile (SP) Simple Scalable Profile (SSP) Advanced Simple Profile (ASP) Advanced Real-Time Simple Profile (ARTSP) Core Profile (CP) SP ja ASP on suosituimmat profiilit Toteutuksia: DivX, XviD, FFmpeg 43

44 MPEG-4 -profiilien vertailu Olli Lehtoranta, Parallel Encoder Implementations for High Quality Video, D.Sc. Thesis, Tampere University of Technology,

45 H.264/AVC 2004, ITU ja ISO muodostivat yhteisen Joint Video Team (JVT) elimen H.264 / ISO MPEG-4 Part 10: Advanced Video Coding (H.264/AVC) Skaalautuu matalista bittinopeuksista aina teräväpiirtotelevisioon asti Useita parannuksia MPEG-4 SP -profiiliin verrattuna, mutta perusta on edelleen sama 45

46 MPEG-7 MPEG-7 ei ole kompressiostandardi, vaan se on tarkoitettu sisällön kuvaamiseen multimediasisällön kuvaus joustavuus sisällönhallinnassa eri datalähteiden sovittaminen Kyseessä on siis metadata-standardi Voidaan käyttää sisällön hakuun ja suodatukseen 46

47 Multimediasisältö Kuvauksen generointi MPEG-7 kuvaus Sovellus Sisällönkuvauskieli Kuvausmenetelmät Kuvaukset Enkooderi Suodatus agentti MPEG-7 koodi (c) Petri Vuorimaa Hakukone Dekooderi 47

48 MPEG-21 MPEG-21 on uusin MPEG-standardi Se ei kuitenkaan ole varsinainen pakkausstandardi Sen sijaan MPEG-21 on tarkoitettu oikeuksien hallitaan Digital Rights Management (DRM) 48