JONNE MÄKINEN VIDEONPAKKAUSSTANDARDIEN MPEG-4 PART 2 JA MPEG-4 PART 10 VERTAILU

Transkriptio

1 JONNE MÄKINEN VIDEONPAKKAUSSTANDARDIEN MPEG-4 PART 2 JA MPEG-4 PART 10 VERTAILU Kandidaatintyö Tarkastaja: lehtori Heikki Huttunen

2 ii TIIVISTELMÄ TAMPEREEN TEKNILLINEN YLIOPISTO Signaalinkäsittelyn ja tietoliikennetekniikan koulutusohjelma MÄKINEN, JONNE: Videonpakkausstandardien MPEG-4 Part 2 ja MPEG-4 Part 10 vertailu Kandidaatintyö 24 sivua Toukokuu 2011 Pääaine: Signaalinkäsittely Tarkastaja: lehtori Heikki Huttunen Avainsanat: videonpakkaus, MPEG-4, SSIM, AVC, Xvid Työssä vertaillaan kahta videonpakkausstandardia, MPEG-4 Part 2 ja MPEG-4 Part 10. Part 10 on MPEG:in modernein videonpakkausstandardi ja noussut suosituksi etenkin HD-videoiden myötä. Vanhempi Part 2 standardi on tunnettu kahdesta toteutuksesta, Xvid ja DivX. Työ koostuu kahdesta osasta, ensimmäisessä osassa selvitetään videonpakkauksen teoriaa sekä MPEG-4 Part 2:ssa ja Part 10:ssä käytettyjä videonpakkauksen menetelmiä. Työn toisessa osassa tehdään vertailu näiden kahden standardin välillä kolmella eri testivideolla käyttäen kahta eri laskennallista metriikkaa (PSNR ja SSIM) ja visuaalista tarkastelua. Testivideot pakattiin kahdella eri enkooderilla: x264, joka toteuttaa MPEG-4 Part 10:n ja Xvid, joka toteuttaa MPEG-4 Part 2:n, käyttäen useaa eri bittinopeutta. Pakkauksen jälkeen nämä videot purettiin ja niille laskettiin PSNR- ja SSIMarvot verrattuna alkuperäiseen pakkaamattomaan videoon. Tämän lisäksi pakattujen videoiden laatua tutkittiin silmämääräisesti.

3 iii ALKUSANAT Tämä työ toteutettiin osana Tampereen Teknillisen Yliopiston Signaalinkäsittelyn laitoksen kandidaatintyö seminaaria keväällä Haluaisin kiittää työn ohjaajaa Heikki Huttusta auttavista neuvoista ja työn kommenteista, työkaveriani José Alarcon- Roldania, joka lainasi aiheeseen liittyvää kirjallisuutta ja jolta sain yhden käytetyistä testivideoista sekä työni oikolukenutta siskoani Susannaa. Tampereella, 6. Toukokuuta 2011 Jonne Mäkinen

4 iv SISÄLLYS 1 Johdanto Videon pakkauksen perusteita Väriavaruuden muunnos Liikkeen mallinnus Muunnos taajuustasoon Entropiapakkaus MPEG-4 standardi MPEG-4 Part MPEG-4 Part 10 AVC / H MPEG-4 Part 10:ssa ja Part 2:ssa käytetyt menetelmät ja niiden erot Liikkeen mallintaminen MPEG-4:ssä Taajuustasomuunnos ja kvantisointi MPEG-4:ssä Entropiapakkaus MPEG-4:ssä Pakkaustehokkuuden vertailu Virheenlaskentamenetelmät Mittausten suoritus Tulokset Yhteenveto Lähteet... 23

5 v LYHENTEET ASP Advanced Simple Profile, MPEG-4 Part 2:n profiili AVC Advanced Video Coding, MPEG-4 Part 10 standardi AVC-HiP Advanced Video Coding, High Profile CABAC Context-adaptive binary arithmetic coding CAVLC Context-adaptive variable-length coding DCT Diskreetti kosinimuutos, keino muuttaa kuvadataa taajuustasoon DVD Digital Versatile Disc, optinen levy digitaalisen tiedon tallettamiseen fps Frames per second HD High-definition, teräväpiirto IEC International Electrotechnical Commission ISO International Organization for Standardization ITU International Telecommunication Union kbps kilobits per second MPEG Moving Picture Experts Group MSE Mean square error, keskineliövirhe PSNR Peak signal-to-noise ratio, signaalikohinasuhde RGB Red-green-blue, punainen-vihreä-sininen väriavaruus RLE Run-length encoding, jakson pituuden koodaus SD Standard-definition, vakiopiirto SSIM Structured-similarity VLC Variable-length coding, vaihtuvamittaisiin koodisanoihin pohjautuva pakkaus YCbCr Väriavaruus, jossa kuvat muodostetaan kirkkauden (Y), sinisen erotuksen (Cb) ja punaisen erotuksen (Cr) arvoilla

6 1 1 JOHDANTO Viimeisen kymmenen vuoden aikana digitaalisen videonpakkauksen käyttö on noussut räjähdysmäisesti, TV-lähetykset ovat muuttuneet digitaalisiksi ja vanhat analogiset videonauhat ovat korvautuneet digitaalisilla DVD- ja Blu-ray levyillä. Internetissä videoista on tullut keskeistä sisältöä muun muassa YouTuben ansiosta ja kännykkäkameroiden ja älypuhelinten myötä lähes jokaisella on taskussaan laite, jolla voi kuvata ja katsoa videota. Nämä monet eri käyttökeinot tekevät videonpakkauksesta haastavaa: pakkausmenetelmän pitää pystyä pakkaamaan tehokkaasti erittäin suuria määriä dataa, mutta pakkauksen ja videon purkamisen pitää myös onnistua verrattain halvalla laitteistolla. Televisiolähetykset ja internet-streamaus lisäävät myös haasteita videoiden pakkaamiselle virheherkkyyden osalta: pakatun videon pitää kestää lähetyksen aikana tapahtuvat virheet, esimerkiksi pakettihukan. Kaksi merkittävintä videonpakkausstandardeja kehittävää organisaatiota ovat International Organization for Standardizationin (ISO) ja International Electrotechnical Commissionin (IEC) Moving Picture Experts Group (MPEG) ja Yhdistyneiden Kansakuntien alaisuudessa toimiva International Telecommunication Union (ITU), jotka usein toimivat yhteistyössä. MPEG:n standardeja ovat esimerkiksi MPEG-1, MPEG-2 ja MPEG-4. ITU:n standardit ovat H.261, H.262, H.263 ja H.264. MPEG:n ja ITU lisäksi myös monet yksityiset yritykset kehittävät omia standardejaan, esimerkiksi Microsoftin omistamat WMV ja VC-1, nykyään Googlen omistama VP8 ja RealNetworksin RealVideo. Tässä työssä keskitytään vertailemaan MPEG-4:n kahta osaa, vanhempaa MPEG-4 Part 2:ta ja uudempaa, ITU:n kanssa yhteistyössä kehittyä, MPEG-4 Part 10 / H.264:ä. Luvussa kaksi käsitellään videonpakkauksen perusteita, luvussa kolme tarkastellaan tässä työssä käytettyjen MPEG-4 Part 2 ja Part 10 standardejen menetelmiä ja niiden eroja, luvussa neljä on näiden menetelmien pakkaustehokkuuden vertailu ja luvussa viisi on yhteenveto.

7 2 2 2 VIDEON PAKKAUKSEN PERUSTEITA Pakkaamaton video vaatii erittäin paljon tallennustilaa, esimerkiksi Blu-ray levyissä käytetään resoluutiota 1920x ruutua sekunnissa. Tarve tehokkaalle pakkaukselle on selvä: jos yhteen RGB pikseliin tarvitaan 3 tavua muistia, sekunti pakkaamatonta Blu-ray videota veisi noin 140 megatavua muistia eli yhdelle 50 gigatavun Blu-ray levylle mahtuisi vain noin 6 minuuttia videota. Perinteiset videoenkooderit pakkaavat videota vaiheissa: väriavaruuden muunnos ja väri-informaation vähentäminen, liikkeen mallintaminen, muutos taajuustasoon ja yksityiskohtien karsiminen ja entropiapakkaus. Kuvassa 2.1 on kuvattu videoenkooderin lohkokaavio josta näkee videonpakkauksen vaiheet. Kuva 2.1 Videoenkooderin lohkokaavio Seuraavaksi tarkastelemme näitä vaiheita tarkemmin. 2.1 Väriavaruuden muunnos Koska ihmissilmä on herkempi kirkkauden vaihtelulle kuin värisävyille, videoruudut muutetaan YCbCr-muotoon jolloin kirkkaus- ja väri-informaatio saadaan erotettua toisistaan. Muutos tehdään yleensä ITU:n suosittelemilla kaavoilla [2, s.17]:

8 3 Yleensä Y-komponentti, joka sisältää kirkkausinformaation, jätetään alkuperäiseen kokoonsa, mutta väri-informaation sisältävät Cb- ja Cr-komponentit skaalataan pienemmiksi. Esimerkki kolmesta eri skaalauksesta on kuvassa 2.2. YCbCrformaatit nimetään numeroyhdistelmällä nro:nro:nro, jossa numerot kuvaavat eri komponenttien suhdetta, vaikkakin tämä merkintä tapa ei aina ole yksiselitteinen. Jos väri-informaatiota ei haluta vähentää, käytetään 4:4:4 formaattia, jossa jokaista Y-arvoa vastaa yksi Cb- ja yksi Cr-arvo. Tämä ei vähennä pakattavan tiedon määrää, mutta koska videonpakkauksen muut vaiheet vaativat, että video on YCbCr muodossa, video pitää muuttaa 4:4:4 formaattiin vaikkei väri-informaation määrää haluta vähentää. Esimerkiksi H.264:ssä on yksi profiili, joka tukee 4:4:4 formaattia [1, s.322]. Yleisin formaatti on 4:2:0, joka on käytössä muun muassa ITU-T:n h.26x standardeissa, mukaan lukien tässä työssä käytetyssä H.264:ssa ja H.263:een pohjautuvassa standardissa MPEG-4 Part 2. Jokaista neljää Y-arvoa vastaa yksi Cb- ja yksi Cr-arvo, joten verrattuna 4:4:4 formaattiin 4:2:0 formaatissa pakattavan tiedon määrä puolittuu [2, s.17]. Kompromissi 4:4:4 ja 4:2:0 formattien välillä on 4:2:2. Sitä käytetään useissa korkealaatuisissa videonpakkaus formaateissa ja H.264:lla on 4:2:2 formaattia käyttäviä profiileja [1, s.322]. 4:2:2 formaatissa jokaista neljää Y-arvoa vastaa kaksi Cr-arvoa ja kaksi Cb-arvoa, joten 4:4:4 formaattiin verrattuna pakattavan tiedon määrä vähenee kolmanneksen. Kuva 2.2 YCbCr-formaatit Muita formaatteja ovat 4:1:1, 4:2:1, 4:1:0 ja 3:1:1, mutta ne ovat nykyään harvinaisia ja niitä ei tässä työssä käsitellä. 2.2 Liikkeen mallinnus Videossa perättäiset ruudut ovat yleensä sisällöltään suurelta osin samanlaiset. Tätä käytetään hyväksi kahdella eri tavalla videonpakkauksessa. Sen sijaan että jokainen videoruutu pakataan erikseen, pakataan kahden (tai useamman) ruudun erotus. Tämän lisäksi perättäisten ruutujen samanlaisuutta käytetään hyväksi siten että pelkän erotuksen laskemisen sijaan mallinnetaan videossa olevaa liikettä siten, että erotuksen energia laskee.

9 4 Jotta videossa olevaa liikettä voidaan mallintaa, video jaetaan makrolohkoihin. Riippuen pakkausstandardista nämä makrolohkot voivat olla joko vakiokokoisia tai niiden koko voi vaihdella, esimerkiksi MPEG-2:ssa makrolohkot ovat 8x8 kokoisia [2, s.33] ja MPEG-4 Part 10:ssä makrolohkojen koko voi olla esimerkiksi 4x4, 8x8 tai 16x16 [2, s ]. Liikkeenmallinnuksessa pakattavan ruudun makrolohkoille etsitään vastineet referenssiruuduista etsimällä se makrolohkon kokoinen alue, jonka erotus pakattavasta makrolohkosta on pienin. Referenssiruudut ovat videon aiemmin pakattuja ruutuja, vanhemmissa videonpakkausstandardeissa näitä ruutuja oli muistissa vain yksi, mutta uudemmissa standardeissa niitä voi olla useampia. Haku voidaan toteuttaa myös puolikas- tai neljännespikselin tarkkuudella, jolloin varsinaisten pikseleiden väliin interpoloidaan ylimääräisiä pisteitä [2, s.37]. Kun paras vastine löytyy, lasketaan makrolohkolle liikevektori, joka kertoo vastineen sijainnin referenssiruudussa suhteessa pakattavaan ruutuun ja makrolohkoista muodostetaan referenssiruutuihin perustava estimaatio pakattavasta ruudusta. Koska videota purkaessa dekooderilla on käytettävissä vain jo purettuja ruutuja, enkooderi käyttää referenssiruutuina jo kertaalleen pakattuja ja sitten purettuja ruutuja alkuperäisten ruutujen sijaan. Liikkeenmallinnuksesta saatu ruutu vähennetään pakattavasta ruudusta ja saatu erotus pakataan. Videon purussa käytetään liikevektoreita, referenssiruutuja ja pakattua erotusta muodostamaan alkuperäinen ruutu. Makrolohkot jaetaan I (intra), P (predicted) ja B (bi-directional) lohkoihin. I- lohkot ovat stand-alone lohkoja, joiden pakkauksessa ei käytetä edellisiä lohkoja, mutta niissä voidaan käyttää ennustusta muista saman ruudun I-makrolohkoista. P-lohkot ovat lohkoja, jotka ovat ennustettu ajallisesti edellisistä lohkoista. B-lohkot ovat lohkoja, jotka voivat olla ennustettu ajallisesti edellisistä tai seuraavista lohkoista. Ruudut jaetaan vastaavasti I-, P- ja B-ruutuihin riippuen siitä, mistä makrolohkoista ne koostuvat. 2.3 Muunnos taajuustasoon Jotta videoruutu saadaan pienempään tilaan, siitä poistetaan yksityiskohtia ja tätä varten kuvadata, joko liikkeen mallinnuksesta saatu erotus tai I-ruutujen tapauksessa koko ruutu, muutetaan taajuustasoon. Yleensä tähän muutokseen on käytetty kuvanpakkauksesta tuttua diskreettiä kosinimuutosta (DCT). Ensin videoruutu jaetaan neliöihin, yleensä kokoa 8x8, ja näille neliölle tehdään DCT. Näin saadaan kertoimet kuvadatan sisältämille taajuuksille, kertoimista ensimmäinen on DC-kerroin, joka kertoo taajuuksien voimakkuuden keskiarvon ja loput kertoimet ovat AC-kertoimia, joista jokainen vastaa tiettyä taajuuskomponettia. Koska ihmissilmä erottaa matalia taajuuksia paremmin kuin korkeita, lopputuloksen kannalta korkeat taajuudet ovat vähemmän tärkeitä, joten niihin ei kannata käyttää niin paljon bittejä kuin matalille taajuuksille. Yksityiskohdat karsitaan kvantisoimalla saadut DCTkertoimet. Kvantisointia varten tarvitaan kvantisointimatriisi, jossa jokaiselle DCTkertoimelle on määritelty kvantisointikerroin. Nämä kertoimet määritellään siten, että

10 5 niille taajuuksille, jotka halutaan säilyttää asetetaan pienet kertoimet ja vähemmän tärkeille taajuuksille suuret kertoimet. Kvantisoinnissa DCT-kertoimet jaetaan niitä vastaavilla kvantisointikertoimilla ja tästä saadut tulokset pyöristetään kokonaisluvuiksi. Tämä aiheuttaa sen, että monien DCT-kertoimien arvoksi tulee nolla ja mitä enemmän kertoimia muuttuu nollaksi, sitä tehokkaammin data voidaan pakata entropiapakkauksella. Taulukossa 2.1 on esimerkki kvantisoinnista. [2, s ] Kertoimet Kvantisointi matriisi Kvantisoidut kertoimet Taulukko 2.1: Esimerkki 4x4 lohkon kertoimien kvantisoinnista Kvantisointi tuo videonpakkaukseen mahdollisuuden säätää pakkauksen käyttämää bittimäärää. Mitä enemmän yksityiskohtia poistetaan kvantisoinnissa, sitä vähemmän tilaa tulos vie. 2.4 Entropiapakkaus Viimeinen vaihe videonpakkauksessa on edellisistä vaiheista saadun datan entropiapakkaus. Entropia tarkoittaa tiedon sisällön satunnaisuutta: mitä pienempi entropia, sitä helpompi on ennustaa tulevaa sisältöä ja sitä helpompi tietoa on pakata. Entropiapakkaus perustuu siis tiedon sisällön todennäköisyyksiin. Digitaalisen tiedon entropia voidaan laskea kaavalla [1, s. 247]: Kaavassa n on tiedossa käytettyjen symbolien määrä ja p(e i ) on symbolin esiintymisen todennäköisyys. Yksi esimerkki entropiapakkauksesta on vaihtuvamittaisia koodisanoja (variable-length coding; VLC) käyttävä Huffman-koodaus, jossa pakattavan tiedon symboleille määrätään vaihtuvamittaiset koodisanat sen mukaan, kuinka todennäköinen symboli on pakattavassa tiedossa. Mitä todennäköisempi symboli on, sitä lyhyempi koodisana sille valitaan. Videon pakkauksessa on perinteisesti käytetty jakson pituuden koodausta (run-length encodin; RLE) yhdistettynä VLC:een. [2, s.62] RLE:ssä muodostetaan koodisanoja, jotka ovat esimerkiksi muotoa: (nollien määrä, nollasta poikkeava arvo, merkkibitti). Nollien määrä kertoo nollasta poikkeavaa arvoa edeltävien nollien määrä, ja merkkibitti kertoo, oliko kyseessä viimeinen nollasta poikkeava arvo. Eli esimerkiksi merkeistä (2, 3, 0, 0, 0, 5, 0, 6, 0, 0, 0, 0, 0) saadaan RLE:llä koodisanat (0, 2, 0), (0, 3, 0), (3, 5, 0), (1, 6, 1). Joten jotta RLE toimisi mahdollisimman tehokkaasti, pakattavat arvot kannattaa järjestää siten, että niissä on mahdollisimman paljon peräkkäisiä nollia. Tähän voidaan käyttää DCT-kertoimille zig-

11 6 zag scania, esimerkki kuvassa 2.3, jossa DCT-kertoimet järjestetään siten, että matalien taajuuksien kertoimet tulevat ennen korkeampia. Kuva 2.3. Esimerkki Zigzag scanistä Koska kvantisaatiossa suuri osa korkeiden taajuuksien kertoimista putoaa nollaan, zigzag scanillä kertoimet saadaan järjestettyä RLE:n kannalta optimaalisesti. Nämä RLE:llä muodostetut koodisanat pakataan VLC:llä. Yleensä VLC:llä pakataan myös muut videonpurussa tarvittavat tiedot kuten liikevektorit. [2, s.56-59]

12 7 7 3 MPEG-4 STANDARDI MPEG-4 on Moving Picture Experts Groupin kokoelma multimediaan liittyviä standardeja, jotka määrittävät menetelmiä muun muassa video, äänen, ja 3D-mallien pakkaamiseen sekä audion ja videon paketoimiseen. Tässä työssä keskitytään kahteen osaan MPEG-4 standardia, MPEG-4 Part 2 ja MPEG-4 Part 10, jotka ovat kaksi eri standardia videonpakkaamiseen. 3.1 MPEG-4 Part 2 Ensimmäinen versio MPEG-4 Part 2 standardista, joka tunnetaan myös nimellä MPEG- 4 Visual, julkaistiin vuonna Se toi parannuksia videonpakkauksen tehokkuuteen verrattuna MPEG:n vanhempaan, erittäin suosittuun MPEG-2 standardiin. MPEG-4 Visual on myös joustavampi ja skaalautuu paremmin muun muassa matalatehoisiin laitteisiin. MPEG-4 Visual pohjautuu ITU-T:n H.263 standardiin [2, s.100]. MPEG-4 Visualin parannukset verrattuna vanhempaan MPEG-2:een mahdollistivat esimerkiksi kokonaisen elokuvan pakkaamisen hyvällä laadulla niin pieneen tilaan, että se mahtui CD-levylle. MPEG-4 Visualin ensimmäisiä toteutuksia olivat DivX ja Xvid, joista tuli tunnettuja laittoman tiedostonjaon myötä. MPEG-4 Visualia käytettiin myös paljon mobiililaitteissa ennen AVC:n ja HD-videoiden yleistymistä, esimerkiksi vanhemmissa Nokian Symbian-älypuhelimissa [3]. MPEG-4 Visualilla on 21 eri profiilia, jotka määrittävät, mitä työkaluja videonpakkauksessa käytetään. Esimerkkejä profiileista ovat Simple, Advanced Simple, Core, Main, N-bit, Simple Scalable ja Advanced Core [2, s.101]. Tässä työssä toisena enkooderina käytetään Xvidiä, joka toteuttaa Advanced Simple (ASP) profiilin, joka on Simple-profiilin laajennus. 3.2 MPEG-4 Part 10 AVC / H.264 MPEG-4 Part 10 Advanced Video Coding / H.264 on MPEG:n ja ITU-T:n yhdessä määrittämä videonpakkausstandardi. AVC-standardin ensimmäinen versio saatiin valmiiksi vuonna 2003 ja sen uusin versio on vuonna 2010 julkistettu versio 13. AVC on erittäin laajalti käytetty standardi, etenkin HD-videoiden pakkaamisessa, esimerkkejä sen käytöstä ovat mm. Blu-ray standardi vaatii, että kaikkien Blu-ray dekoodereiden pitää pystyä purkamaan AVC:tä [4]

13 8 Google käyttää AVC:tä niin Androidissa [5] kuin YouTuben HDvideoissa [6] Apple käyttää AVC:tä niin itunesissa kuin iphoneissa ja ipadeissä [7] Nokian Symbian^3 -pohjaiset laitteet käyttävät AVC:tä videonauhoitukseen [8]. AVC:ssä on 17 eri profiilia, jotka määrittävät, mitä menetelmiä pakkauksessa käytetään. Esimerkkejä profiileista ovat heikkotehoisiin laitteisiin tarkoitetut Constrained Baseline (CBP) ja paremmalla virheensietokyvyllä varustettu Baseline (BP), videon streamaukseen suunniteltu Extended Profile (XP), alun perin SD-videoille suunniteltu Main (MP) ja HD-videoille tarkoitettu High (HiP). Muita profiileja ovat scalable profiilit, stereoskooppiselle videolle tarkoitut profiilit ja High-profiilin variaatiot, jotka mahdollistavat muun muassa eri väri-formaatit ja häviöttömän pakkauksen. [2, s.322] Tässä työssä käytetään normaalia High-profiilia. 3.3 MPEG-4 Part 10:ssa ja Part 2:ssa käytetyt menetelmät ja niiden erot Koska molemmissa standardeissa on monta eri profiilia, joissa itsessään on erittäin suuria eroja menetelmien suhteen, kaikkien profiilien erojen vertailu olisi erittäin työlästä. Tässä työssä keskitytään vain MPEG-4 Part 2:n Advanced Simple profiilin (ASP) ja MPEG-4 Part 10:n High-profiilin (AVC-HiP) väliseen vertailuun. Vertailun ulkopuolelle jätetään myös limittäinen video. Molemmissa käytetään kappaleessa kaksi mainittuja perusmenetelmiä: väriavaruuden muutos, liikkeen mallinnus, taajuustasomuunnos ja entropiapakkaus. Väriavaruuden muutosta lukuun ottamatta ASP ja AVC-HiP eroavat toisistaan kaikilla osa-alueilla. Väriavaruuden muutoksessa niin ASP:ssä kuin AVC-HiP:ssä käytetään 4:2:0 formaattia [2, s. 106; 2, s.322]. AVC:ssä voi käyttää de-blocking suodatinta, joka vähentää DCT:n aiheuttamia neliön muotoisia artifakteja pakatussa videossa [2, s.184]. 3.4 Liikkeen mallintaminen MPEG-4:ssä Vaikka suurelta osin AVC-HiP ja ASP ovat liikkeen mallintamisen osalta samankaltaisia, AVC-HiP:ssä on muutamia merkittäviä parannuksia ASP:seen verrattuna. Siinä missä ASP:ssä referenssiruutujen määrä on rajoitettu yhteen P-ruutujen osalta (edellinen I- tai P-ruutu) ja kahteen B-ruutujen osalta (edellinen ja seuraava I- tai P-ruutu), AVC-HiP:ssä voi olla maksimissaan 16 referenssiruutua [1, s.315]. Tämä parantaa pakkaustehokkuutta etenkin sellaisissa videoissa, joissa on edestakaista liikettä, mutta haittapuolena on lisääntynyt muistintarve. Tämä ei ole niin suuri haitta PC:issä, joissa on muistia on yleensä riittävästi, mutta mobiililaitteissa tämä voi aiheuttaa ongelmia. Esimerkiksi Nokian Symbian^3 perheen tuotteissa (N8-00, C7-00, C6-01 ja E7-00) videonauhoituksessa käytetään vain yhtä referenssiruutua ja videontoistossa viittä referenssiruutua.

14 9 ASP:ssä makrolohkot ovat ryhmitelty perinteisesti ruuduittain ja jokaisessa I- ruudussa on vain I-makrolohkoja, P-ruuduissa P- ja I-makrolohkoja ja B-ruuduissa vain B-makrolohkoja. AVC:ssä makrolohkot ryhmitellään ruutujen sijaan I-, P- ja B- viipaleisiin. Viipaleet muodostuvat melkein samalla lailla kuin ruudut ASP:ssä, eli I- viipaleissa voi olla vain I-makrolohkoja, P-viipaleissa I- ja P-makrolohkoja mutta B- viipaleissa voi olla B-makrolohkojen lisäksi myös I-makrolohkoja. Yksittäiset ruudut muodostuvat eri viipaleista ilman erityisempiä rajoituksia, joten AVC:ssä ei ole pakko olla puhtaita I-ruutuja. [2, s.164] ASP:ssä makrolohkot ovat kooltaan 16x16 mutta AVC:ssä ruudut jaetaan korkean tason 16x16 makrolohkoihin, jotka voidaan vielä jakaa yhdistelmiksi pienempiä makrolohkoja kuten 4x4, 4x8 ja 8x8. Tämä mahdollistaa tehokkaamman liikkeen mallintamisen AVC:ssä [1, s. 314] Molemmat tukevat neljännespikselin tarkkuudella toimivaa liikkeenmallinnusta [1, s.314; 2, s.117]. ASP:ssä on myös mahdollista käyttää globaalia liikkeen mallintamista, joka mallintaa koko ruudun liikettä. Tällöin enkooderi luo maksimissaan neljä globaalia liikevektoria kuvaamaan koko ruudun liikettä. [2, s ] AVC:ssä käytetään myös ennustusta I-makrolohkoissa, samaan viipaleeseen kuuluvat I-makrolohkot voidaan ennustaa toisista ruudun makrolohkoista. [1, s.313] 3.5 Taajuustasomuunnos ja kvantisointi MPEG-4:ssä ASP käyttää taajuustason muunnoksessa perinteisesti 8x8 DCT:tä [2, s.108], mutta AVC:ssä muunnos on monimutkaisempi. AVC:ssä käytetään 4x4 Hadamard-muunnosta kirkkauskomponentin I-makrolohkojen DC-kertoimiin ja 2x2 Hadamard-muunnosta kaikkien makrolohkojen värikomponenttien DC-kertoimiin. Kaikki muut komponentit muutetaan muunnoksella, joka perustuu DCT:seen, mutta on toteutettu siten, että sen laskentakompleksisuus on yksinkertaisempi ja voidaan toteuttaa pelkästään kokonaislukuaritmetiikalla ja käyttäen mahdollisimman paljon yhteenlaskua ja bitshiftiä. [2, s.187] Kvantisaation osalta AVC:n ja ASP:n välillä ei ole merkittäviä eroja. 3.6 Entropiapakkaus MPEG-4:ssä ASP:ssä käytetään kappaleessa 2.4 kuvattua entropiapakkausta: DCT-kertoimet järjestetään zig-zag scanillä, muutetaan RLE-koodisanoiksi ja nämä koodisanat pakataan VLC:llä [2, s.108]. AVC-HiP:ssä kertoimien pakkaamiseen on kaksi vaihtoehtoa, context-adaptive variable-length coding (CAVLC) ja context-adaptive binary arithmetic coding (CABAC) [2, s.198]. CABAC on näistä kahdesta tehokkaampi pakkausmenetelmä, mutta se myös vaatii paljon enemmän laskentatehoa videon purkamisessa. CAVLC on laskennallisesti yksinkertaisempi, mutta silti vanhempia toteutuksia, kuten MPEG-4 Visualin entropiapakkausta, tehokkaampi.

15 CAVLC käyttää RLE:tä muodostamaan koodisanat, erona ASP:seen on muun muassa se, että nollien lisäksi CAVLC:ssä hyödynnetään sitä, että kvantisaation jälkeen kertoimista suuri osa on ykkösiä. CAVLC myös mukautuu pakattavan datan mukaan kahdella eri tavalla. Koska nollaa suurempien kertoimien voimakkuus on suurempi matalilla taajuuksilla kuin korkeilla, CAVLC valitsee look-up tablen sen mukaan kuinka voimakkaita viimeksi pakatut kertoimet olivat. Tämän lisäksi lohkossa olevien nollaa suurempien kertoimien määrää pakattaessa lookup-table valitaan sen mukaan, kuinka paljon nollaa suurempia kertoimia on viereisissä lohkoissa. Tämä johtuu siitä, että viereisten ruutujen nollaa suurempien kertoimien määrä korreloi vahvasti. CAVLC:tä voidaan käyttää kaikissa AVC:n profiileissa. CAVLC:tä käytettäessä muu pakattava tieto, kuten liikevektorit, referenssiruutuindeksit ja makrolohkojen tyypit, pakataan Exp- Golomb pakkauksella. [2, s.198, s ] CABAC käyttää aritmeettista koodausta binääridatalle. Aritmeettisessä koodauksessa muodostetaan desimaaliluku-koodisanoja. Pakattaville symboleille määritetään niiden todennäköisyyden mukaan desimaalilukuvälit väliltä 0-1: mitä todennäköisempi symboli on, sitä suurempi väli sille määrätään. Symboleja koodattaessa koodisana muodostuu siten, että joka kerta kun uusi merkki koodataan, jaetaan nykyisen koodisanan desimaalilukuväli uudestaan määrättyihin väleihin ja koodisanan desimaalilukuväli päivittyy vastaamaan uusinta symbolia. Lopullinen koodisana valitaan siltä desimaalilukuväliltä, jossa enkoodausalgoritmi on kun sekvenssin viimeinen merkki on käsitelty. Otetaan esimerkki, jossa pakataan lukuja 1, 2 ja 3 ja niille on todennäköisyyksien mukaan määrätty seuraavat välit: 1: : : Tällöin sekvenssille (3, 2, 1) muodostetaan koodisana seuraavilla askeleilla: 1. Ensimmäinen merkki on 3, joten valitaan väli Jaetaan väli uudestaan, jolloin väleiksi tulee , ja Luku 2 kuuluu väliin , joten tämä otetaan uudeksi väliksi. 4. Jaetaan väli uudestaan, jolloin väleiksi tulee , ja Luku 1 kuuluu väliin , joten koodisanaksi voidaan valita mikä tahansa luku väliltä Aritmeettisella koodauksella päästään yleensä lähemmäs teoreettista maksimi pakkaustehokkuutta kuin esimerkiksi Huffman-koodauksella. [2, s.69-72] CABACissa pakattava tieto muutetaan binäärimuotoon ja tämä pakataan käyttäen aritmeettista koodausta. Samalla kun dataa pakataan, aritmeettisessa koodauksessa käytettyjä todennäköisyysmalleja päivitetään, jolloin pakkaus mukautuu tehokkaammaksi. CABACia voidaan käyttää AVC:n Mainline ja High-profiileissa. [2, s ;9] 10

16 11 4 PAKKAUSTEHOKKUUDEN VERTAILU 4.1 Virheenlaskentamenetelmät Tässä työssä pakkauksessa syntyvän virheen arviointiin käytetään kahta yleisesti käytettyä suuretta: ns. structured similarity metriikkaa (SSIM) sekä signaalikohinasuhdetta (peak signal-to-noise ratiota; PSNR). PSNR on yleisesti käytössä oleva metriikka, joka perustuu keskineliövirheeseen (MSE). Se kuvaa signaalin virheen voimakkuutta suhteutettuna signaalin maksimiarvoihin. PSNR:ssä lasketaan ensin ruuduttain MSE vähentämällä pakattu ruutu alkuperäisestä ruudusta pikseleittäin, nämä erotukset korotetaan toiseen potenssiin ja näiden pikselikohtaisten erotusten neliöiden keskiarvo on ruudun MSE. MSE:stä saadaan PSNR jakamalla pikselikohtainen maksimiarvon neliö, yleensä 255, MSE:n neliöjuurella. PSNR ilmoitetaan logaritmisella asteikolla. PSNR on matemaattisesti yksinkertainen ja helppo toteuttaa ja sillä on selvä fysikaalinen merkitys. PSNR ei kuitenkaan ota huomioon miten ihmissilmä toimii, joten tietyissä tapauksissa videolla voi olla hyvä PSNR vaikkakin ihmissilmään kuvan laatu näyttää heikolta. Kuvien I ja K välinen PSNR voidaan laskea kaavoilla: MSE MN M N i 0 j 0 [ I( i, j) K( i, j)] n 2 PSNR 20log10( ) MSE Näissä MxN on kuvan koko ja n on pikseliä kohden käytetty bittien määrä. [1, s.233] SSIM on metriikka, jossa on otettu enemmän huomioon kuinka ihmissilmä näkee kuvia. SSIM:ssä tehdään vertailu alkuperäisen ja vertailukuvan välillä kolmella eri tasolla: kirkkaus, kontrasti ja rakenne. Nämä kolme eri komponenttia ovat suhteellisen itsenäisiä ja ne eivät vaikuta toisiinsa. Kirkkausvertailu tehdään laskemalla vertailtavien kuvien intensiteetin keskiarvo ja vertailemalla niitä. Kirkkausvertailun jälkeen kuvasta vähennetään intensiteetin keskiarvo ja tälle tehdään kontrastivertailu. Kontrastivertailuun käytetään keskihajontaa. Rakennevertailua varten signaali normalisoidaan jakamalla se keskihajonnalla. Lopullinen SSIM arvo saadaan yhdistämällä nämä kolme eri vertailua yhteen ja haluttaessa voidaan käyttää eri painokertoimia eri osavertailuille. SSIM laskennan lohkokaavio on kuvassa

17 12 Kuva 4.1. SSIM lohkokaavio [10] SSIM:n lopputulos on luku 0:n ja 1:n väliltä. Luku 1 vastaa sitä että kuvat ovat identtiset. [10] 4.2 Mittausten suoritus Mittauksissa käytettiin kolmea videota, ensimmäinen video on bfbc2game, joka on tietokoneella otettu ruudunkaappaus Battlefield Bad Company 2 tietokonepelistä. Alkuperäinen video kaapattiin resoluutiolla 1280x ruutua sekunnissa ja se skaalattiin resoluutioon 960x528. Videossa on erittäin paljon nopeaa liikettä koko ruudun alueella ja tekstejä ympäri videota jotkin tekstit näkyvät koko ajan ja jotkin ilmaantuvat kesken videon. Toinen video on combi_canoe_city, jossa resoluutio on 640x480 ja ruudunpäivitysnopeus 25 ruutua sekunnissa. Videon alussa mies meloo kanootilla joella ja videon toinen puoli on maisemakuvaa kaupungista. Kolmas video on foreman, jossa resoluutio on 352x288 ja ruudunpäivitys nopeus 25 ruutua sekunnissa. Foremanissa videon alussa kuvataan miehen kasvoja, mies puhuu ja liikuttelee päätänsä ja lopussa kuva kääntyy nopeasti eri suuntaan. Testimateriaalin hankkimista vaikeutti se, että videoiden piti olla pakkaamattomia. Internetistä löytyi aika helposti pieniresoluutioisia testivideoita, esimerkiksi työssä käyetty 352x288 Foreman-video, mutta sitä korkeamman resoluution videoita oli vaikea löytää. Videot pakattiin AVC-HiP muotoon käyttäen x264:ää [11] ja MPEG-4 ASP muotoon käyttäen Xvidiä [12]. Enkoodereiden käyttöliittymänä toimi MeGui [13]. Bfbc2game pakattiin bittinopeuksilla kpbs 1000kbps:n välein, combi_canoe_city videossa pakkauksen bittinopeudet olivat kbps 500kpbs:n välein ja foreman videossa bittinopeudet olivat kbps 100kbps:n välein. Koska enkooderin antama todellinen bittinopeus ei ole yleensä vastaa täysin alkuperäisesti asetettua bittinopeutta, pakattujen videoiden bittinopeudet luettiin Windows 7:n tiedostonhallinnalla. Kaikki pakatut videot purettiin YCbCr-formaattiin käyttäen FFmpegiä [14]. Virhemetriikat laskettiin käyttäen MSU Video Quality Measurement Tool

18 13 ohjelmaa [15]. Ohjelmalle annettiin syötteenä alkuperäinen pakkaamaton video ja pakkauksen jälkeen puretut videot. Ohjelman ulostulona saatiin pakattujen videoiden ruutukohtaiset PSNR:t ja SSIM:t ja näiden keskiarvot. 4.3 Tulokset Bfbc2game videossa AVC:llä pakatuissa videoissa oli vastaavilla bittinopeuksilla noin 1-2db paremmat PSNR arvot kuin ASP:llä. Ero kasvoi bittinopeuden kasvaessa, alhaisilla bittinopeuksilla eroa oli noin 1db ja korkeilla noin 2db. Samaan PSNR:ään tarvittiin ASP:llä noin 30-40% suurempi bittinopeus kuin AVC:llä. SSIM:n osalta ero oli väliltä AVC:n eduksi. Mitatut PSNR arvot Bfbc2game videolle ovat kuvassa 4.2. SSIM erot pienenevät suuremmilla bittinopeuksilla, pienemmillä bittinopeuksilla ASP tarvitsi samaan SSIM arvoon noin 60% suuremman bittinopeuden, korkeammilla bittinopeuksilla noin 40% suuremman bittinopeuden. Mitatut SSIM arvot ovat kuvassa 4.3. Visuaalisesti katsottuna erot alhaisilla bittinopeuksilla olivat erittäin suuret, noin 1000kbps bittinopeudella pakattu AVC oli huomattavasti miellyttävämpää katseltavaa kuin 1500kbps nopeudella pakattu ASP. Videossa olevat tekstit olivat suurelta osin luettavia AVC:ssä kun taaskin ASP:llä vain suurimmista teksteistä sai selvää. ASP:ssä näkyy myös erittäin voimakkaasti neliön muotoisia artefakteja, AVC:n kuvanlaadun ollessa paljon pehmeämpää vaikkakin neliö-artefakteja näkyi myös AVC:ssä. Noin 4500kpbs bittinopeudella AVC:stä neliö-artefaktit olivat kadonneet käytännössä täysin, mutta ASP:ssä niitä näkyi vielä 10000kbps bittinopeuksillakin. Kuvissa 4.4 ja 4.5 on esimerkit visuaalisesta laadusta keskisuurella bittinopeudella. Korkeilla bittinopeuksilla erot eivät olleet niin häiritseviä kuin alhaisilla nopeuksilla, mutta ero oli silti erittäin huomattava: AVC:llä pakatut videot olivat paljon terävämpiä kuin ASP:llä pakatut, etenkin tekstien ympäriltä.

19 14 Kuva 4.2. BFBC2game videon PSNR Kuva 4.3. BFBC2game videon SSIM

20 15 Kuva 4.4. BFBC2game, AVC, 5967 kbps Kuva 4.5. BFBC2game, ASP, 5553 kbps Combi_canoe_city videossa erot PSNR:ssä olivat samoilla bittinopeuksilla alle 1db. Myös samaan PSNR:ään tarvittava bittinopeuden nosto ASP:ltä oli pienempi kuin Bfbc2game videossa, noin 15%. Combi_canoe_city videon mitatut PSNR:t ovat kuvassa 4.6. Myös SSIM:ssä erot olivat pienemmät, alhaisilla bittinopeuksilla eroa oli alle 0.04, korkeammilla ero putosi 0.01:een. Mitatut SSIM arvot ovat kuvassa 4.7. Visuaalisesti tarkasteltuna alhaisilla bittinopeuksilla ASP:ssä oli jälleen erittäin häiritseviä neliö-artefakteja, joita AVC:ssä ei näkynyt selvästi edes alhaisilla bittinopeuksilla. Kuvissa 4.8 ja 4.9 on esimerkit näistä alhaisen bittinopeuden neliöartefakteista. Suurimmat erot keskivälin bittinopeuksilla olivat videon alkuosassa, jossa

21 16 on enemmän nopeaa liikettä. Kaupunkinäkymässä erot jäivät pieniksi. Suurilla bittinopeuksilla oli vaikeaa sanoa, kumpi videoista näytti paremmalta. Kuva 4.6. Combi_canoe_city videon PSNR Kuva 4.7. Combi_canoe_city videon SSIM

22 17 Kuva 4.8. Combi_canoe_City, AVC, 1122 kbps Kuva 4.9. Combi_cano_city, ASP, 1201 kbps

23 18 Foreman-videossa PSNR:n erot olivat samoilla bittinopeuksilla noin 2-2.5db. Tämä ero pysyi aika tasaisena bittinopeuksista riippumatta, mutta samaan PSNR:ään ASP:llä piti käyttää melkein kaksinkertaista bittinopeutta. Mitatut PSNR:t ovat kuvassa SSIM:ssä oli erittäin suuret erot pienillä nopeuksilla, noin 100 kpbs:llä eroa oli lähes 0.1 ja noin 300 kpbs:llä eroa oli noin Korkeammilla bittinopeuksilla ero tasaantui 0.01:een. AVC:n SSIM:ään tarvittiin lähes kaksinkertainen bittinopeus ASP:llä. Foreman-videolle mitatut SSIM arvot ovat kuvassa Visuaalisesti katsottuna ASP:ssä oli pienillä bittinopeuksilla jälleen erittäin pahoja neliö-artefakteja, AVC:ssä näitä ei näkynyt kovin paljon edes pienillä bittinopeuksilla. Nämä neliöartefaktit olivat häiritseviä myös keskivälin bittinopeuksilla ja katosivat vasta korkeimmilla bittinopeuksilla. AVC:n kuva oli terävämpi keskisuurilla ja korkeilla bittinopeuksilla. Keskisuurilla bittinopeuksilla molemmissa oli häiritsevää sumeutta videossa olevan liikkuvan pään ympärillä. AVC:ssä tämä katosi korkeilla bittinopeuksilla, mutta ASP:ssä se näkyi vielä korkeimmallakin nopeudella. Tämän sumeuden näkee vertailemalla kuvia 4.12 ja Kuva Foreman videon PSNR

24 Kuva Foreman videon SSIM 19

25 20 Kuva 4.12 Foreman, AVC, 936 kpbs Kuva 4.13 Foreman, ASP, 880kbps AVC on siis mittausten mukaan parempi jokaisessa kolmessa testivideossa jokaisella mittauksissa käytetyllä bittinopeudella ja ASP:ssä pitää käyttää % suurempaa bittinopeutta, jotta saavutetaan mittauksellisesti sama laatu. Visuaalisesti

26 tarkasteltuna AVC on kaikissa kolmessa videossa huomattavasti parempi pienillä bittinopeuksilla ja kahdessa kolmesta huomattavasti parempi keskisuurilla ja suurilla bittinopeuksilla. ASP:n suurimmat heikkoudet ovat neliö-artefaktit pienillä ja keskisuurilla bittinopeuksilla ja terävyyden puute korkeilla bittinopeuksilla. Esimerkki alhaisen bittinopeuden neliö-artefakteista on kuvissa 4.8 ja 4.9, etenkin vasemmalla olevan henkilön kasvoissa. Kuvissa 4.4 ja 4.5 on esimerkki keskisuurien bittinopeuksien neliö-artefakteista, etenkin aseen suuliekin reunoilla. Kuvista 4.12 ja 4.13 näkee terävyyden erot korkeilla bittinopeuksilla, etenkin henkilön silmissä ja pään reunoilla. Pakkaukseen tarvittavat laskenta-ajat olivat AVC:llä jopa viisinkertaiset verrattuna ASP:seen. Tämä todennäköisesti johtui suurelta osin siitä, että AVC:ssä oli käytössä 16 referenssiruutua ja tämä lisää huomattavasti liikkeen mallintamiseen tarvittavaa laskentaa. Myös AVC:ssä käytetty CABAC hidastaa pakkausta verrattuna ASP:n VLC-koodaukseen. Pitää myös ottaa huomioon se, että testit tehtiin käyttäen PC:tä, jos käytössä olisi ollut erityisesti videonpakkaukseen suunniteltua laitteistoa, AVC:n pakkausnopeus olisi voinut olla parempi. Videoiden purkamisnopeuksissa ei huomattu suuria eroja, niin AVC kuin ASP videoiden purku tapahtui reaaliaikaisesti. 21

27 22 5 YHTEENVETO Työssä tutkittiin kahta suhteellisen modernia videonpakkausstandardia. Standardeja vertailtiin käyttäen kolmea sisällöltään hyvin erilaista ja eri resoluutioista videota ja vertailut tehtiin kahdella eri laskennallisella metriikalla ja visuaalisella tarkastelulla. Vertailussa uudempi MPEG-4 AVC standardi osoittautui vanhempaa MPEG-4 Visual standardia paremmaksi kaikilla testivideoilla niin laskennallisilla metriikoilla kuin visuaalisesti tarkasteltuna. Eroissa oli vaihtelua, mutta pääsääntöisesti AVC oli visuaalisesti huomattavasti parempi pienillä ja keskisuurilla bittinopeuksilla ja parempi myös suurilla bittinopeuksilla. Käytetyistä metriikoista SSIM korreloi paremmin visuaalisen tarkastelun tulosten kanssa kuin PSNR. Työn lopputuloksesta voisi päätellä, että ei ole enää tarvetta käyttää MPEG-4 Visualia AVC:n sijaan, mutta pitää ottaa huomioon, että työssä keskityttiin vain pieneen osaan standardeja: mittaukset tehtiin vain yhdellä AVC:n ja yhdellä MPEG-4 Visualin profiililla. Sen lisäksi tämä työ käsitteli pääosin pelkästään videon laatua ja lopullista pakkaustehokkuutta, laskennallista kompleksisuutta ei tutkittu tarkasti videon pakkauksessa tai purkamisessa, joten AVC:n tuoma pakkaustehokkuus voi jäädä hyödyttömäksi jos käytössä on heikompitehoista laitteistoa, joka ei pysty pakkaamaan tai purkamaan AVC:tä reaaliaikaisesti. Kuitenkin, jos videonpakkauksen ei tarvitse tapahtua reaaliaikaisesti, kuten esimerkiksi PC:llä pakattaessa, ja videota toistettaessa käytössä on tarpeeksi tehokas laitteisto, on AVC selvästi ASP:tä parempi vaihtoehto.

28 23 LÄHTEET [1] Bovik, A. The Essential Guide to Video Processing: Second Edition, San Diego 2009, Academic Press 751p. [2] Richardson, I. H.264 and MPEG-4 VIDEO COMPRESSION Video Coding for Next-generation Multimedia, Chichester 2003, Wiley 281p. [3] Nokia, Device Details C6-00, [WWW], 2011, [viitattu: ], Saatavissa: [4] Blu-ray Disc Assosciation, Application Definition Blu-ray Disc Format, [WWW], 2005, [viitattu ], Saatavissa: Assets/Downloadablefile/bdj_gem_application_definition pdf [5] Google, Supported YouTube file formats, [WWW], 2010, [viitattu: ], Saatavissa: answer=55744 [6] Google, Android Supported Media Formats, [WWW], 2011, [viitattu: ], Saatavissa: [7] Apple, iphone 4 Technical Specifications, [WWW], 2011, [viitattu: ], Saatavissa: [8] Nokia, Device Details N8-00, [WWW], 2011, [viitattu: ] Saatavissa: [9] Rissanen, J.J. Generalized Kraft Inequality and Arithmetic Coding, IBM Journal of Research and Development, 20 (1976) 3, pp [10] Wang, Z. et al. Image Quality Assessment: From Error Visiblity to Structural Similarity, IEEE Transactions on Image Processing, 13 (2004) 4, pp [11] VideoLAN, x264, [WWW], 2011, [viitattu: ], Saatavissa: [12] Xvid, [WWW], 2011, [viitattu: ], Saatavissa:

29 24 [13] MeGui, [WWW], 2011, [viitattu: ], Saatavissa: [14] FFmpeg, [WWW], 2011, [viitattu: ], Saatavissa: [15] Compression.ru, MSU Video Quality Measurement Tool, [WWW], 2008, [viitattu: ], Saatavissa: video_measurement_tool_en.html