Digitaalinen media Petri Vuorimaa
Luennon sisältö Mitä on digitaalinen media? Mediatyypit Teks; Grafiikka Audio Kuva Video Siirtoformaa;t 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 2
Median osuus Teks;data (XML) Tiedon tallentamisen perusteet Yksinkertaiset mediatallenteet (BMP) Häviölliset tallenteet (.mp3,.jpeg) Mul;media, video (MPEG,) AD- muunnos Todellisuuden peiväminen (VR) Tietokonegrafiikan perusteet Todellisuuden lisääminen (AR) 2.3. Luento Jyry Suvilehto 30.3. Luento Petri Vuorimaa 23.3. Luento Tapio Takala 16.3. Luento Lauri Savioja 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 3
Synteesiosuus Tiedon tallevaminen Tiedon verkovuminen SemanZnen web ja avoin yhdistevy ;eto TuoVeiden ja palveluiden kehiväminen Tiedonsiirto Digitaalinen media Tietoverkko- liiketoiminta 15.4. Luento Eero Hyvönen 20.4. Luento Vesa Kantola 6.5. Luento Sakari Luukkainen 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 4
MITÄ ON DIGITAALINEN MEDIA? 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 5
Mitä on digitaalinen media? Tannenbaum: VuorovaikuVeinen ;etokoneavusteinen esitys, joka sisältää vähintään kaksi seuraavista mediaelementeistä: teks;, ääni, kuva, video ja animaa;o Vuorimaa: 1. Monta mediaa 2. Vuorovaikutus 3. Aika 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 6
Media 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 7
Jatkuva- aikainen media Animaa;ot (virtuaalitodellisuus) Audio Video Miten jatkuva- aikainen media eroaa tavallisesta mediasta? 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 8
Jatkuvan median käsivelyvaiheet Kaappaus Esi- käsively A/D- muunnos Pakkaus Siirto Toisto Jälki- käsively D/A- muunnos Purku 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 9
Vuorovaikutus Vuorovaikutustapa: passiivinen, reak;ivinen, proak;ivinen, tuovava Vuorovaikutuksen taso: käyvöliivymä, sovellus, palvelu, toinen käyväjä Vuorovaikutuksen määrä: ;lausvideo, sähköpos;, videoneuvovelu, videopeli, virtuaalitodellisuus 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 10
Aika Esityksen komponen;t on sijoiteltu aika- avaruuteen Eri komponen;t on synkronoitu (eli tahdistevu) keskenään Esitysjärjestelmä tms. huoleh;i, evä synkronoin; toteutuu (nk. orkestroin;) 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 11
TEKSTI 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 12
Teks; ASCII Teks;dokumen;t Microsoe Word, Adobe Acrobat Rakenteiset dokumen;t SGML, HTML, XML Hyperteks; Hypercards 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 13
GRAFIIKKA 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 14
Grafiikka BiZkarVa- grafiikka maalaukset Microsoe Paint Vektorigrafiikka piirrokset OpenGL Postscript 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 15
AUDIO 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 16
Äänen fyysiset ominaisuudet Amplitudi db = 20 log10(a/b) Kuuloraja on 0 db ja kipuraja n. 100-120 db Jakson aika / Taajuus Hz = 1/s Kuuloalue on n. 20 Hz - 20 khz 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 17
Pulssikoodimodulaa;o Äänestä otetaan näyveitä näytetaajuudella Näytetaajuuden pitää olla vähintään kaksi kertaa maksimitaajuus (nk. Nyquist taajuus) Yleisiä näytetaajuuksia 8, 44.1 ja 48 KHz 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 18
Pulssikoodimodulaa;o (jatk.) Signaalin amplitudi näyveenovohetkellä muutetaan numeroarvoksi Pulse Code Modula;on (PCM) NäyVeidenoVo aiheuvaa kvan;soin;virheen 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 19
Taajuusmuunnos Luonnolliset äänet koostuvat ;etystä perustaajuudesta ja sen harmonisista monikerroista Ääni voidaan tällöin esivää käteväs; myös taajuusmuodossa 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 20
Klarine;n ääni 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 21
Taajuusmuoto 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 22
Taajuusmuunnos (jatk.) Fourier muunnoksen kertomet esivävät signaalia taajuus- ulovuvuudessa Sta;onaariset signaalit voidaan esivää tarkas; Fourier- muunnoksen avulla MuuVuvien signaalinen tapauksessa käytetään diskreezä Fourier- muunnosta Yleensä käytetään Fast Fourier Transforma;on (FFT) - algoritmia 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 23
Psykoakus;ikka Kuuloais;n ominaisuudet kannavaa huomioida äänen koodauksessa Ääntä kannavaa tarkastella taajuusulovuvuudessa Kuuloraja riippuu taajuudesta Korva on herkkä spektrin laaksoille ja kukkuloille (ns. forman;t) esim. vokaalien tunnistus 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 24
Kuuloraja 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 25
Psykoakus;ikka (jatk.) Amplitudi Tietylllä taajuudella esiintyvä ääni nostaa kuulorajaa laajemmalla taajuusalueella Taajuus 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 26
Pakkausmenetelmät Esim. maskaus- efek;ä voidaan hyödyntää koodauksessa Signaali jaetaan taajuusalueisiin, jotka koodataan erikseen (Subband coding) Esim. Mini Disc - levyt (Sony), DCC- kase;t (Philips) ja MPEG- audio 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 27
MP3- pakkausalgoritmi Begin Subband analysis Scale factor calcula;on Coding of scale factors FFT analysis Calcula;on of masking and required bit alloca;on Determina;on of nontransmived subbands Adjustment to fixed bit- rate Quan;za;on of samples Coding of samples Coding of bit alloca;on FormaZng and transmission End 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 28
KUVA 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 29
Kuvan ja videon koodaus Menetelmät voivat olla hukkaavia tai hukkaamavomia Yleisin hukkaava menetelmä on DCT- muunnos Esim. Huffman koodaus on hukkaamaton 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 30
Koodausmenetelmät Kuvien koodaus JPEG (Joint Photographic Expert Group) Videon koodaus H.261, H.263 MPEG (Mo;on Picture Expert Group) Koodausmenetelmät hyödyntävät yleensä useampi erilaisia koodaustekniikoita 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 31
JPEG - TavoiVeet Kompressiosuhde / kuvanlaatu voidaan valita Sopii mihin tahansa kuviin Sekä ohjelmisto evä laiveisto Neljä eri moodia: sekven;aalinen koodaus (alkuperäinen järjestys) progressiivien koodaus (monivaiheinen koodaus) hukkaamaton koodaus (täydellinen toisto) hierarkinen koodaus (monta eri resoluu;ota) 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 32
JPEG - Arkkitehtuurit Hukkaavissa moodeissa käytetään DCT- koodausta 8 x 8 pikselin lohkoille Sekven;aalisessa moodissa lohkojen DCT- kertoimet lähetään lohko kerrallaan Progressiivisessa moodissa kertoimet talletetaan muis;in ja lähetetään ryhmissä Hierarkisessa moodissa valitaan erilaisia resoluu;ota koodavavaksi 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 33
Sekven;aalinen JPEG 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 34
Progressiivinen JPEG 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 35
Hierarkinen JPEG 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 36
Hukkaamaton JPEG 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 37
DCT- koodaus ja kvan;soin; Kertoimet voidaan esivää matriisina Kvan;soin; tehdään kvan;soin;taulukon määräämän taulukon mukaises; Kertoimet järjestetään Zig- Zag muotoon Näin nolla- kertoimet saadaan koodin loppuun Run- Length - koodaus eliminoi nollat 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 38
DCT- koodaus 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 39
DCT- perusfunk;ot 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 40
Tilastollinen koodaus Käytössä joko Huffman tai aritmeeznen koodaus Huffman koodaus edellyvää erillistä taulukkoa AritmeeZnen koodaus ei tarvitse taulukkoa, muva vaa;i enemmän laskentaa Lisäksi aritmeezsen koodauksen kompressioaste 5-10 % parempi 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 41
Hukkaamaton koodaus Hukkaamaton koodaus käyvää ennustusta Käytössä on seitsemän eri vaihtoehtoa kuinka monta ja mitä pikseliä käytetään Ennustava koodaus pääsee kompressiosuhteeseen 2:1 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 42
JPEG - Tehokkuus 0,25-0,5 bpp: kohtalainen - hyvä laatu 0,5-0,75 bpp: hyvä - eriväin hyvä laatu 0,75-1,5 bpp: eriväin hyvä laatu 1,5-2,00 bpp: ei erotu alkuperäisestä 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 43
VIDEO 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 44
MPEG MuistuVaa JPEG- menetelmää Lisäksi huomioitu liikkuvan kuvan ominaisuudet Peräkkäisissä kuvissa on vähän eroja Kuvissa on liikkuvia objekteja Kuvasarjat vaihtuvat harvoin Toteutus on tämän takia monimutkaisempi Usein tarvitaan laiveistototeutusta 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 45
Liikkeenennustus Peräkkäisistä kuvista etsitään muutoskohdat Lohkoille lasketaan liike- ennusteet Ennusteita kutsutaan liikevektoreiksi ja ne lähetetään osana koodavua informaa;ota 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 46
30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 47
Erotuskuvat Ennustetusta ja todellisesta kuvasta lasketaan erotuskuvat Erotuskuvasta lähetetään vain muutoskohdat MPEG-menetelmässä hyödynntetään myös ennustusta kahteen suuntaan: I = alkuperäiset kuvat P = eteenpäin ennustus B = ennustus kahteensuuntaan 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 48
MPEG- kuvasarja 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 49
SIIRTOFORMAATIT 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 50
Siirtoformaa;t Mul;mediasovellusten yhteistoiminta ja siirto verkossa vaa;i yhtenäisiä siirtoformaaveja SiirtoformaaZ määrivelee: ajan, paikan, rakenteen ja toiminnan (proseduurit) Ilman siirtoformaaza yhdellä sovelluksella tuotevua sisältöä ei voi lukea ja käyvää toisella sovelluksella Konversiotyökalut on huono ratkaisu 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 51
Sovellusalueet Yhtenäistä siirtoformaaza voidaan käyvää moneen tarkoitukseen: tallennusformaaz (esim. Macromedia Director) siirtoformaaz (esim. CD- ROM) reaaliaikainen siirtoformaaz (esim. digitaalinen tv) sovellusten välinen ;edonsiirto (esim. ryhmätyö) 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 52
Vaa;mukset Datamalli: aika, synkronoin;, eri formaa;t, osoitus, hyperlinkit, interak;ivisuus Skrip;t: ohjelmoin;kieli tai graafinen ohjelmoin; KapasiteeZ: määrively ei yleensä vie paljon ;laa Hakuaika: purku oltava nopeaa, progressiivinen resoluu;o ym. SiirreVävyys: laiveisto- ja alustariippumavomuus LaajenneVavuus: uudet formaa;t, atribuu;t jne. 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 53
MHEG ISO:n työryhmä Oliopohjainen mul;- ja hypermedian siirtoformaaz Tukee interak;ivisuuva ja reaaliaikaista siirtoa MääriVelee lopullisen esitysmuodon 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 54
Ominaisuudet MääriVelee joukon alustariippumavomia komponenveja interak;ivisuuva varten Interak;ivuus voidaan toteuvaa kahdella tapaa: komponen;t linkitetään erilaisiin tapahtumiin käytetään skriptauskieltä Tapahtumat syntyvät ajoitusmäärityksistä tai käyväjän toimenpiteistä 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 55
Ominaisuudet (jatk.) Sekä paikallisen evä ajallisen sijainnin määrively mahdollista Makrojen avulla voidaan määritellä monimutkaisia objekteja malleja käyväen Sisältää myös tukea reaaliaikaista siirtoa varten 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 56
MHEG- luokkahierarkia MH- object Behavior Ac;on Link Script Component Content Interac;on Selec;on Modifica;on Composite Descriptor Macro Macro Defini;on Macro Use 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 57
HTML HTML on myös siirtoformaaz Ominaisuudet ovat rajallisia HTML = rakenteinen dokumenz, linkit DOM- malli mahdollistaa sisällön muokkauksen ECMAScript (JavaScript) = interak;ivisuus Tyylisivut (Cascading Style Sheets) = sijoivelu Synkronoin; puuvuu SMIL 3.0 External Timing Module 30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 58