Mul$media Jyry Suvilehto Alkuperäiset kalvot Petri Vuorimaa
Luennon sisältö Mitä on mul$media? Mediatyypit Teks$ Grafiikka Audio Kuva Video Siirtoformaa$t 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 2
MITÄ ON MULTIMEDIA? 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 3
Mitä on mul$media? Tannenbaum: VuorovaikuLeinen $etokoneavusteinen esitys, joka sisältää vähintään kaksi seuraavista mediaelementeistä: teks$, ääni, kuva, video ja animaa$o Vuorimaa: 1. Monta mediaa 2. Vuorovaikutus 3. Aika 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 4
Media Media Modaliteetti Dynaamisuus Lähde Teksti Visuaalinen Kerta Keinotekoinen Kuva Visuaalinen Kerta Luonnollinen Grafiikka Visuaalinen Kerta Keinotekoinen Animaatio Visuaalinen Jatkuva Keinotekoinen Ääni Auraalinen Jatkuva Luonnollinen/ Keinotekoinen Video Visuaalinen Jatkuva Luonnollinen 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 5
Jatkuva- aikainen media Animaa$ot (virtuaalitodellisuus) Audio Video Miten jatkuva- aikainen media eroaa tavallisesta mediasta? 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 6
Jatkuvan median käsilelyvaiheet Kaappaus Esi- käsilely A/D- muunnos Pakkaus Siirto Toisto Jälki- käsilely D/A- muunnos Purku 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 7
KäsiLelyvaiheet Digitaalinen videokamera Kaappaus Esi- käsilely A/D- muunnos Pakkaus Siirto Tietokone/soi$n Toisto Jälki- käsilely D/A- muunnos Purku 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 8
Uudelleenmasteroitu CD Kaappaus Levy- yh$ö pyytää 2009 tyypin yhdistämään nauhat uudestan re- mastering Kaappaus Esi- käsilely A/D- muunnos Pakkaus Kaappaus YhdisteLy kappale digitoidaan ja pakataan CD- DA- formaa^in ja poltetaan levylle Beatles soilaa 60- luvulla originaalit musiikkinauhalle (jokainen soi$n erikseen) 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 9
Vuorovaikutus Vuorovaikutustapa: passiivinen, reak$ivinen, proak$ivinen, tuolava Vuorovaikutuksen taso: käylöliilymä, sovellus, palvelu, toinen käyläjä Vuorovaikutuksen määrä: $lausvideo, sähköpos$, videoneuvolelu, videopeli, virtuaalitodellisuus 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 10
Aika Esityksen komponen$t on sijoiteltu aika- avaruuteen Eri komponen$t on synkronoitu (eli tahdistelu) keskenään Esitysjärjestelmä tms. huoleh$i, elä synkronoin$ toteutuu (nk. orkestroin$) 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 11
TEKSTI 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 12
Teks$ ASCII Teks$dokumen$t Microsoa Word, Adobe Acrobat Rakenteiset dokumen$t SGML, HTML, XML Hyperteks$ 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 13
GRAFIIKKA 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 14
Grafiikka Bi^karLa- grafiikka maalaukset Microsoa Paint Vektorigrafiikka piirrokset OpenGL Postscript 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 15
AUDIO 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 16
Äänen fyysiset ominaisuudet Amplitudi db = 20 log10(a/b) Kuuloraja on 0 db ja kipuraja n. 100-120 db Jakson aika / Taajuus Hz = 1/s Kuuloalue on n. 20 Hz - 20 khz 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 17
Pulssikoodimodulaa$o Äänestä otetaan näyleitä näytetaajuudella Näytetaajuuden pitää olla vähintään kaksi kertaa maksimitaajuus (nk. Nyquist taajuus) Yleisiä näytetaajuuksia 8, 44.1 ja 48 KHz 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 18
Pulssikoodimodulaa$o (jatk.) Signaalin amplitudi näyleenolohetkellä muutetaan numeroarvoksi Pulse Code Modula$on (PCM) NäyLeidenoLo aiheulaa kvan$soin$virheen 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 19
Taajuusmuunnos Luonnolliset äänet koostuvat $etystä perustaajuudesta ja sen harmonisista monikerroista Ääni voidaan tällöin esilää käteväs$ myös taajuusmuodossa 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 20
Klarine$n ääni 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 21
Taajuusmuoto 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 22
Taajuusmuunnos (jatk.) Fourier muunnoksen kertomet esilävät signaalia taajuus- uloluvuudessa Sta$onaariset signaalit voidaan esilää tarkas$ Fourier- muunnoksen avulla MuuLuvien signaalinen tapauksessa käytetään diskree^ä Fourier- muunnosta Yleensä käytetään Fast Fourier Transforma$on (FFT) algoritmia Normaali Fourier- muunnos O(n^2), FFT O(n log n) 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 23
Psykoakus$ikka Kuuloais$n ominaisuudet kannalaa huomioida äänen koodauksessa Ääntä kannalaa tarkastella taajuusuloluvuudessa Kuuloraja riippuu taajuudesta Korva on herkkä spektrin laaksoille ja kukkuloille (ns. forman$t) esim. vokaalien tunnistus 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 24
Kuuloraja 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 25
Psykoakus$ikka (jatk.) Amplitudi Tietylllä taajuudella esiintyvä ääni nostaa kuulorajaa laajemmalla taajuusalueella Voimakkaampi ääni peilää heikomman Taajuus 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 26
PeiLoilmiö (masking effect) Korvan simpukka (cochlea) sisältää ais$nsoluja Lähellä olevia taajuuksia ais$vat solut ovat lähellä toisiaan Vastaava ilmiö ajassa läheisille äänille syntyy syvempänä keskushermostossa 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 27
Pakkausmenetelmät Esim. maskaus- efek$ä voidaan hyödyntää koodauksessa Signaali jaetaan taajuusalueisiin, jotka koodataan erikseen (Subband coding) Esim. Mini Disc - levyt (Sony), DCC- kase$t (Philips) ja MPEG- audio 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 28
MP3- pakkausalgoritmi Begin Subband analysis Scale factor calcula$on Coding of scale factors FFT analysis Calcula$on of masking and required bit alloca$on Determina$on of nontransmiled subbands Adjustment to fixed bit- rate Quan$za$on of samples Coding of samples Coding of bit alloca$on Forma^ng and transmission End 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 29
KUVA 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 30
Kuvan ja videon koodaus Menetelmät voivat olla hukkaavia tai hukkaamalomia Yleisin hukkaava menetelmä on DCT- muunnos Esim. Huffman koodaus on hukkaamaton 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 31
Koodausmenetelmät Kuvien koodaus JPEG (Joint Photographic Expert Group) Videon koodaus H.261, H.263, H.264 MPEG (Mo$on Picture Expert Group) Koodausmenetelmät hyödyntävät yleensä useampi erilaisia koodaustekniikoita 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 32
JPEG - TavoiLeet Kompressiosuhde / kuvanlaatu voidaan valita Sopii mihin tahansa kuviin Sekä ohjelmisto elä laileisto Neljä eri moodia: sekven$aalinen koodaus (alkuperäinen järjestys) progressiivien koodaus (monivaiheinen koodaus) hukkaamaton koodaus (täydellinen toisto) hierarkinen koodaus (monta eri resoluu$ota) 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 33
Kuvanlaadun valinta 4,3 kilotavua 190 kilotavua 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 34
JPEG - Arkkitehtuurit Hukkaavissa moodeissa käytetään DCT- koodausta 8 x 8 pikselin lohkoille Sekven$aalisessa moodissa lohkojen DCT- kertoimet lähetään lohko kerrallaan Kuva latautuu rivi riviltä (8x8 pikselin pala kerrallaan) Progressiivisessa moodissa kertoimet talletetaan muis$in ja lähetetään ryhmissä Kuva tarkentuu pikkuhiljaa lopulliseksi Hierarkisessa moodissa valitaan erilaisia resoluu$ota koodalavaksi Ensin pieni kuva, silen isompi kuva,, lopullinen kuva 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 35
Sekven$aalinen JPEG 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 36
Progressiivinen JPEG 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 37
Hierarkinen JPEG 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 38
Hukkaamaton JPEG 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 39
DCT- koodaus ja kvan$soin$ l l l l l Kertoimet voidaan esilää matriisina Kvan$soin$ tehdään kvan$soin$taulukon määräämän taulukon mukaises$ Kertoimet luetaan Zig- Zag - järjestyksessä Näin nolla- kertoimet saadaan koodin loppuun Run- Length - koodaus eliminoi nollat 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 40
DCT- koodaus 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 41
DCT- perusfunk$ot 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 42
Tilastollinen koodaus Käytössä joko Huffman tai aritmee^nen koodaus Huffman koodaus edellylää erillistä taulukkoa Aritmee^nen koodaus ei tarvitse taulukkoa, mula vaa$i enemmän laskentaa Lisäksi aritmee^sen koodauksen kompressioaste 5-10 % parempi 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 43
Hukkaamaton koodaus Hukkaamaton koodaus käylää ennustusta Käytössä on seitsemän eri vaihtoehtoa kuinka monta ja mitä pikseliä käytetään Ennustava koodaus pääsee kompressiosuhteeseen 2:1 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 44
JPEG - Tehokkuus 0,25-0,5 bpp: kohtalainen - hyvä laatu 0,5-0,75 bpp: hyvä - eriläin hyvä laatu 0,75-1,5 bpp: eriläin hyvä laatu 1,5-2,00 bpp: ei erotu alkuperäisestä 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 45
VIDEO 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 46
MPEG MuistuLaa JPEG- menetelmää Lisäksi huomioitu liikkuvan kuvan ominaisuudet Peräkkäisissä kuvissa on vähän eroja Kuvissa on liikkuvia objekteja Kuvasarjat vaihtuvat harvoin Toteutus on tämän takia monimutkaisempi Usein tarvitaan laileistototeutusta 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 47
Liikkeenennustus Peräkkäisistä kuvista etsitään muutoskohdat Lohkoille lasketaan liike- ennusteet Ennusteita kutsutaan liikevektoreiksi ja ne lähetetään osana koodalua informaa$ota 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 48
19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 49
Erotuskuvat l l l Ennustetusta ja todellisesta kuvasta lasketaan erotuskuvat Erotuskuvasta lähetetään vain muutoskohdat MPEG-menetelmässä hyödynntetään myös ennustusta kahteen suuntaan: I = alkuperäiset kuvat P = eteenpäin ennustus B = ennustus kahteensuuntaan 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 50
MPEG- kuvasarja 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 51
SIIRTOFORMAATIT 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 52
Siirtoformaa$t Mul$mediasovellusten yhteistoiminta ja siirto verkossa vaa$i yhtenäisiä siirtoformaaleja Siirtoformaa^ määrilelee: ajan, paikan, rakenteen ja toiminnan (proseduurit) Ilman siirtoformaa^a yhdellä sovelluksella tuotelua sisältöä ei voi lukea ja käylää toisella sovelluksella Konversiotyökalut on huono ratkaisu 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 53
Sovellusalueet Yhtenäistä siirtoformaa^a voidaan käylää moneen tarkoitukseen: tallennusformaa^ (esim. Macromedia Director) siirtoformaa^ (esim. CD- ROM) reaaliaikainen siirtoformaa^ (esim. digitaalinen tv) sovellusten välinen $edonsiirto (esim. ryhmätyö) 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 54
Vaa$mukset l l l Datamalli: aika, synkronoin$, eri formaa$t, osoitus, hyperlinkit, interak$ivisuus Skrip$t: ohjelmoin$kieli tai graafinen ohjelmoin$ Kapasitee^: määrilely ei yleensä vie paljon $laa l l l Hakuaika: purku oltava nopeaa, progressiivinen resoluu$o ym. SiirreLävyys: laileisto- ja alustariippumalomuus LaajenneLavuus: uudet formaa$t, atribuu$t jne. 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 55
MHEG ISO:n työryhmä Oliopohjainen mul$- ja hypermedian siirtoformaa^ Tukee interak$ivisuula ja reaaliaikaista siirtoa MääriLelee lopullisen esitysmuodon 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 56
Ominaisuudet MääriLelee joukon alustariippumalomia komponenleja interak$ivisuula varten Interak$ivuus voidaan toteulaa kahdella tapaa: komponen$t linkitetään erilaisiin tapahtumiin käytetään skriptauskieltä Tapahtumat syntyvät ajoitusmäärityksistä tai käyläjän toimenpiteistä 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 57
Ominaisuudet (jatk.) Sekä paikallisen elä ajallisen sijainnin määrilely mahdollista Makrojen avulla voidaan määritellä monimutkaisia objekteja malleja käyläen Sisältää myös tukea reaaliaikaista siirtoa varten 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 58
MHEG- luokkahierarkia MH- object Behavior Ac$on Link Script Component Content Interac$on Selec$on Modifica$on Composite Descriptor Macro Macro Defini$on Macro Use 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 59
HTML HTML on myös siirtoformaa^ Ominaisuudet ovat rajallisia HTML = rakenteinen dokumen^, linkit DOM- malli mahdollistaa sisällön muokkauksen ECMAScript (JavaScript) = interak$ivisuus Tyylisivut (Cascading Style Sheets) = sijoilelu Synkronoin$ puuluu SMIL 3.0 External Timing Module 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 60