Multimedia Petri Vuorimaa
Luennon sisältö Mitä on multimedia? Mediatyypit Teksti Grafiikka Audio Kuva Video Siirtoformaatit 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 2
Multimediaosuus Tekstidata (XML) Tiedon esitys koneessa Yksinkertaiset mediatallenteet (BMP) Häviölliset tallenteet (.mp3,.jpeg) Multimedia, video (MPEG,) AD-muunnos Todellisuuden peittäminen (VR) Tietokonegrafiikan perusteet Todellisuuden lisääminen (AR) 5.3. Luento Jyry Suvilehto 19.3. Luento Petri Vuorimaa 26.3. Luento Timo Tossavainen 09.4. Luento Kai Puolamäki 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 3
Synteesiosuus Tiedonsiirto Multimedia Tuotteiden konseptointi Tiedonsiirto Multimedia Verkkoliiketoiminta (multimedian ehdoilla) 16.4. Luento Vesa Kantola 23.04. Luento Sakari Luukkainen 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 4
MITÄ ON MULTIMEDIA? 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 5
Mitä on multimedia? Tannenbaum: Vuorovaikutteinen tietokoneavusteinen esitys, joka sisältää vähintään kaksi seuraavista mediaelementeistä: teksti, ääni, kuva, video ja animaatio Vuorimaa: 1. Monta mediaa 2. Vuorovaikutus 3. Aika 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 6
Media Media Modaliteetti Dynaamisuus Lähde Teksti Visuaalinen Kerta Keinotekoinen Kuva Visuaalinen Kerta Luonnollinen Grafiikka Visuaalinen Kerta Keinotekoinen Animaatio Visuaalinen Jatkuva Keinotekoinen Ääni Auraalinen Jatkuva Luonnollinen/ Keinotekoinen Video Visuaalinen Jatkuva Luonnollinen 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 7
Jatkuva-aikainen media Animaatiot (virtuaalitodellisuus) Audio Video Miten jatkuva-aikainen media eroaa tavallisesta mediasta? 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 8
Jatkuvan median käsittelyvaiheet Kaappaus Esikäsittely A/Dmuunnos Pakkaus Siirto Toisto Jälkikäsittely D/Amuunnos Purku 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 9
Vuorovaikutus Vuorovaikutustapa: passiivinen, reaktiivinen, proaktiivinen, tuottava Vuorovaikutuksen taso: käyttöliittymä, sovellus, palvelu, toinen käyttäjä Vuorovaikutuksen määrä: tilausvideo, sähköposti, videoneuvottelu, videopeli, virtuaalitodellisuus 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 10
Aika Esityksen komponentit on sijoiteltu aikaavaruuteen Eri komponentit on synkronoitu (eli tahdistettu) keskenään Esitysjärjestelmä tms. huolehtii, että synkronointi toteutuu (nk. orkestrointi) 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 11
TEKSTI 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 12
Teksti ASCII Tekstidokumentit Microsoft Word, Adobe Acrobat Rakenteiset dokumentit SGML, HTML, XML Hyperteksti Hypercards 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 13
GRAFIIKKA 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 14
Grafiikka Bittikartta-grafiikka maalaukset Microsoft Paint Vektorigrafiikka piirrokset OpenGL Postscript 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 15
AUDIO 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 16
Äänen fyysiset ominaisuudet Amplitudi db = 20 log10(a/b) Kuuloraja on 0 db ja kipuraja n. 100-120 db Jakson aika / Taajuus Hz = 1/s Kuuloalue on n. 20 Hz - 20 khz 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 17
Pulssikoodimodulaatio Äänestä otetaan näytteitä näytetaajuudella Näytetaajuuden pitää olla vähintään kaksi kertaa maksimitaajuus (nk. Nyquist taajuus) Yleisiä näytetaajuuksia 8, 44.1 ja 48 KHz 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 18
Pulssikoodimodulaatio (jatk.) Signaalin amplitudi näytteenottohetkellä muutetaan numeroarvoksi Pulse Code Modulation (PCM) Näytteidenotto aiheuttaa kvantisointivirheen 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 19
Taajuusmuunnos Luonnolliset äänet koostuvat tietystä perustaajuudesta ja sen harmonisista monikerroista Ääni voidaan tällöin esittää kätevästi myös taajuusmuodossa 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 20
Klarinetin ääni 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 21
Taajuusmuoto 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 22
Taajuusmuunnos (jatk.) Fourier muunnoksen kertomet esittävät signaalia taajuus-ulottuvuudessa Stationaariset signaalit voidaan esittää tarkasti Fourier-muunnoksen avulla Muuttuvien signaalinen tapauksessa käytetään diskreettiä Fourier-muunnosta Yleensä käytetään Fast Fourier Transformation (FFT) -algoritmia 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 23
Psykoakustiikka Kuuloaistin ominaisuudet kannattaa huomioida äänen koodauksessa Ääntä kannattaa tarkastella taajuusulottuvuudessa Kuuloraja riippuu taajuudesta Korva on herkkä spektrin laaksoille ja kukkuloille (ns. formantit) esim. vokaalien tunnistus 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 24
Kuuloraja 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 25
Amplitudi Psykoakustiikka (jatk.) Tietylllä taajuudella esiintyvä ääni nostaa kuulorajaa laajemmalla taajuusalueella Taajuus 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 26
Pakkausmenetelmät Esim. maskaus-efektiä voidaan hyödyntää koodauksessa Signaali jaetaan taajuusalueisiin, jotka koodataan erikseen (Subband coding) Esim. Mini Disc -levyt (Sony), DCC-kasetit (Philips) ja MPEG-audio 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 27
MP3-pakkausalgoritmi Begin Subband analysis Scale factor calculation Coding of scale factors FFT analysis Calculation of masking and required bit allocation Determination of nontransmitted subbands Adjustment to fixed bit-rate Quantization of samples Coding of samples Coding of bit allocation Formatting and transmission End 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 28
KUVA 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 29
Kuvan ja videon koodaus Menetelmät voivat olla hukkaavia tai hukkaamattomia Yleisin hukkaava menetelmä on DCT-muunnos Esim. Huffman koodaus on hukkaamaton 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 30
Koodausmenetelmät Kuvien koodaus JPEG (Joint Photographic Expert Group) Videon koodaus H.261, H.263 MPEG (Motion Picture Expert Group) Koodausmenetelmät hyödyntävät yleensä useampi erilaisia koodaustekniikoita 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 31
JPEG - Tavoitteet Kompressiosuhde / kuvanlaatu voidaan valita Sopii mihin tahansa kuviin Sekä ohjelmisto että laitteisto Neljä eri moodia: sekventiaalinen koodaus (alkuperäinen järjestys) progressiivien koodaus (monivaiheinen koodaus) hukkaamaton koodaus (täydellinen toisto) hierarkinen koodaus (monta eri resoluutiota) 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 32
JPEG - Arkkitehtuurit Hukkaavissa moodeissa käytetään DCTkoodausta 8 x 8 pikselin lohkoille Sekventiaalisessa moodissa lohkojen DCTkertoimet lähetään lohko kerrallaan Progressiivisessa moodissa kertoimet talletetaan muistiin ja lähetetään ryhmissä Hierarkisessa moodissa valitaan erilaisia resoluutiota koodattavaksi 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 33
Sekventiaalinen JPEG 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 34
Progressiivinen JPEG 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 35
Hierarkinen JPEG 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 36
Hukkaamaton JPEG 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 37
DCT-koodaus ja kvantisointi Kertoimet voidaan esittää matriisina Kvantisointi tehdään kvantisointitaulukon määräämän taulukon mukaisesti Kertoimet järjestetään Zig-Zag muotoon Näin nolla-kertoimet saadaan koodin loppuun Run-Length -koodaus eliminoi nollat 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 38
DCT-koodaus 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 39
DCT-perusfunktiot 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 40
Tilastollinen koodaus Käytössä joko Huffman tai aritmeettinen koodaus Huffman koodaus edellyttää erillistä taulukkoa Aritmeettinen koodaus ei tarvitse taulukkoa, mutta vaatii enemmän laskentaa Lisäksi aritmeettisen koodauksen kompressioaste 5-10 % parempi 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 41
Hukkaamaton koodaus Hukkaamaton koodaus käyttää ennustusta Käytössä on seitsemän eri vaihtoehtoa kuinka monta ja mitä pikseliä käytetään Ennustava koodaus pääsee kompressiosuhteeseen 2:1 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 42
JPEG - Tehokkuus 0,25-0,5 bpp: kohtalainen - hyvä laatu 0,5-0,75 bpp: hyvä - erittäin hyvä laatu 0,75-1,5 bpp: erittäin hyvä laatu 1,5-2,00 bpp: ei erotu alkuperäisestä 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 43
VIDEO 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 44
MPEG Muistuttaa JPEG-menetelmää Lisäksi huomioitu liikkuvan kuvan ominaisuudet Peräkkäisissä kuvissa on vähän eroja Kuvissa on liikkuvia objekteja Kuvasarjat vaihtuvat harvoin Toteutus on tämän takia monimutkaisempi Usein tarvitaan laitteistototeutusta 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 45
Liikkeenennustus Peräkkäisistä kuvista etsitään muutoskohdat Lohkoille lasketaan liike-ennusteet Ennusteita kutsutaan liikevektoreiksi ja ne lähetetään osana koodattua informaatiota 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 46
19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 47
Erotuskuvat Ennustetusta ja todellisesta kuvasta lasketaan erotuskuvat Erotuskuvasta lähetetään vain muutoskohdat MPEG-menetelmässä hyödynntetään myös ennustusta kahteen suuntaan: I = alkuperäiset kuvat P = eteenpäin ennustus B = ennustus kahteensuuntaan 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 48
MPEG-kuvasarja 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 49
SIIRTOFORMAATIT 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 50
Siirtoformaatit Multimediasovellusten yhteistoiminta ja siirto verkossa vaatii yhtenäisiä siirtoformaatteja Siirtoformaatti määrittelee: ajan, paikan, rakenteen ja toiminnan (proseduurit) Ilman siirtoformaattia yhdellä sovelluksella tuotettua sisältöä ei voi lukea ja käyttää toisella sovelluksella Konversiotyökalut on huono ratkaisu 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 51
Sovellusalueet Yhtenäistä siirtoformaattia voidaan käyttää moneen tarkoitukseen: tallennusformaatti (esim. Macromedia Director) siirtoformaatti (esim. CD-ROM) reaaliaikainen siirtoformaatti (esim. digitaalinen tv) sovellusten välinen tiedonsiirto (esim. ryhmätyö) 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 52
Vaatimukset Datamalli: aika, synkronointi, eri formaatit, osoitus, hyperlinkit, interaktiivisuus Skriptit: ohjelmointikieli tai graafinen ohjelmointi Kapasiteetti: määrittely ei yleensä vie paljon tilaa Hakuaika: purku oltava nopeaa, progressiivinen resoluutio ym. Siirrettävyys: laitteisto- ja alustariippumattomuus Laajennettavuus: uudet formaatit, atribuutit jne. 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 53
MHEG ISO:n työryhmä Oliopohjainen multi- ja hypermedian siirtoformaatti Tukee interaktiivisuutta ja reaaliaikaista siirtoa Määrittelee lopullisen esitysmuodon 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 54
Ominaisuudet Määrittelee joukon alustariippumattomia komponentteja interaktiivisuutta varten Interaktiivuus voidaan toteuttaa kahdella tapaa: komponentit linkitetään erilaisiin tapahtumiin käytetään skriptauskieltä Tapahtumat syntyvät ajoitusmäärityksistä tai käyttäjän toimenpiteistä 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 55
Ominaisuudet (jatk.) Sekä paikallisen että ajallisen sijainnin määrittely mahdollista Makrojen avulla voidaan määritellä monimutkaisia objekteja malleja käyttäen Sisältää myös tukea reaaliaikaista siirtoa varten 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 56
MHEG-luokkahierarkia MH-object Behavior Action Link Script Component Content Interaction Selection Modification Composite Descriptor Macro Macro Definition Macro Use 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 57
HTML HTML on myös siirtoformaatti Ominaisuudet ovat rajallisia HTML = rakenteinen dokumentti, linkit DOM-malli mahdollistaa sisällön muokkauksen ECMAScript (JavaScript) = interaktiivisuus Tyylisivut (Cascading Style Sheets) = sijoittelu Synkronointi puuttuu SMIL 3.0 External Timing Module 19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 58