Mul$media. Jyry Suvilehto Alkuperäiset kalvot Petri Vuorimaa

Transkriptio

1 Mul$media Jyry Suvilehto Alkuperäiset kalvot Petri Vuorimaa

2 Luennon sisältö Mitä on mul$media? Mediatyypit Teks$ Grafiikka Audio Kuva Video Siirtoformaa$t Petri Vuorimaa / Mediatekniikan laitos 2

3 MITÄ ON MULTIMEDIA? Petri Vuorimaa / Mediatekniikan laitos 3

4 Mitä on mul$media? Tannenbaum: VuorovaikuLeinen $etokoneavusteinen esitys, joka sisältää vähintään kaksi seuraavista mediaelementeistä: teks$, ääni, kuva, video ja animaa$o Vuorimaa: 1. Monta mediaa 2. Vuorovaikutus 3. Aika Petri Vuorimaa / Mediatekniikan laitos 4

5 Media Media Modaliteetti Dynaamisuus Lähde Teksti Visuaalinen Kerta Keinotekoinen Kuva Visuaalinen Kerta Luonnollinen Grafiikka Visuaalinen Kerta Keinotekoinen Animaatio Visuaalinen Jatkuva Keinotekoinen Ääni Auraalinen Jatkuva Luonnollinen/ Keinotekoinen Video Visuaalinen Jatkuva Luonnollinen Petri Vuorimaa / Mediatekniikan laitos 5

6 Jatkuva- aikainen media Animaa$ot (virtuaalitodellisuus) Audio Video Miten jatkuva- aikainen media eroaa tavallisesta mediasta? Petri Vuorimaa / Mediatekniikan laitos 6

7 Jatkuvan median käsilelyvaiheet Kaappaus Esi- käsilely A/D- muunnos Pakkaus Siirto Toisto Jälki- käsilely D/A- muunnos Purku Petri Vuorimaa / Mediatekniikan laitos 7

8 KäsiLelyvaiheet Digitaalinen videokamera Kaappaus Esi- käsilely A/D- muunnos Pakkaus Siirto Tietokone/soi$n Toisto Jälki- käsilely D/A- muunnos Purku Petri Vuorimaa / Mediatekniikan laitos 8

9 Uudelleenmasteroitu CD Kaappaus Levy- yh$ö pyytää 2009 tyypin yhdistämään nauhat uudestan re- mastering Kaappaus Esi- käsilely A/D- muunnos Pakkaus Kaappaus YhdisteLy kappale digitoidaan ja pakataan CD- DA- formaa^in ja poltetaan levylle Beatles soilaa 60- luvulla originaalit musiikkinauhalle (jokainen soi$n erikseen) Petri Vuorimaa / Mediatekniikan laitos 9

10 Vuorovaikutus Vuorovaikutustapa: passiivinen, reak$ivinen, proak$ivinen, tuolava Vuorovaikutuksen taso: käylöliilymä, sovellus, palvelu, toinen käyläjä Vuorovaikutuksen määrä: $lausvideo, sähköpos$, videoneuvolelu, videopeli, virtuaalitodellisuus Petri Vuorimaa / Mediatekniikan laitos 10

11 Aika Esityksen komponen$t on sijoiteltu aika- avaruuteen Eri komponen$t on synkronoitu (eli tahdistelu) keskenään Esitysjärjestelmä tms. huoleh$i, elä synkronoin$ toteutuu (nk. orkestroin$) Petri Vuorimaa / Mediatekniikan laitos 11

12 TEKSTI Petri Vuorimaa / Mediatekniikan laitos 12

13 Teks$ ASCII Teks$dokumen$t Microsoa Word, Adobe Acrobat Rakenteiset dokumen$t SGML, HTML, XML Hyperteks$ Petri Vuorimaa / Mediatekniikan laitos 13

14 GRAFIIKKA Petri Vuorimaa / Mediatekniikan laitos 14

15 Grafiikka Bi^karLa- grafiikka maalaukset Microsoa Paint Vektorigrafiikka piirrokset OpenGL Postscript Petri Vuorimaa / Mediatekniikan laitos 15

16 AUDIO Petri Vuorimaa / Mediatekniikan laitos 16

17 Äänen fyysiset ominaisuudet Amplitudi db = 20 log10(a/b) Kuuloraja on 0 db ja kipuraja n db Jakson aika / Taajuus Hz = 1/s Kuuloalue on n. 20 Hz - 20 khz Petri Vuorimaa / Mediatekniikan laitos 17

18 Pulssikoodimodulaa$o Äänestä otetaan näyleitä näytetaajuudella Näytetaajuuden pitää olla vähintään kaksi kertaa maksimitaajuus (nk. Nyquist taajuus) Yleisiä näytetaajuuksia 8, 44.1 ja 48 KHz Petri Vuorimaa / Mediatekniikan laitos 18

19 Pulssikoodimodulaa$o (jatk.) Signaalin amplitudi näyleenolohetkellä muutetaan numeroarvoksi Pulse Code Modula$on (PCM) NäyLeidenoLo aiheulaa kvan$soin$virheen Petri Vuorimaa / Mediatekniikan laitos 19

20 Taajuusmuunnos Luonnolliset äänet koostuvat $etystä perustaajuudesta ja sen harmonisista monikerroista Ääni voidaan tällöin esilää käteväs$ myös taajuusmuodossa Petri Vuorimaa / Mediatekniikan laitos 20

21 Klarine$n ääni Petri Vuorimaa / Mediatekniikan laitos 21

22 Taajuusmuoto Petri Vuorimaa / Mediatekniikan laitos 22

23 Taajuusmuunnos (jatk.) Fourier muunnoksen kertomet esilävät signaalia taajuus- uloluvuudessa Sta$onaariset signaalit voidaan esilää tarkas$ Fourier- muunnoksen avulla MuuLuvien signaalinen tapauksessa käytetään diskree^ä Fourier- muunnosta Yleensä käytetään Fast Fourier Transforma$on (FFT) algoritmia Normaali Fourier- muunnos O(n^2), FFT O(n log n) Petri Vuorimaa / Mediatekniikan laitos 23

24 Psykoakus$ikka Kuuloais$n ominaisuudet kannalaa huomioida äänen koodauksessa Ääntä kannalaa tarkastella taajuusuloluvuudessa Kuuloraja riippuu taajuudesta Korva on herkkä spektrin laaksoille ja kukkuloille (ns. forman$t) esim. vokaalien tunnistus Petri Vuorimaa / Mediatekniikan laitos 24

25 Kuuloraja Petri Vuorimaa / Mediatekniikan laitos 25

26 Psykoakus$ikka (jatk.) Amplitudi Tietylllä taajuudella esiintyvä ääni nostaa kuulorajaa laajemmalla taajuusalueella Voimakkaampi ääni peilää heikomman Taajuus Petri Vuorimaa / Mediatekniikan laitos 26

27 PeiLoilmiö (masking effect) Korvan simpukka (cochlea) sisältää ais$nsoluja Lähellä olevia taajuuksia ais$vat solut ovat lähellä toisiaan Vastaava ilmiö ajassa läheisille äänille syntyy syvempänä keskushermostossa Petri Vuorimaa / Mediatekniikan laitos 27

28 Pakkausmenetelmät Esim. maskaus- efek$ä voidaan hyödyntää koodauksessa Signaali jaetaan taajuusalueisiin, jotka koodataan erikseen (Subband coding) Esim. Mini Disc - levyt (Sony), DCC- kase$t (Philips) ja MPEG- audio Petri Vuorimaa / Mediatekniikan laitos 28

29 MP3- pakkausalgoritmi Begin Subband analysis Scale factor calcula$on Coding of scale factors FFT analysis Calcula$on of masking and required bit alloca$on Determina$on of nontransmiled subbands Adjustment to fixed bit- rate Quan$za$on of samples Coding of samples Coding of bit alloca$on Forma^ng and transmission End Petri Vuorimaa / Mediatekniikan laitos 29

30 KUVA Petri Vuorimaa / Mediatekniikan laitos 30

31 Kuvan ja videon koodaus Menetelmät voivat olla hukkaavia tai hukkaamalomia Yleisin hukkaava menetelmä on DCT- muunnos Esim. Huffman koodaus on hukkaamaton Petri Vuorimaa / Mediatekniikan laitos 31

32 Koodausmenetelmät Kuvien koodaus JPEG (Joint Photographic Expert Group) Videon koodaus H.261, H.263, H.264 MPEG (Mo$on Picture Expert Group) Koodausmenetelmät hyödyntävät yleensä useampi erilaisia koodaustekniikoita Petri Vuorimaa / Mediatekniikan laitos 32

33 JPEG - TavoiLeet Kompressiosuhde / kuvanlaatu voidaan valita Sopii mihin tahansa kuviin Sekä ohjelmisto elä laileisto Neljä eri moodia: sekven$aalinen koodaus (alkuperäinen järjestys) progressiivien koodaus (monivaiheinen koodaus) hukkaamaton koodaus (täydellinen toisto) hierarkinen koodaus (monta eri resoluu$ota) Petri Vuorimaa / Mediatekniikan laitos 33

34 Kuvanlaadun valinta 4,3 kilotavua 190 kilotavua Petri Vuorimaa / Mediatekniikan laitos 34

35 JPEG - Arkkitehtuurit Hukkaavissa moodeissa käytetään DCT- koodausta 8 x 8 pikselin lohkoille Sekven$aalisessa moodissa lohkojen DCT- kertoimet lähetään lohko kerrallaan Kuva latautuu rivi riviltä (8x8 pikselin pala kerrallaan) Progressiivisessa moodissa kertoimet talletetaan muis$in ja lähetetään ryhmissä Kuva tarkentuu pikkuhiljaa lopulliseksi Hierarkisessa moodissa valitaan erilaisia resoluu$ota koodalavaksi Ensin pieni kuva, silen isompi kuva,, lopullinen kuva Petri Vuorimaa / Mediatekniikan laitos 35

36 Sekven$aalinen JPEG Petri Vuorimaa / Mediatekniikan laitos 36

37 Progressiivinen JPEG Petri Vuorimaa / Mediatekniikan laitos 37

38 Hierarkinen JPEG Petri Vuorimaa / Mediatekniikan laitos 38

39 Hukkaamaton JPEG Petri Vuorimaa / Mediatekniikan laitos 39

40 DCT- koodaus ja kvan$soin$ l l l l l Kertoimet voidaan esilää matriisina Kvan$soin$ tehdään kvan$soin$taulukon määräämän taulukon mukaises$ Kertoimet luetaan Zig- Zag - järjestyksessä Näin nolla- kertoimet saadaan koodin loppuun Run- Length - koodaus eliminoi nollat Petri Vuorimaa / Mediatekniikan laitos 40

41 DCT- koodaus Petri Vuorimaa / Mediatekniikan laitos 41

42 DCT- perusfunk$ot Petri Vuorimaa / Mediatekniikan laitos 42

43 Tilastollinen koodaus Käytössä joko Huffman tai aritmee^nen koodaus Huffman koodaus edellylää erillistä taulukkoa Aritmee^nen koodaus ei tarvitse taulukkoa, mula vaa$i enemmän laskentaa Lisäksi aritmee^sen koodauksen kompressioaste 5-10 % parempi Petri Vuorimaa / Mediatekniikan laitos 43

44 Hukkaamaton koodaus Hukkaamaton koodaus käylää ennustusta Käytössä on seitsemän eri vaihtoehtoa kuinka monta ja mitä pikseliä käytetään Ennustava koodaus pääsee kompressiosuhteeseen 2: Petri Vuorimaa / Mediatekniikan laitos 44

45 JPEG - Tehokkuus 0,25-0,5 bpp: kohtalainen - hyvä laatu 0,5-0,75 bpp: hyvä - eriläin hyvä laatu 0,75-1,5 bpp: eriläin hyvä laatu 1,5-2,00 bpp: ei erotu alkuperäisestä Petri Vuorimaa / Mediatekniikan laitos 45

46 VIDEO Petri Vuorimaa / Mediatekniikan laitos 46

47 MPEG MuistuLaa JPEG- menetelmää Lisäksi huomioitu liikkuvan kuvan ominaisuudet Peräkkäisissä kuvissa on vähän eroja Kuvissa on liikkuvia objekteja Kuvasarjat vaihtuvat harvoin Toteutus on tämän takia monimutkaisempi Usein tarvitaan laileistototeutusta Petri Vuorimaa / Mediatekniikan laitos 47

48 Liikkeenennustus Peräkkäisistä kuvista etsitään muutoskohdat Lohkoille lasketaan liike- ennusteet Ennusteita kutsutaan liikevektoreiksi ja ne lähetetään osana koodalua informaa$ota Petri Vuorimaa / Mediatekniikan laitos 48

49 Petri Vuorimaa / Mediatekniikan laitos 49

50 Erotuskuvat l l l Ennustetusta ja todellisesta kuvasta lasketaan erotuskuvat Erotuskuvasta lähetetään vain muutoskohdat MPEG-menetelmässä hyödynntetään myös ennustusta kahteen suuntaan: I = alkuperäiset kuvat P = eteenpäin ennustus B = ennustus kahteensuuntaan Petri Vuorimaa / Mediatekniikan laitos 50

51 MPEG- kuvasarja Petri Vuorimaa / Mediatekniikan laitos 51

52 SIIRTOFORMAATIT Petri Vuorimaa / Mediatekniikan laitos 52

53 Siirtoformaa$t Mul$mediasovellusten yhteistoiminta ja siirto verkossa vaa$i yhtenäisiä siirtoformaaleja Siirtoformaa^ määrilelee: ajan, paikan, rakenteen ja toiminnan (proseduurit) Ilman siirtoformaa^a yhdellä sovelluksella tuotelua sisältöä ei voi lukea ja käylää toisella sovelluksella Konversiotyökalut on huono ratkaisu Petri Vuorimaa / Mediatekniikan laitos 53

54 Sovellusalueet Yhtenäistä siirtoformaa^a voidaan käylää moneen tarkoitukseen: tallennusformaa^ (esim. Macromedia Director) siirtoformaa^ (esim. CD- ROM) reaaliaikainen siirtoformaa^ (esim. digitaalinen tv) sovellusten välinen $edonsiirto (esim. ryhmätyö) Petri Vuorimaa / Mediatekniikan laitos 54

55 Vaa$mukset l l l Datamalli: aika, synkronoin$, eri formaa$t, osoitus, hyperlinkit, interak$ivisuus Skrip$t: ohjelmoin$kieli tai graafinen ohjelmoin$ Kapasitee^: määrilely ei yleensä vie paljon $laa l l l Hakuaika: purku oltava nopeaa, progressiivinen resoluu$o ym. SiirreLävyys: laileisto- ja alustariippumalomuus LaajenneLavuus: uudet formaa$t, atribuu$t jne Petri Vuorimaa / Mediatekniikan laitos 55

56 MHEG ISO:n työryhmä Oliopohjainen mul$- ja hypermedian siirtoformaa^ Tukee interak$ivisuula ja reaaliaikaista siirtoa MääriLelee lopullisen esitysmuodon Petri Vuorimaa / Mediatekniikan laitos 56

57 Ominaisuudet MääriLelee joukon alustariippumalomia komponenleja interak$ivisuula varten Interak$ivuus voidaan toteulaa kahdella tapaa: komponen$t linkitetään erilaisiin tapahtumiin käytetään skriptauskieltä Tapahtumat syntyvät ajoitusmäärityksistä tai käyläjän toimenpiteistä Petri Vuorimaa / Mediatekniikan laitos 57

58 Ominaisuudet (jatk.) Sekä paikallisen elä ajallisen sijainnin määrilely mahdollista Makrojen avulla voidaan määritellä monimutkaisia objekteja malleja käyläen Sisältää myös tukea reaaliaikaista siirtoa varten Petri Vuorimaa / Mediatekniikan laitos 58

59 MHEG- luokkahierarkia MH- object Behavior Ac$on Link Script Component Content Interac$on Selec$on Modifica$on Composite Descriptor Macro Macro Defini$on Macro Use Petri Vuorimaa / Mediatekniikan laitos 59

60 HTML HTML on myös siirtoformaa^ Ominaisuudet ovat rajallisia HTML = rakenteinen dokumen^, linkit DOM- malli mahdollistaa sisällön muokkauksen ECMAScript (JavaScript) = interak$ivisuus Tyylisivut (Cascading Style Sheets) = sijoilelu Synkronoin$ puuluu SMIL 3.0 External Timing Module Petri Vuorimaa / Mediatekniikan laitos 60