Multimedia. Petri Vuorimaa

Transkriptio

1 Multimedia Petri Vuorimaa

2 Luennon sisältö Mitä on multimedia? Mediatyypit Teksti Grafiikka Audio Kuva Video Siirtoformaatit Petri Vuorimaa / Mediatekniikan laitos 2

3 Multimediaosuus Tekstidata (XML) Tiedon esitys koneessa Yksinkertaiset mediatallenteet (BMP) Häviölliset tallenteet (.mp3,.jpeg) Multimedia, video (MPEG,) AD-muunnos Todellisuuden peittäminen (VR) Tietokonegrafiikan perusteet Todellisuuden lisääminen (AR) 5.3. Luento Jyry Suvilehto Luento Petri Vuorimaa Luento Timo Tossavainen Luento Kai Puolamäki Petri Vuorimaa / Mediatekniikan laitos 3

4 Synteesiosuus Tiedonsiirto Multimedia Tuotteiden konseptointi Tiedonsiirto Multimedia Verkkoliiketoiminta (multimedian ehdoilla) Luento Vesa Kantola Luento Sakari Luukkainen Petri Vuorimaa / Mediatekniikan laitos 4

5 MITÄ ON MULTIMEDIA? Petri Vuorimaa / Mediatekniikan laitos 5

6 Mitä on multimedia? Tannenbaum: Vuorovaikutteinen tietokoneavusteinen esitys, joka sisältää vähintään kaksi seuraavista mediaelementeistä: teksti, ääni, kuva, video ja animaatio Vuorimaa: 1. Monta mediaa 2. Vuorovaikutus 3. Aika Petri Vuorimaa / Mediatekniikan laitos 6

7 Media Media Modaliteetti Dynaamisuus Lähde Teksti Visuaalinen Kerta Keinotekoinen Kuva Visuaalinen Kerta Luonnollinen Grafiikka Visuaalinen Kerta Keinotekoinen Animaatio Visuaalinen Jatkuva Keinotekoinen Ääni Auraalinen Jatkuva Luonnollinen/ Keinotekoinen Video Visuaalinen Jatkuva Luonnollinen Petri Vuorimaa / Mediatekniikan laitos 7

8 Jatkuva-aikainen media Animaatiot (virtuaalitodellisuus) Audio Video Miten jatkuva-aikainen media eroaa tavallisesta mediasta? Petri Vuorimaa / Mediatekniikan laitos 8

9 Jatkuvan median käsittelyvaiheet Kaappaus Esikäsittely A/Dmuunnos Pakkaus Siirto Toisto Jälkikäsittely D/Amuunnos Purku Petri Vuorimaa / Mediatekniikan laitos 9

10 Vuorovaikutus Vuorovaikutustapa: passiivinen, reaktiivinen, proaktiivinen, tuottava Vuorovaikutuksen taso: käyttöliittymä, sovellus, palvelu, toinen käyttäjä Vuorovaikutuksen määrä: tilausvideo, sähköposti, videoneuvottelu, videopeli, virtuaalitodellisuus Petri Vuorimaa / Mediatekniikan laitos 10

11 Aika Esityksen komponentit on sijoiteltu aikaavaruuteen Eri komponentit on synkronoitu (eli tahdistettu) keskenään Esitysjärjestelmä tms. huolehtii, että synkronointi toteutuu (nk. orkestrointi) Petri Vuorimaa / Mediatekniikan laitos 11

12 TEKSTI Petri Vuorimaa / Mediatekniikan laitos 12

13 Teksti ASCII Tekstidokumentit Microsoft Word, Adobe Acrobat Rakenteiset dokumentit SGML, HTML, XML Hyperteksti Hypercards Petri Vuorimaa / Mediatekniikan laitos 13

14 GRAFIIKKA Petri Vuorimaa / Mediatekniikan laitos 14

15 Grafiikka Bittikartta-grafiikka maalaukset Microsoft Paint Vektorigrafiikka piirrokset OpenGL Postscript Petri Vuorimaa / Mediatekniikan laitos 15

16 AUDIO Petri Vuorimaa / Mediatekniikan laitos 16

17 Äänen fyysiset ominaisuudet Amplitudi db = 20 log10(a/b) Kuuloraja on 0 db ja kipuraja n db Jakson aika / Taajuus Hz = 1/s Kuuloalue on n. 20 Hz - 20 khz Petri Vuorimaa / Mediatekniikan laitos 17

18 Pulssikoodimodulaatio Äänestä otetaan näytteitä näytetaajuudella Näytetaajuuden pitää olla vähintään kaksi kertaa maksimitaajuus (nk. Nyquist taajuus) Yleisiä näytetaajuuksia 8, 44.1 ja 48 KHz Petri Vuorimaa / Mediatekniikan laitos 18

19 Pulssikoodimodulaatio (jatk.) Signaalin amplitudi näytteenottohetkellä muutetaan numeroarvoksi Pulse Code Modulation (PCM) Näytteidenotto aiheuttaa kvantisointivirheen Petri Vuorimaa / Mediatekniikan laitos 19

20 Taajuusmuunnos Luonnolliset äänet koostuvat tietystä perustaajuudesta ja sen harmonisista monikerroista Ääni voidaan tällöin esittää kätevästi myös taajuusmuodossa Petri Vuorimaa / Mediatekniikan laitos 20

21 Klarinetin ääni Petri Vuorimaa / Mediatekniikan laitos 21

22 Taajuusmuoto Petri Vuorimaa / Mediatekniikan laitos 22

23 Taajuusmuunnos (jatk.) Fourier muunnoksen kertomet esittävät signaalia taajuus-ulottuvuudessa Stationaariset signaalit voidaan esittää tarkasti Fourier-muunnoksen avulla Muuttuvien signaalinen tapauksessa käytetään diskreettiä Fourier-muunnosta Yleensä käytetään Fast Fourier Transformation (FFT) -algoritmia Petri Vuorimaa / Mediatekniikan laitos 23

24 Psykoakustiikka Kuuloaistin ominaisuudet kannattaa huomioida äänen koodauksessa Ääntä kannattaa tarkastella taajuusulottuvuudessa Kuuloraja riippuu taajuudesta Korva on herkkä spektrin laaksoille ja kukkuloille (ns. formantit) esim. vokaalien tunnistus Petri Vuorimaa / Mediatekniikan laitos 24

25 Kuuloraja Petri Vuorimaa / Mediatekniikan laitos 25

26 Amplitudi Psykoakustiikka (jatk.) Tietylllä taajuudella esiintyvä ääni nostaa kuulorajaa laajemmalla taajuusalueella Taajuus Petri Vuorimaa / Mediatekniikan laitos 26

27 Pakkausmenetelmät Esim. maskaus-efektiä voidaan hyödyntää koodauksessa Signaali jaetaan taajuusalueisiin, jotka koodataan erikseen (Subband coding) Esim. Mini Disc -levyt (Sony), DCC-kasetit (Philips) ja MPEG-audio Petri Vuorimaa / Mediatekniikan laitos 27

28 MP3-pakkausalgoritmi Begin Subband analysis Scale factor calculation Coding of scale factors FFT analysis Calculation of masking and required bit allocation Determination of nontransmitted subbands Adjustment to fixed bit-rate Quantization of samples Coding of samples Coding of bit allocation Formatting and transmission End Petri Vuorimaa / Mediatekniikan laitos 28

29 KUVA Petri Vuorimaa / Mediatekniikan laitos 29

30 Kuvan ja videon koodaus Menetelmät voivat olla hukkaavia tai hukkaamattomia Yleisin hukkaava menetelmä on DCT-muunnos Esim. Huffman koodaus on hukkaamaton Petri Vuorimaa / Mediatekniikan laitos 30

31 Koodausmenetelmät Kuvien koodaus JPEG (Joint Photographic Expert Group) Videon koodaus H.261, H.263 MPEG (Motion Picture Expert Group) Koodausmenetelmät hyödyntävät yleensä useampi erilaisia koodaustekniikoita Petri Vuorimaa / Mediatekniikan laitos 31

32 JPEG - Tavoitteet Kompressiosuhde / kuvanlaatu voidaan valita Sopii mihin tahansa kuviin Sekä ohjelmisto että laitteisto Neljä eri moodia: sekventiaalinen koodaus (alkuperäinen järjestys) progressiivien koodaus (monivaiheinen koodaus) hukkaamaton koodaus (täydellinen toisto) hierarkinen koodaus (monta eri resoluutiota) Petri Vuorimaa / Mediatekniikan laitos 32

33 JPEG - Arkkitehtuurit Hukkaavissa moodeissa käytetään DCTkoodausta 8 x 8 pikselin lohkoille Sekventiaalisessa moodissa lohkojen DCTkertoimet lähetään lohko kerrallaan Progressiivisessa moodissa kertoimet talletetaan muistiin ja lähetetään ryhmissä Hierarkisessa moodissa valitaan erilaisia resoluutiota koodattavaksi Petri Vuorimaa / Mediatekniikan laitos 33

34 Sekventiaalinen JPEG Petri Vuorimaa / Mediatekniikan laitos 34

35 Progressiivinen JPEG Petri Vuorimaa / Mediatekniikan laitos 35

36 Hierarkinen JPEG Petri Vuorimaa / Mediatekniikan laitos 36

37 Hukkaamaton JPEG Petri Vuorimaa / Mediatekniikan laitos 37

38 DCT-koodaus ja kvantisointi Kertoimet voidaan esittää matriisina Kvantisointi tehdään kvantisointitaulukon määräämän taulukon mukaisesti Kertoimet järjestetään Zig-Zag muotoon Näin nolla-kertoimet saadaan koodin loppuun Run-Length -koodaus eliminoi nollat Petri Vuorimaa / Mediatekniikan laitos 38

39 DCT-koodaus Petri Vuorimaa / Mediatekniikan laitos 39

40 DCT-perusfunktiot Petri Vuorimaa / Mediatekniikan laitos 40

41 Tilastollinen koodaus Käytössä joko Huffman tai aritmeettinen koodaus Huffman koodaus edellyttää erillistä taulukkoa Aritmeettinen koodaus ei tarvitse taulukkoa, mutta vaatii enemmän laskentaa Lisäksi aritmeettisen koodauksen kompressioaste 5-10 % parempi Petri Vuorimaa / Mediatekniikan laitos 41

42 Hukkaamaton koodaus Hukkaamaton koodaus käyttää ennustusta Käytössä on seitsemän eri vaihtoehtoa kuinka monta ja mitä pikseliä käytetään Ennustava koodaus pääsee kompressiosuhteeseen 2: Petri Vuorimaa / Mediatekniikan laitos 42

43 JPEG - Tehokkuus 0,25-0,5 bpp: kohtalainen - hyvä laatu 0,5-0,75 bpp: hyvä - erittäin hyvä laatu 0,75-1,5 bpp: erittäin hyvä laatu 1,5-2,00 bpp: ei erotu alkuperäisestä Petri Vuorimaa / Mediatekniikan laitos 43

44 VIDEO Petri Vuorimaa / Mediatekniikan laitos 44

45 MPEG Muistuttaa JPEG-menetelmää Lisäksi huomioitu liikkuvan kuvan ominaisuudet Peräkkäisissä kuvissa on vähän eroja Kuvissa on liikkuvia objekteja Kuvasarjat vaihtuvat harvoin Toteutus on tämän takia monimutkaisempi Usein tarvitaan laitteistototeutusta Petri Vuorimaa / Mediatekniikan laitos 45

46 Liikkeenennustus Peräkkäisistä kuvista etsitään muutoskohdat Lohkoille lasketaan liike-ennusteet Ennusteita kutsutaan liikevektoreiksi ja ne lähetetään osana koodattua informaatiota Petri Vuorimaa / Mediatekniikan laitos 46

47 Petri Vuorimaa / Mediatekniikan laitos 47

48 Erotuskuvat Ennustetusta ja todellisesta kuvasta lasketaan erotuskuvat Erotuskuvasta lähetetään vain muutoskohdat MPEG-menetelmässä hyödynntetään myös ennustusta kahteen suuntaan: I = alkuperäiset kuvat P = eteenpäin ennustus B = ennustus kahteensuuntaan Petri Vuorimaa / Mediatekniikan laitos 48

49 MPEG-kuvasarja Petri Vuorimaa / Mediatekniikan laitos 49

50 SIIRTOFORMAATIT Petri Vuorimaa / Mediatekniikan laitos 50

51 Siirtoformaatit Multimediasovellusten yhteistoiminta ja siirto verkossa vaatii yhtenäisiä siirtoformaatteja Siirtoformaatti määrittelee: ajan, paikan, rakenteen ja toiminnan (proseduurit) Ilman siirtoformaattia yhdellä sovelluksella tuotettua sisältöä ei voi lukea ja käyttää toisella sovelluksella Konversiotyökalut on huono ratkaisu Petri Vuorimaa / Mediatekniikan laitos 51

52 Sovellusalueet Yhtenäistä siirtoformaattia voidaan käyttää moneen tarkoitukseen: tallennusformaatti (esim. Macromedia Director) siirtoformaatti (esim. CD-ROM) reaaliaikainen siirtoformaatti (esim. digitaalinen tv) sovellusten välinen tiedonsiirto (esim. ryhmätyö) Petri Vuorimaa / Mediatekniikan laitos 52

53 Vaatimukset Datamalli: aika, synkronointi, eri formaatit, osoitus, hyperlinkit, interaktiivisuus Skriptit: ohjelmointikieli tai graafinen ohjelmointi Kapasiteetti: määrittely ei yleensä vie paljon tilaa Hakuaika: purku oltava nopeaa, progressiivinen resoluutio ym. Siirrettävyys: laitteisto- ja alustariippumattomuus Laajennettavuus: uudet formaatit, atribuutit jne Petri Vuorimaa / Mediatekniikan laitos 53

54 MHEG ISO:n työryhmä Oliopohjainen multi- ja hypermedian siirtoformaatti Tukee interaktiivisuutta ja reaaliaikaista siirtoa Määrittelee lopullisen esitysmuodon Petri Vuorimaa / Mediatekniikan laitos 54

55 Ominaisuudet Määrittelee joukon alustariippumattomia komponentteja interaktiivisuutta varten Interaktiivuus voidaan toteuttaa kahdella tapaa: komponentit linkitetään erilaisiin tapahtumiin käytetään skriptauskieltä Tapahtumat syntyvät ajoitusmäärityksistä tai käyttäjän toimenpiteistä Petri Vuorimaa / Mediatekniikan laitos 55

56 Ominaisuudet (jatk.) Sekä paikallisen että ajallisen sijainnin määrittely mahdollista Makrojen avulla voidaan määritellä monimutkaisia objekteja malleja käyttäen Sisältää myös tukea reaaliaikaista siirtoa varten Petri Vuorimaa / Mediatekniikan laitos 56

57 MHEG-luokkahierarkia MH-object Behavior Action Link Script Component Content Interaction Selection Modification Composite Descriptor Macro Macro Definition Macro Use Petri Vuorimaa / Mediatekniikan laitos 57

58 HTML HTML on myös siirtoformaatti Ominaisuudet ovat rajallisia HTML = rakenteinen dokumentti, linkit DOM-malli mahdollistaa sisällön muokkauksen ECMAScript (JavaScript) = interaktiivisuus Tyylisivut (Cascading Style Sheets) = sijoittelu Synkronointi puuttuu SMIL 3.0 External Timing Module Petri Vuorimaa / Mediatekniikan laitos 58