Luentomoniste versio 0.4. Petri Vuorimaa 2007

Transkriptio

1 Multimediatekniikka Luentomoniste versio 0.4 Petri Vuorimaa 2007

2

3 Esipuhe Olen luennoinnut Teknillisen korkeakoulun T Multimediatekniikka -kurssia vuodesta 1998 lähtien. Aikaisemmin kurssista on käytetty myös koodeja T ja Tik Vuosien varrella kurssin sisältö on hieman muuttunut ja kurssikirja on vaihtunut useaan otteeseen. Tämän hetken luentomateriaali koostuu useasta eri lähteestä, joten valitettavasti aiheesta ei ole olemassa yhtä ainoaa koko kurssin kattavaa kirjaa. Tutkinnonuudistuksen yhteydessä multimediatekniikan kurssi sijoitettiin aikaisempaa varhaisempaan vaiheeseen opinnoissa ja se on pakollinen kaikille tietotekniikan opiskelijoille. Lisäksi kurssi kuuluu pakollisena tiettyihin muiden opinto-ohjelmien moduuleihin. Vuoden 2006 keväällä kävi ilmeiseksi, että kurssin opetusmateriaali vaatii kehittämistä. Aikaisempi vuosittainen kalvosarjan päivitys ei enää riittänyt. Sen sijaan päädyin kirjoittamaan olemassa olevan opetusmateriaalin pohjalta tämän luentomonisteen sekä päivittämään kalvosarjan. Luentomonisteen kieleksi valitsin tarkoituksella suomenkielen, koska uudessa tutkinto-ohjelmassa T Multimediatekniikka -kurssi on tarkoitettu pääasiassa kanditutkintoa suorittaville opiskelijoille. Kurssista on olemassa myös englanninkielinen kalvosarja, jota on tarkoitus ylläpitää mahdollisuuksien mukaan. Uusittu suomenkielinen kalvosarja on saataville kurssin www-sivuilta osoitteesta Samasta osoitteesta löytyy myös tämän luentomonisteen viimeisin versio sekä tarkemmat ohjeet kurssin pakollisen harjoitustyön suorittamiseksi. Huom! Tämä on luentomonisteen versio 0.4. Luentomonistetta on täydennetty kevään 2007 aikana. Suurimmat lisäykset on tehty lukuihin 5. Digitaalinen kuva ja video sekä 9 Multicast. Materiaali on vielä keskeneräistä ja tekstissä on puutteita. Niinpä moniste ei kata vielä aivan kaikkia multimediatekniikan kurssilla käsiteltäviä asioista. Ole yrittänyt karsia tästä versiosta suurimpia kirjoitusvirheitä, mutta niitä on varmasti vielä runsaasti jäljellä. Toivon kuitenkin, että jo tästä versiosta olisi apua kevään 2007 T Multimediatekniikka -kurssin tenttiin osallistuville opiskelijoille. Espoossa, Petri Vuorimaa i

4

5 Sisällysluettelo Esipuhe...i Sisällysluettelo...iii Kuvaluettelo...ix Taulukkoluettelo...xiii Lyhenneluettelo...xv 1. Johdanto Mitä on multimedia? Määritelmä Multimedian komponentit...1 Media...1 Vuorovaikutus...2 Aika Hypermedia Multimediajärjestelmät Jatkuva-aikainen media Tarvittavat teknologiat Multimediajärjestelmien luokittelu...7 Informaatio-malli...7 Hajautettu-malli...8 Kommunikaatio-malli...9 Tietoverkko-malli Palvelunlaatu Synkronointi ja orkestronti Standardointi...11 Internet Engineering Task Force (IETF)...14 International Standardization Organization (ISO)...14 International Telecommunication Union (ITU)...14 Open Mobile Alliance (OMA)...14 Third Generation Partnership Project (3GPP)...14 European Telecommunicatons Standards Institute (ETSI)...15 The Institute of Electrical and Electronics Engineers (IEEE)...15 Java Community Process (JCP)...15 World Wide Web Consortium (W3C)...15 Digital Video Broadcasting (DVB) Multimedia hyödyntäminen Verkotetun multimedian sovellusalueet...16 Etäopetus...16 Sähköinen kaupankäynti...16 Uutiset ja viihde...17 Paikkatietojärjestelmät...18 Terveydenhuolto...18 Viestintä Digitaalisen median konvergenssi Päätelaitteet...20 Multimedia PC...21 Digisovitin sukupolven matkapuhelimet...22 iii

6 Vertailu Arvoketju Laitteisto...25 Yleiskäyttöiset tietokoneet...25 Sulautetut laitteet Video ja grafiikka Audio Tietoliikkenne Massamuistit Muistikortit...29 Multimedia Card...29 Secure Digital CD DVD...30 DVD Formaatit...31 DVD:n salaus...31 Seuraavan sukupolven DVD Sarjaväylät USB...33 USB-laitteet...34 USB-väylän ominaisuudet...34 USB-väylän datatyypit...35 USB Wireless USB FireWire...35 Firewire-konfiguraatio...36 FireWire-kaapeli ja -liitin...36 FireWire-väylän etuja...37 FireWire-väylän ongelmia Prosessorit Kiihdyttimet Erikoisprossorit Yleisprosessorien laajennukset Rinnakkaiset arkkitehtuurit...41 Superskalaarit prosessorit...41 Vektorilaskenta...42 SIMD...42 VLIW...43 TTA Ohjelmistot Ohjelmointi Selain-ohjelmistoarkkitehtuuri Hajautetut ohjelmistot Ohjelmistoarkkitehtuurin toteutus Palvelimet Verkko...51 Palvelunlaatu...51 Suoratoisto...52 Ryhmälähetykset Päätelaitteet...53 iv

7 3.3. Java Java Media Framework Mobile Information Device Profile (MIDP) Multimedia Home Platform XML...61 XML-prosesssointikielet...61 XML-esityskielet...62 XML-datan käsittely...63 XML-ohjelmistokomponentit X-Smiles Käyttöjärjestelmät...65 Symbian OS...66 Reaaliaikaiset käyttöjärjestelmät...66 Sulautettu Linux Digitaalinen audio Psykoakustiikka Taajuusalue Dynaaminen alue Taajuusominaisuudet Ajan vaikutus Maskaus Vaihe Suuntakuulo Digitaaliset audioformaatit ja äänen pakkaus Koodaus aikaulottuvuudessa Kuuloaistiin perustuva koodaus Parametrinen koodaus Monipiste-standardit Digitaalinen kuva ja video Diskreetti kosinimuunnos JPEG Arkkitehtuurit Tehokkuus JPEG Videosignaalit...88 Resoluutio...89 Kuvataajuus...89 Kamerasensorit Värioppi...90 Väritelevio...90 Komposiittisignaali...91 NTSC...92 PAL ja SECAM Liikkeenennustus Videon pakkausstandardit H CIF-formaatti...95 Koodausalgoritmi MPEG Kuvasekvenssi...96 v

8 Bittivirran syntaksi...97 Tehokkuus MPEG MPEG MPEG MPEG Siirtoformaatit Siirtoformaatin rakenne Aika Paikka Rakenne Vuorovaikutus Sovellusalueet Käyttötarkoitukset Vaatimukset Raitamalli Oliomalli Reaaliaikainen tiedonsiirto Menetelmät Erilaiset siirtoformaatit QuickTime MHEG Ominaisuudet MHEG-luokkahierarkia MHEG:n käyttö HTML Tyylisivut ECMAScript DOM-rajapinta SMIL HTML-työkalut XML XML-työkalut Macromedia Shockwave Flash Vertailu Sisällöntuotanto Tuotantoprosessi Konsepti Projektisuunnitelma Käsikirjoitus Käyttöliittymät Prototyypit Toteutus Testaus QoS Laatuparametrit Jonotus FIFO vi

9 Prioriteetit Palveluluokat Painotettu reilu jonotus Liikenteen muokkaus Vuotava ämpäri Kolikkoämpäri RED Palvelunlaatuarkkitehtuurit Integroidut palvelut Palvelunlaatuvaatimukset Hallittu kuormitus Taattu laatu Referenssitoteutus Resurssienjako Pakettien tiputtaminen Käyttäjäpalaute RSVP-protokolla Yhteenveto Eriytetyt palvelut Palveluluokat Komponentit Avoimia kysymyksiä Multicast Unicast Broadcast Multicast Multicast-protokollat Multicast-osoitteet Ryhmiin liittyminen Reititys Unicast-reititys Etäisyysvektori Yhteyden tila Multicast-reititys Harvennus Tulvinta Multicast-reititysprotokollat Distance-Vector Multicast Routing Protocol (DVMRP) Multicast Extension to Open Shortest Path First (MOSPF) Protocol Independent Multicast (PIM) Reaaliaikaiset siirtoprotokollat RTP RTCP RTSP Sessioiden hallinta Session Description Protocol (SDP) Session Announcement Protocol (SAP) Session Initation Protocol (SIP) Yhteyden luominen Kohtaaminen vii

10 Haarautuminen SIP-osoitteet Soitonsiirto Videoneuvottelu Standardiperheet H Video Audio Luokat H H Portti Portinvartija Monipistepalvelin Protokollapino T Access-verkot Kaapelitelevisio Arkkitehtuuri Hybridiverkot Datapalvelut Kaapelimodeemit Digitaaliset tilaajalinjat Eri tekniikat Modulaatiotekniikat Lähdeluettelo Hakemisto Liite A. Lyhyt Englanti Suomi -sanasto Liite B. Lyhyt Suomi Englanti -sanasto viii

11 Kuvaluettelo Kuva 1. Multimediajärjestelmät voidaan jakaa informaatio- ja kommunikaatiojärjestelmiin...7 Kuva 2. Perinteisesti tietokoneet, tietoliikenne, ja viihde-elektroniikka ovat olleet täysin toisistaan erillään olevia saarekkeita, joista jokaisella on omat päätelaitteensa ja tietoliikenneratkaisunsa...19 Kuva 3. Digitaalisen median konvergenssi mahdollistaa samojen sisältöjen, päätelaitteiden ja verkkoteknologioiden käytön sekä tietokoneissa, tietoliikenteessä että viihde-elektroniikassa...20 Kuva 4. Digitaalisen median arvoketju...23 Kuva 5. Yleiskäyttöiset multimediatietokoneet pohjautuvat yleensä rinnakkaiseen väylään [WU98]...26 Kuva 6. Digisovittimissa audio ja video dekoodaus on yleensä toteutetttu laitteistolla...26 Kuva 7. Multimediamatkapuhelimet koostuvat yleensä kahdesta päälohkosta. Kuvan oikealla puoli vastaa perinteisen matkapuhelimen toiminnoista ja kuvan vasen puoli huolehtii multimediasta...28 Kuva 8. DVD-levyjen salausjärjestelmä...32 Kuva 9. USB-johtimen rakenne [WU98]...34 Kuva 10. Esimerkki FireWire-väylän konfiguraatiosta [WU98]...36 Kuva 11. FireWire-väylän a) johdin ja b) liitin [WU98]...36 Kuva 12. Texas Instrument DM310 -multimediaprosessorissa on samalla piirillä RISC-prosessori, DSP-prosessori, laskentakiihdyttimiä sekä oheislaitteiden ohjaimia...39 Kuva 13. Nvidia GeForce grafiikkaprosessori sisältää useita rinnakkaisia yksiköitä grafiikaliukuhihan eri vaiheista [MON05]...40 Kuva 14. MMX-laajennuksen avulla kertolasku voidaan toteuttaa yhtä aikaa esim. neljälle 16 bitin data-alkiolle...41 Kuva 15. TTA-arkkitehtuurissa on dataa siirretään laskentayksiköstä toisee heti kun laskenta on ensimmäisessä yksikössä saatu valmiiksi. Varsinaisia käskyjä ei ole. [COR04]...43 Kuva 16. Verkotetun multimedian palvelu tai sovellus jakautuu yleensä käyttöliittymä-, väliohjelmisto- ja tietoliikennekerroksiin...45 Kuva 17. Selain-arkkitehtuuriin perustuva multimedajärjestelmä...47 Kuva 18. Helix DNA -arkkitehtuuri...48 Kuva 19. Corba-arkkitehtuuri tukee hajautettujen ohjelmistojen toteuttamista Kuva 20. Apple Darwing Steaming Server -suoratoistopalvelin...51 Kuva 21. Mediavirran käsittely perinteisessä käyttöjärjestelmässä...54 Kuva 22. Multimediapäätelaitteiden Java-ympäristöt...56 Kuva 23. Java Media Framework (JMF) -tilakaavio...57 Kuva 24. Mobile Information Device Profile (MIDP) -käyttöliittymäkirjastot...59 Kuva 25. Sovellusohjain...60 Kuva 26. Digitaalisen television (a) ohjelmaopas ja (b) supertekstitelevisio...61 Kuva 27. X-Smiles -selaimen arkkitehtuuri koostuu neljästä kerroksesta...65 Kuva 28. Symbian OS -käyttöjärjestelmän arkkitehtuuri...66 Kuva 29. Ihmisen aistima äänenvoimakkuus riippuu äänen taajuudesta...72 Kuva 30. Klarinetin ääni koostuu perustaajuudesta eli sävelkorkeudesta ja sen ix

12 harmonisista monikerroista, jotka luovat äänen värin...73 Kuva 31. Klarinetin äänen spektristä erottuu selkeästi perustaajuus ja sen harmoniset monikerrat...74 Kuva 32. Maskausilmiössä voimas ääni nostaa kuulorajaa eli peittää alleen lähellä taajuus- ja aikaulottuvuudessa olevat äänet...75 Kuva 33. Laskostumisilmiön takia näytteenottotaajuuden pitää olla vähintään kaksinkertainen alkuperäisestä signaalista...77 Kuva 34. Pulssikoodimodulaatio...78 Kuva 35. Subband-koodaus...80 Kuva 36. a) DCT-muunnoksessa alkuperäiset pikselit korvaat eri taajuuksia vastaavilla kertoimilla. b) Kertoimet järjestetään zig-zag -järjestykseen, jossa matalat taajuudet tulevat ensin ja korkeat taajuudet ovat lopussa...83 Kuva 37. Diskreetin kosinimuunnoksen eri kertoimia vastaavat perusfunktiot Kuva 38. Sekventiaalinen JPEG...86 Kuva 39. Progressiivinen JPEG...86 Kuva 40. Hierarkinen JPEG...87 Kuva 41. Hukkaamaton JPEG...87 Kuva 42. Videosignaali...88 Kuva 43. Summaava ja vähentävä värijärjestelmä...90 Kuva 44. Kolmen sensorin kamera...91 Kuva 45. Yhden sensorin kamera...91 Kuva 46. Liikkeenennustuksessa etsitään kuvasta liikkuvat kappaleet jakamalla kuva lohkoihin ja laskemalla peräkkäisten kuvien vastaavien lohkojen yksittäisten pikselien erostusten absoluuttisten arvojen summa...93 Kuva 47. MPEG-1 -kuvasekvenssi...96 Kuva 48. MPEG-4 pakkausmenetelmässä video- ja audiosignaalit voidaan jakaa eri osiin, josta jokainen pakataan erikseen kullekin tekijälle parhaiten sopivalla menetemällä...98 Kuva 49. MPEG-7 on metadata-standardi, joka on tarkoitettu sisällön hakuun ja suodatukseen...99 Kuva 50. Siirtoformaattien sovellusalueet Kuva 51. Raitamalli Kuva 52. Raitamallin toiminta pseudokoodilla esitettynä Kuva 53. Oliomalli Kuva 54. Oliomallin toiminta pseudokoodilla esitettynä Kuva 55. QuickTime-siirtoformaatti muodostaa sipulimaisen rakenteen Kuva 56. QuickTime-elokuva koostuu useammasta yhtäaikaisesta, peräkkäisestä ja päälekkäisestä raidasta Kuva 57. MHEG-luokkahierarkia Kuva 58. Multimedian tuotantoprojektit koostuvat yleensä kuvan esittämistä vaiheista Kuva 59. Reitittimien ja kytkimien toiminta on hyvin samanlaista. Jokaista sisääntuloa kohden on sisääntuloprosessori ja sen puskurimuisti. Vastaavasti ulostuloportin yhteydessä on ulostuloprosessori ja puskurimuisti. Skedeluri siirtää pakettaja sisääntuloista ulostuloihin Kuva 60. FIFO-jonotus on kaikkein yksinkertaisin ja samalla se on eniten käytössä. Sisääntulevat paketit siirretään skedulerille yhden yhteisen puskurimuistin kautta. Tämän takia paketit lähtetään ulospäin samassa järjestyksessä, missä ne ovat saapuneet x

13 Kuva 61. Prioriteettijonotuksessa paketit jaetaan korkean ja matalan prioriteetin paketteihin. Korkean pioriteetin paketit käsitellään ennen matalan prioriteetin paketteja Kuva 62. Palveluluokkiin perustuvassa jonotuksessa kutakin palveluokkaa varten on oma jononsa Kuva 63. Painotetuissa reiluissa jonoissa liikenne jaetaan virtoihin. Vähiten liikennettä sisältävä virta saa aina parhaan kohtelun Kuva 64. Vuotava ämpäri tasoittaa eri liikennevirtoja taisisiksi virroiksi Kuva 65. Kolikkoämpärissä paketti tarvitsee kolikon, jotta se pääsisi eteenpäin. Lyhyet purskeet on sallittuja niin kauan kun kolikoita riittää Kuva 66. RED-algoritmissa pakettien hukkaamisen todennäköisyys kasvaa jono pidetessä Kuva 67. Integroitujen palveluiden referenssitoteutus Kuva 68. RSVP-protokollassa lähettäjä muodostaa lähetyspolun "Path"-viestin avulla, mutta vastaanottoja tekee varsinaiset varaukset "Resv"-viestillä Kuva 69. Eriytettyjen palveluiden referenssitoteutus Kuva 70. Unicast-lähetyksissä sama etäluento joudutaan lähettämään useampana rinnakkaisena mediavirtana eri vastaanottajille [KOS98] Kuva 71. Broadcast-lähetyksissä sama mediavirta voidaa välittää useammalle vastaanottajalle yhtä aikaa tietyn verkkosegmentin sisällä [KOS98] Kuva 72. Multicast-lähetyksissä sama mediavirta voidaan lähettää yhtä aikaa useammalle myös eri verkkosegmenteissä oleville vastaanottajille [KOS98] Kuva 73. a) IPv4-protokollassa Multicast-osoitteita varten on varattu 28 bittiä, mutta b) IPv6-protokollassa kokonaiset 112 bittiä [KOS98] Kuva 74. IGMP-protokolla välittää tiedon uudesta Multicast-ryhmän jäsenestä eteenpäin Multicast-puussa Kuva 75. Reititystaulu kertoo mille reitittimellä paketti seuraavaksi pitää lähettää, jotta se saadaan välitettyä oikeaan osoitteeseen Kuva 76. Etäisyysvektori-protokollassa reititystaulua päivitetään toiselta reitittimeltä saatujen etäisyystietojen pohjalta Kuva 77. Harvennuksella voidaan Multicast-puusta poistaa kuolleet oksat, joissa ei enää ole lehtiä (Multicast-ryhmän jäseniä) Kuva 78. Tulvinnan seurauksena syntyneet turhat oksat voidaan myöhemmin poistaa harventamalla Kuva 79. Reaali-aikainen siirtoprotokollaperhe [KOS98] Kuva 80. RTP-protokollaan voidaan käyttää monen muun protokollan yhteydessä [KOS98] Kuva 81. RTSP-protokollan käyttö [KOS98] Kuva 82. Esimerkki SDP-kuvauksesta Kuva 83. SIP-yhteyden luominen Kuva 84. Kohtaaminen mahdollistaa yleisen SIP-osoitteen käytön Kuva 85. Haarautuminen mahdollistaa useamman SIP-puhelimen yhtä aikaisen käytön Kuva 86. SIP-viestien otsikot muistuvat sähköpostien otsikkokenttiä ja viestin varsinainen sisältö on SDP-formaatin mukainen Kuva 87. SIP mahdollistaa myös soitonsiirron soittajalta toiselle Kuva 88. SIP-proxy osaa siirtää puhelun oikeaan puhelimeen GRUU-osoitteen avulla Kuva 89. Videoneuvottelun standardiperheet xi

14 Kuva 90. H.320-standardiperheen tärkeimmät standardit Kuva 91. H.323-standardiperhe Kuva 92. Täydellinen H.323-järjestelmä Kuva 93. Monipistepalvelimen eri toteutustavat Kuva 94. H.323-standardipino Kuva 95. T.120-siirtokerros Kuva 96. Kaapelitelevisioverkko välittää televisiokanavia headend-asemalta kotitalouksille runkoverkon, jakeluverkon ja tiputuskaapelin kautta Kuva 97. Kotitalouksissa televisio voidaan kytkeä kaapelitelevioverkoon digisovittimen ja tietokone kaapelimodeemin kautta Kuva 98. Kodin ADSL-liittymä Kuva 99. Pientoimiston ADSL-liittymä Kuva 100. DMT-modulaatiotekniikassa taajuusalue jaetaan 4.3 khz taajuuskaistoihin xii

15 Taulukkoluettelo Taulukko 1. Eri medioiden ominaisuudet...1 Taulukko 2. Hajautettu-malli voidaan jakaa eri kerroksiin...8 Taulukko 3. Multimedian keskeisimmät standardit...13 Taulukko 4. Multimediapäätelaitteiden vertailu...23 Taulukko 5. JPEG-pakkauksen tehokkuus...88 Taulukko 6. Yleisimpien siirtoformaattien vertailu Taulukko 7. Yleisimmät videoneuvottelun standardit Taulukko 8. H.320-standardiperheen mukaisesti videoneuvottelulaitteistot voidaan jakaa kolmeen eri luokkaan Taulukko 9. Kaapelitelevisioverkossa välitettävien kanavien lukumäärä riippuu verkon koosta ja kaistanleveydestä Taulukko 10. xdsl-yhteyksien nopeus riippuu modeemien välisestä etäisyydestä xiii

16

17 Lyhenneluettelo AC Alternating Current. ADSL Asymmetric Digital Subscriber Line. AIDA Attention, Interest, Desire, and Action. API Application Programming Interface. APS Analog Protection Scheme. ASIC Application-Specific Integrated Circuit. AS Assured Forwarding. ATM Asynchronous Transfer Mode. BA Behaviour Aggregate. CAP Carrierless Amplitude Phase. CCD Charge-Coupled Device. CD Compact Disk. CD-DA Compact Disc Digital Audio. CD-I Compact Disk Interactive. CD-R Compact Disc Recordable. CD-RW Compact Disc ReWritable. CD-ROM Compact Disc Read-Only Memory. CD-XA Compact Disc Read Only Memory Extended Architecture. CDC Connected Device Configuration. CDLC Connected Device Limited Configuration. CMOS Complementary Metal Oxide Semiconductor. COPS Common Open Policy Server. DAVIC Digital Audio Video Council. DC Direct Current. DCT Discrete Cosine Transform. DMT Discrete MultiTone. DOCSIS Data Over Cable Service Interface Specification. DRAM Dynamic Random Access Memory. DVB Digital Video Broadcasting. DVD Digital Versatile Disc. DVD-levyt on tarkoitettu mm. elokuvien digitaaliseen jakeluun. DVD-levyistä on käytetty myös nimeä Digital Video Disc. DSP Digital Signal Processing. Digitaalinen signaalinkäsittely. EDGE Enhanced Data rates for GSM Evolution. xv

18 EF Expedited Forwarding. FFT Fast Fourier Transform. FIFO First In First Out. FM Frequency Modulation. GEM Globally Executable MHP. GPRS General Packet Radio System. GPS Global Positioning System. GSM Global System for Mobile Communications. HD High Definition. Lyhennettä käytetään yleisesti teräväpiirtotelevision tai seuraavan sukupolven teräväpiirto DVD -levyjen yhteydessä. HDSL High-Bit Rate Digital Subscriber Line. IDSL Tällä lyhenteellä viitataan ISDN-lyhenteeseen, jota voidaan pitää ensimmäisenä xdsl-teknologiana. IETF Internet Engineering Task Force. IGMP Internet Group Management Protocol. IP Internet Protocol. ITU International Telecommunication Union. ISO International Organization for Standardization. ISDN Integrated Services Digital Network. J2EE Java2 Platform, Enterprise Edition. J2ME Java2 Platform, Micro Edition. J2SE Java2 Platform, Standard Edition. JDK Java Development Kit. JMF Java Media Framework. JPEG Joint Picture Expert Group. JVM Java Virtual Machine. KVM K Virtual Machine. LDAP Light Directory Access Protocol. MHP Multimedia Home Platform. MIDI Musical Instrument Digital Interface. MIDP Mobile Information Device Profile. Mobiililaitteille tarkoitettu Java-ohjelmointikielen profiili. MMAPI Mobile Media Application Programming Interface. MMX Tämä lyhenne ei itse asiassa tarkoita mitään. Sen sijaan kyseessä on Intelin suojaama tuotemerkki. Lyhennettä on yritetty sovittaa mm. seuraaviin sanoihin MultiMedia, Multixvi

19 Media experience, Multiple Math tai Matrix Math extension. MP3 MPEG Audio Layer 3. MPEG Motion Picture Expert Group. OCAP OpenCable Application Platform. OSD On-Screen Display. PC Personal Computer. Henkilökohtaiseen käyttöön tarkoitettu tietokone, joka yleensä pohjautuu Intelin 80x86 tai vastaavaan mikroprosessoriin. PHB Per-Hop Behaviour. Photo CD Photo Compact Disk. POTS Plain Old Telephone System. QAM Quadrature Amplitude Modulation. QoS Quality of Service. Palvelunlaatu. R-ADSL Rate Adative Digital Subscriber Line. Kehittyneempi versio ADSL-teknologiasta. RAM Random Access Memory. RED Random Early Detection. RFID Radio Frequency Identification. RISC Reduced Instruction Set Computer. RSVP ReSource reservation Protocol. RTP Real-Time Transport Protocol. RTCP Real-Time Control Protocol. RTSP Real-Time Streaming Protocol. SDRAM Synchronous Dynamic Random Access Memory. SDSL Symmetric Digital Subscriber Line. SIMD Single Instruction Multiple Data. SMIL Synchronized Multimedia Integration Language. SNMP Simple Network Management Protocol. SNR Signal-to-Noise Ratio. Signaali-kohina-suhteesta käytetään myös lyhennettä S/N. TCP Transport Control Protocol. ToS Type of Service. TTA Transport Triggered Architecture. TV Television. UDP User Datagram Protocol. xvii

20 USB Universal Serial Bus. VDSL Very High Bit-Rate Digital Subscriber Line. VHDL VHSIC Hardware Description Language. VHSIC lyhenne puolestaan tulee sanoista Very-High-Speed Integrated Circuit. VHS Video Home System. Alunperin lyhenne tulee sanoista Vertical Helical Scan. Video CD Video Compact Disk. VLIW Very Large Instruction Word. Pitkän käskysanan prosessori. Yhdellä käskysanalla ohjataan useampaa laskentayksikköä. W3C World Wide Web Consortium. WML Wireless Markup Language. WWW World Wide Web. XAML extensible Application Markup Language. xdsl Digital Subscriber Line. xdsl-lyhenteellä tarkoitetaan kaikkia erilaisia digitaalisiin tilaajalinja-teknologioihin. Pieni xkirjain viittaa erilaisiin vaihtoehtoihin kuten: IDSL, ADSL, RADSL, HDSL, SDSL ja VDSL. XHTML extensible Hypertext Markup Language. XML extensible Markup Language. xviii

21 1. Johdanto 1.1. Mitä on multimedia? Määritelmä Multimedialla ei valitettavasti ole yksikäsitteistä määritelmää. Itse asiassa kilpailevia määritelmiä on useita. Tannenbaum määrittelee multimedian seuraavasti [TAN98]: Vuorovaikutteinen tietokoneavusteinen esitys joka sisältää vähintää kaksi seuraavista mediaelementeistä: teksti, ääni, kuva, video ja animaatio. Multimediassa on siis useampi mediaelementtejä nimensä mukaisesti. Lisäksi siihen kuuluu olennaisena osana vuorovaikutus. Edellisestä määritelmästä puuttuu kuitenkin yksi olennainen elementti: aika. Multimedialla on yleensä jokin juoni, jonka mukaan esitys etenee Multimedian komponentit Multimedialla on siis kolme tyypillistä ominaisuutta: 1. Monta mediaa 2. Vuorovaikutus 3. Aika Media Eri mediatyyppejä voi luokitella usealla eri tavalla. Tyypillisesti medialla on jokin modaliteetti eli se liittyy johokin ihmisen aistiin. Esim. ääni liittyy kuuloaistiin. Näköaisti on kaikkein yleisin. Lisäksi media voi muuttua ajan mukana kuten ääni, video ja animaatio. Lopuksi media voi olla kaapattu luonnollisesta lähteestä tai se voi olla keinotekoinen. Media Modaliteetti Dynaamisuus Lähde Teksti Visuaalinen Kerta Keinotekoinen Kuva Visuaalinen Kerta Luonnollinen Grafiikka Visuaalinen Kerta Keinotekoinen Animaatio Visuaalinen Jatkuva Keinotekoinen Ääni Auraalinen Jatkuva Luonnollinen/ Keinotekoinen Video Visuaalinen Jatkuva Luonnollinen Taulukko 1. Eri medioiden ominaisuudet. Yleisimpien mediatyyppien ominaisuudet on kerrottu taulukossa 1. Taulukossa listattujen mediatyyppien lisäksi on muitakin kuten haju tai kosketus. 1

22 Vuorovaikutus Aleem [ALE98] jakaa vuorovaikutuksen multimediasovelluksissa neljään luokkaa: 1. Passiivinen 2. Reaktiivinen 3. Proaktiivinen 4. Tuottava Ensimmäisessä passiivisessa (engl. Passive) vaihtoehdossa käyttäjä ei varsinaisesti puutu esityksen etenemiseen millään tavalla. Hän esim. katselee kalvoesitystä, joka sisältää tekstiä ja kuvia. Reaktiivisessa (engl. Reactive) vaihtoehdossa käyttäjä jo vaikuttaa esityksen kulkuun, mutta hän ei varsinaisesti vaikuta sen sisältöön. Hän saataa esimerkisi vierittää näyttöä tai ohjata multimediaesityksen kulkua (play/pause/stop). Kolmannessa proaktiivisessa (engl. Proactive) vaihtoehdossa käyttäjä jo vaikuttaa katsottavaan sisältöön. Hän saattaa esimerkiksi liikkua dokumentista toiseen linkkien kautta. Varsinainen sisällön tuotanto kuuluu viimeiseen tuottavaan (engl. Productive) kategoriaan. Tässä vaihtoehdossa käyttäjä syöttää tietoa multimediajärjestelmään. Hän saattaa esim. valita päivämäärän valikosta tai kirjoittaa tekstikenttään. Vuorovaikutuksen tavan lisäksi myös vuorovaikutuksen taso voi vaihdella. Käyttäjän vuorovaikutuksen kohteena voi olla: 1. Käyttöliittymä 2. Sovellus 3. Palvelu 4. Toinen käyttäjä Ensimmäisessä vaihtoehdossa käyttäjä on vuorovaikutuksessa sovelluksen käyttöliittymän kanssa, mutta ei varsinaisesti muuta sovelluksen pysyvää tilaa. Toisessa vaihtoehdossa sovelluksen pysyvää tilaa muutetaan tallettamalla se esim. päätelaitteen muistiin. Kolmannessa vaihtoehdossa käyttäjä on vuorovaikutuksessa palvelun kanssa, joka sijaitsee tyypillisesti tietoverkon takana palvelimella. Viimeisessä vaihtoehdossa vuorovaikutus ulottuu toiseen käyttäjään asti. Tästä tyypillinen esimerkki on videoneuvottelu. Myös sovellusten vuorovaikutuksen määrä voi vaihdella. Esim. seuraavalla listalla vuorovaikutuksen määrä kasvaa siirryttäessä listalla alaspäin: 1. Tilausvideo 2. Sähköposti 3. Videoneuvottelu 4. Videopeli 5. Virtuaalitodellisuus 2

23 Aika Multimediasovelluksilla on yleensä ajallinen ulottuvuus. Esim. DVD-esityksellä tai tietokonepelillä on juoni. Yleensä juoni voi haarautua tietyissä pisteissä eli juoni on ei-lineaarinen. Perinteisissä medioissa kuten kirjassa ja elokuvassa juonihan on yleensä lineaarinen. Aikaulottuvuuden takia eri mediaelementit pitää tahdistaa eli synkronoida. Tästä käytetään nimitystä medioiden välinen synkronointi (engl. Intermedia Synchronization) Tyypillisen esimerkki tästä on ns. huulisynkronointi (engl. Lip Synchronization). Jos videokuva ja siihen liittyvä ääni eivät ole synkronoitu, puhe ei tule samaan tahtiin huulien liikkeen kanssa. Tämä on monta katsojaa ärsyttävä piirre eli ns. artifakti (engl. Artifact1). Edellä mainittua synkronointia kutsutaan mediaelementtien ulkoiseksi synkronoinniksi. Lisäksi pitää huolehtia mediaelementtien sisäisestä eli isokronisesta (engl. Isochronous) synkronoinnista. Esim. videokuva koostuu yksittäisistä kuvista (tyypillisesti 25 tai 30 kuvaa sekunnissa). Yksittäiset kuvat pitää toistaa säännöllisin väliajoin tai muuten videokuvan laatu heikkenee Hypermedia Hypermedia on lähellä multimediaa oleva termi, mutta onko hypermedia multimediaa? Seuraavat ominaisuudet ovat tyypillisiä hypermedialle: 1. Eri medioita 2. Rajallisesti vuorovaikutusta 3. Hyperlinkit 4. Ei ajallista ulottuvuutta 5. Ei synkronointia Hypermediassa hyödynnetään erityisesti tekstiä, grafiikka ja kuvia. Usein käytössä on myös animaatiota. Ääni ja video ovat harvinaisempia. Myös vuorovaikutus on hypermediassa rajatumpaa. Tyypillisesti käyttäjä etenee sivulta toiselle hyperlinkkien kautta. Lisäksi hän saattaa syöttää tietoa painonappien, valintalistojen ja tekstikenttien kautta. Tyypillisesti hypermedialla ei ole ajallista ulottuvuutta. Esitys ei etene itsenäisesti juonen mukaisesti. Sivuilla saattaa kyllä olla audiota ja videota, mutta niitä ei ole tahdistettu muiden mediaelementtien kanssa. Hypermedia ei siis ole multimediaa. Tosin tämä tilanne saattaa muuttua tulevaisuudessa. Tähän palataan myöhemmin tässä luentomonisteessa Multimediajärjestelmät Multimediajärjestelmällä tarkoitetaan tieto- ja/tai tietoliikennetekniikan järjestelmää, jossa hyödynnetään multimediatekniikkaa. Uudet multimedian datatyypit sovivat valitettavasti huonosti yhteen nykyisten tieto ja tietoliikenne1. Sanan kirjoitusmuoto on amerikanenglanniksi Artifact, mutta britannianenglanniksi Artefact. Tämän takia joskus näkee myös suomeksi kirjoitusmuotoa artefakti. 3

24 järjestelmien kanssa. Multimedia vaatii yleensä enemmän tehokkuutta. Toisaalta tarvitaan parempaa laatua. Koska multimediajärjestelmät ovat tyypillisesti monimutkaisia ja niissä yhdistyy useita erilaisia teknologioita, multimediajärjestelmiä täytyy pystyä suunnittelemaan mahdollisimman korkealla abstraktiotasolla. Lisäksi globaalit heterogeeniset tietoverkot vaativat tehokkaita toteutusteknologioita, koska multimediajärjestelmien on kyettävä toimimaan hyvin erilaisissa tietoverkkoympäristöissä Jatkuva-aikainen media Eniten ongelmia multimediajärjestelmissä tuottaa nimenomaan jatkuva-aikainen media (engl. Continuous Media). Tyypillisiä esimerkkejä ovat audio ja video. Molemmissa data koostuu peräkkäisistä näytteistä (audionäytteet ja yksittäiset videokuvat). Ongelmia aiheuttaa erityisesti se, että näytteet on toistettava tiukkojen aikarajojen sisällä. Lisäksi yksittäisiä näytteitä on paljon, joten tietomäärät ovat suuria. Kuten edellä mainittiin nykyisiä tietojärjestelmiä ja tietoverkkoja ei ole suunniteltu tukemaan multimediaa ja erityisesti jatkuva-aikaista mediaa. Esim. prosessoreilta vaaditaan paljon laskentatehoa, minkä takia prosessorien kellotaajuudet ovat kasvaneet huimasti. Edelleen laskentatehoa tarvittaisiin kuitenkin lisää. Toisaalta tehonkulutus pitäisi saada pienemmäksi erityisesti mobiililaitteissa. Nykyiset tiedostojärjestelmät eivät myöskään sovi kovin hyvin jatkuva-aikaisen median käyttöön. Syynä tähän on se, että tiedostojärjestelmät on perinteisesti optimoitu tilan suhteen. Multimedian kannalta on kuitenkin tärkeämpää, että yksittäiset jatkuva-aikaisen median näytteet saadaan siirrettyä tietodostojärjestelmästä mahdollisimman tasaiseen tahtiin. Ongelmia aiheuttaa myös käyttöjärjestelmät. Nykyiset käyttöjärjestelmät on suunniteltu suorittamaan eri ohjelmien prosesseja mahdollisimman reilusti. Toisin sanoen kaikkia prosesseja suoritetaan prioriteettijärjestyksessä niin että kaikki prosessit saavat suoritusaikaa ja eri prosessien vasteajat pysyvät kohtuullisina. Jatkuva-aikaisen median kannalta olisi kuitenkin tärkeää, että säännöllisin väliajoin saapuvia näytteitä käsitteleviä prosesseja suoritettaisiin mahdollisimman tasaiseen tahtiin. Lopuksi ongelmia tuottavat myös tietoverkot. Nykyiset tietoverkot kun on optimoitu lähinnä suurten tiedostojen siirtoon. Tämä johtuu siitä, että suuret tiedostot aiheuttavat datapurskeita tietoverkkoon. Perinteisesti nämä datapurskeet ovat kuorimittaneet verkkoa eniten ja sen takia useat tietoverkot ja erityisesti Internet on optimoitu suoriutumaan mahdollisiman hyvin purskemaisesta dataliikenteestä. Jatkuva-aikaisessa mediassa on myös paljon dataa kuten edellä mainittiin, mutta yksittäiset näytteet eivät saavu purskeissa vaan tasaista tahtia. Nämä mediavirrat hukkuvat helposti purskemaisen liikenteen alle, mikä aiheuttaa jatkuva-aikaisen median pakettien siirtoviiveiden vaihtelua ja jopa yksittäisten pakettien katoamista. 4

25 Tarvittavat teknologiat Multimediajärjestelmien toteuttamisessa hyödynnetään tyypillisesti seuraavia teknologiota: Hajautettu olio-ohjelmointi Rakenteiset dokumentit Multimedian pakkausstandardit Skriptauskielet Siirtoformaatit Ohjelmointirajapinnat Käyttöjärjestelmät Verkkoprotokollat ja -arkkitehtuurit Laitteistoratkaisut Multimediajärjestelmät ovat usein ainakin osittain ohjelmistojärjestelmiä. Olio-ohjelmointi sopii hyvin multimediajärjestelmien toteuttamiseen, koska eri mediaelementit ja niitä käsittelevät komponentit voidaan esittää olioina. Lisäksi multimediajärjestelmät ovat usein hajautettuja useammalle päätelaitteelle ja palvelimelle. Hajautettua olio-ohjelmointia käsitellään enemmän luvussa 3. Ohjelmointikielten lisäksi käytetään usein myös rakenteisia dokumentteja eli hyödynnetään hypermediaa. Rakenteisista dokumenteista hyödynnetään erityisesti erilaisia merkintäkieliä (engl. Markup Language). Viime aikoina on yleistynyt erityisesti extensible Markup Language (XML) -merkintäkielen käyttö. XML-kieli on ns. metakieli eli sen avulla voidaan määritellä erilaisia merkintäkieliä. Kuka tahansa voi suunnitella oman merkintäkielensä. Sen lisäksi World Wide Web Consortium (W3C) on määritellyt useita XML-pohjaisia kieliä. Multimediajärjestelmien kannalta näistä tärkeimpiä ovat extensible HyperText Markup Language (XHTML) ja Synchronized Multimedia Integration Language (SMIL). Eri merkintäkieliä ja niiden käyttöä multimediajärjestelmissä käsitellään tarkemmin mm. luvussa 6. Koska jatkuva-aikainen media luo paljon käsiteltävää dataa, on se yleensä pakattava ennekuin sitä voidaan tallettaa tiedostojärjestelmään tai siirtää tietoverkon yli. Erilaiset pakkausstandardit kuuluvatkin keskeisenä osana multimediajärjestelmiin. Tunneitumpia pakkausstandardeja ovat International Standardization Organisation (ISO) -järjestön Joint Photograph Expert Group (JPEG) ja Motion Picture Expert Group (MPEG) -standardit. Näiden lisäksi myös International Telecommunication Union (ITU) on määritellyt audion ja videon pakkausstandardeja. Eri pakkaustandardeja käsitellään tarkemmin luvuissa 4 ja 5. Perinteisten ohjelmointikielien lisäksi multimediajärjestelmissä käytetään myös ns. skriptauskieliä (engl. Scripting Language). Skriptauskielet ovat yksinkertaisia tulkattavia kieliä, joita käytetään varsin vuorovaikutteisuuden totetuttamiseen. Tunnetuin skriptauskieli on WWW-sivuilla käytettävä ECMASc5

26 ript-kieli, mutta multimediassa on käytössä myös muita valmistajakohtaisia skriptauskieliä. Multimediaa voidaan hyödyntää hyvin erilaisilla laite- ja ohjelmistoalustoilla. Usein multimediajärjestelmän toteuttaja haluaisi, että järjestelmää voisi käyttää mahdollisimman monella laite- ja ohjelmistoalustalla. Käytännössä ei ole kuitenkaan mahdollista toteuttaa järjestelmästä erillistä versiota kutakin eri laite- ja ohjelmistoalustaa varten. Mikä neuvoksi? Kätevin vaihtoehto on hyödyntää ns. siirtoformaatteja. Ideana on määrittää multimediasisältö ja sen toiminta yleisen siirtoformaatin mukaisesti. Siirtoformaatin suorittamiseksi tarvitaan ajoaikainen ympäristö, joka portataan eri laite- ja ohjelmistoalustoille. Tämän jälkeen multimediajärjestelmää voi käyttää kaikilla kyseistä siirtoformaattia tukevilla laite- ja ohjelmistoalustoilla. Eri laiteisto- ja ohjemistoalustojen ominaisuudet voidaan myös piilottaa yhtenäisten ohjelmointirajapintojen (engl. Application Programmin Interface (API)) alle. Tällöin API muodostaa abstraktion alla olevasta ohjelmistosta ja laitteistosta. Käyttöjärjestelmillä on myös merkittävä rooli multimediajärjestelmissä. Periteiset PC-tietokoneiden käyttöjärjestelmät sopiva joko huonosti (esim. Linux) tai erittäin huonosti (esim. Windows) multimedian päätelaitteisiin. Perinteiset käyttöjärjestelmät eivät tue riittävästi jatkuva-aikaista mediaa. Lisäksi ne ovat laajoja monoliittisiä (engl. Monolithic) kokonaisuuksia. Tämä tarkoittaa sitä, että käyttöjärjestelmän ydintä on hankala räätälöidä multimedian päätelaitteen vaatimusten mukaiseksi. Monissa multimedian päätelaittessa käytetäänkin erityisesti multimediaa varten suunniteltuja käyttöjärjestelmiä tai ns. reaaliaikaisia käyttöjärjestelmiä, jotka ovat pienempikokoisia ja joita on helpompi räätälöidä. Multimediajärjestelmät ovat yleensä hajautettuja ja ne hyödyntävät erilaisia tietoverkkoja eri komponenttien väliseen kommunikointiin. Tyypillisesti tietoverkkojen palveluita käytetään erilaisten verkkoprotokollien avulla. Viime aikoina on yleistynyt erityisesti Internet-protokollien käyttö myös muissa tietoliikennearkkitehtuureissa. Multimedian kannalta tärkeimmät protokollat liittyvät palvelunlaatuun, Multicast eli ryhmälähetyksiin ja videoneuvotteluun. Näitä käsitellään tarkemmin luvuissa 8, 9 ja 10. Erilaisia tietoliikenne-arkkitehtuureja ja erityisesti liitymäverkkoja käsitellään luvussa 11. Multimedian tallennus, esittäminen ja käsittely vaatii usein erityisiä laitteistoratkaisuja. Tallennukseen käytetään esim. CD ja DVD-levyjä. Multimedian esittämiseen tarvitaan yleensä hyvälaatuisia näyttöjä ja audiojärjestelmiä. Lisäksi erilaisten pakkaustandardien purkamiseen tarvitaan runsaasti laskentatehoa, minkä takia käytetään joko rinnakkaisia prosessoreita tai erillisiä kiihdyttimiä. Toisaalta multimedian päätelaiteet ovat usein kulustuselektroniikkaa, jossa pyritään mahdollisimman halpaan hintaa. Monesti suurissa tuotantoerissä saavutetaan halvempi hinta, kun osa järjestelmä toteutetaan laitteistolla ohjemiston sijasta. Multimedian laitteistoratkaisuja käsitellään luvussa 2. 6

27 Multimediajärjestelmien luokittelu Multimediajärjestelmät voidaan kuvan 1 mukaisesti jakaa karkeasti kahteen ryhmään: informaatio- ja kommunikaatiojärjestelmät. Informaatiojärjestelmät on tarkoitettu lähinnä multimediaesitysten katsomiseen tai tuottamiseen. Tyypillinen esimerkki on multimediaa sisältävä CD-levy. Kommunikaatio-järjestelmät ovat puolestaan pääsääntöisesti tarkoitettu käyttäjien väliseen kommunikaatioon. Tyypillinen esimerkki on videoneuvottelu. Joskus näiden kahden tyypin erottaminen on vaikeaa. Esim. Videoneuvottelun taustamateriaalina voidaan käyttää multimediadokumentteja. Informaatiomalli Kommunikaatiomalli Informaatiojärjestelmät Kommunikaatiojärjestelmät Hajautettumalli Verkkomalli Kuva 1. Multimediajärjestelmät voidaan jakaa informaatioja kommunikaatiojärjestelmiin. Molemmissa tapauksissa multimediajärjestelmiä voidaan tarkastella joko korkeammalla tai matalammalla abstraktiotasolla. Korkealla abstraktiotasolla informaatiojärjestelmät koostuvat erilaisista dokumenteista. Matalammalla tasolla ne ovat erilaisia hajautettuja ohjelmistoja. Kommunikaatiojärjestelmät puolestaan koostuvat korkeammalla abstraktiotasolla käyttäjien välisestä vuorovaikutuksesta. Matalammalla tasolla ne voidaan toteuttaa erilaisten tietoverkkojen avulla. Informaatio-malli Informaatiojärjestelmien sisältö koostuu erilaisista multimediadokumenteista. Yleistä multimediadokumentin mallia ei kuitenkaan valitettavasti ole olemassa. Tällä hetkellä XML on lupaavin geneerinen multimedia-dokumenttien malli. Informaatiomallissa pyritään yleensä linkittämään eri dokumentit toisiinsa hyperlinkkien avulla. Muita keskeisiä ominaisuuksia ovat ajallisten suhteiden määrittäminen, vuorovaikutteisuuden määrittely sekä erilaisten toiminnallisten komponenttien toteutus. Informaatiomallin multimediadokumenteista käytetään yleisesti myös nimitystä siirtoformaatti. Erilaisia siirtoformaatteja käsitellään tarkemmin luvussa 6. 7

28 Hajautettu-malli Informaatiojärjestelmät ovat yleensä hajautettuja multimediajärjestelmiä. Niissä hyödynnetään useita eri teknologioita kuten edeltä kävi ilmi. Tämän takia järjestelmät ovat usein varsin monimutkaisia. Niiden ymmärtäminen on helpompaa kun järjestelmän toiminnalllisuus jaetaan eri kerroksiin taulukon 2 mukaisesti. Sovellus Ohjauskieli Ohjelmointirajapinta käyttöliittymä, median/laitteiston ohjaus, tiedonsiirto, oliot Orkestrointi resurssien jako, synkronointi, metaskedulointi Media hajautetut oliot, laitteisto, konferenssi, ikkunointi, hypermedia Järjestelmä verkon siirtoprotokollat, tiedostojärjestelmät, reaaliaika-skedulointi Laitteisto verkko, muistijärjestelmä, koodaus/dekoodaus Taulukko 2. Hajautettu-malli voidaan jakaa eri kerroksiin. Ylinpänä kerroksena on itse sovellus, joka on toteuttettu jollain ohjauskielellä. Ohjauskieli voi olla joko merkintä-, ohjelmointi- tai skriptauskieli. Ohjauskieli käyttää alempien kerrosten resursseja erilaisten ohjelmointirajapintojen kautta. Ohjelmointirajapinnat mahdollistavat käyttöliittymän toteuttamisen, eri mediaelementtien ja laitteiston ohjauksen sekä tiedonsiirron. Eri komponentit esitetään usein olioiden muodossa, joita käsitellään ohjauskielellä. Seuraava taso huolehtii eri resurssien orkestoroinista. Käytännössä tämä tarkoittaa resurssien jakamista eri sovellusten kesken, mediaelementtien synkronointia ja korkeamman tason ajoittamista eli ns. Meta-skedulointia. Orkestroinnista kerrotaan lisää hieman myöhemmin tässä luvussa. Seuraava kerros huolehtii varsinaisesta median käsittelystä. Mediaelementit esitetään usein hajautettuina olioina ja niiden käsittelyyn tarvitaan erilaisia ohjelmistokirjastoja ja laitteistoresursseja. Lisäksi tarvitaan erilaisia tietoverkkoja sisällön siirtämistä varten. Median esittämistä varten käytetään puolestaan usein ikkunointijärjestelmiä. Käyttöliittymä voidaan määritellä myös merkintäkielten avulla. Varsinainen järjestelmätaso voidaan jakaa edelleen ohjelmistoon ja laitteistoon. Ohjelmistojärjestelmä sisältyy yleensä käyttöjärjestelmään ja se koostuu mm. erilaisista tietoverkon siirtoprotokollista, tiedostojärjestelmistä, muistinhallinnasta sekä prosessien ja säikeiden skeduloinnista. Laitteistotaso puolestaan sisältää tietoliikennelaiteet, muistijärjestelmän, prosessorit ja erilaiset erikoispiirit kuten esim. erilaiset pakkaus- ja purkupiirit. 8

29 Kommunikaatio-malli Multimediakommunikaatiossa pyritään siis käyttäjien väliseen vuorovaikutukseen. Lähtäkohtana on perinteinen puhelin, joka mahdollistaa käyttäjien väliset keskustelut mukaan lukien erilaiset ryhmäpuhelut. Perinteisten puhelinverkkojen digitalisoituminen ja niiden yhdentymien uudempien dataliikenteen tietoverkkojen kanssa on mahdollistanut monipuolisempien multimediapalvelujen toteuttamisen. Näistä tyypillisiä esimerkkejä ovat esim. Internet-puhelut, video-puhelut ja erilaistet tietokoneistetut puhelinpalvelut. Tällä hetkellä suurin ongelma on, että perinteisten puhelinverkkojen OSI-malli ja Internetin TCP/IP-malli tukevat huonosti multimediakommunikaatiota. Niitä onkin pyritty laajentamaan uusilla protokollilla, jotka mahdollistavat mm. multimediasisällön välittämisen, ryhmälähetykset sekä suoratoiston. Lisäksi nykyisten järjestelmien kuten sähköpostin ja puhelimien on tuettava multimediasisältöjen käyttöä. Tietoverkko-malli Alemmalla abstraktiotasolla multimediakommukaatio koostuu erilaisista tietoja tietoliikenneverkoista sekä niiden kommunikaatioprotokollista. Kuten edellä kävi ilmi, multimedian käyttö edellyttää niiltä uusia ominaisuuksi. Perinteisiä puhelinverkkoja on esim. pyritty laajentamaan erilaisiksi monipalveluverkoiksi. Käytössä ovat erilaiset digitaaliset verkot kuten kuluttajille tarkoitettu Integrated Services Digital Network (ISDN) ja operaattorien sisäiseen käyttöön tarkoitettu laajakaista eli Broadband ISDN (BISDN). Tällä hetkellä Internet-teknologiat näyttäisivät kuitenkin yleistyvän nopeammin kuin ISDN ja BISDN. Multimedian näkökulmasta tavallisen data siirtoon käytetyt TCP/IP-protokollapari ei kuitenkaan sinällään ole riittävä vaan lisäksi tarvitaan protokollia suoratoiston, palvelunlaadun ja ryhmälähetysten toteuttamiseen. Näitä protokollia käsitellään tarkemmin tämän luentomonisteen luvuissa 8 ja Palvelunlaatu Kuten edellä on ollut puhetta multimedia asettaa tiettyjä jatkuva-aikaisesta mediasta aiheutuvia vaatimuksia alla oleville tieto- ja tietoliikennejärjestelmille. Yleisesti sanotaankin, että multimediapalvelut edellyttävät tiettyä laatua alla olevilta järjestelmiltä. Lyhyesti käytetään termiä palvelunlaatu (engl. Quality of Service (QoS)). Palvelunlaadussa ideana on selvittää minkälaista laatua kukin multimediapalvelu vaatii eri komponenteilta kuten päätelaitteen käyttöjärjestelmä, tietoverkko ja palvelimet. Vaatimukset esitetään erilaisten palvelunlaatuparametrien muodossa. Yleisimpiä palvelunlaatuparametreja ovat esim. viive, viiveen vaihtelu eli huojunta (engl. Jitter), virhetaajuus, siirtonopeus jne. Osalle multimediasovelluksista riittää paras mahdollinen saatavilla oleva palvelunlaatu. Tästä käytetään nimitystä paras yritys (Engl. Best Effort). Tietyille sovelluksille kuten esim. videoneuvottelu halutaan kuitenkin vähintään tietyn tasoinen palvelunlaatu. 9

30 Tästä käytetään puolestaan nimitystä taattu palvelu (engl. Guaranteed Service). Kun palvelun vaatima palvelunlaatu on tiedossa, sitä voidaan pyytää alla olevilta tieto- ja tietoliikennejärjestelmiltä. Eri palvelunlaatuparametrit välitetään käytössä olevien rajapintojen kautta eteenpäin. Neuvottelussa käytetään ylintä protokollatasoa, jotka puolestaan välittävät palvelunlaatuparametrit alemmille tasoille. Tämän jälkeen eri komponenttien on varmistettava onko riittävät resurssit olemassa. Käyttöjärjestelmä voi esim. varmistaa, onko sillä käytettävissä riittävästi prosessointiaikaa ja muistia. Toisaalta tietoverkko voi varmistaa, että aktiivisilla komponenteilla kuten reittittimillä on riittävästi kapasiteettia. Palvelimista esim. tilausvideopalvelin voi varmistaa, että sillä on riittävästi prosessointitehoa ja sen tiedostojärjestelmässä on riittävästi kapasiteettia. Tätä vaihetta kutsutaan yleisesti neuvotteluksi palvelunlaadusta. Jos palveluntarjoajalla on riittävästi resursseja se myöntää laatutason ja tekee tarvittavat varaukset eri resursseista. Palvelunlaatu edellyttää siis usein kirjanpitoa resursseista. Kirjanpitoa tarvitaan, jotta eri komponentit ovat tietoisia niiltä varatuista resursseista Synkronointi ja orkestronti Tarkka mediaelementtien sisäinen ja ulkoinen synkronointi edellyttää ohjausta. Tyypillisesti mediavirtojen käsittely muodostaa ketjun, jossa palvelin ensin noutaa mediaelementin yksittäisen näytteen tiedostojärjestelmästään, pakkaa sen pakettiin muutaman muun näytteen kanssa ja lähettää eteenpäin tietoverkkoon. Tämän jälkeen tietoverkko siirtää paketin verkon eri komponenttien kautta päätelaitteelle. Päätelaite puolestaan purkaa paketin ja prosessoi yksittäisen näytteen mm. purkamalla sen pakkauksen. Lopuksi päätelaite esittää yksittäisen näytteen käyttäjälle kulloinkin käytössä olevan tulostuslaitteen kautta. Tyypillisesti kullakin resursilla on oma ohjausyksikkönsä, joka huolehtii siitä, että kyseinen komponentti toimii tahdissa. Lisäksi tarvitaan eri komponenttien välistä neuvottelua, jotta mediavirtojen näytteiden käsittely pysyisi tahdissa. Tätä eri resurssien samanaikasta ohjausta kutsutaan orkestroinniksi (engl. Orchestration). Kukin resurssi on tavallaan orkesterin soittaja. Jokainen resurssin ohjausyksikkö ohjaa omaa resurssiaan. Esim. tiedostojärjestelmä huolehtii pääsystä tiedostoihin. Vastaavasti verkko ohjaa eri aktiivisten elementtien kuten reitittimen kautta kulkevaa liikennettä. Päätelaitteissa käyttöjärjestelmä puolestaan huolehtii esim. muistin kulutuksesta sekä yksittäisten säikeiden ja prosessien skeduloinnista (engl. Scheduling). Kuten edellä mainittiin jatkuva-aikaisen median synkronointi on tehtävä tiukkojen aikarajojen puitteissa sekä mediaelementin sisäisessä synkronoinnissa että mediaelementtien välisessä synkronoinnissa. Aina tässä ei kuitenkaan onnistuta. Tietoverkko saattaa esim. ruuhkautua, jolloin se ei kykene välittämää mediaelementin yksittäistä näytettä ajoissa palvelimelta päätelaitteelle. Yksittäisiä virheitä voidaan onneksi piilottaa käyttäjältä (engl. Error Concealment). Tarvittaessa voidaan esim. turvautua edellisen näytteen toistoon tai 10

31 jättää kyseinen näyte kokonaan väliin. Edellinen vaihtoehto sopii hyvin audioon ja yksittäisen videokuvan osiin. Jälkimmäinen vaihtoehto taas sopii hyvin kokonaisiin videokuviin. Lopuksi yksittäinen näyte voidaan myös hajauttaa useampaan eri pakettiin, joilloin tietoverkon yksittäiset bittivirheet eivät aiheuta koko näytteen tuhoutumista. Lisäksi voidaan turvautua myös varsinaiseen virheenkorjaukseen (engl. Error Correction). Virheenkorjauksessa yksittäiset bittivirheet korjataan näytteisiin lisättyjen virheenkorjauskoodien avulla. Mitä syvemmälle multimediajärjestelmässä mennään sen tarkemmaksi tahdistus muuttuu. Alimmalla tasolla viiveiden on pysyttävä vakioina. Käytännössä tämä hoidetaan ns. puskuroinnin avulla (engl. Buffering). Puskuroinissa yksittäisen mediaelemttiä käsittelevän resurssin eteen laitetaan hieman puskurimuistia. Kaikki resurssille tulevat näyteet tulevat puskurin lävitse. Ideana on pitää aina muutama näyte puskurissa odottamassa. Näin yksittäisten näytteiden viivästymiset pystytään estämään. Toisaalta jos näytteitä saapuu jostain syytä purskeena, voidaan ne tallettaa puskuriin odottamaan käsittelyvuoroa. Puskureiden ongelmana on kuitenkin se, että ne lisäävät yksittäisten näytteiden käsittelyn kokonaisviivettä Standardointi Hajautetuissa multimediajärjestelmissä eri komponenttien ja niiden välillä siirrettävän informaation on oltava yhteensopivaa. Tällöin voidaan käyttää eri valmistajien komponentteja ja sisällöntuottajien sisältöjä. Käytännössä yhteensopivuus varmistetaan standardien avulla. Jos stantardeja ei ole, joudutaan sitoutumaan yhden valmistajan tuotteisiin ja yhden sisällöntuottajan sisältöihin. Käytännössä standardeja tuottavat useat eri elimet: standardointielimet, kauppalliset ryhmittymät ja yksittäiset valmistajat. Viralliset standardointielimet ovat joko valtioiden välisiä standardointielimiä kuten esim. International Standardization Organization (ISO) ja International Telecommunication Union (ITU) tai avoimia yhteisöjä kuten World Wide Web Consortium (W3C) ja Internet Engineering Task Force (IETF). Kaupalliset ryhmittymät ovat tyypillisesti yritysten välisiä standardointielimiä kuten esim. Thrid Generation Partnership Project (3GPP) tai Digital Video Broadcasting Project (DVB). Lopuksi on olemassa myös yksittäisten yritysten luomia standardeja kuten esim. QuickTime. Käytännössä standardeja on kahta mallia: ns. viralliset ja de facto -standardit. Viralliset standardit ovat perinteisesti syntyneet siten, että standardointielin tai kaupallinen ryhmittymä päättää luoda standardin jollekin alueelle. Tämän jälkeen standardointielimen tai -ryhmittymän halukkaat jäsenet voivat osallistua standardin laatimiseen yhdessä. Standardista laaditaan ehdotus, jota muut jäsenet ja mahdolliset kolmannet osapuolet voivat kommentoida. Standardiin tehdään mahdollisia tarkastuksia ja täsmennyksiä, minkä jälkeen se voi edetä varsinaiseen hyväksymisprosessiin. Kullakin standardointielimellä on omat hyväksymisprosessinsa, mutta yleensä jäsenet äänestävät tavalla tai toisella standardin hyväkymisestä. 11