Luentomoniste versio 0.1. Petri Vuorimaa 2006

Transkriptio

1 Multimediatekniikka Luentomoniste versio 0.1 Petri Vuorimaa 2006

2

3 Esipuhe Olen luennoinnut Teknillisen korkeakoulun T Multimediatekniikka -kurssia vuodesta 1998 lähtien. Aikaisemmin kurssista on käytetty myös koodeja T ja Tik Vuosien varrella kurssin sisältö on hieman muuttunut ja kurssikirja on vaihtunut useaan otteeseen. Tämän hetken luentomateriaali koostuu useasta eri lähteestä, joten valitettavasti aiheesta ei ole olemassa yhtä ainoaa koko kurssin kattavaa kirjaa. Tutkinnonuudistuksen yhteydessä multimediatekniikan kurssi sijoitettiin aikaisempaa varhaisempaan vaiheeseen opinnoissa ja se on pakollinen kaikille tietotekniikan opiskelijoille. Lisäksi kurssi kuuluu pakollisena tiettyihin muiden opinto-ohjelmien moduuleihin. Vuoden 2006 keväällä kävi ilmeiseksi, että kurssin opetusmateriaali vaatii kehittämistä. Aikaisempi vuosittainen kalvosarjan päivitys ei enää riittänyt. Sen sijaan päädyin kirjoittamaan olemassa olevan opetusmateriaalin pohjalta tämän luentomonisteen sekä päivittämään kalvosarjan. Luentomonisteen kieleksi valitsin tarkoituksella suomenkielen, koska uudessa tutkinto-ohjelmassa T Multimediatekniikka -kurssi on tarkoitettu pääasiassa kanditutkintoa suorittaville opiskelijoille. Kurssista on olemassa myös englanninkielinen kalvosarja, jota on tarkoitus ylläpitää mahdollisuuksien mukaan. Uusittu suomenkielinen kalvosarja tulee saataville kevään 2007 aikana kurssin www-sivuille osoitteessa Samasta osoitteesta löytyy myös tämän luentomonisteen viimeisin versio sekä tarkemmat ohjeet kurssin pakollisen harjoitustyön suorittamiseksi. Huom! Tämä on luentomonisteen ensimmäinen 0.1 versio. Tämä versio on kirjoitettu kesän 2006 aikana varsin nopeaa vauhtia. Materiaali on vielä täysin keskeneräistä ja teksti on varsin puutteellista. Moniste kattaa vasta osan multimediatekniikan kurssilla käsiteltävistä asioista. Tekstin joukossa on lisäksi varmasti lukuisia kirjoitusvirheitä. Toivon kuitenkin, että jo tästä varhaisesta versiosta olisi apua syksyn 2006 aikana T Multimediatekniikka -kurssin tenttiin osallistuville opiskelijoille. Espoossa, Petri Vuorimaa i

4

5 Sisällysluettelo Esipuhe...i Sisällysluettelo... iii Kuvaluettelo...vii Taulukkoluettelo...xi Lyhenneluettelo...xiii 1. Johdanto Mitä on multimedia? Määritelmä Multimedian komponentit...1 Media...1 Vuorovaikutus...2 Aika Hypermedia Multimediajärjestelmät Jatkuva-aikainen media Tarvittavat teknologiat Palvelunlaatu Synkronointi ja orkestronti Standardointi...8 Internet Engineering Task Force (IETF)...11 International Standardization Organization (ISO)...11 International Telecommunication Union (ITU)...11 Open Mobile Alliance (OMA)...11 Third Generation Partnership Project (3GPP)...11 European Telecommunicatons Standards Institute (ETSI)...11 The Institute of Electrical and Electronics Engineers (IEEE)...11 Java Community Process (JCP)...11 World Wide Web Consortium (W3C)...11 Digital Video Broadcasting (DVB) Multimedia hyödyntäminen Verkotetun multimedian sovellusalueet...11 Etäopetus...11 Sähköinen kaupankäynti...12 Uutiset, viihde...13 Paikkatietojärjestelmät...13 Terveydenhuolto...14 Viestintä Digitaalisen median konvergenssi Päätelaitteet...16 Multimedia PC...16 Digisovitin sukupolven matkapuhelimet...17 Vertailu Arvoketju Laitteisto...21 Yleiskäyttöiset tietokoneet...21 Sulautetut laitteet...22 iii

6 2.1. Video ja grafiikka Audio Tietoliikkenne Massamuistit Muistikortit...25 Multimedia Card...25 Secure Digital CD DVD...26 DVD Formaatit...27 DVD:n salaus...27 Seuraavan sukupolven DVD Sarjaväylät USB...29 USB-laitteet...30 USB-väylän ominaisuudet...30 USB-väylän datatyypit...31 USB Wireless USB FireWire...31 Firewire-konfiguraatio...32 FireWire-kaapeli ja -liitin...32 FireWire-väylän etuja...33 FireWire-väylän ongelmia Prosessorit Kiihdyttimet Erikoisprossorit Yleisprosessorien laajennukset Rinnakkaiset arkkitehtuurit...37 Superskalaarit prosessorit...38 Vektorilaskenta...38 SIMD VLIW...39 TTA Ohjelmistot Ohjelmointi Selain-ohjelmistoarkkitehtuuri Hajautetut ohjelmistot Ohjelmistoarkkitehtuurin komponentit Palvelimet Verkko Päätelaitteet Java Java Media Framework Mobile Information Device Profile (MIDP) Multimedia Home Platform XML X-Smiles Käyttöjärjestelmät Digitaalinen audio...51 iv

7 4.1. Psykoakustiikka Taajuusalue Dynaaminen alue Taajuusominaisuudet Ajan vaikutus Maskaus Vaihe Suuntakuulo Digitaaliset audioformaatit ja äänen pakkaus Koodaus aikaulottuvuudessa Kuuloaistiin perustuva koodaus Parametrinen koodaus Monipiste-standardit Digitaalinen kuva ja video Diskreetti kosinimuunnos JPEG Arkkitehtuurit Tehokkuus JPEG Videosignaalit...70 Resoluutio...71 Kuvataajuus...71 Kamerasensorit Värioppi...72 Väritelevio...73 Komposiittisignaali...73 NTSC...74 PAL ja SECAM Siirtoformaatit Siirtoformaatin rakenne...75 Aika...75 Paikka...76 Rakenne...76 Vuorovaikutus Sovellusalueet Käyttötarkoitukset Vaatimukset Raitamalli Oliomalli Sisällöntuotanto Tuotantoprosessi Konsepti Projektisuunnitelma Käsikirjoitus Käyttöliittymät Prototyypit Toteutus Testaus QoS Jonotus...89 v

8 FIFO Prioriteetit Palveluluokat Painotettu reilu jonotus Liikenteen muokkaus Vuotava ämpäri Kolikkoämpäri RED Palvelunlaatuarkkitehtuurit Integroidut palvelut...96 Palvelunlaatuvaatimukset...97 Hallittu kuormitus...97 Taattu laatu...97 Referenssitoteutus...98 Resurssienjako...98 Pakettien tiputtaminen...98 Käyttäjäpalaute...99 RSVP-protokolla...99 Yhteenveto Eriytetyt palvelut...99 Palveluluokat Komponentit Avoimia kysymyksiä Multicast Unicast Broadcast Multicast Multicast-protokollat Multicast-osoitteet Ryhmiin liittyminen Reaaliaikaiset siirtoprotokollat RTP RTCP RTSP Videoneuvottelu Standardiperheet Access-verkot Kaapelitelevisio Arkkitehtuuri Hybridiverkot Datapalvelut Kaapelimodeemit Digitaaliset tilaajalinjat Eri tekniikat Modulaatiotekniikat Lähdeluettelo Hakemisto Liite A. Lyhyt Englanti Suomi -sanasto Liite B. Lyhyt Suomi Englanti -sanasto vi

9 Kuvaluettelo Kuva 1. Perinteisesti tietokoneet, tietoliikenne, ja viihde-elektroniikka ovat olleet täysin toisistaan erillään olevia saarekkeita, joista jokaisella on omat päätelaitteensa ja tietoliikenneratkaisunsa...15 Kuva 2. Digitaalisen median konvergenssi mahdollistaa samojen sisältöjen, päätelaitteiden ja verkkoteknologioiden käytön sekä tietokoneissa, tietoliikenteessä että viihde-elektroniikassa...15 Kuva 3. Digitaalisen median arvoketju...19 Kuva 4. Yleiskäyttöiset multimediatietokoneet pohjautuvat yleensä rinnakkaiseen väylään [WU98]...22 Kuva 5. Digisovittimissa audio ja video dekoodaus on yleensä toteutetttu laitteistolla...22 Kuva 6. Multimediamatkapuhelimet koostuvat yleensä kahdesta päälohkosta. Kuvan oikealla puoli vastaa perinteisen matkapuhelimen toiminnoista ja kuvan vasen puoli huolehtii multimediasta...24 Kuva 7. DVD-levyjen salausjärjestelmä...28 Kuva 8. USB-johtimen rakenne [WU98]...30 Kuva 9. Esimerkki FireWire-väylän konfiguraatiosta [WU98]...32 Kuva 10. FireWire-väylän a) johdin ja b) liitin [WU98]...32 Kuva 11. Texas Instrument DM310 -multimediaprosessorissa on samalla piirillä RISC-prosessori, DSP-prosessori, laskentakiihdyttimiä sekä oheislaitteiden ohjaimia...35 Kuva 12. Nvidia GeForce grafiikkaprosessori sisältää useita rinnakkaisia yksiköitä grafiikaliukuhihan eri vaiheista [MON05]...36 Kuva 13. MMX-laajennuksen avulla kertolasku voidaan toteuttaa yhtä aikaa esim. neljälle 16 bitin data-alkiolle...37 Kuva 14. TTA-arkkitehtuurissa on dataa siirretään laskentayksiköstä toisee heti kun laskenta on ensimmäisessä yksikössä saatu valmiiksi. Varsinaisia käskyjä ei ole. [COR04]...40 Kuva 15. Verkotetun multimedian palvelu tai sovellus jakautuu yleensä käyttöliittymä-, väliohjelmisto- ja tietoliikennekerroksiin...41 Kuva 16. Multimediapäätelaitteiden Java-ympäristöt...44 Kuva 17. Java Media Framework (JMF) -tilakaavio...45 Kuva 18. Mobile Information Device Profile (MIDP) -käyttöliittymäkirjastot..47 Kuva 19. Sovellusohjain...48 Kuva 20. Digitaalisen television (a) ohjelmaopas ja (b) supertekstitelevisio...49 Kuva 21. Ihmisen aistima äänenvoimakkuus riippuu äänen taajuudesta...54 Kuva 22. Klarinetin ääni koostuu perustaajuudesta eli sävelkorkeudesta ja sen harmonisista monikerroista, jotka luovat äänen värin...55 Kuva 23. Klarinetin äänen spektristä erottuu selkeästi perustaajuus ja sen harmoniset monikerrat...56 Kuva 24. Maskausilmiössä voimas ääni nostaa kuulorajaa eli peittää alleen lähellä taajuus- ja aikaulottuvuudessa olevat äänet...57 Kuva 25. Laskostumisilmiön takia näytteenottotaajuuden pitää olla vähintään kaksinkertainen alkuperäisestä signaalista...59 Kuva 26. Pulssikoodimodulaatio...60 Kuva 27. Subband-koodaus...63 Kuva 28. a) DCT-muunnoksessa alkuperäiset pikselit korvaat eri taajuksia vii

10 vastaavilla kertoimilla. b) Kertoimet järjestetään zig-zag -järjestykseen, jossa matalat taajuudet tulevat ensin ja korkeat taajuudet ovat lopussa...65 Kuva 29. Diskreetin kosinimuunnoksen eri kertoimia vastaavat perusfunktiot Kuva 30. Sekventiaalinen JPEG...68 Kuva 31. Progressiivinen JPEG...68 Kuva 32. Hierarkinen JPEG...69 Kuva 33. Hukkaamaton JPEG...69 Kuva 34. Videosignaali...70 Kuva 35. Summaava ja vähentävä värijärjestelmä...72 Kuva 36. Kolmen sensorin kamera...73 Kuva 37. Yhden sensorin kamera...73 Kuva 38. Siirtoformaattien sovellusalueet...77 Kuva 39. Raitamalli...79 Kuva 40. Raitamallin toiminta pseudokoodilla esitettynä...80 Kuva 41. Oliomalli...80 Kuva 42. Oliomallin toiminta pseudokoodilla esitettynä...81 Kuva 43. Multimedian tuotantoprojektit koostuvat yleensä kuvan esittämistä vaiheista...83 Kuva 44. Reitittimien ja kytkimien toiminta on hyvin samanlaista. Jokaista sisääntuloa kohden on sisääntuloprosessori ja sen puskurimuisti. Vastaavasti ulostuloportin yhteydessä on ulostuloprosessori ja puskurimuisti. Skedeluri siirtää pakettaja sisääntuloista ulostuloihin...89 Kuva 45. FIFO-jonotus on kaikkein yksinkertaisin ja samalla se on eniten käytössä. Sisääntulevat paketit siirretään skedulerille yhden yhteisen puskurimuistin kautta. Tämän takia paketit lähtetään ulospäin samass järjestyksessä, missä ne ovat saapuneet...90 Kuva 46. Prioriteettijonotuksessa paketit jaetaan korkean ja matan prioriteetin paketteihin. Korkean pioriteetin paketit käsitellään ennen matan prioriteetin paketteja...91 Kuva 47. Palveluluokkiin perustuvassa jonotuksessa kutakin palveluokkaa varten on oma jononsa...92 Kuva 48. Painotetuissa reiluissa jonoissa liikenne jaetaan virtoihin. Vähiten liikennettä sisältävä virta saa aina parhaan kohtelun...93 Kuva 49. Vuotava ämpäri tasoittaa eri liikennevirtoja taisisiksi virroiksi...94 Kuva 50. Kolikkoämpärissä paketti tarvitsee kolikon, jotta se pääsisi eteenpäin. Lyhyet purskeet on sallittuja niin kauan kun kolikoita riittää...95 Kuva 51. RED-algoritmissa pakettien hukkaamisen todennäköisyys kasvaa jono pidetessä...96 Kuva 52. Integroitujen palveluiden referenssitoteutus...98 Kuva 53. Eriytettyjen palveluiden referenssitoteutus Kuva 54. Unicast-lähetyksissä sama etäluento joudutaan lähettämään useampana rinnakkaisena mediavirtana eri vastaanottajille [KOS98] Kuva 55. Broadcast-lähetyksissä sama mediavirta voidaa välittää useammalle vastaanottajalle yhtä aikaa tietyn verkkosegmentin sisällä [KOS98] Kuva 56. Multicast-lähetyksissä sama mediavirta voidaan lähettää yhtä aikaa useammalle myös eri verkkosegmenteissä oleville vastaanottajille [KOS98] Kuva 57. a) IPv4-prokollassa Multicast-osoitteita varten on varattu 28 bittiä, mutta b) IPv6-protokollassa kokonaiset 112 bittiä [KOS98] viii

11 Kuva 58. IGMP-protokolla välittää tiedon uudesta Multicast-ryhmän jäsenestä eteenpäin Multicast-puussa Kuva 59. Reaalia-aikainen siirtoprotokollaperhe [KOS98] Kuva 60. RTP-protokollaan voidaan käyttää monen muun protokollan yhteydessä [KOS98] Kuva 61. RTSP-protokollan käyttö [KOS98] Kuva 62. Videoneuvottelun standardiperheet Kuva 63. Kaapelitelevisioverkko välittää televisiokanavia headend-asemalta kotitalouksille runkoverkon, jakeluverkon ja tiputuskaapelin kautta Kuva 64. Kotitalouksissa televisio voidaan kytkeä kaapelitelevioverkoon digisovittimen ja tietokone kaapelimodeemin kautta Kuva 65. Kodin ADSL-liittymä Kuva 66. Pientoimiston ADSL-liittymä Kuva 67. DMT-modulaatiotekniikassa taajuusalue jaetaan 4.3 khz taajuuskaistoihin ix

12

13 Taulukkoluettelo Taulukko 1. Eri medioiden ominaisuudet...1 Taulukko 2. Multimedian keskeisimmät standardit...10 Taulukko 3. Multimediapäätelaitteiden vertailu...18 Taulukko 4. JPEG-pakkauksen tehokkuus...70 Taulukko 5. Yleisimmät videoneuvottelun standardit Taulukko 6. Kaapelitelevisioverkossa välitettävien kanavien lukumäärä riippuu verkon koosta ja kaistanleveydestä Taulukko 7. xdsl-yhteyksien nopeus riippuu modeemien välisestä etäisyydestä xi

14

15 Lyhenneluettelo AC Alternating Current. ADSL Asymmetric Digital Subscriber Line. AIDA Attention, Interest, Desire, and Action. API Application Programming Interface. APS Analog Protection Scheme. ASIC Application-Specific Integrated Circuit. AS Assured Forwarding. ATM Asynchronous Transfer Mode. BA Behaviour Aggregate. CAP Carrierless Amplitude Phase. CCD Charge-Coupled Device. CD Compact Disk. CD-DA Compact Disc Digital Audio. CD-I Compact Disk Interactive. CD-R Compact Disc Recordable. CD-RW Compact Disc ReWritable. CD-ROM Compact Disc Read-Only Memory. CD-XA Compact Disc Read Only Memory Extended Architecture. CDC Connected Device Configuration. CDLC Connected Device Limited Configuration. CMOS Complementary Metal Oxide Semiconductor. COPS Common Open Policy Server. DAVIC Digital Audio Video Council. DC Direct Current. DCT Discrete Cosine Transform. DMT Discrete MultiTone. DOCSIS Data Over Cable Service Interface Specification. DRAM Dynamic Random Access Memory. DVB Digital Video Broadcasting. DVD Digital Versatile Disc. DVD-levyt on tarkoitettu mm. elokuvien digitaaliseen jakeluun. DVD-levyistä on käytetty myös nimeä Digital Video Disc. DSP Digital Signal Processing. Digitaalinen signaalinkäsittely. EDGE Enhanced Data rates for GSM Evolution. xiii

16 EF Expedited Forwarding. FFT Fast Fourier Transform. FIFO First In First Out. FM Frequency Modulation. GEM Globally Executable MHP. GPRS General Packet Radio System. GPS Global Positioning System. GSM Global System for Mobile Communications. HD High Definition. Lyhennettä käytetään yleisesti teräväpiirtotelevision tai seuraavan sukupolven teräväpiirto DVD -levyjen yhteydessä. HDSL High-Bit Rate Digital Subscriber Line. IDSL Tällä lyhenteellä viitataan ISDN-lyhenteeseen, jota voidaan pitää ensimmäisenä xdsl-teknologiana. IETF Internet Engineering Task Force. IGMP Internet Group Management Protocol. IP Internet Protocol. ITU International Telecommunication Union. ISO International Organization for Standardization. ISDN Integrated Services Digital Network. J2EE Java2 Platform, Enterprise Edition. J2ME Java2 Platform, Micro Edition. J2SE Java2 Platform, Standard Edition. JDK Java Development Kit. JMF Java Media Framework. JPEG Joint Picture Expert Group. JVM Java Virtual Machine. KVM K Virtual Machine. LDAP Light Directory Access Protocol. MHP Multimedia Home Platform. MIDI Musical Instrument Digital Interface. MIDP Mobile Information Device Profile. Mobiililaitteille tarkoitettu Java-ohjelmointikielen profiili. MMAPI Mobile Media Application Programming Interface. MMX Tämä lyhenne ei itse asiassa tarkoita mitään. Sen sijaan kyseessä on Intelin suojaama tuotemerkki. Lyhennettä on yritetty sovittaa mm. seuraaviin sanoihin MultiMedia, xiv

17 MultiMedia experience, Multiple Math tai Matrix Math extension. MP3 MPEG Audio Layer 3. MPEG Motion Picture Expert Group. OCAP OpenCable Application Platform. OSD On-Screen Display. PC Personal Computer. Henkilökohtaiseen käyttöön tarkoitettu tietokone, joka yleensä pohjautuu Intelin 80x86 tai vastaavaan mikroprosessoriin. PHB Per-Hop Behaviour. Photo CD Photo Compact Disk. POTS Plain Old Telephone System. QAM Quadrature Amplitude Modulation. QoS Quality of Service. Palvelunlaatu. R-ADSL Rate Adative Digital Subscriber Line. Kehittyneempi versio ADSL-teknologiasta. RAM Random Access Memory. RED Random Early Detection. RFID Radio Frequency Identification. RISC Reduced Instruction Set Computer. RSVP ReSource reservation Protocol. RTP Real-Time Transport Protocol. RTCP Real-Time Control Protocol. RTSP Real-Time Streaming Protocol. SDRAM Synchronous Dynamic Random Access Memory. SDSL Symmetric Digital Subscriber Line. SIMD Single Instruction Multiple Data. SMIL Synchronized Multimedia Integration Language. SNMP Simple Network Management Protocol. SNR Signal-to-Noise Ratio. Signaali-kohina-suhteesta käytetään myös lyhennettä S/N. TCP Transport Control Protocol. ToS Type of Service. TTA Transport Triggered Architecture. TV Television. UDP User Datagram Protocol. xv

18 USB Universal Serial Bus. VDSL Very High Bit-Rate Digital Subscriber Line. VHDL VHSIC Hardware Description Language. VHSIC lyhenne puolestaan tulee sanoista Very-High-Speed Integrated Circuit. VHS Video Home System. Alunperin lyhenne tulee sanoista Vertical Helical Scan. Video CD Video Compact Disk. VLIW Very Large Instruction Word. Pitkän käskysanan prosessori. Yhdellä käskysanalla ohjataan useampaa laskentayksikköä. W3C World Wide Web Consortium. WML Wireless Markup Language. WWW World Wide Web. XAML extensible Application Markup Language. xdsl Digital Subscriber Line. xdsl-lyhenteellä tarkoitetaan kaikkia erilaisia digitaalisiin tilaajalinja-teknologioihin. Pieni x-kirjain viittaa erilaisiin vaihtoehtoihin kuten: IDSL, ADSL, R-ADSL, HDSL, SDSL ja VDSL. XHTML extensible Hypertext Markup Language. XML extensible Markup Language. xvi

19 1. Johdanto 1.1. Mitä on multimedia? Määritelmä Multimedialla ei valitettavasti ole yksikäsitteistä määritelmää. Itse asiassa kilpailevia määritelmiä on useita. Tannenbaum määrittelee multimedian seuraavasti [TAN98]: Vuorovaikutteinen tietokoneavusteinen esitys joka sisältää vähintää kaksi seuraavista mediaelementeistä: teksti, ääni, kuva, video ja animaatio. Multimediassa on siis useampi mediaelementtejä nimensä mukaisesti. Lisäksi siihen kuuluu olennaisena osana vuorovaikutus. Edellisestä määritelmästä puuttuu kuitenkin yksi olennainen elementti: aika. Multimedialla on yleensä jokin juoni, jonka mukaan esitys etenee Multimedian komponentit Multimedialla on siis kolme tyypillistä ominaisuutta: 1. Monta mediaa 2. Vuorovaikutus 3. Aika Media Eri mediatyyppejä voi luokitella usealla eri tavalla. Tyypillisesti medialla on jokin modaliteetti eli se liittyy johokin ihmisen aistiin. Esim. ääni liittyy kuuloaistiin. Näköaisti on kaikkein yleisin. Lisäksi media voi muuttua ajan mukana kuten ääni, video ja animaatio. Lopuksi media voi olla kaapattu luonnollisesta lähteestä tai se voi olla keinotekoinen. Media Modaliteetti Dynaamisuus Lähde Teksti Visuaalinen Kerta Keinotekoinen Kuva Visuaalinen Kerta Luonnollinen Grafiikka Visuaalinen Kerta Keinotekoinen Animaatio Visuaalinen Jatkuva Keinotekoinen Ääni Auraalinen Jatkuva Luonnollinen/ Keinotekoinen Video Visuaalinen Jatkuva Luonnollinen Taulukko 1. Eri medioiden ominaisuudet. Yleisimpien mediatyyppien ominaisuudet on kerrottu taulukossa 1. Taulukossa listattujen mediatyyppien lisäksi on muitakin kuten haju tai kosketus. 1

20 Vuorovaikutus Aleem [ALE98] jakaa vuorovaikutuksen multimediasovelluksissa neljään luokkaa: 1. Passiivinen 2. Reaktiivinen 3. Proaktiivinen 4. Tuottava Ensimmäisessä passiivisessa (engl. Passive) vaihtoehdossa käyttäjä ei varsinaisesti puutu esityksen etenemiseen millään tavalla. Hän esim. katselee kalvoesitystä, joka sisältää tekstiä ja kuvia. Reaktiivisessa (engl. Reactive) vaihtoehdossa käyttäjä jo vaikuttaa esityksen kulkuun, mutta hän ei varsinaisesti vaikuta sen sisältöön. Hän saataa esimerkisi vierittää näyttöä tai ohjata multimediaesityken kulkua (play/pause/stop). Kolmannessa proaktiivisessa (engl. Proactive) vaihtoehdossa käyttäjä jo vaikuttaa katsottavaan sisältöön. Hän saattaa esimerksi liikkua dokumentista toiseen linkkien kautta. Varsinainen sisällön tuotanto kuuluu viimeiseen tuottavaan (engl. Productive) kategoriaan. Tässä vaihtoehdossa käyttäjä syöttää tietoa multimediajärjestelmään. Hän saattaa esim. valita päivämäärän valikosta tai kirjoittaa tekstikenttään. Vuorovaikutuksen tavan lisäksi myös vuorovaikutuksen taso voi vaihdella. Käyttäjän vuorovaikutuksen kohteena voi olla: 1. Käyttöliittymä 2. Sovellus 3. Palvelu 4. Toinen käyttäjä Ensimmäisessä vaihtoehdossa käyttäjä on vuorovaikutuksessa sovelluksen käyttöliittymän kanssa, mutta ei varsinaisesti muuta sovelluksen pysyvää tilaa. Toisessa vaihtoehdossa sovelluksen pysyvää tilaa muutetaa tallettamalla se esim. päätelaitteen muistiin. Kolmannessa vaihtoehdossa käyttäjä on vuorovaikutuksessa palvelun kanssa, joka sijaitsee tyypillisesti tietoverkon takana palvelimella. Viimeisessä vaihtoehdossa vuorovaikutus ulottuu toiseen käyttäjään asti. Tästä tyypillinen esimerkki on videoneuvottelu. Myös sovellusten vuorovaikutuksen määrä voi vaihdella. Esim. seuraavalla listalla vuorovaikutuksen määrä kasvaa siirryttäessä listalla alaspäin: 1. Tilausvideo 2. Sähköposti 3. Videoneuvottelu 4. Videopeli 5. Virtuaalitodellisuus 2

21 Aika Multimediasovelluksilla on yleensä ajallinen ulottuvuus. Esim. DVD-esityksellä tai tietokonepelillä on juoni. Yleensä juoni voi haarautua tietyissä pisteissä eli juoni on ei-lineaarinen. Perinteisissä medioissa kuten kirjassa ja elokuvassa juonihan on yleensä lineaarinen. Aikaulottuvuuden takia eri mediaelementit pitää tahdistaa eli synkronoida. Tästä käytetään nimitys medioiden välinen synkronointi (engl. Intermedia Synchronization) Tyypillisen esimerkki tästä on ns. huulisynkronointi (engl. Lip Synchronization). Jos videokuva ja siihen liittyvä ääni eivät ole synkronoitu, puhe ei tule samaan tahtiin huulien liikkeen kanssa. Tämä on monta katsojaa ärsyttävä piirre eli ns. artifakti (engl. Artifact1). Edellä mainittua synkronointia kutsutaan mediaelementtien ulkoiseksi synkronoinniksi. Lisäksi pitää huolehtia mediaelementtien sisäisestä eli isokronisesta (engl. Isochronous) synkronoinnista. Esim. videokuva koostuu yksittäisistä kuvista (tyypillisesti 25 tai 30 kuvaa sekunnissa). Yksittäiset kuvat pitää toistaa säännöllisin väliajoin tai muuten videokuvan laatu heikkenee Hypermedia Hypermedia on lähellä multimedia oleva termi, mutta onko hypermedia multimediaa? Seuraavat ominaisuudet ovat tyypillisiä hypermedialle: 1. Eri medioita 2. Rajallisesti vuorovaikutusta 3. Hyperlinkit 4. Ei ajallista ulottuvuutta 5. Ei synkronointia Hypermediassa hyödynnetään erityisesti tekstiä, grafiikka ja kuvia. Usein käytössä on myös animaatiota. Ääni ja video ovat harvinaisempia. Myös vuorovaikutus on hypermediassa rajatumpaa. Tyypillisesti käyttäjä etenee sivulta toiselle hyperlinkkien kautta. Lisäksi hän saattaa syöttää tietoa painonappien, valintalistojen ja tekstikenttien kautta. Tyypillisesti hypermedialla ei ole ajallista ulottuvuutta. Esitys ei etene itsenäisesti juonen mukaisesti. Sivuilla saattaa kyllä olla audiota ja videota, mutta niitä ei ole tahdistettu muiden mediaelementtien kanssa. Hypermedia ei siis ole multimediaa. Tosin tämä tilanne saattaa muuttua tulevaisuudessa. Tähän palataan myöhemmin tässä luentomonisteessa Multimediajärjestelmät Multimediajärjestelmällä tarkoitetaan tieto- ja/tai tietoliikennetekniikan järjestelmää, jossa hyödynnetään multimediatekniikkaa. Uudet multimedian 1. Sanan kirjoitusmuoto on amerikanenglanniksi Artifact, mutta britannianenglanniksi Artefact. Tämän takia joskus näkee myös suomeksi kirjoitusmuotoa artefakti. 3

22 datatyypit sovivat valitettavasti huonosti yhteen nykyisten tietojärjestelmien kanssa. Multimedia vaatii yleensä enemmän tehokkuutta. Toisaalta tarvitaan parempaa laatua. Koska multimediajärjestelmät ovat tyypillisesti monimutkaisia ja niissä yhdistyy useita erilaisia teknologioita, multimediajärjestelmiä täytyy pystyä suunnittelemaan mahdollisimman korkealla abstraktiotasolla. Lisäksi globaalit heterogeeniset tietoverkot vaativat tehokkaita toteutusteknologioita, koska multimediajärjestelmien on kyettävä toimimaan hyvin erilaisissa tietoverkkoympäristöissä Jatkuva-aikainen media Eniten ongelmia multimediajärjestelmissä tuottaa nimenomaan jatkuvaaikainen media (engl. Continuous Media). Tyypillisiä esimerkkejä ovat audio ja video. Molemmissa data koostuu peräkkäisistä näytteistä (audionäytteet ja yksittäiset videokuvat). Ongelmia aiheuttaa erityisesti se, että näytteet on toistettava tiukkojen aikarajojen sisällä. Lisäksi yksittäisiä näytteitä on paljon, joten tietomäärät ovat suuria. Kuten edellä mainittiin nykyisiä tietojärjestelmiä ja tietoverkkoja ei ole suunniteltu tukemaan multimediaa ja erityisesti jatkuva-aikaista mediaa. Esim. prosessoreilta vaaditaan paljon laskentatehoa, minkä takia prosessorien kellotaajuudet ovat kasvaneet huimasti. Edelleen laskentatehoa tarvittaisiin kuitenkin lisää. Lisäksi tehonkulutus pitäisi saada pienemmäksi erityisesti mobiililaitteissa. Toisaalta myös nykyiset tiedostojärjestelmät eivät sovi kovin hyvin jatkuvaaikaisen median käyttöön. Syynä tähän on se, että tiedostojärjestelmät on perinteisesti optimoitu tilan suhteen. Multimedian kannalta on kuitenkin tärkeämpää, että yksittäiset jatkuva-aikaisen median näytteet saadaan siirrettyä tietodostojärjestelmästä mahdollisimman tasaiseen tahtiin. Ongelmia aiheuttaa myös käyttöjärjestelmät. Nykyiset käyttöjärjestelmät on suunniteltu suorittamaan eri ohjelmien prosesseja mahdollisimman reilusti. Toisin sanoen kaikkia prosesseja suoritetaan prioriteettijärjestyksessä niin että kaikki prosessit saavat suoritusaikaa ja eri prosessien vasteajat pysyvät kohtuullisina. Jatkuva-aikaisen median kannalta olisi kuitenkin tärkeää, että säännöllisin väliajoin saapuvia näytteitä käsitteleviä prosesseja suoritettaisiin mahdollisimman tasaiseen tahtiin. Lopuksi ongelmia tuottavat myös tietoverkot. Nykyiset tietoverkot kun on optimoitu lähinnä suurten tiedostojen siirtoon. Tämä johtuu siitä, että suuret tiedostot aiheuttavat datapurskeita tietoverkkoon. Perinteisesti nämä datapurskeet ovat kuorimittaneet verkkoa eniten ja sen takia useat tietoverkot ja erityisesti Internet on optimoitu suoriutumaan mahdollisiman hyvin purskemaisesta dataliikenteestä. Jatkuva-aikaisessa mediassa on myös paljon dataa kuten edellä mainittiin, mutta yksittäiset näyteet eivät saavu purskeissa vaan tasaista tahtia. Nämä mediavirrat hukkuvat helposti purskemaisen liikenteen alle, mikä aiheuttaa jatkuva-aikaisen median pakettien siirtoviiveiden vaihtelua ja jopa yksittäisten pakettien katoamista. 4

23 Tarvittavat teknologiat Multimediajärjestelmien toteuttamisessa hyödynnetään tyypillisesti seuraavia teknologiota: Hajautettu olio-ohjelmointi Hypermedia-dokumenttit Multimedian pakkausstandardit Skriptauskielet Siirtoformaatit Ohjelmointirajapinnat Käyttöjärjestelmät Verkkoprotokollat ja -arkkitehtuurit Laitteistoratkaisut (TÄMÄ PUUTTUU VIELÄ) Multimediajärjestelmät ovat usein ainakin osittain ohjelmistojärjestelmiä. Olio-ohjelmointi sopii hyvin multimediajärjestelmien toteuttamiseen, koska eri mediaelementit ja niitä käsittelevät komponentit voidaan esittää olioina. Lisäksi multimediajärjestelmät ovat usein hajautettuja useammalle päätelaitteelle ja palvelimelle. Hajautettua olio-ohjelmointia käsitellään enemmän luvussa 3. Ohjelmointikielten lisäksi käytetään usein myös rakenteisia dokumentteja eli hyödynnetään hypermediaa. Rakenteisista dokumenteista hyödynnetään erityisesti erilaisia merkintäkieliä (engl. Markup Language). Viime aikoina on yleistynyt erityisesti extensible Markup Language (XML) -merkintäkielen käyttö. XML-kieli on ns. metakieli eli sen avulla voidaan määritellä erilaisia merkintäkieliä. Kuka tahansa voi suunnitella oman merkintäkielensä. Sen lisäksi World Wide Web Consortium (W3C) on määritellyt useita XMLpohjaisia kieliä. Multimediajärjestelmien kannalta näistä tärkeimpiä ovat extensible HyperText Markup Language (XHTML) ja Synchronized Multimedia Integration Language (SMIL). Eri merkintäkieliä ja niiden käyttöä multimediajärjestelmissä käsitellään tarkemmin mm. luvussa 6. Koska jatkuva-aikainen media luo paljon käsiteltävää dataa, on se yleensä pakattava ennekuin sitä voidaan tallettaa tiedostojärjestelmään tai siirtää tietoverkon yli. Erilaiset pakkausstandardit kuuluvatkin keskeisenä osana multimediajärjestelmiin. Tunneitumpia pakkausstandardeja ovat International Standardization Organisation (ISO) -järjestön Joint Photograph Expert Group (JPEG) ja Motion Picture Expert Group (MPEG) -standardit. Näiden lisäksi myös International Telecommunication Union (ITU) on määritellyt audion ja videon pakkausstandardeja. Eri pakkaustandardeja käsitellään tarkemmin luvuissa 4 ja 5. Perinteisten ohjelmointikielien lisäksi multimediajärjestelmissä käytetään myös ns. skriptauskieliä (engl. Scripting Language). Skriptauskielet ovat yksinkertaisia tulkattavia kieliä, joita käytetään varsin vuorovaikutteisuuden totetuttamiseen. Tunnetuin skriptauskieli on WWW-sivuilla käytettävä 5

24 ECMAScript-kieli, mutta multimediassa on käytössä myös muita valmistajakohtaisia skriptauskieliä. Multimediaa voidaan hyödyntää hyvin erilaisilla laite- ja ohjelmistoalustoilla. Usein multimediajärjestelmän toteuttaja haluaisi, että järjestelmää voisi käyttää mahdollisimman monella laite- ja ohjelmistoalustalla. Käytännössä ei ole kuitenkaan mahdollista toteuttaa järjestelmästä erillistä versiota kutakin eri laite- ja ohjelmistoalustaa varten. Mikä neuvoksi? Kätevin vaihtoehto on hyödyntää ns. siirtoformaatteja. Ideana on määrittää multimediasisältö ja sen toiminta yleisen siirtoformaatin mukaisesti. Siirtoformaatin suorittamiseksi tarvitaan ajoaikainen ympäristö, joka portataan eri laite- ja ohjelmistoalustoille. Tämän jälkeen multimediajärjestelmää voi käyttää kaikilla kyseistä siirtoformaattia tukevilla laite- ja ohjelmistoalustoilla. Eri laiteisto- ja ohjemistoalustojen ominaisuudet voidaan myös piilottaa yhtenäisten ohjelmointirajapintojen (engl. Application Programmin Interface (API)) alle. Tällöin API muodostaa abstraktion alla olevasta ohjelmistosta ja laitteistosta. Käyttöjärjestemillä on myös merkittävä rooli multimediajärjestelmissä. Periteiset PC-tietokoneiden käyttöjärjestelmät sopiva joko huonosti (esim. Linux) tai erittäin huonosti (esim. Windows) multimedian päätelaitteisiin. Perinteiset käyttöjärjestelmät eivät tue riittävästi jatkuva-aikaista mediaa. Lisäksi ne ovat laajoja monoliittisiä (engl. Monolithic) kokonaisuuksia. Tämä tarkoittaa sitä, että käyttöjärjestelmän ydintä on hankala räätölöidä multimedian päätelaitteen vaatimusten mukaiseksi. Monissa multimedian päätelaittessa käytetäänkin erityisesti multimediaa varten suunniteltuja käyttöjärjestelmiä tai ns. reaaliaikaisia käyttöjärjestelmiä, jotka ovat pienempikokoisia ja joita on helpompi räätälöidä. Multimediajärjestelmät ovat yleensä hajautettuja ja ne hyödyntävät erilaisia tietoverkkoja eri komponenttien väliseen kommunikointiin. Tyypillisesti tietoverkkojen palveluita käytetään erilaisten verkkoprotokollien avulla. Viime aikoina on yleistynyt erityisesti Internet-protokollien käyttö myös muissa tietoliikennearkkitehtuureissa. Multimedian kannalta tärkeimmät protokollat liittyvät palvelunlaatuun, Multicast eli ryhmälähetyksiin ja videoneuvotteluun. Näitä käsitellään tarkemmin luvuissa 8, 9 ja 10. Erilaisia tietoliikenne-arkkitehtuureja ja erityisesti liitymäverkkoja käsitellään luvussa Palvelunlaatu Kuten edellä on ollut puhetta multimedia asettaa tiettyjä jatkuva-aikaisesta mediasta aiheutuvia vaatimuksia alla olevalla tieto- ja tietoliikennejärjestelmille. Yleisesti sanotaankin, että multimediapalvelut edellyttävät tiettyä laatua alla olevilta järjestelmiltä. Lyhyesti käytetään termiä palvelunlaatu (engl. Quality of Service (QoS)). Palvelunlaadussa ideana on selvittää minkälaista laatua kukin multimediapalvelu vaatii eri komponenteilta kuten päätelaitteen käyttöjärjestelmä, tietoverkko ja palvelimet. Vaatimukset esitetään erilaisten palvelunlaatuparametrien muodossa. 6

25 Yleisimpiä palvelunlaatuparametreja ovat esim. viive, viiveen vaihtelu eli huojunta (engl. Jitter), virhetaajuus, siirtonopeus jne. Osalle multimediasovelluksista riittää paras mahdollinen saatavilla oleva palvelunlaatu. Tästä käytetään nimitystä paras yritys (Engl. Best Effort). Tietyille sovelluksille kuten esim. videoneuvottelu halutaan kuiten vähintään tietyn tasoinen palvelunlaatu. Tästä käyteään puolestaan nimitystä taattu palvelu (engl. Guaranteed Service). Kun palvelun vaatima palvelunlaatu on tiedossa, sitä voidaan pyytää alla olevilta tieto- ja tietoliikennejärjestelmiltä. Eri palvelunlaatuparametrit välitetään käytössä olevien rajapintojen kautta eteenpäin. Neuvottelussa käytetään ylintä protokollatasoa, jotka puolestaan välittävät palvelunlaatuparametrit alemmille tasoille. Tämän jälkeen eri komponenttien on varmistettava onko riittävät resurssit olemassa. Käyttöjärjestelmä voi esim. varmistaa, onko sillä käytettävissä riittävästi prosessointiaikaa ja muistia. Toisaalta tietoverkko voi varmistaa, että aktiivisilla komponenteilla kuten reittittimillä on riittävästi kapasiteettia. Palvelimista esim. tilausvideopalvelin voi varmistaa, että sillä on riittävästi prosessointitehoa ja sen tiedostojärjestelmässä on riittävästi kapasiteettia. Tätä vaihetta kutsutaan yleisesti neuvotteluksi palvelunlaadusta. Jos palveluntarjoajalla on riittävästi resursseja se myöntää laatutason ja tekee tarvittavat varaukset eri resursseista. Palvelunlaatu edellyttää siis usein kirjanpitoa resursseista. Kirjanpitoa tarvitaan, jotta eri komponentit ovat tietoisia niiltä varatuista resursseista Synkronointi ja orkestronti Tarkka mediaelementtien sisäinen ja ulkoinen synkronointi edellyttää ohjausta. Tyypillisesti mediavirtojen käsittely muodostaa ketjun, jossa palvelin ensin noutaa mediaelementin yksittäisen näytteen tiedostojärjestelmästään, pakkaa sen pakettiin muutaman muun näytteen kanssa ja lähettää eteenpäin tietoverkkoon. Tämän jälkeen tietoverkko siirtää paketin verkon eri komponenttien kautta päätelaitteelle. Päätelaite puolestaan purkaa paketin ja prosessoi yksittäisen näytteen mm. purkamalla sen pakkauksen. Lopuksi päätelaite esittää yksittäisen näyteen käyttäjälle kulloinkin käytössä olevan tulostuslaitteen kautta. Tyypillisesti kullakin resursilla on oma ohjausyksikkönsä, joka huolehtii siitä, että kyseinen komponentti toimii tahdissa. Lisäksi tarvitaan eri komponenttien välistä neuvottelua, jotta mediavirtojen näytteiden käsittely pysyisi tahdissa. Tätä eri resurssien samanaikasta ohjausta kutsutaan orkestroinniksi (engl. Orchestration). Kukin resurssi on tavallaan orkesterin soittaja. Jokainen resurssin ohjausyksikkö ohjaa omaa resurssiaan. Esim. tiedostojärjestelmä huolehtii pääsystä tiedostoihin. Vastaavasti verkko ohjaa eri aktiivisten elementtien kuten reitittimen kautta kulkevaa liikennettä. Päätelaitteissa käyttöjärjestelmä puolestaan huolehtii esim. muistin kulutuksesta sekä yksittäisten säikeiden ja prosessien skeduloinnista (engl. Scheduling). 7

26 Kuten edellä mainittiin jatkuva-aikaisen median synkronointi on tehtävä tiukkojen aikarajojen puitteissa sekä mediaelementin sisäisessä synkronoinnissa että mediaelementtien välisessä synkronoinnissa. Aina tässä ei kuitenkaan onnistuta. Tietoverkko saattaa esim. ruuhkautua, jolloin se ei kykene välittämää mediaelementin yksittäistä näytettä ajoissa palvelimelta päätelaitteelle. Yksittäisiä virheitä voidaan onneksi piilottaa käyttäjältä (engl. Error Concealment). Tarvittaessa voidaan esim. turvautua edellisen näytteen toistoon tai jättää kyseinen näyte kokonaan väliin. Edellinen vaihtoehto sopii hyvin audioon ja yksittäisen videokuvan osiin. Jälkimmäinen vaihtoehto taas sopii hyvin kokonaisiin videokuviin. Lopuksi yksittäinen näyte voidaan myös hajauttaa useampaan eri pakettiin, joilloin tietoverkon yksittäiset bittivirheet eivät aiheuta koko näytteen tuhoutumista. Lisäksi voidaan turvautua myös varsinaiseen virheenkorjaukseen (engl. Error Correction). Virheenkorjauksessa yksittäiset bittivirheet korjataan näytteisiin lisättyjen virheenkorjauskoodien avulla. Mitä syvemmälle multimediajärjestelmässä mennään sen tarkemmaksi tahdistus muuttuu. Alimmalla tasolla viiveiden on pysyttävä vakioina. Käytännössä tämä hoidetaan ns. puskuroinnin avulla (engl. Buffering). Puskuroinissa yksittäisen mediaelemttiä käsittelevän resurssin eteen laitetaan hieman puskurimuistia. Kaikki resurssille tulevat näyteet tulevat puskurin lävitse. Ideana on pitää aina muutama näyte puskurissa odottamassa. Näin yksittäisten näytteiden viivästymiset pystytään estämään. Toisaalta jos näytteitä saapuu jostain syytä purskeena, voidaan ne tallettaa puskuriin odottamaan käsittelyvuoroa. Puskureiden ongelmana on kuitenkin se, että ne lisäävät yksittäisten näytteiden käsittelyn kokonaisviivettä Standardointi Hajautetuissa multimediajäjrestelmissä eri komponenttien ja niiden välillä siirrettävän informaation on olta yhteensopivaa. Tällöin voidaan voidaan käyttää eri valmistajien komponentteja ja sisällöntuottajien sisältöjä. Käytännössä yhteensopivuus varmistetaan standardien avulla. Jos stantardeja ei ole, joudutaan sitoutumaan yhden valmistjan tuotteisiin ja yhden sisällöntuottajan sisältöihin. Käytännössä standardeja tuottavat useat eri elimet: standardointielimet, kauppalliset ryhmittymät ja yksittäiset valmistajat. Viralliset standardointielimet ovat joko valtioden välisiä standardointielimiä kuten esim. International Standardization Organization (ISO) ja International Telecommunication Union (ITU) tai avoimia yhteisöjä kuten World Wide Web Consortium (W3C) ja Internet Engineering Task Force (IETF). Kaupalliset ryhmittymät ovat tyypillisesti yritysten välisiä standardointielimiä kuten esim. Thrid Generation Partnership Project (3GPP) tai Digital Video Broadcasting Project (DVB). Lopuksi on olemassa myös yksittäisten yritysten luomia standardeja kuten esim. QuickTime. 8

27 Käytännössä standardeja on kahta mallia: ns. viralliset ja de facto -standardit. Viralliset standardit ovat perinteisesti syntyneet siten, että standardointielin tai kaupallinen ryhmittymät päättävät luoda standardin jollekin alueelle. Tämän jälkeen elinten tai ryhmittymien halukkaat jäsenet voivat osallistua standardin laatimiseen yhdessä. Standardista laaditaan ehdotus, jota muut jäsenet ja mahdolliset kolmannet osapuolet voivat kommentoida. Standardiin tehdään mahdollisia tarkastuksia ja täsmennyksiä, minkä jälkeen se voi edetä varsinaiseen hyväksymisprosessiin. Kullakin standardointielimellä on omat hyväksymisprosessinsa, mutta yleensä jäsenet äänestävät tavalla tai toisella standardin hyväkymisestä. De Facto -standardit eivät sen sijaan ole käyneet läpi virallista äänestysprossia. Sen sijaan standardista ovat päättäneet markkinat. Yleensä jokin yritys on luonut tuotteen, joita muut valmistajat ovat alkaneet tukea ja tehdä jopa mahdollisesti vastaavia tuotteita. Pikku hiljaa tuotteesta tulee epävirallinen standardi. Joskus se saatetaan jopa hyväksyä virallisesti standardiksi jossakin standardointielimessä. Näin on käynyt esim. Ethernetstandardille. Käytännössä standardointi on osa yritysten välistä kilpailua. Yritykset pyrkivät saamaan oman tuotekehityksensä tuloksia osaksi standardeja. Useat standardointielimet käytännössä kilpailuttavat eri yritysten teknisiä ratkaisuja. Kilpailun voittanut yritys hyötyy yleensä markkinoilla saamansa teknisen etumatkan ansiosta. Lisäksi yritys on saattanut jo patentoida teknisen ratkaisunsa, jolloin se voi pyytää lisenssituloja standardin osana olevasta patentista. Tämän takia useimmat standardointielimet vaativat yrityksiä ilmoittamaan mahdolliset standardia koskevat patenttinsa viimeistään äänestysprosessin aikana. Tällöin kaikki eri yritysten patentin voidaan kerätä yhdeksi patenttisalkuksi, jota standardin hyödyntäjät voivat lisenssioida kohtuulliseen hintaan. Toisaalat jotkut standardointielimet kuten esim. W3C pyrkivät luomaan standardeja, joihin liittyvät patentit ovat lisenssimaksuista vapaita (engl. Royalty-Free Patent). 9

28 Teknologiaalue Standardi Tyyppi Organisaatio Käyttötarkoitus Hajautettu olioohjelmointi Corba Hajautettu olioohjelmointi Java De Facto, kaupallinen Java Community Process (JCP) Ohjelmointikieli, erilaiset profiilit ja ohjelmointirajapinnat Hypermedia Merkintäkielet Virallinen World Wide Web Consortium (W3C) WWW-sivut ja XML-pohjainen tiedonsiirto Pakkausstandardit JPEG- ja MPEG -koodekit Virallinen International Standardization Organisation (ISO) Kuva-, audio- ja videokoodekit Pakkausstandardit H.xxx ja G.xxx -koodekit Virallinen International Audio- ja Telecommunication videokoodekit Union (ITU) Skriptaus-kielet ECMA Virallinen ECMA International WWW-sivuilla käytetty skriptauskieli Siirtoformaatit MHEG Virallinen International Standardization Organisation (ISO) Mm. Englannin digitaalisen television tekstitelevisio Ohjelmointirajapinnat MHP Kaupallinen, virallinen DVB, ETSI Digisovittimien Java-ohjelmointiympäristö Käyttöjärjestelmät Linux De Facto Linux-yhteisö Palvelimien ja päätelaitteiden käyttöjärjestelmä Verkkoprotokollat ja -arkkitehtuurit InternetVirallinen protokollat (mm. IP, TCP, UDP, RSVP, RTP, RTCP, RTSP, SDP, SAP ja SIP) Laitteistoratkaisut CD Kaupallinen Laitteistoratkaisut DVD Kaupallinen Laitteistoratkaisut USB Kaupallinen Laitteistoratkaisut FireWire Laitteistoratkaisut MMX De Facto Internet Engineering Task Force (IETF) Intel Taulukko 2. Multimedian keskeisimmät standardit. 10

29 Multimediaan liittyviä standardeja on luotu käytännössä kaikilla sektiossa mainituilla teknologia-aluilla. Taulukossa 2 on lueteltu muutamia keskeisiä standardeja kultakin alueelta. Kuten taulukosta 2 käy ilmi multimediaan liityviä standardeja ovat laatinet todella monet viralliset standardointielimet ja kaupalliset ryhmittymät. Lisäksi on useita De Facto -standardeja. Alla on kerrottu lyhyesti muutamasta tärkeimmästä standardointielimestä. Internet Engineering Task Force (IETF) International Standardization Organization (ISO) International Telecommunication Union (ITU) Open Mobile Alliance (OMA) Third Generation Partnership Project (3GPP) European Telecommunicatons Standards Institute (ETSI) The Institute of Electrical and Electronics Engineers (IEEE) Java Community Process (JCP) World Wide Web Consortium (W3C) Digital Video Broadcasting (DVB) 1.3. Multimedia hyödyntäminen Verkotetun multimedian sovellusalueet Multimedian tärkeimmät sovellusalueet on listattu alla: Etäopetus Sähköinen kaupankäynti Uutiset, viihde Paikkatietojärjestelmät Terveydenhuolto Viestintä Etäopetus Etäopetuksssa tieto- ja viestintätekniikkaa hyödynnetään opetuksesta. Tämä ei välttämättä tarkoita, että kaikki opiskelu tapahtuisi täysin itsenäisesti 11

30 verkossa kuten vielä muutama vuosi sitten ajateltiin. Nykyään tavoitteena on mieluimmin hyödyntää multimediaa osana oppimisprosessia. Hyper- ja multimediaa voidaan hyödyntää esim. opiskelumateriaalina. Lisäksi esim. luentoja voidaan välittää etäluentona verkon ylitse. Toisaalta multimediakommunikaatiota voidaan hyödyntää opettajan ja opiskelijoiden väliseen kommunikointiin. Opetustilaisuus voidaan esim. jakaa useammalle paikkakunnalle videoneuvottelua hyödyntäen. Suomessakin on jo usean vuoden ajan kehitetty virtuaaliyliopistoa1. Tarjolla on lisäksi useita multimedia hyödyntäviä oppimisympäristöjä, jotka yhdistävät useita oppimisessa tarvittavia työkaluja. Oppimisympäristöt sisältävät esim. työkaluja opetusmateriaalin tuottamiseen, keskusteluryhmiä ja viestintäpalveluita opettajan ja opiskelijoiden väliseen kommunikointiin sekä mahdollisuuden tenttien ym. kyselyiden järjestämiseen. Tällä hetkellä on tosin hieman epäselvää, tarvitaanko etäopetuksessa integroitua oppimisympäristöä vai onko parempi käyttää jo olemassa olevia työkaluja? Opetusmateriaalia voidaan hyödyntää myös viihteen alueella. Viihteelliselle opetusmateriaalille on jopa olemassa oma terminsä: Edutainment, joka on yhdistelmä sanoista Education ja Entertainment. Sähköinen kaupankäynti Multimedia on nykyään keskeinen osa sähköistä kaupankäyntiä. Tyypillisesti ostotapahtumaan liittyy useita eri vaiheita, joista osa voi tapahtua verkossa ja hyödyntää multimediaa. Toisaalta osa tapahtumista voi tapahtua perinteisin keinoin. Markkinoinnissa yleisesti käytetyn AIDA-mallin mukaaan ostotapahtuma koostuu seuraavista vaiheista: Attention Interest Desire Action Ensin pitää siis herättää kuluttajan mielenkiinto. Tähän käytetään usein mainoksia, jotka voivat hyödyntää multimediaa. Seuraavassa vaiheessa useimmat kuluttajat hankkivat lisäinformaatiota ostettavasta tuotteesta tai palvelusta. Varsinkin tähän vaiheeseen multimedia sopii erittäinen hyvin. Tuotteesta voidaan tehdä erilaisia multimedia esityksiä tai vaikka 3D-grafiikkaa hyödyntäviä tuotteen virtuaaliprototyyppejä (engl. Virtual Prototype). Jos kuluttaja todella kiinnostuu tuotteesta hänelle syntyy tarve hankkia tuote itselleen. Tässä vaiheessa kuluttaja voi esim. hakea Internetistä vaihtoehtoisia kauppapaikkoja

31 Lopuksi tapahtuu varsinainen ostotapahtuma. Tässä vaiheessa kuluttaja voi ostaa tuoteteen sähköisestä kauppapaikasta ja vaikka maksaa laskun Internetpankista. Kauppa voi myös tapahtua vaikka Internet-huutokaupassa. Sähköiseen kauppankäyntiin liittyy myös olennaisesti logistiikka (engl. Logistics) eli miten ostettu tuote toimitetaan kuluttajalle. Joissakin tapauksissa tuote voidaan välittää kuluttajalle suoraan verkon ylitse. Esimerkiksi verkosta ostetun MPEG Audio Layer 3 (MP3) -kappaleen voi ladata suoraan omalle tietokoneelleen kuunneltavaksi. Usein tuote pitää kuitenkin toimittaa kuluttajalle joko postin tai kuriiripalvelun kautta. Useat logistiikkapalvelujen toimittajat tarjoavat myös mahdollisuuden seurata tuotteen toimituksen etenemistä. Uusi Radio Frequency Identification (RFID) -tekniikka mahdollistaa fyysisten tuotteiden paikantamisen eli sijaitseeko se tällä hetkellä varastossa, jakeluautossa vai missä? Uutiset, viihde Suuri osa sisällöstä jaellaan nykyään digitaalisesti erilaisten jakelukanavien kautta. Tarjolla on niin uutisia, artikkeleita, palveluja kuin viihdettäkin. Jakelukanavina voi olla esim. Internet, matkapuhelinverkot tai digitaalinen televisio. Tyypillisiä julkaisijoita ovat mediatalot (esim. MTV3, Swelcom, Yle), operattorit (esim. Elisa, TeliaSonera) tai suuret sisällöntuottajat (esim. Disney). Tyypillisesti käytössä sisällönjulkaisujärjestelmä, joka mahdollistaa sisällön tuottamisen ja muokkaamisen digitaalisessa muodossa. Esim. uutismateriaali voidaan kuvata digitaalisella kameralla ja siirtää uutistuotantojärjestelmään. Tämän jälkeen toimittaja leikkaa uutisjutun yhdessä leikkaajan kanssa. Valmis juttu siirretään jakelua varten jakelujärjestelmään, josta se välitetään useampaan eri jakelukanavaan. Lopuksi juttu talletetaan arkistoon myöhempää käyttöä varten. Sisällön julkaisija voi rahoittaa toimintansa joko mainostuloilla, sisältömaksuilla tai lisäarvopalveluilla. Ensimmäisessä vaihtoehdossa julkaisija myy sisällön yhteydessä mainostilaa mainoksille. Mainokset voivat sisältää myös multimediaa. Toisessa vaihtoehdossa kuluttaja maksaa sisällöstä. Laskutusvaihtoehtoja on useita. Kuluttaja voi maksaa sisällön yksittäisestä käyttökerrasta (esim. yksittäinen tilausvideo), hän voi maksaa sisällöstä aikaperustaisesti (esim. ditaalisen television maksullisen kanavan kuukausimaksu) tai useampi sisältö voidaan paketoida palvelupaketiksi (esim. televisiolupamaksu tai matkapuhelinoperaattorin palvelupaketti). Paikkatietojärjestelmät Paikkatietojärjestelmissä hyödynnetään elektronista karttamateriaalia ja tarjotaa käyttäjille siihen liittyviä listäarvopalveluita. Suuri osa keskeisestä karttatiedosta on nykyään sähköisessä muodossa. Materiaali voi koostua kartoista, piirrustuksista ja kuvista. Paikkatietojärjestelmiä voidaan käyttää karttainformaation arkistointiin. Kun karttainformaatio on talletettu palvelimille voidaan sitä hyödynttä erilaisissa suunnittelutehtävissä kuten esim. yhdyskuntapalveluiden ja liikenne13

32 palveluiden suunnittelussa. Sähköisen karttainformattion haku on myös helpompaa. Tyypillisesti karttainformaatio on talletettu tietokantaa. Informaatiota voi hakea tietoverkon esim. Internetin kautta. Varsinainen sovellus toimii työasemalla tai päätelaitteessa. Kuluttajille suunnatuista palveluista tyypillisiä esimerkkejä ovat erilaiset opastus- ja hakemistopalvelut. Opastuspalvelussa käyttäjä voi hakea reittitietoa ja mahdollisesti erilaisia aikataulutietoja. Hakemistopalveluissa tarjotaan tietoja tietyllä alueella olevista palveluista alueen karttatietojen kera. Terveydenhuolto Terveydenhuollon alueella syntyy paljon sähköistä informaatiota. Usein tieto sisältää eri muodoissa olevaa mediaa kuten esim. potilaskertomuksia, mittausdataa ja lääketieteellisiä kuvia. Tavoitteena on tallettaa kaikki informaatio digitaalisessa muodossa, joilloin sen hyödyntäminen on helpompaa. Suomessa on kehitteillä erityinen ns. sähköinen potilaskertomus, jossa kaikki potilaasta kertyvä tieto talletetaan digitaalisessa muodossa. Verkotettu multimediaa voidaan hyödyntää erilaisissa tiedotus- ja neuvontapalveluissa, palvelukeskuksissa, jotka hoitavat esim. ajanvarauksia, ja etädiagnisoinnissa, jossa lääkäri diagnisoi potilaan tilaa tietoverkon kautta sairaanhoitajan keräämän tiedon pohjalta. Tyypillisesti tietojärjestelmät ovat laajoja ja sisältävät useita palvelimia. Tietoverkot voivat myös olla langattomia. Päätelaitteina käytetään tyypillisesti työasemia. Lisäksi järjestelmiin on voitu liittää erilaisia potilaasta tietoa kerääviä mittalaitteita. Yksi kasvava terveydenhuollon alue liittyy ikääntymiseen. Vanhukset halutaan yhä useammin hoitaa omassa kodissa. Tällöin erilaiset kodin laitteet on kytkettävä sairaanhoidon järjestelmiin. Päätelaitteena voidaan tulevaisuudessa käyttää digitaalista televisiota, lääkkeiden annostelu voidaan automatisoida, sängyn eteen voidaan sijoittaa kosketusherkkä matto, joka havaitsee kaatuneen vanhuksen ja kotitilaa voi tarkkailla kotirobotti. Terveydenhuollon järjestelmillä on tyypillisesti useita erikoisvaatimuksia. Kerättävää dataa on tyypillisesti paljon. Usein dataa ei voi pakata tehokkaasti (esim. lääkärille röngtenkuvassa näkyvä pieni varjostus voi kertoa paljon). Tietojärjestelmät ovat usein hyvin laajoja. Järjestelmien pitää olla helppokäyttöisiä, jotta esim. vanhukset osaavat käyttää niitä. Lisäksi tietosuojavaatimukset ovat erittäin suuria. Viestintä Yksi keskeinen multimedian osa-alue on multimediakommunikaatio eli multimediaan perustuva viestintä. Ehkä perinteisin esimerkki on videopuhelu,josta on vihdoin tulossa totta 3. sukupolven matkapuhelinverkoissa. Muita laajalti käytössä olevia sovelluksia ovat 14