1 Oheislaitteet Multimediatietokoneet Video ja grafiikka Audio Puhelin, Videoneuvottelu, Tietoverkot CD & DVD USB & FireWire Prosessorit Video for Windows, DirectX & ActiveMovie Petri Vuorimaa 1 Multimediatietokoneet Useat tietokoneet tukevat multimediaa Tietokoneissa on yleensä väylä Prosessori Muisti Kovalevy CD-ROM Väylä Video Audio Portit USB MIDI Verkko Petri Vuorimaa 2 Sulautetut laitteet Sulautetuissa laitteissa ei yleensä käytetä väylää Set-top-box Viritin ja demodulaattori Muisti Salauksen purku Demux Audiodekooderi Mikroprosessori Videodekooderi Modeemi Petri Vuorimaa 3 Nykyiset laitteet Ominaisuudet: 1) multimedian toisto, editointi ja tallennus 2) tiedosiirto puhelin- ja tietoverkon kautta Rajoitukset: 1) rajallinen määrä medioita (suorituskyky) 2) synkronointi (hoidettu laitteistolla) 3) interaktiivisuus Petri Vuorimaa 4 Multimedia PC (MPC) Video ja grafiikka Laitevalmistajien yhteinen standardi Määrittelee perusominaisuudet eri laitteille Sovelluksen tuottaja voi helposti ilmoittaa vaatimustason Nykyinenversio3 Värikoodi 8 tai n bittiä Näyttö 256 tai 2 n väriä R G B.. VGA + 720 x 480 (max resoluutio) + 256 väriä SVGA + 1280 x 1024 + 32 bit. väri Petri Vuorimaa 5 Petri Vuorimaa 6
2 Video ja grafiikka (jatk.) Videokuva toistetaan grafiikkamuistin kautta MPC3: + 30 kuvaa/s + 352 x 240 resoluutio + 15 bit/pikseli MPEG1 kompressio Audio Useimmissa tietokoneissa on SoundBlaster yhteensopiva äänikortti PC AUDIO PCM CODEC MIDI Portti Audio in/out in out through stereo mic CD analog in CD-DA Petri Vuorimaa 7 Petri Vuorimaa 8 MPC3:n audiovaatimukset 1) 8 tai 16 bit näytteet; 8, 11.025, 16, 22.05 tai 44.1 khz taajuudella 2) Pulse Code Modulation (PCM) kodekki 3) 16 bit stereo vie max. 13 % prosessoriajasta taajuudella 44.1 khz ja 7 % taajuudella 22.05 khz 4) CD-ROM asema digitaalisella audiolla 5) kaksi kaiutinta (120 Hz - 17.5 KHz) 6) subwoofer (40-250 Hz) 7) MIDI-portti Petri Vuorimaa 9 Puhelin Computer-Telephony Integration (CTI) 1) puhelujen hallinta: + numeronvalinta + tietoliikenne + palvelukeskukset ym. 2) Puhelinpohjaiset sovellukset: + henkilökohtaiset tiedot +fax + vastaaja ym. Petri Vuorimaa 10 Windows rajapinnat 1) Telephony Application Programming Interface (TAPI) 2) Telephone Service Programming Interface (TSPI) 3) Messaging Application Programmin Interface (MAPI) 4) Speech Application Programmin Interface (SAPI) 5) Media Control Interface (MCI) MPC3 vaatii että järjestelmä on TAPI2.0 yhteensopiva Petri Vuorimaa 11 Videoneuvottelu Videoneuvottelu ja ryhmätyösovellukset Paljon valmistajien omia ratkaisuja Standardeja: 1) ISDN H.320: video H.261; audio G.711, G.722, G.728; data T.120 2) Puhelin (POTS) H.324: video H.261, H.263, audio G.723; data T.120 3) LAN ja Internet H.323: video H.261, H.263, audio G.711, G.722, G.723, G.728, data T.120 Petri Vuorimaa 12
3 Videoneuvottelu (jatk.) Videoneuvottelulaitteisto Kaistanleveys 1) ISDN: 128 Kbps (n x 64 kbps) 2) Puhelin: 56 Kbps 3) LAN ja Internet: rajaamaton kaistanleveys Videoneuvottelu vaatii yleensä erillistä laitteistotukea Grafiikka, video & audio Grafiikka, video & audio Audio kodekki Video kodekki Data kodekki Audio kodekki Video kodekki Data kodekki Verkkolaite Verkkolaite Petri Vuorimaa 13 Petri Vuorimaa 14 TV ja radio Televisio ja radio voidaan tuoda tietokoneeseen erillisillä lisäkorteille +myösusb-väylä Sammutusjuovilla voidaan lähettää ylimääräistä informaatiota (Intercast) Esim. www-sivut, linkit, ohjelmatiedot Myös DigiTV-kortteja olemassa Verkkoliityntä Tietoverkkoihin liitytään verkkoliityntäkortin kautta Tyyppinen nopeus 4, 10, 16, 25 tai 100 Mbps Siirtotie voi olla koaksiaalikaapeli, parikaapeli tai optinen kuitu Myös langattomat vaihtoehdot: radio, infrapuna Verkkokorttia ohjataan tietoliikenneprotokollapinon (esim. TCP/IP) kautta Petri Vuorimaa 15 Petri Vuorimaa 16 CD CD-ROM -levyt sopivat hyvin multimedian jakeluun Käytössä useita eri standardeja CD-DA (red book): digitaalinen audio, 150 Kbps, 44.1 Ksample/s, 682 MB CD-ROM (yellow book): 1) teksti & data, 2) audio & video data CD-I (green book): tekstin, grafiikan, audion ja videon toisto (multimedia ja pelit) Petri Vuorimaa 17 CD (jatk.) DVI: Indeo video (72 min) CD-XA (extended yellow book): parantaa audio ja video ominaisuuksia MSCDEX: MS-DOS käyttöliittymän laajennukset PhotoCD: max 100 kompressoitua kuvaan Video CD (white book): MPEG1 video (74 min) CD-R (orange book): kertaalleen tallentava CD Petri Vuorimaa 18
4 MPC3 CD-vaatimukset 1) CD-DA 2) CD-ROM 3) CD-XA 4) CD-I 5) Video CD 6) CD-R 7) Photo CD 8) Enhanced Music CD Siirtonopeuden on oltava vähintään 550 Ktavua/s Petri Vuorimaa 19 DVD DVD-levyissä on suurempi tallennuskapasiteetti kuin CD-levyissä 1) pienempi "kuopan" väli (0.4 mikronia vs. 0.834 mikronia) 2) pienempi uran väli (0.74 mikronia vs. 1.6 mikronia) 3) lyhyempi laserin aallonpituus (635-650 nanometriä vs. 780 nanometriä) 4) kaksi puolta 5) kaksi kerrosta Petri Vuorimaa 20 DVD:n kapasiteetti DVD-levyjen kapasiteetti: 1) yksi puoli ja yksi kerros: 4.7 Gtavua 2) kaksi puolta ja yksi kerros: 9.4 Gtavua 3) kaksi puolta ja kaksi kerrosta: 17 Gtavua DVD-asemat voivat olla yhteensopivia CDlevyjen kanssa Videossa käytetään MPEG-2:ta ja audiossa Dolby AC-3:ta DVD-formaatit Fyysinen kerros + DVD-ROM, DVD-RAM, DVD-R, DVD-RW Looginen kerros + Universal Disc Format (UDF) Sovellukset + DVD-Video, DVD-Audio, DVD-Professional (kesken) Petri Vuorimaa 21 Petri Vuorimaa 22 DVD:n salaus Vain osa sisällöstä salataan (säästää CPU-aikaa) DVD-soitin purkaa salauksen laitteistolla Salausavain löytyy levyltä + vain lisenssin hankkineet valmistajat tietävät miten TV-signaali on sotkettu, joten sitä ei voi kopioida DVD-ROM -asema antaa avaimen vain salattua väylää pitkin (Content Scrambling System - CSS) Vesileimoilla voidaan sallia rajattu määrä kopioita DVD-salausjärjestelmä Petri Vuorimaa 23 Petri Vuorimaa 24
5 Toimiiko DVD-salaus? USB Universal Serial Bus (USB) -väylän kautta voidaan liittää erilaisia laitteita tietokoneeseen USB:netuja: 1) laitteiston asetuksia (keskeytykset, DMA, osoitteet ym.) ei tarvitse määritellä 2) tietokonetta ei tarvitse "avata" 3) erillisiä sähköjohtoja ei tarvita Petri Vuorimaa 25 Petri Vuorimaa 26 USB-laitteita USB:n ominaisuuksia 1) näppäimistö, hiiri, tulostin, modeemi, skanneri, CD-ROM ym. 2) puhelin, ISDN ym. 3) joystick, peliohjaimet, datahansikkaat, virtuaalisilmiköt ym. 4) videokamerat, digitaaliset kamerat ym. 5) TV- ja radio-vastaanotin USB-väylän nopeus on 1.5 Mbps ja 12 Mbps USB-väylä sisältää neljä johdinta Vbus D+ D- GND Bitit ilmaistaan jännite-eroina Maksimietäisyys on 5 metriä Laitteet kytketään tähtitopologiaan (HUB) Verkot voivat olla hierarkisia Vbus D+ D- GND Petri Vuorimaa 27 Petri Vuorimaa 28 USB tukee 1) Isokroninen videon ja audion siirto 2) Reaaliaikaiset keskeytykset 3) Suurten datamäärien siirto paras yritys -metodilla 4) Ohjaustiedon siirto USB 2.0 Siirtokapasiteetti max 480 Mbps (40 kertainen) Yhteensopiva USB 1.1:n kanssa Nopeus tiputetaan tarvittaessa automaattisesti Mahdollistaa uusien oheislaitteiden käytön + videoneuvottelu (parempi kuvanlaatu) + tulostimet & skannerit (nopeus & resoluutio) + CDROM & DVD (suurempi datan määrä) Petri Vuorimaa 29 Petri Vuorimaa 30
6 FireWire Kuten USB-väylä, mutta suurempi siirtonopeus: 98.304, 196.608 ja 392.216 Mbps Yli 1 Gbps nopeudet kehitteillä 64 000 laitetta ja 1 000 siltaa Yhden kaapelin etäisyys max 4.5 m Kahden laitteen etäisyys max 16 kaapelia eli 72 m FireWire-väylän konfiguraaatio Laiteryhmät liitetään toisiinsa siltojen kautta Petri Vuorimaa 31 Petri Vuorimaa 32 FireWire-kaapeli Kaapeli koostuu kahdesta datajohdinparista ja virtajohtimista FireWire-väylän etuja 1) Väylä skaalaantuu hyvin 2) Joustava topologia 3) Laitteita voi liittää "kuumaan" väylään 4) Väylä on helppo käyttää (ei asetuksia) 5) Suunniteltu kulutuslaitteisiin (halpa) Petri Vuorimaa 33 Petri Vuorimaa 34 FireWire-väylän tilanne Tällä hetkellä laitteita rajatusti FireWire-kortteja saatavilla tietokoneisiin Joissakin työasemissa ja PC-koneissa on FireWire-väylä vakiona Joitakin videokameroita ym. Tulossa digitaalisen television set-top-boxeihin Prosessorit Multimedian käsittely vaatii laskentatehoa Ongelma voidaan ratkaista: 1) erikoislaitteistolla (MPEG purkupiirit ym.) 2) erikoisprosessoreille (signaaliprosesorit ym.) 3) yleisprosessorien laajennuksilla (MMX ym.) Petri Vuorimaa 35 Petri Vuorimaa 36
7 MMX Esim. rinnakkainen kertolasku MMX on Intelin Pentium ja Pentium Pro prosessorein multimedialaajennus Perustuu Single Instructin Multiple Data (SIMD) arkkitehtuuriin Yksi käsky käsittelee useampaa dataa yhtäaikaa Esim. 64 bitin rekisteri sisältää 8 kpl 8 bitin dataalkiota tai 4 kpl 16 bitin data-alkiota I(3) I(2) I(1) I(0) I(3) I(2) I(1) I(0) I(3) I(2) I(1) I(0) Kertolasku Petri Vuorimaa 37 Petri Vuorimaa 38 MMX:n käyttö Sama operaatio toistetaan usealle data-alkiolle Videon kompressointi, kuvankäsittely, tietokonegrafiikka ja digitaalinen signaalinkäsittely Esim. MPEG1 videon purku on 1.5 kertaa nopeampi kuin ilman MMX-käskykantaa Ongelmana on algoritmien uudelleen koodaaminen Petri Vuorimaa 39 Uudet arkkitehtuuri K. Diefendorff, P. K. Dubey: How Multimedia Workloads Will Change Processor Design, IEEE Computer, Sept. 1997, pp. 43-45. 1) reaaliaikainen vaste 2) jatkuva-aikaist mediat 3) merkittävästi matalan tason rinnakkaisuutta 4) merkittävästi korkeamman tason rinnakkaisuutta 5) käskyjen keskittyminen paikallisiin silmukoihin 6) laajakaistainen muisti 7) laajakaistainen tietoliikenne 8) erilaiset dataformaatit Petri Vuorimaa 40 V-IRAM Mikropiiri (kuvitteellinen) C. E. Kozyrakis et al., Scalable Processors in the Billion-Transistor Era: IRAM, IEEE Computer, Sept. 1997, pp. 75-78. Älykäs DRAM-muisti Cache-muistien tilalle Nopeat sarjaväylä Vektoriprosessointi Superskalaariprosessori Petri Vuorimaa 41 Petri Vuorimaa 42
8 PC-ohjelmistot Video for Windows Video for Windows Multimedia sovellus MCI (Multimedia Control Interface) Audio TAPI TSPI Video Conference Laitteita ohjataan ohjelmointirajapintojen kautta Osa on standardeja Osa on valmistajien omia määrityksiä Microsoftin ratkaisu video pakkaamiseksi, purkamiseksi ja toistamiseksi Koodekit: 1) Microsoft Video 1 2) Intel Indeo R3.1 & R3.2 3) Radius Cinepak 4) Microsoft Runlength Encoding (RLE) Petri Vuorimaa 43 Petri Vuorimaa 44 VFW etuja Media Control Interface (MCI) Pakkaus ja purku voidaan tehdä ohjelmistolla Video talletetaan tiedostoon (.AVI) audion kanssa MCI = Media Control Interface VFW = Video for Windows AVI = Audio Video Interleave ICM = Installable Compression Manager Petri Vuorimaa 45 Petri Vuorimaa 46 DirectX Matalan tason ohjelmointirajapinta (API) 1) DirectDraw: 2D & 3D video ja animaatio 2) Direct3D: reaaliaikainen 3D grafiikka 3) DirectSound: audio 4) DirectPlay: monenpelaajan pelit Internetin kautta 5) DirectInput: peliohjaimet DirectX:n käyttöönotto Alussa käytetään VFW:n ja MCI:n kautta Petri Vuorimaa 47 Petri Vuorimaa 48
9 DirectX:n käyttöönotto (jatk.) Myöhemmin käytetään ActiveMovien palveluja Active Movie ActiveMovie -arkkitehtuuri perustuu suodattimiin Esim. MPEG-suodattimet Suodattimia voidaan säätää käytössä olevan suorituskyvyn mukaisesti (orkestrointi) Petri Vuorimaa 49 Petri Vuorimaa 50 Active Movie esimerkki Petri Vuorimaa 51