Oheislaitteet Multimediatietokoneet Video ja grafiikka Audio Puhelin, Videoneuvottelu, Tietoverkot CD & DVD USB & FireWire Prosessorit Video for Windows, DirectX & ActiveMovie 1 Multimediatietokoneet Useat tietokoneet tukevat multimediaa Tietokoneissa on yleensä väylä Prosessori Muisti Kovalevy CD-ROM Väylä Video Audio Portit USB MIDI Verkko 2 Sulautetut laitteet Matkapuhelimet Sulautetuissa laitteissa ei yleensä käytetä väylää Set-top-box Viritin ja demodulaattori Salauksen purku Demux Videodekooderi Audiodekooderi WLAN. Bluetooth. Näyttö Kamera Näppäimet RAM Java Käyttöjärj. ASIC Multimedia HW kiihd. DSP MCU SRAM Protokolla ASIC Järjestelmä Logiikka DSP MCU SRAM GPS Antenni Analogiset piirit Muisti Modeemi Flash Mikroprosessori Muistikortti Muistikortti Flash 3 4 Nykyiset laitteet Ominaisuudet : 1) multimedian toisto, editointi ja tallennus 2) tiedosiirto puhelin- ja tietoverkon kautta Rajoitukset: 1) rajallinen määrä medioita (suorituskyky) 2) synkronointi (hoidettu laitteistolla) 3) interaktiivisuus Multimedia PC (MPC) Laitevalmistajien yhteinen standardi Määrittelee perusominaisuudet eri laitteille Sovelluksen tuottaja voi helposti ilmoittaa vaatimustason Nykyinen versio 3 5 6 1
Video ja grafiikka Video ja grafiikka (jatk.) Värikoodi 8 tai n bittiä Näyttö 256 tai 2 n väriä R G B.. VGA + 720 x 480 (max resoluutio) + 256 väriä SVGA + 1280 x 1024 + 32 bit. väri Videokuva toistetaan grafiikkamuistin kautta MPC3: + 30 kuvaa/s + 352 x 240 resoluutio + 15 bit/pikseli MPEG1 kompressio 7 8 Audio Useimmissa tietokoneissa on SoundBlaster yhteensopiva äänikortti PC AUDIO PCM CODEC MIDI Portti Audio in/out CD analog in in out through stereo mic CD-DA 9 MPC3:n audiovaatimukset 1) 8 tai 16 bit näytteet; 8, 11.025, 16, 22.05 tai 44.1 khz taajuudella 2) Pulse Code Modulation (PCM) kodekki 3) 16 bit stereo vie max. 13 % prosessoriajasta taajuudella 44.1 khz ja 7 % taajuudella 22.05 khz 4) CD-ROM asema digitaalisella audiolla 5) kaksi kaiutinta (120 Hz - 17.5 KHz) 6) subwoofer (40-250 Hz) 7) MIDI-portti 10 Puhelin Windows rajapinnat Computer-Telephony Integration (CTI) 1) puhelujen hallinta: + numeronvalinta + tietoliikenne + palvelukeskukset ym. 2) Puhelinpohjaiset sovellukset : + henkilökohtaiset tiedot + fax + vastaaja ym. 11 1) Telephony Application Programming Interface (TAPI) 2) Telephone Service Programming Interface (TSPI) 3) Messaging Application Programmin Interface (MAPI) 4) Speech Application Programmin Interface (SAPI) 5) Media Control Interface (MCI) MPC3 vaatii että järjestelmä on TAPI2.0 yhteensopiva 12 2
Videoneuvottelu Videoneuvottelu ja ryhmätyösovellukset Paljon valmistajien omia ratkaisuja Standardeja: 1) ISDN H.320: video H.261; audio G.711, G.722, G.728; data T.120 2) Puhelin (POTS) H.324: video H.261, H.263, audio G.723; data T.120 3) LAN ja Internet H.323: video H.261, H.263, audio G.711, G.722, G.723, G.728, data T.120 13 Videoneuvottelu (jatk.) Kaistanleveys 1) ISDN: 128 Kbps (n x 64 kbps) 2) Puhelin: 56 Kbps 3) LAN ja Internet: rajaamaton kaistanleveys Videoneuvottelu vaatii yleensä erillistä laitteistotukea 14 Videoneuvottelulaitteisto TV ja radio Grafiikka, video & audio Grafiikka, video & audio Audio kodekki Video kodekki Data kodekki Audio kodekki Video kodekki Data kodekki Verkkolaite Verkkolaite Televisio ja radio voidaan tuoda tietokoneeseen erillisillä lisäkorteille + myös USB-väylä Sammutusjuovilla voidaan lähettää ylimääräistä informaatiota (Intercast) Esim. www-sivut, linkit, ohjelmatiedot Myös DigiTV-kortteja olemassa 15 16 Verkkoliityntä CD Tietoverkkoihin liitytään verkkoliityntäkortin kautta Tyyppinen nopeus 4, 10, 16, 25 tai 100 Mbps Siirtotie voi olla koaksiaalikaapeli, parikaapeli tai optinen kuitu Myös langattomat vaihtoehdot : radio, infrapuna Verkkokorttia ohjataan tietoliikenneprotokollapinon (esim. TCP/IP) kautta 17 CD-ROM -levyt sopivat hyvin multimedian jakeluun Käytössä useita eri standardeja CD-DA (red book): digitaalinen audio, 150 Kbps, 44.1 Ksample/s, 682 MB CD-ROM (yellow book): 1) teksti & data, 2) audio & video data CD-I (green book): tekstin, grafiikan, audion ja videon toisto (multimedia ja pelit) 18 3
CD (jatk.) DVI: Indeo video (72 min) CD-XA (extended yellow book): parantaa audio ja video ominaisuuksia MSCDEX: MS-DOS käyttöliittymän laajennukset PhotoCD: max 100 kompressoitua kuvaan Video CD (white book): MPEG1 video (74 min) CD-R (orange book): kertaalleen tallentava CD CD-RW: uudelleen kirjoitettava CD 19 MPC3 CD-vaatimukset 1) CD-DA 2) CD-ROM 3) CD-XA 4) CD-I 5) Video CD 6) CD-R 7) Photo CD 8) Enhanced Music CD Siirtonopeuden on oltava vähintään 550 Ktavua/s 20 DVD DVD-levyissä on suurempi tallennuskapasiteetti kuin CD-levyissä 1) pienempi "kuopan" väli (0.4 mikronia vs. 0.834 mikronia) 2) pienempi uran väli (0.74 mikronia vs. 1.6 mikronia) 3) lyhyempi laserin aallonpituus (635-650 nanometriä vs. 780 nanometriä) 4) kaksi puolta 5) kaksi kerrosta DVD:n kapasiteetti DVD-levyjen kapasiteetti: 1) yksi puoli ja yksi kerros: 4.7 Gtavua 2) kaksi puolta ja yksi kerros: 9.4 Gtavua 3) kaksi puolta ja kaksi kerrosta: 17 Gtavua DVD-asemat voivat olla yhteensopivia CDlevyjen kanssa Videossa käytetään MPEG-2:ta ja audiossadolby AC-3:ta 21 22 DVD- formaatit Fyysinen kerros + DVD-ROM, + DVD-RAM, DVD-R, DVD-RW (Panasonic, Toshiba, Apple, Hitachi, NEC, Samsung ja Sharp) + DVD+R, DVD+RW (Philips, Sony, HP, Dell, jne.) Looginen kerros + Universal Disc Format (UDF) Sovellukset + DVD-Video, DVD-Audio DVD:n salaus Vain osa sisällöstä salataan (säästää CPU-aikaa) DVD-soitinpurkaa salauksen laitteistolla Salausavain löytyy levyltä + vain lisenssin hankkineet valmistajat tietävät miten TV-signaali on sotkettu, joten sitä ei voi kopioida DVD-ROM -asema antaa avaimen vain salattua väylää pitkin (Content Scrambling System - CSS) Vesileimoilla voidaan sallia rajattumäärä kopioita 23 24 4
DVD-salausjärjestelmä Toimiiko DVD-salaus? 25 26 Seuraavan sukupolven DVD Sininen laser (450 nm) punaisen (650 nm) sijasta Blu-Ray + Sony, Hitachi, LG, Matsushita, Philips, Pioneer, Samsung, Sharp jathomson + 23, 25 tai 27 GB DVD-HD + Toshiba, Nec, Warner, Paramount ja Universal + 15-20 GB USB Universal Serial Bus (USB) -väylän kautta voidaan liittää erilaisia laitteitatietokoneeseen USB:n etuja: 1) laitteiston asetuksia (keskeytykset, DMA, osoitteet ym.) ei tarvitsemääritellä 2) tietokonetta ei tarvitse "avata" 3) erillisiä sähköjohtoja ei tarvita 27 28 USB- laitteita USB:n ominaisuuksia 1) näppäimistö, hiiri, tulostin, modeemi, skanneri, CD-ROM ym. 2) puhelin, ISDN ym. 3) joystick, peliohjaimet, datahansikkaat, virtuaalisilmiköt ym. 4) videokamerat, digitaaliset kamerat ym. 5) TV- ja radio-vastaanotin USB-väylän nopeus on 1.5 Mbps ja 12 Mbps USB-väylä sisältää neljä johdinta Vbus D+ D- GND Bitit ilmaistaan jännite-eroina Maksimietäisyys on 5 metriä Laitteet kytketään tähtitopologiaan (HUB) Verkot voivat olla hierarkisia Vbus D+ D- GND 29 30 5
USB tukee 1) Isokroninen videon ja audion siirto 2) Reaaliaikaiset keskeytykset 3) Suurten datamäärien siirto paras yritys -metodilla 4) Ohjaustiedon siirto USB 2.0 Siirtokapasiteetti max 480 Mbps (40 kertainen) Yhteensopiva USB 1.1:n kanssa Nopeus tiputetaan tarvittaessa automaattisesti Mahdollistaa uusien oheislaitteiden käytön + videoneuvottelu (parempi kuvanlaatu) + tulostimet & skannerit (nopeus & resoluutio) + CDROM & DVD (suurempi datan määrä) 31 32 FireWire Kuten USB-väylä, mutta suurempi siirtonopeus: 98.304, 196.608 ja 392.216 Mbps Yli 1 Gbpsnopeudet kehitteillä 64 000 laitetta ja 1 000 siltaa Yhden kaapelin etäisyys max 4.5 m Kahden laitteen etäisyys max 16 kaapelia eli 72 m FireWire- väylän konfiguraaatio Laiteryhmät liitetään toisiinsasiltojen kautta 33 34 FireWire-kaapeli Kaapeli koostuu kahdesta datajohdinparista ja virtajohtimista FireWire- väylän etuja 1) Väylä skaalaantuu hyvin 2) Joustava topologia 3) Laitteita voi liittää "kuumaan" väylään 4) Väylä on helppo käyttää (ei asetuksia) 5) Suunniteltukulutuslaitteisiin (halpa) 35 36 6
FireWire- väyläntilanne Tällä hetkellä laitteita rajatusti FireWire-kortteja saatavilla tietokoneisiin Joissakin työasemissa ja PC-koneissa on FireWire-väylä vakiona Joitakin videokameroitaym. Tulossa digitaalisen television set-top-boxeihin Prosessorit Multimedian käsittely vaatii laskentatehoa Ongelma voidaan ratkaista: 1) erikoislaitteistolla (MPEG purkupiirit ym.) 2) erikoisprosessoreille (signaaliprosesorit ym.) 3) yleisprosessorien laajennuksilla (MMX ym.) 37 38 MMX Esim. rinnakkainenkertolasku MMX on Intelin Pentium ja Pentium Pro prosessorein multimedialaajennus Perustuu Single Instructin Multiple Data (SIMD) arkkitehtuuriin Yksi käsky käsittelee useampaa dataa yhtäaikaa Esim. 64 bitin rekisteri sisältää 8 kpl 8 bitin dataalkiota tai 4 kpl 16 bitin data-alkiota I(3) I(2) I(1) I(0) I(3) I(2) I(1) I(0) I(3) I(2) I(1) I(0) Kertolasku 39 40 MMX:n käyttö Sama operaatio toistetaan usealle data-alkiolle Videon kompressointi, kuvankäsittely, tietokonegrafiikka ja digitaalinen signaalinkäsittely Esim. MPEG1 videon purku on 1.5 kertaa nopeampi kuin ilman MMX-käskykantaa Ongelmana on algoritmien uudelleen koodaaminen 41 Uudet arkkitehtuuri K. Diefendorff, P. K. Dubey : How Multimedia Workloads Will Change Processor Design, IEEE Computer, Sept. 1997, pp. 43-45. 1) reaaliaikainen vaste 2) jatkuva-aikaiset mediat 3) merkittävästi matalan tason rinnakkaisuutta 4) merkittävästi korkeamman tason rinnakkaisuutta 5) käskyjen keskittyminen paikallisiin silmukoihin 6) laajakaistainen muisti 7) laajakaistainen tietoliikenne 8) erilaiset dataformaatit 42 7
V-IRAM Mikropiiri (kuvitteellinen) C. E. Kozyrakis et al., Scalable Processors in the Billion-Transistor Era: IRAM, IEEE Computer, Sept. 1997, pp. 75-78. Älykäs DRAM-muisti Cache-muistien tilalle Nopeat sarjaväylä Vektoriprosessointi Superskalaariprosessori 43 44 PC-ohjelmistot Video for Windows Multimedia sovellus MCI (Multimedia Control Interface) Audio TAPI TSPI Video Conference Laitteita ohjataan ohjelmointirajapintojen kautta Osa on standardeja Osa on valmistajien omia määrityksiä 45 Video for Windows Microsoftin ratkaisu video pakkaamiseksi, purkamiseksi ja toistamiseksi Koodekit : 1) Microsoft Video 1 2) Intel Indeo R3.1 & R3.2 3) Radius Cinepak 4) Microsoft Runlength Encoding (RLE) 46 VFW etuja Media Control Interface (MCI) Pakkaus ja purku voidaan tehdä ohjelmistolla Video talletetaan tiedostoon (.AVI) audion kanssa MCI = Media Control Interface VFW = Video for Windows AVI = Audio Video Interleave ICM = Installable Compression Manager 47 48 8
DirectX DirectX:n käyttöönotto Matalan tason ohjelmointirajapinta (API) 1) DirectDraw: 2D & 3D video ja animaatio 2) Direct3D: reaaliaikainen 3D grafiikka 3) DirectSound: audio 4) DirectPlay: monenpelaajan pelit Internetin kautta 5) DirectInput: peliohjaimet Alussa käytetään VFW:n ja MCI:n kautta 49 DirectX:n käyttöönotto (jatk.) 50 Active Movie Myöhemmin käytetään ActiveMovien palveluja ActiveMovie -arkkitehtuuri perustuu suodattimiin Esim. MPEG-suodattimet Suodattimia voidaan säätää käytössä olevan suorituskyvyn mukaisesti (orkestrointi) 51 52 Active Movie esimerkki 53 9