Oheislaitteet Multimediatietokoneet Video ja grafiikka Audio Puhelin, Videoneuvottelu, Tietoverkot CD & DVD USB & FireWire Prosessorit Multimediatietokoneet Useat tietokoneet tukevat multimediaa Tietokoneissa on yleensä väylä Prosessori Muisti Kovalevy Väylä CD-ROM Video Audio Portit USB MIDI Verkko Petri Vuorimaa 1 Petri Vuorimaa 2 Sulautetut laitteet Matkapuhelimet Sulautetuissa laitteissa ei yleensä käytetä väylää Salauksen Set-top box purku Viritin ja demodulaattori Demux Videodekooderi Audiodekooderi WLAN. Bluetooth. Näyttö Kamera Näppäimet RAM Java Käyttöjärj. ASIC Multimedia HW kiihd. DSP MCU SRAM Protokolla ASIC Järjestelmä Logiikka DSP MCU SRAM GPS Antenni Analogiset piirit Muisti Modeemi Mikroprosessori Muistikortti Flash Muistikortti Flash Petri Vuorimaa 3 Petri Vuorimaa 4 Nykyiset laitteet Ominaisuudet: 1) multimedian toisto, editointi ja tallennus 2) tiedosiirto puhelin- ja tietoverkon kautta Rajoitukset: 1) rajallinen määrä medioita (suorituskyky) 2) synkronointi (hoidettu laitteistolla) 3) interaktiivisuus Multimedia PC (MPC) Laitevalmistajien yhteinen standardi Määrittelee perusominaisuudet eri laitteille Sovelluksen tuottaja voi helposti ilmoittaa vaatimustason Nykyinen versio 3 Petri Vuorimaa 5 Petri Vuorimaa 6
Video ja grafiikka Video ja grafiikka (jatk.) Värikoodi 8 tai n bittiä 256 tai 2 n väriä R G B.. VGA + 720 x 480 (max resoluutio) + 256 väriä SVGA + 1280 x 1024 + 32 bit. väri Videokuva toistetaan grafiikkamuistin kautta MPC3: + 30 kuvaa/s + 352 x 240 resoluutio + 15 bit/pikseli MPEG1 kompressio Näyttö Petri Vuorimaa 7 Petri Vuorimaa 8 Audio Useimmissa tietokoneissa on SoundBlaster yhteensopiva äänikortti PC AUDIO PCM CODEC MIDI Portti Audio in/out CD analog in in out through stereo mic CD-DA Petri Vuorimaa 9 MPC3:n audiovaatimukset 1) 8 tai 16 bit näytteet; 8, 11.025, 16, 22.05 tai 44.1 khz taajuudella 2) Pulse Code Modulation (PCM) kodekki 3) 16 bit stereo vie max. 13 % prosessoriajasta taajuudella 44.1 khz ja 7 % taajuudella 22.05 khz 4) CD-ROM asema digitaalisella audiolla 5) kaksi kaiutinta (120 Hz - 17.5 KHz) 6) subwoofer (40-250 Hz) 7) MIDI-portti Petri Vuorimaa 10 Puhelin Computer-Telephony Integration (CTI) 1) puhelujen hallinta: + numeronvalinta + tietoliikenne + palvelukeskukset ym. 2) Puhelinpohjaiset sovellukset: + henkilökohtaiset tiedot + fax + vastaaja ym. Windows rajapinnat 1) Telephony Application Programming Interface (TAPI) 2) Telephone Service Programming Interface (TSPI) 3) Messaging Application Programmin Interface (MAPI) 4) Speech Application Programmin Interface (SAPI) 5) Media Control Interface (MCI) MPC3 vaatii että järjestelmä on TAPI2.0 yhteensopiva Petri Vuorimaa 11 Petri Vuorimaa 12
Videoneuvottelu Videoneuvottelu ja ryhmätyösovellukset Paljon valmistajien omia ratkaisuja Standardeja: 1) ISDN H.320: video H.261; audio G.711, G.722, G.728; data T.120 2) Puhelin (POTS) H.324: video H.261, H.263, audio G.723; data T.120 3) LAN ja Internet H.323: video H.261, H.263, audio G.711, G.722, G.723, G.728, data T.120 Videoneuvottelu (jatk.) Kaistanleveys 1) ISDN: 128 Kbps (n x 64 kbps) 2) Puhelin: 56 Kbps 3) LAN ja Internet: rajaamaton kaistanleveys Videoneuvottelu vaatii yleensä erillistä laitteistotukea Petri Vuorimaa 13 Petri Vuorimaa 14 Videoneuvottelulaitteisto TV ja radio Grafiikka, video & audio Grafiikka, video & audio Audio kodekki Video kodekki Data kodekki Audio kodekki Video kodekki Data kodekki Verkkolaite Verkkolaite Televisio ja radio voidaan tuoda tietokoneeseen erillisillä lisäkorteille + myös USB-väylä Sammutusjuovilla voidaan lähettää ylimääräistä informaatiota (Intercast) Esim. www-sivut, linkit, ohjelmatiedot Myös DigiTV-kortteja olemassa Petri Vuorimaa 15 Petri Vuorimaa 16 Verkkoliityntä Tietoverkkoihin liitytään verkkoliityntäkortin kautta Tyyppinen nopeus 4, 10, 16, 25 tai 100 Mbps Siirtotie voi olla koaksiaalikaapeli, parikaapeli tai optinen kuitu Myös langattomat vaihtoehdot: radio, infrapuna Verkkokorttia ohjataan tietoliikenneprotokolla-pinon (esim. TCP/IP) kautta Petri Vuorimaa 17 CD CD-ROM -levyt sopivat hyvin multimedian jakeluun Käytössä useita eri standardeja + CD-DA (red book): digitaalinen audio, 150 Kbps, 44.1 Ksample/s, 682 MB + CD-ROM (yellow book): 1) teksti & data, 2) audio & video data + CD-I (green book): tekstin, grafiikan, audion ja videon toisto (multimedia ja pelit) Petri Vuorimaa 18
CD (jatk.) + DVI: Indeo video (72 min) + CD-XA (extended yellow book): parantaa audio ja video ominaisuuksia + MSCDEX: MS-DOS käyttöliittymän laajennukset + PhotoCD: max 100 kompressoitua kuvaan + Video CD (white book): MPEG1 video (74 min) + CD-R (orange book): kertaalleen tallentava CD + CD-RW: uudelleen kirjoitettava CD MPC3 CD-vaatimukset 1) CD-DA 2) CD-ROM 3) CD-XA 4) CD-I 5) Video CD 6) CD-R 7) Photo CD 8) Enhanced Music CD Siirtonopeuden on oltava vähintään 550 Ktavua/s Petri Vuorimaa 19 Petri Vuorimaa 20 DVD DVD-levyissä on suurempi tallennuskapasiteetti kuin CD-levyissä 1) pienempi "kuopan" väli (0.4 mikronia vs. 0.834 mikronia) 2) pienempi uran väli (0.74 mikronia vs. 1.6 mikronia) 3) lyhyempi laserin aallonpituus (635-650 nanometriä vs. 780 nanometriä) 4) kaksi puolta 5) kaksi kerrosta DVD:n kapasiteetti DVD-levyjen kapasiteetti: 1) yksi puoli ja yksi kerros: 4.7 Gtavua 2) kaksi puolta ja yksi kerros: 9.4 Gtavua 3) kaksi puolta ja kaksi kerrosta: 17 Gtavua DVD-asemat voivat olla yhteensopivia CD-levyjen kanssa Videossa käytetään MPEG-2:ta ja audiossa Dolby AC-3:ta Petri Vuorimaa 21 Petri Vuorimaa 22 DVD-formaatit Fyysinen kerros + DVD-ROM, + DVD-RAM, DVD-R, DVD-RW (Panasonic, Toshiba, Apple, Hitachi, NEC, Samsung ja Sharp) + DVD+R, DVD+RW (Philips, Sony, HP, Dell, jne.) Looginen kerros + Universal Disc Format (UDF) Sovellukset + DVD-Video, DVD-Audio Petri Vuorimaa 23 DVD:n salaus Vain osa sisällöstä salataan + säästää CPU-aikaa DVD-soitin purkaa salauksen laitteistolla Salausavain löytyy levyltä + vain lisenssin hankkineet valmistajat tietävät miten Sotkettua TV-signaalia ei voi kopioida DVD-ROM -asema antaa avaimen vain salattua väylää pitkin Vesileimoilla voidaan rajoittaa kopioiden määrää Petri Vuorimaa 24
DVD-salausjärjestelmä Toimiiko DVD-salaus? Petri Vuorimaa 25 Petri Vuorimaa 26 Seuraavan sukupolven DVD Sininen laser (450 nm) punaisen (650 nm) sijasta Blu-Ray + Sony, Hitachi, LG, Matsushita, Philips, Pioneer, Samsung, Sharp ja Thomson + 23, 25 tai 27 GB DVD-HD + Toshiba, Nec, Warner, Paramount ja Universal + 15-20 GB USB Universal Serial Bus (USB) -väylän kautta voidaan liittää erilaisia laitteita tietokoneeseen USB:n etuja: 1) laitteiston asetuksia (keskeytykset, DMA, osoitteet ym.) ei tarvitse määritellä 2) tietokonetta ei tarvitse "avata" 3) erillisiä sähköjohtoja ei tarvita Petri Vuorimaa 27 Petri Vuorimaa 28 USB-laitteita 1) näppäimistö, hiiri, tulostin, modeemi, skanneri, CD-ROM ym. 2) puhelin, ISDN ym. 3) joystick, peliohjaimet, datahansikkaat, virtuaalisilmiköt ym. 4) videokamerat, digitaaliset kamerat ym. 5) TV- ja radio-vastaanotin USB:n ominaisuuksia USB-väylän nopeus on 1.5 Mbps ja 12 Mbps USB-väylä sisältää neljä johdinta Vbus D+ D- GND Vbus D+ D- GND Bitit ilmaistaan jännite-eroina Maksimietäisyys on 5 metriä Laitteet kytketään tähtitopologiaan (HUB) Verkot voivat olla hierarkisia Petri Vuorimaa 29 Petri Vuorimaa 30
USB tukee 1) Isokroninen videon ja audion siirto 2) Reaaliaikaiset keskeytykset 3) Suurten datamäärien siirto paras yritys -metodilla 4) Ohjaustiedon siirto Petri Vuorimaa 31 USB 2.0 Siirtokapasiteetti max 480 Mbps (40 kertainen) Yhteensopiva USB 1.1:n kanssa Nopeus tiputetaan tarvittaessa automaattisesti Mahdollistaa uusien oheislaitteiden käytön + videoneuvottelu (parempi kuvanlaatu) + tulostimet & skannerit (nopeus & resoluutio) + CDROM & DVD (suurempi datan määrä) Petri Vuorimaa 32 FireWire Kuten USB-väylä, mutta suurempi siirtonopeus: 98.304, 196.608 ja 392.216 Mbps Yli 1 Gbps nopeudet kehitteillä 64 000 laitetta ja 1 000 siltaa Yhden kaapelin etäisyys max 4.5 m Kahden laitteen etäisyys max 16 kaapelia eli 72 m FireWire- konfiguraaatio Laiteryhmät liitetään toisiinsa sillalla Petri Vuorimaa 33 Petri Vuorimaa 34 FireWire-kaapeli Kaapeli koostuu kahdesta datajohdinparista ja virtajohtimista FireWire-väylän etuja 1) Väylä skaalaantuu hyvin 2) Joustava topologia 3) Laitteita voi liittää "kuumaan" väylään 4) Väylä on helppo käyttää (ei asetuksia) 5) Suunniteltu kulutuslaitteisiin (halpa) Petri Vuorimaa 35 Petri Vuorimaa 36
FireWire-väylän tilanne Tällä hetkellä laitteita rajatusti FireWire-kortteja saatavilla tietokoneisiin Joissakin työasemissa ja PC-koneissa on FireWire-väylä vakiona Joitakin videokameroita ym. Tulossa digitaalisen television set-top boxeihin Prosessorit Multimedian käsittely vaatii laskentatehoa Dataa on paljon ja algoritmit ovat laskennallisesti vaativia Ongelma voidaan ratkaista eri tavoilla: 1) kiihdyttimet (MPEG purkupiirit ym.) 2) erikoisprosessorit (signaaliprosesorit ym.) 3) yleisprosessorien laajennukset (MMX ym.) 4) rinnakkaiset arkkitehtuurit Petri Vuorimaa 37 Petri Vuorimaa 38 Kiihdyttimet Kiihdyttimissä suoritettava algoritmi on toteutettu suoraan laitteistotasolla + Datan käsittely on nopeaa Algoritmit voivat olla joko kiinteitä tai uudelleen konfiguroitavia + Jälkimmäisessä tapauksessa käytetään uudelleen ohjelmoitavia logiikkapiirejä Kiihdytin voi toimia itsenäisesti tai se voidaan liittää mikroprosessorin kylkeen + Kiihdytin voidaan jopa integroida samalla mikropiirille prosessorin kanssa Petri Vuorimaa 39 Erikoisprosessorit (I/II) Digitaaliset signaalinkäsittelyn prosessorit sopivat erityisen hyvin kuva ja ääni-signaalien käsittelyyn Käskykannat sisältävät yleisesti signaalinkäsittelyssä käytettäviä operaatiota Valmistajat ovat myös toteuttaneet signaalinkäsittelyn algoritmikirjastoja Useissa multimedialaitteissa on perusprosessorin lisäksi DSP-prosessori Erikoisprosessorit (II/II) Toinen yleisesti käytetty erikoisprosesorien ryhmä on erilaiset grafiikkaprossorit Ne on optimoitu erilaisten piirto, valaistus, näyttö ym. algoritmien suorittamiseen Grafiikkaprosessori toimii varsinaisen pääprosessorin rinnalla Petri Vuorimaa 41 Petri Vuorimaa 42
MMX Petri Vuorimaa 44 Esim. rinnakkainen kertolasku MMX:n käyttö I(3) I(2) I(1) I(0) I(3) I(2) I(1) I(0) I(3) I(2) I(1) I(0) MMX on Intelin Pentium ja Pentium Pro prosessorein multimedialaajennus Perustuu Single Instructin Multiple Data (SIMD) arkkitehtuuriin Yksi käsky käsittelee useampaa dataa yhtäaikaa Esim. 64 bitin rekisteri sisältää 8 kpl 8 bitin data-alkiota tai 4 kpl 16 bitin dataalkiota Kertolasku Sama operaatio toistetaan usealle dataalkiolle Videon kompressointi, kuvankäsittely, tietokonegrafiikka ja digitaalinen signaalinkäsittely Esim. MPEG1 videon purku on 1.5 kertaa nopeampi kuin ilman MMXkäskykantaa Ongelmana on algoritmien uudelleen koodaaminen Petri Vuorimaa 45 Petri Vuorimaa 46 Rinnakkaiset arkkitehtuurit Laskentatehoa voidaan lisätä myös rinnakkaisilla arkkitehtuureilla: + Superskalaarit arkkitehtuurit + Vektoriprosessointi + Single Instruction Multiple Data (SIMD) + Very Large Instruction Word (VLIW) + Transport Triggered Architectures (TTA) Superskalaarit arkkitehtuurit Prosessorissa on yksi käsky-yksikkö, mutta useita laskentayksiköitä Käsky-yksikkö jakaa operaatiot eri laskentayksiköiden suoritettavaksi Operaatioiden järjestystä voidaan muokata joko kääntäjässä tai laitteistolla + Ohjelmistokoodia ei tarvitse muokata Useimmat tehokkaat nykyaikaiset prosessorit ovat superskalaareita arkkitehtuureja Petri Vuorimaa 47 Petri Vuorimaa 48
Vektorilaskenta Perinteiset supertietokoneet perustuvat vektoriprosessointiin Käsiteltävä data talletetaan vektori- tai matriisi-tietorakenteisiin Useampaa data-alkiota käsitellään yhtä aikaa erilaisissa laskentayksiköissä Laskentayksiköitä voidaan liukuhihnoittaa peräkkäin Vektorilaskennan hyödyntäminen edellyttää joko käsin koodaamista tai optimoitua kääntäjää Petri Vuorimaa 49 SIMD SIMD-arkkitehtuurissa sama käsky suoritettaan yhtäaikaa monelle dataalkiolle Arkkitehtuuri koostuu yhdestä käskyyksiköstä ja useasta samanlaisesta laskentayksiköstä Yleensä data jaetaan ensin eri laskentayksiköille ja käsittelyn jälkeen se kerätään niiltä pois Sopii hyvin esim. kuvankäsittelyyn tai tietokonegrafiikkaan Petri Vuorimaa 50 VLIW Erittäin pitkän käskysanan arkkitehtuureissa yksi käskysana sisältää useita eri laskentayksiköissä suoritettavia operaatioita Kääntäjä huolehtii käskysanojen luomisesta Esim. toistorakenteet voidaan purkaa rinnakkaisiksi operaatioiksi Multimedian ja signaalinkäsittelyn algoritmeissa on yleensä paljon tiukkoja toistorakenteita Petri Vuorimaa 51 TTA TTA-arkkitehtuurissa ei ole käskyyksikköä ollenkaan (pienenpi energiankulutus ja piirin pinta-ala) Laskentayksiköitä on sen sijaan useita Kääntäjä määrittelee miten data-alkioita siirretään laskentayksiköstä toiseen Siirto tapahtuu heti kun laskenta saadaan valmiiksi Sopii hyvin signaalinkäsittelyyn Petri Vuorimaa 52 TTA Example H. Corporaal, Design of transport triggered architectures, in Proc. 4th Great Lakes Symposium on Design Automation of High Performance VLSI Systems, GLSV '94, March 1994, pp. 130-135. Petri Vuorimaa 53