Oheislaitteet Multimediatietokoneet Video ja grafiikka Audio Puhelin, Videoneuvottelu, Tietoverkot CD & DVD USB & FireWire Prosessorit Petri Vuorim aa 1
Multimediatietokoneet Useat tietokoneet tukevat multimediaa Tietokoneissa on yleensä väylä Prosessori Muisti Kovalevy CD-ROM Väylä Video Audio Portit USB MIDI Verkko Petri Vuorim aa 2
Sulautetut laitteet Sulautetuissa laitteissa ei yleensä käytetä väylää Salauksen Set-top box purku Viritin ja demodulaattori Demux Muisti Videodekooderi Audiodekooderi Mikroprosessori Modeemi Petri Vuorim aa 3
Matkapuhelimet Java WLAN. Käyttöjärj. Protokolla Bluetooth. ASIC Multimedia ASIC Järjestelmä GPS Näyttö Kamera Antenni Näppäimet RAM HW kiihd. DSP MCU SRAM Logiikka DSP MCU SRAM Analogiset piirit Flash Muistikortti Muistikortti Flash Petri Vuorim aa 4
Nykyiset laitteet Ominaisuudet: 1) multimedian toisto, editointi ja tallennus 2) tiedosiirto puhelin- ja tietoverkon kautta Rajoitukset: 1) rajallinen määrä medioita (suorituskyky) 2) synkronointi (hoidettu laitteistolla) 3) interaktiivisuus Petri Vuorim aa 5
Multimedia PC (MPC) Laitevalmistajien yhteinen standardi Määrittelee perusominaisuudet eri laitteille Sovelluksen tuottaja voi helposti ilmoittaa vaatimustason Nykyinen versio 3 Petri Vuorim aa 6
Video ja grafiikka Värikoodi 8 tai n bittiä Näyttö 256 tai 2 n väriä R G B.. VGA + 720 x 480 (max resoluutio) + 256 väriä SVGA + 1280 x 1024 + 32 bit. väri Petri Vuorim aa 7
Video ja grafiikka (jatk.) Videokuva toistetaan grafiikkamuistin kautta MPC3: + 30 kuvaa/s + 352 x 240 resoluutio + 15 bit/pikseli MPEG1 kompressio Petri Vuorim aa 8
Audio Useimmissa tietokoneissa on SoundBlaster yhteensopiva äänikortti AUDIO MIDI Portti in out through PC PCM CODEC Audio in/out stereo mic CD analog in CD-DA Petri Vuorim aa 9
MPC3:n audiovaatimukset 1) 8 tai 16 bit näytteet; 8, 11.025, 16, 22.05 tai 44.1 khz taajuudella 2) Pulse Code Modulation (PCM) kodekki 3) 16 bit stereo vie max. 13 % prosessoriajasta taajuudella 44.1 khz ja 7 % taajuudella 22.05 khz 4) CD-ROM asema digitaalisella audiolla 5) kaksi kaiutinta (120 Hz - 17.5 KHz) 6) subwoofer (40-250 Hz) 7) MIDI-portti Petri Vuorim aa 1 0
Puhelin Computer-Telephony Integration (CTI) 1) puhelujen hallinta: + numeronvalinta + tietoliikenne + palvelukeskukset ym. 2) Puhelinpohjaiset sovellukset: + henkilökohtaiset tiedot + fax + vastaaja ym. Petri Vuorim aa 1 1
Windows rajapinnat 1) Telephony Application Programming Interface (TAPI) 2) Telephone Service Programming Interface (TSPI) 3) Messaging Application Programmin Interface (MAPI) 4) Speech Application Programmin Interface (SAPI) 5) Media Control Interface (MCI) MPC3 vaatii että järjestelmä on TAPI2.0 yhteensopiva Petri Vuorim aa 1 2
Videoneuvottelu Videoneuvottelu ja ryhmätyösovellukset Paljon valmistajien omia ratkaisuja Standardeja: 1) ISDN H.320: video H.261; audio G.711, G.722, G.728; data T.120 2) Puhelin (POTS) H.324: video H.261, H.263, audio G.723; data T.120 3) LAN ja Internet H.323: video H.261, H.263, audio G.711, G.722, G.723, G.728, data T.120 Petri Vuorim aa 1 3
Videoneuvottelu (jatk.) Kaistanleveys 1) ISDN: 128 Kbps (n x 64 kbps) 2) Puhelin: 56 Kbps 3) LAN ja Internet: rajaamaton kaistanleveys Videoneuvottelu vaatii yleensä erillistä laitteistotukea Petri Vuorim aa 1 4
Videoneuvottelulaitteisto Grafiikka, video & audio Audio kodekki Video kodekki Data kodekki Verkkolaite Grafiikka, video & audio Audio kodekki Video kodekki Data kodekki Verkkolaite Petri Vuorim aa 1 5
TV ja radio Televisio ja radio voidaan tuoda tietokoneeseen erillisillä lisäkorteille + myös USB-väylä Sammutusjuovilla voidaan lähettää ylimääräistä informaatiota (Intercast) Esim. www-sivut, linkit, ohjelmatiedot Myös DigiTV-kortteja olemassa Petri Vuorim aa 1 6
Verkkoliityntä Tietoverkkoihin liitytään verkkoliityntäkortin kautta Tyyppinen nopeus 4, 10, 16, 25 tai 100 Mbps Siirtotie voi olla koaksiaalikaapeli, parikaapeli tai optinen kuitu Myös langattomat vaihtoehdot: radio, infrapuna Verkkokorttia ohjataan tietoliikenneprotokolla-pinon (esim. TCP/IP) kautta Petri Vuorim aa 1 7
CD CD-ROM -levyt sopivat hyvin multimedian jakeluun Käytössä useita eri standardeja + CD-DA (red book): digitaalinen audio, 150 Kbps, 44.1 Ksample/s, 682 MB + CD-ROM (yellow book): 1) teksti & data, 2) audio & video data + CD-I (green book): tekstin, grafiikan, audion ja videon toisto (multimedia ja pelit) Petri Vuorim aa 1 8
CD (jatk.) + DVI: Indeo video (72 min) + CD-XA (extended yellow book): parantaa audio ja video ominaisuuksia + MSCDEX: MS-DOS käyttöliittymän laajennukset + PhotoCD: max 100 kompressoitua kuvaan + Video CD (white book): MPEG1 video (74 min) + CD-R (orange book): kertaalleen tallentava CD + CD-RW: uudelleen kirjoitettava CD Petri Vuorim aa 1 9
MPC3 CD-vaatimukset 1) CD-DA 2) CD-ROM 3) CD-XA 4) CD-I 5) Video CD 6) CD-R 7) Photo CD 8) Enhanced Music CD Siirtonopeuden on oltava vähintään 550 Ktavua/s Petri Vuorim aa 2 0
DVD DVD-levyissä on suurempi tallennuskapasiteetti kuin CD-levyissä 1) pienempi "kuopan" väli (0.4 mikronia vs. 0.834 mikronia) 2) pienempi uran väli (0.74 mikronia vs. 1.6 mikronia) 3) lyhyempi laserin aallonpituus (635-650 nanometriä vs. 780 nanometriä) 4) kaksi puolta 5) kaksi kerrosta Petri Vuorim aa 2 1
DVD:n kapasiteetti DVD-levyjen kapasiteetti: 1) yksi puoli ja yksi kerros: 4.7 Gtavua 2) kaksi puolta ja yksi kerros: 9.4 Gtavua 3) kaksi puolta ja kaksi kerrosta: 17 Gtavua DVD-asemat voivat olla yhteensopivia CD-levyjen kanssa Videossa käytetään MPEG-2:ta ja audiossa Dolby AC-3:ta Petri Vuorim aa 2 2
DVD-formaatit Fyysinen kerros + DVD-ROM, + DVD-RAM, DVD-R, DVD-RW (Panasonic, Toshiba, Apple, Hitachi, NEC, Samsung ja Sharp) + DVD+R, DVD+RW (Philips, Sony, HP, Dell, jne.) Looginen kerros + Universal Disc Format (UDF) Sovellukset + DVD-Video, DVD-Audio Petri Vuorim aa 2 3
DVD:n salaus Vain osa sisällöstä salataan + säästää CPU-aikaa DVD-soitin purkaa salauksen laitteistolla Salausavain löytyy levyltä + vain lisenssin hankkineet valmistajat tietävät miten Sotkettua TV-signaalia ei voi kopioida DVD-ROM -asema antaa avaimen vain salattua väylää pitkin Vesileimoilla voidaan rajoittaa kopioiden määrää Petri Vuorim aa 2 4
DVD-salausjärjestelmä Petri Vuorim aa 2 5
Toimiiko DVD-salaus? Petri Vuorim aa 2 6
Seuraavan sukupolven DVD Sininen laser (450 nm) punaisen (650 nm) sijasta Blu-Ray + Sony, Hitachi, LG, Matsushita, Philips, Pioneer, Samsung, Sharp ja Thomson + 23, 25 tai 27 GB DVD-HD + Toshiba, Nec, Warner, Paramount ja Universal + 15-20 GB Petri Vuorim aa 2 7
USB Universal Serial Bus (USB) -väylän kautta voidaan liittää erilaisia laitteita tietokoneeseen USB:n etuja: 1) laitteiston asetuksia (keskeytykset, DMA, osoitteet ym.) ei tarvitse määritellä 2) tietokonetta ei tarvitse "avata" 3) erillisiä sähköjohtoja ei tarvita Petri Vuorim aa 2 8
USB-laitteita 1) näppäimistö, hiiri, tulostin, modeemi, skanneri, CD-ROM ym. 2) puhelin, ISDN ym. 3) joystick, peliohjaimet, datahansikkaat, virtuaalisilmiköt ym. 4) videokamerat, digitaaliset kamerat ym. 5) TV- ja radio-vastaanotin Petri Vuorim aa 2 9
USB:n ominaisuuksia USB-väylän nopeus on 1.5 Mbps ja 12 Mbps USB-väylä sisältää neljä johdinta Vbus D+ D- GND Vbus D+ D- GND Bitit ilmaistaan jännite-eroina Maksimietäisyys on 5 metriä Laitteet kytketään tähtitopologiaan (HUB) Verkot voivat olla hierarkisia Petri Vuorim aa 3 0
USB tukee 1) Isokroninen videon ja audion siirto 2) Reaaliaikaiset keskeytykset 3) Suurten datamäärien siirto paras yritys -metodilla 4) Ohjaustiedon siirto Petri Vuorim aa 3 1
USB 2.0 Siirtokapasiteetti max 480 Mbps (40 kertainen) Yhteensopiva USB 1.1:n kanssa Nopeus tiputetaan tarvittaessa automaattisesti Mahdollistaa uusien oheislaitteiden käytön + videoneuvottelu (parempi kuvanlaatu) + tulostimet & skannerit (nopeus & resoluutio) + CDROM & DVD (suurempi datan määrä) Petri Vuorim aa 3 2
FireWire Kuten USB-väylä, mutta suurempi siirtonopeus: 98.304, 196.608 ja 392.216 Mbps Yli 1 Gbps nopeudet kehitteillä 64 000 laitetta ja 1 000 siltaa Yhden kaapelin etäisyys max 4.5 m Kahden laitteen etäisyys max 16 kaapelia eli 72 m Petri Vuorim aa 3 3
FireWire- konfiguraaatio Laiteryhmät liitetään toisiinsa sillalla Petri Vuorim aa 3 4
FireWire-kaapeli Kaapeli koostuu kahdesta datajohdinparista ja virtajohtimista Petri Vuorim aa 3 5
FireWire-väylän etuja 1) Väylä skaalaantuu hyvin 2) Joustava topologia 3) Laitteita voi liittää "kuumaan" väylään 4) Väylä on helppo käyttää (ei asetuksia) 5) Suunniteltu kulutuslaitteisiin (halpa) Petri Vuorim aa 3 6
FireWire-väylän tilanne Tällä hetkellä laitteita rajatusti FireWire-kortteja saatavilla tietokoneisiin Joissakin työasemissa ja PC-koneissa on FireWire-väylä vakiona Joitakin videokameroita ym. Tulossa digitaalisen television set-top boxeihin Petri Vuorim aa 3 7
Prosessorit Multimedian käsittely vaatii laskentatehoa Dataa on paljon ja algoritmit ovat laskennallisesti vaativia Ongelma voidaan ratkaista eri tavoilla: 1) kiihdyttimet (MPEG purkupiirit ym.) 2) erikoisprosessorit (signaaliprosesorit ym.) 3) yleisprosessorien laajennukset (MMX ym.) 4) rinnakkaiset arkkitehtuurit Petri Vuorim aa 3 8
Kiihdyttimet Kiihdyttimissä suoritettava algoritmi on toteutettu suoraan laitteistotasolla + Datan käsittely on nopeaa Algoritmit voivat olla joko kiinteitä tai uudelleen konfiguroitavia + Jälkimmäisessä tapauksessa käytetään uudelleen ohjelmoitavia logiikkapiirejä Kiihdytin voi toimia itsenäisesti tai se voidaan liittää mikroprosessorin kylkeen + Kiihdytin voidaan jopa integroida samalla mikropiirille prosessorin kanssa Petri Vuorim aa 3 9
Texas Instruments DM310 D. Talla et al., Anatomy of A Portable Digital Mediaprocessor, IEEE Micro, March-April 2004, pp. 32-39. Petri Vuorim aa 4 0
Erikoisprosessorit (I/II) Digitaaliset signaalinkäsittelyn prosessorit sopivat erityisen hyvin kuva ja ääni-signaalien käsittelyyn Käskykannat sisältävät yleisesti signaalinkäsittelyssä käytettäviä operaatiota Valmistajat ovat myös toteuttaneet signaalinkäsittelyn algoritmikirjastoja Useissa multimedialaitteissa on perusprosessorin lisäksi DSP-prosessori Petri Vuorim aa 4 1
Erikoisprosessorit (II/II) Toinen yleisesti käytetty erikoisprosesorien ryhmä on erilaiset grafiikkaprossorit Ne on optimoitu erilaisten piirto, valaistus, näyttö ym. algoritmien suorittamiseen Grafiikkaprosessori toimii varsinaisen pääprosessorin rinnalla Petri Vuorim aa 4 2
Nvidia GeForce 6800 J. Montrym and H. Moreton, The GeForce 6800, IEEE Micro, March-April 2005, pp. 41-51. Petri Vuorim aa 4 3
MMX MMX on Intelin Pentium ja Pentium Pro prosessorein multimedialaajennus Perustuu Single Instructin Multiple Data (SIMD) arkkitehtuuriin Yksi käsky käsittelee useampaa dataa yhtäaikaa Esim. 64 bitin rekisteri sisältää 8 kpl 8 bitin data-alkiota tai 4 kpl 16 bitin dataalkiota Petri Vuorim aa 4 4
Esim. rinnakkainen kertolasku I(3) I(2) I(1) I(0) I(3) I(2) I(1) I(0) Kertolasku I(3) I(2) I(1) I(0) Petri Vuorim aa 4 5
MMX:n käyttö Sama operaatio toistetaan usealle dataalkiolle Videon kompressointi, kuvankäsittely, tietokonegrafiikka ja digitaalinen signaalinkäsittely Esim. MPEG1 videon purku on 1.5 kertaa nopeampi kuin ilman MMXkäskykantaa Ongelmana on algoritmien uudelleen koodaaminen Petri Vuorim aa 4 6
Rinnakkaiset arkkitehtuurit Laskentatehoa voidaan lisätä myös rinnakkaisilla arkkitehtuureilla: + Superskalaarit arkkitehtuurit + Vektoriprosessointi + Single Instruction Multiple Data (SIMD) + Very Large Instruction Word (VLIW) + Transport Triggered Architectures (TTA) Petri Vuorim aa 4 7
Superskalaarit arkkitehtuurit Prosessorissa on yksi käsky-yksikkö, mutta useita laskentayksiköitä Käsky-yksikkö jakaa operaatiot eri laskentayksiköiden suoritettavaksi Operaatioiden järjestystä voidaan muokata joko kääntäjässä tai laitteistolla + Ohjelmistokoodia ei tarvitse muokata Useimmat tehokkaat nykyaikaiset prosessorit ovat superskalaareita arkkitehtuureja Petri Vuorim aa 4 8
Vektorilaskenta Perinteiset supertietokoneet perustuvat vektoriprosessointiin Käsiteltävä data talletetaan vektori- tai matriisi-tietorakenteisiin Useampaa data-alkiota käsitellään yhtä aikaa erilaisissa laskentayksiköissä Laskentayksiköitä voidaan liukuhihnoittaa peräkkäin Vektorilaskennan hyödyntäminen edellyttää joko käsin koodaamista tai optimoitua kääntäjää Petri Vuorim aa 4 9
SIMD SIMD-arkkitehtuurissa sama käsky suoritettaan yhtäaikaa monelle dataalkiolle Arkkitehtuuri koostuu yhdestä käskyyksiköstä ja useasta samanlaisesta laskentayksiköstä Yleensä data jaetaan ensin eri laskentayksiköille ja käsittelyn jälkeen se kerätään niiltä pois Sopii hyvin esim. kuvankäsittelyyn tai tietokonegrafiikkaan Petri Vuorim aa 5 0
VLIW Erittäin pitkän käskysanan arkkitehtuureissa yksi käskysana sisältää useita eri laskentayksiköissä suoritettavia operaatioita Kääntäjä huolehtii käskysanojen luomisesta Esim. toistorakenteet voidaan purkaa rinnakkaisiksi operaatioiksi Multimedian ja signaalinkäsittelyn algoritmeissa on yleensä paljon tiukkoja toistorakenteita Petri Vuorim aa 5 1
TTA TTA-arkkitehtuurissa ei ole käskyyksikköä ollenkaan (pienenpi energiankulutus ja piirin pinta-ala) Laskentayksiköitä on sen sijaan useita Kääntäjä määrittelee miten data-alkioita siirretään laskentayksiköstä toiseen Siirto tapahtuu heti kun laskenta saadaan valmiiksi Sopii hyvin signaalinkäsittelyyn Petri Vuorim aa 5 2
TTA Example H. Corporaal, Design of transport triggered architectures, in Proc. 4th Great Lakes Symposium on Design Automation of High Performance VLSI Systems, GLSV '94, March 1994, pp. 130-135. Petri Vuorim aa 5 3