Videokuva ja videomateriaalin käyttö verkossa. Pasi Häkkinen Digitaalisen Median Instituutti, TTKK Hypermedialaboratorio

Transkriptio

1 Videokuva ja videomateriaalin käyttö verkossa Pasi Häkkinen Digitaalisen Median Instituutti, TTKK Hypermedialaboratorio Hypermedian perusteet HP / Luennon sisältö Digitaalinen vs analoginen esitystapa Videokuvan perusteita Digitointi Äänen ja videokuvan käyttö WWW:ssä SMIL Multimedia-arkkitehtuurit/ohjelmistot: Quicktime, RealMedia, Windows Media + koodekit MPEG Animaatio HP /2002 2

2 Informaatiotyypit teksti kuva tietokonegrafiikka animaatio video audio (pikseligrafiikkaa) (vektorigrafiikkaa) (liikkuvaa tietokonegrafiikkaa) (liikkuvaa kuvaa) Audiota/videota kutsutaan jatkuvaksi mediaksi (aikaelementti kuuluu tärkeänä osana niihin) HP / Digitaalisuuden edut Tärkein etu: esityksen rajoittamattomuus Tallennus: yksi tallennuslaite kaikille mediatyypeille: kovalevy, CD-ROM, DVD,... Siirto: yksi kommunikaatiojärjestelmä Prosessoitavuus: mikä tahansa digitaalinen informaatio voidaan analysoida ja muokata: semanttinen tunnistus (puheen- ja hahmontunnistus,...) tietorakenteet (ketjutus, osoittimet,...) editoitavuus ilman häviöitä HP /2002 4

3 Videokuva Videokuva muodostuu peräkkäisistä still-kuvista, jotka vaihtuvat riittävän nopeasti yli 10 kuvaa sekunnissa (frames per second, fps) riittää huijaamaan silmää liikkuvasta kuvasta yli 20 fps riittää kuvaamaan nopeitakin liikkeitä ilman nykimistä (PAL-TV 25 fps) Videokamera tulkitsee värit kolmen päävärin yhdistelminä Kolme tapaa siirtää analogista videosignaalia kolme RGB-värisignaali siirretään ja talletetaan erikseen komponenttivideo: väri-informaatio (krominanssi) ja kirkkausinformaatio (luminanssi) siirretään erikseen komposiittivideo: väri- ja luminanssi-informaatio yhdessä HP / TV-kuva kolme TV-kuvastandardia: PAL (suurin osa Eurooppaa) 625 vaakajuovaa, 25 fps NTSC (USA, Japani) 525 vaakajuovaa, 30fps SECAM (Ranska, Venäjä) 625 vaakajuovaa, 25 fps jokainen kuva (frame) muodostuu kahdesta kuvakentästä (field), joista toisessa on parittomat ja toisessa parilliset juovat HP /2002 6

4 Videokuvan digitointi Vaatii digitointikortin ja tehokkaan tietokoneen Datamäärät valtavia, esim. PAL TV-kuva 640*480 pixel * 24 bit/pixel * 25 kuvaa/s = 140Mbit/s Kompressointi usein jo digitointikortilla tavallisin kompressointitapa Motion-JPEG (M-JPEG): kukin frame kompressoidaan erikseen -> helppo editoitavuus reaaliaikaisessa lähetyksessä joku muu koodekki tai ei ollenkaan kompressointia (ei täyskokoista TV-kuvaa) Lähtömateriaalin laatu vaikuttaa hyvin paljon lopputulokseen HP / Digitaalinen video (DV) idea: videokuva tallennetaan digitaalisessa formaatissa jo kamerassa ja siirretään kamerasta eteenpäin myös digitaalisesti useita kilpailevia formaatteja: minidv, DVCPRO, DVCAM, Digital S, DVCPRO50,... DV-kamera valikoima ulottuu harrastekäyttöön tarkoitetuista, n euron kameroista ammattikäyttöön soveltuviin, yli euron kameroihin, jotka haastavat broadcast-tasoisina Betacam-kamerat kameran ja tietokoneen välillä käytetään mm. FireWireliitäntää (IEEE-1394) HP /2002 8

5 DV-editointi tietokoneella tarvitaan nopea PC tai Mac (nopea kiintolevy) PC:hen Firewire-kortti ( euroa ohjelmistoineen) kaappaus- ja editointiohjelmisto DV-kamera (DV in/out) ääni ja videokuva siirtyvät molempiin suuntiin alkuperäisinä, ei tarvetta säädöille editointi täysin vastaavaa kuin analogisen lähtömateriaalin kanssa mahdollistaa lähes elokuvatasoisen materiaalin tuottamisen hyvällä DV-kameralla ja osaamisella HP / Kompressointi välttämätöntä videomateriaalin loppukäytön kannalta (tiedonsiirtokapasiteetti, laitteiden/tietokoneiden I/O-kyky, tallennuskapasiteetti) voi olla tietoa hukkaamatonta (lossless) tai tieto hukkaavaa (lossy), videomateriaalille käytetään yleensä jälkimmäisen tyyppistä pakkausta symmetrinen: pakkaaminen ja purkaminen yhtä nopeaa epäsymmetrinen: toinen hitaampi suorittaa (käytännössä pakkaaminen) HP /

6 Kompressointi kolme perusteknologiaa diskreetti kosinimuunnos (DCT) - kuva jaetaan kiinteän kokoisiin blokkeihin - eniten käytetty (MPEG, H.261, H.263,...) wavelet-kompressio - käytetään muuttuvan kokoisia kuvaelementtejä fraktaali-kompressio - perustuu yksinkertaisten affiinisten muunnosten (kohteen kierrot, venytykset, pienennykset) iteratiiviseen käyttöön - erittäin epäsymmetrinen mutta tehokas pakkausalgoritmi - patenttisuojattu (Iterated Systems) HP / Ääni ja videokuva WWW:ssä Aluksi tiedostoina tavallisilla WWW-palvelimilla pitkät latausajat, heikko laatu, koko tiedosto ladattava 90-luvun puolivälissä ensimmäiset stream-ratkaisut idea: ääntä ja videokuva soitetaan sitä mukaa kuin data saapuu palvelimelta, ei paikallisesti talletettavaa tiedostoa ei odottamisaikoja aluksi vain ääntä (mm. RealAudio), myöhemmin myös videokuvaa mediapalvelimet WWW-palvelinten rinnalle äänen ja videon läpimurto HP /

7 Ääni ja videokuva WWW:ssä Vaaditaan yleensä erillinen soitto-ohjelma (player) erillinen sovellus (oma ikkuna) upotetaan selainikkunan sisään: Netscape: plug-in; IE: ActiveX Control (poikkeuksena Java-playerit) Formaattikilpailu osin jo käyty, suuret jääneet jäljelle: Quicktime (Apple) RealMedia Windows Media Technologies (Microsoft) lisäksi joukko ei plug-in:ia -ratkaisuja Player-ohjelmien jakaminen yhdessä käyttöjärjestelmien ja/tai selainohjelmien kanssa merkittävä kilpailutekijä HP / HTTP-streaming Ideana käyttää HTTP-protokollaa ja aivan normaalia WWW-palvelinta multimediamateriaalin välittämiseen Edut: ei tarvitse omaa palvelinohjelmistoa ("ilmaista") www-proxyt käytössä toimii palomuurin läpi normaalin HTTP-liikenteen tavoin Haitat: suorituskykyongelmat suurilla käyttäjämäärillä: osa videostreameistä saa liian paljon kaistaa ja osa liian vähän -> pätkimistä ei VCR-kontrolleja -> rajoittaa mediaclipin käyttökelpoista pituutta HP /

8 Erilliset stream-palvelimet Kehitetty ratkaisemaan suorituskykyongelmia ja lisäämään videostreamien hallittavuutta Edut: kukin stream saa juuri sen verran kaistaa käyttöönsä kuin se tarvitsee ideaalitoistoon (ainakin tavoitteena) tehokkaampi siirtotien käyttö (omat protokollat) videoiden indeksointimahdollisuus katselijan tietokoneella ei tarvita vapaata levytilaa live-lähetykset mahdollisia Haitat: vrt. edellisen kalvon edut HP / Protokollat (reaaliaikaisessa) äänen ja videon siirrossa ei ole tärkeintä jokaisen datapaketin perille tulo, vaan sitä tärkeämpiä ovat viiveet (delay) pakettien tahdistus (jitter) ja todellinen käytössä oleva kaista (throughput) TCP (Transmission Control Protocol) soveltuu hyvin teksti- ja kuvamateriaalin siirtoon (virheenkorjaus) ei sovellu reaaliaikaisen multimedian siirtoon virheenkorjausominaisuus aiheuttaa viiveitä bandwidth-lähtöinen HP /

9 Protokollat UDP (User Datagram Protocol) epäluotettavampi mutta tehokkaampi kuin TCP käytetäänkin pääsääntöisesti siirtoprotokollana multimediassa ei aikaleimausta pakettien hukkuminen korjataan sovelluksessa jonkinlaisella virheenkorjauksella UDP:n käyttö palomuurin läpi aiheuttaa yleensä ongelmia, sillä se on oletusarvoisesti estetty UDP:n epäluotettavuuden takia ja adaptiivisuuden mahdollistamiseksi on kehitetty joitakin uusia protokollia videon ja äänen siirtoon Internetissä HP / RTP (Real Time Transport Protocol) RTP kehitetty nimenomaan reaaliaikaisen datan siirtoon sekä unicastina että multicastina normaalisti toimii IP:n ja UDP:n päällä, mutta sitä ei ole sidottu niihin RTP ei ota kantaa resurssien varaamiseen eikä QoS:iin (Quality of Service), nämä tehtävät jäävät muille protokollille (esim. RSVP) käyttökohteita H.323-videoneuvottelu MBONE-työkalut RealSystem Microsoftin Windows Media HP /

10 RTSP (Real Time Streaming Protocol) client-server multimedian välittämisen kontrolliprotokolla kehittäjinä RealNetworks, Netscape ja Columbia University tarjoaa kontrollimekanismeja ja huolehtii korkeamman tason tehtävistä kuten yhteyden muodostamisesta ja sen ylläpidosta esim. videon ja äänen realiaikaisessa siirrossa tukee RTP:tä ja IP-multicastia ei vielä standardi, IETF-ehdotus stardardiksi olemassa (Internet Engineering Task Force) käyttökohteita: RealSystem Quicktime HP / Adaptiivisuus Internet-liittymien kaistanleveys vaihtelee alle 20 kbit/s:sta yli 1Mb/s:iin -> yhdelle bittinopeudelle dekoodattu video/audiostream ei tyydytä kaikkia Todellinen käytössä oleva kaistanleveys vaihtelee jatkuvasti -> miten varautua siihenkin? Vaihtoehdot: erilliset tiedostot eri nopeuksille ja käyttäjä valitsee erilliset tiedostot eri nopeuksille ja player valitsee eri nopeusversiot pakataan samaan tiedostoon ja palvelin valitsee oikean nopeusversion verkkotilanteen mukaan Muita kriteerejä: kieli, prosessoriteho,... HP /

11 Kuvan ja äänen laatu Analoginen modeemi (28,8 kbit/s) mono FM audio tai puhelintasoinen audio ja 1-5 fps pieni video 1 ISDN-kanava (64 kbit/s) stereo FM audio tai mono FM audio ja 2-7 fps pieni video 2 ISDN-kanavaa (128 kbit/s) lähes CD-tasoinen ääni tai stereo FM audio ja 5-10 fps video LAN, ADSL, ym. (1,5 Mbit/s) lähes CD-tasoinen ääni ja lähes VHS-tasoinen video HP / Quicktime Macintosh-standardi (multimediatuotanto) multimedia-cd-rom:t päivitetty stream-aikakauteen tuettuja formaatteja mm. (Quicktime 6): video, audio, teksti, VR, Flash, MP3, MPEG-4 player-ohjelmasta kaksi versiota: tavallinen pelkkään katseluun ja Pro-versio sisällöntuotantoon (maksull.) HP /

12 Darwin Sreaming Server Applen avoimen lähdekoodin mediapalvelin tuetut alustat: Linux, Mac OS X, Solaris 8, Win2000 Quicktime, MPEG-4 ja MP3 streamaus live-lähetykset mahdollisia tukee multicastia voidaan hyödyntää joidenkin videoneuvottelulaitteiden kanssa kokouksen välittämisessä streamauksena HP / RealMedia stream-markkinajohtaja kaikkia alkoi RealAudiosta, nyt RealVideo, -Pix, -Text tukee myös Macromedia Flash -animaatiota, MP3,... laitteistoriipumaton: PC, Mac, Unix mobiililaitetuki: Pocket PC, Symbian OS ilmaiset perusversiot player:istä ja pakkausohjelmista käyttää SMIL-multimediakuvauskieltä (Synchronized Multimedia Integration Language) multimedia browser HP /

13 Helix Universal Server Realin uusi palvelinkonsepti tuettuja formaatteja RealMedia, Quicktime, Windows Media, MPEG (myös MPEG-4), Flash,... monipuoliset sisällönhallintaominaisuudet (mm. automaattiset välimainokset...) palvelinalustat: Linux, Solaris, Windows, HP,... vuosilisenssin hinta $ (myös ilmainen Basicversio) HP / RealMedia - kuinka kaikki toimii käytännössä? HP /

14 Windows Media Microsoftin vastaus stream-markkinoille tiedostoformaattina ASF (Advanced Streaming Format)/WMV uusi Windows Media 9 selkeä parannus aikaisempaan kehittynyt näytönkaappaus player ja sisällöntuotantotyökalut ilmaisia player tukee mm. Quicktime:a ja RealVideota palvelinohjelmisto ilmainen (vaatii NT-palvelimen, Windows.NET (beta) sisältää mediapalvelimen) integrointi mm. MS Office:en (PowerPoint) tukee vain Windows-ympäristöjä HP / MPEG Moving Pictures Expert Group kompressointistandardi (ITU sekä ISO) videolle, äänelle ja datalle standardi jaettu useaan eri osaan: MPEG-1, MPEG-2, MPEG-4; ei päivityksiä, vaan versiot eri yhteysnopeuksille ja laatuvaatimuksille yhteensopivuus eri laitteisto- ja sovellustoimittajien tuotteiden välillä määrittää tiedosto/mpeg-stream-formaatin, ei sitä, kuinka kompressointi käytännössä tehdään HP /

15 MPEG-1 Vuodelta 1992, tarkoitettu kohtuullisen laatuiselle äänelle ja kuvalle CD-ROM-nopeuksilla Norm. kuvakoko SIF (Standard Interchange Format, 352x288) bitrate:lla 1,5Mb/s Vastaa laadultaan VHS:ää Käytetään CD-ROM:ien lisäksi Internetissä ja Video On- Demand (VOD)-palveluissa VideoCD-formaatti Pakkaaminen MPEG-koodekkikortilla, softalla tai rinnakkaisporttiin kytkettävällä lisälaitteella HP / MPEG-2 vuodelta 1994, tarkoitettu broadcast-tasoisen äänen ja videon pakkaamisen bitrate välillä 2-10 Mb/s, kuvakoko 720x486 pitää sisällään alunperin HDTV:tä varten tarkoitetun MPEG-3:n 5 audiokanavaa (monikieliset lähetykset mahdollisia) käyttö: DVD, digitaaliset TV-lähetykset (kaapeli/satelliitti) HP /

16 MPEG-4 uusin MPEG-standardi, tarkoitettu ennen kaikkea Internetkäyttöön tukee yhteysnopeuksia mobiiliyhteyksistä laajakaistayhteyksiin mobiilit päätelaitteet perinteisten ohella author once, play anywhere interaktiivisuus ja mediaobjektit synteettinen ääni ja kuvaelementit tärkeimmät tukijat Apple (Quicktime), Cisco, Philips, Sun HP / Koodekit codec = compressor/decompressor) algoritmipari, joista toinen pakkaa videodataa ja toinen purkaa sen auki voidaan toteuttaa ohjelmallisesti tai raudalla valinta riippuu materiaalista ja käyttötarkoituksesta kaksi pakkausmenetelmää: pakataan kukin frame erikseen (esim. Motion-JPEG) - saavutetaan hyvä editoitavuus still-kuvien pakkaamisen lisäksi otetaan huomioon peräkkäisissä kuvissa oleva sama informaatio - pakkaussuhde paranee kuvanlaadun kärsimättä HP /

17 Koodekit: Quicktime Cinepak perinteinen ja käytetyin koodekki CD-ROM -tuotteissa purkaminen helppoa kuvanlaatu kohtalainen yli 30ktavua/s-datanopeuksilla -> ei sovellu hyvin WWW-käyttöön Indeo 3.2 Intelin koodekki, vastaava kuin Cinepak valinta Indeon ja Cinepakin välillä riippuu videomateriaalista kuuluu Cinepak:in tavoin tietokoneista automaattisesti löytyviin koodekkeihin HP / Koodekit: Quicktime Sorenson uusi koodekki alhaisille datanopeuksille tasavertainen RealVideon käyttämien koodekkien kanssa vaatii suorituskykyisen tietokoneen kuuluu osana Quicktime 3 ja 4:sta Video nopea, mutta heikkolaatuinen koodekki soveltuu testieditointiin, kun halutaan nähdä nopeasti tuloksia HP /

18 Koodekit: Video for Windows/ASF Cinepak ja Indeo 3.2 käytännössä samat kuin Quicktimen puolella Indeo Video Interactive (IVI) paranneltu versio Indeo 3.2:sta käyttää wavelet-kompressiota vaatii pentium-pc:n Microsoft RLE soveltuu tietokonegrafiikan pakkaamiseen (esim. kuvaruutukaappaus) tukee ainoastaan 8-bittisiä värejä hukkaamaton koodekki HP / Koodekit: Video for Windows/ASF Microsoft Video 1 tarkoitetu analogisista lähteistä tulevan videon pakkaamiseen tukee 8- ja 16-bittisiä värejä nopea, soveltuu parhaiten testieditointikäyttöön Windows Media 9 Microsoftin uusin koodekki tukee kaikkia bitrate-arvoja (28 kbit/s -> 3 Mbit/s) haastaa RealVideo 9:n parhaana stream-koodekkina vaatii paljon CPU-tehoa purkamiseen (korkeilla bitratearvoilla väh. Pentium II) HP /

19 Koodekit: Video for Windows/ASF Microsoft Screen v1 Windows Media Technologies v7.0 hukkaamaton näytönkaappauskoodekki (valikot, hiiren liikkeet ym) ei salli videokuvan tai runsaan grafiikan kaappausta H.263 standardi videoneuvottelukoodekki, parannettu versio H.261:stä symmetrinen pakkaus, vaatii suorituskykyisen koneen parhaimmilla nopeiden liikkeiden pakkauksessa myös Quicktime tukee HP / Koodekit: RealSystems Real G2 SVT (Scalable Video Technology) tuetaan vanhojen soitto-ohjelmien takia purkaminen vaatii suht. suorituskykyisen tietokoneen (hitaalla koneella frame rate:a pudotetaan dynaamisesti) RealVideo 8 ja 9 G2:sta parempi kuvanlaatu kaikilla nopeuksilla ei yhteensopiva vanhojen versioiden kanssa RealVideo 9 tukee korkeita resoluutioita, monikanavaääntä ym. -> haastaa MPEG-2:n huomattavasti sitä alhaisemmilla bitrate-arvoilla unohtamatta modeeminopeuksiakaan HP /

20 Koodekit: DivX ja XviD tehokkaita koodekkeja esim. videotallenteiden tekemiseen CD:lle: 1-2h hyvälaatuista videokuvaa eivät sovellu streamaukseen usein AVI tiedostoformaattina DivX 3.x-versio epävirallinen 5-versio kaupallinen tuote (ilmaisversio olemassa) XviD avoimen lähdekoodin projekti MPEG-4-yhteensopiva HP / Animaatio tietokoneanimaatio tuotetaan alusta alkaen digitaalisesti ei digitoinnista aiheutuvaa laadun heikkenemistä yksinkertaisimpia ja yleisimpiä esimerkkejä WWW-sivuilla olevat GIF-animaatiot perustuu GIF-kuvaformaatin (versio GIF89a) ominaisuuteen tallettaa useita erillisiä kuvia samaan kuvatiedostoon WWW-selaimet tukevat suoraan (ei tarvetta lisäohjelmille) kuvakoko yleensä pieni ja informaatiosisältö vähäinen WWW-sivujen elävöittäminen, mainos-bannerit,... GIF-animaatiot pikseligrafiikkaa (= suuri tiedostokoko), toinen vaihtoehto käyttää vektorigrafiikkaa käyttävää animaatioformaattia HP /

21 Macromedia Flash yleisesti käytetty vektoripohjainen kuva- ja animaatioformaatti vaatii plug-in -ohjelman (tulee yl. jo selaimen mukana) tukee kuvaan synkronoitua ääntä ja interaktiivista animaatiota voidaan jakaa RealServerin kautta streaminä jo modeeminopeuksilla saadaan välitettyä näyttävää, hyvin skaalautuvaa animaatiota soveltuu erinomaisesti erilaisten prosessikuvausten esittämiseen (esim. polttomoottorin toiminta) HP / Esimerkki: Videoleike kotisivulle Mitä tarvitaan? videoleike digitaalisessa muodossa (AVI tai Quicktime) Helix Producer-ohjelma ( WWW-palvelin Toimenpiteet: 1) videoleikkeen kompressointi Helix Producerilla 2) meta-tiedostojen (.ram) ja HTML-tiedostojen luonti (tekstieditori) 3) tiedostojen siirto WWW-palvelimelle (esim. FTP) HP /

22 1) Videoleikkeen kompressointi Helix Producer: Huomioitavia parametrejä: kohdeyleisön Internet-yhteyksien nopeus/nopeudet sijoituspaikkana Helix Server (SureStream) vai normaali WWW-palvelin (Single Rate)? audioraidan tyyppi (puhetta vai musiikkia) Tässä tapauksessa: käytetään WWW-palvelinta ja halutaan kolme nopeusversiota: 56kbit/s, 128kbit/s, 256kbit/s kolme eri RealMedia (.rm) tiedostoa HP / HP /

23 2) Linkkisivujen luonti.ram-tiedosto: välttämätön, koska oikeaa videotiedostoa ei kannata linkittää suoraan HTML-sivulle --video1.ram html-tiedosto: tehdään normaali linkki.ram-tiedostoon --videoita.html-- <a href= video1.ram >Video 1</a> -- HP / ) Tiedostojen siirto WWW-palvelimelle onnistuu suoraan RealProducerista, jolloin erillistä FTPohjelmaa ei tarvita (linkkien oikeellisuus tarkistettava!) jos kaikki tiedostot siirretään samaan hakemistoon, hakemistolistaus näyttää seuraavalta: HP /

24 Muistilista valitse kohdeyleisö ja selvitä heidän käytössään olevat tietoliikenneyhteydet määrittele maksimi bitrate:t stream-multimediamateriaalille (75% ideaaliarvosta) valitse multimedia-arkkitehtuuri ja koodekki, jotka soveltuvat parhaiten haluttuun materiaaliin (mitä medioita halutaan käyttää, kompressointi, tuki eri yhteysnopeuksille, HTTP- vai oikea stream) valitse välitystapa: `laatikko'protokolla (WM, Quicktime) vs SMIL (kukin media omassa tiedostossaan) ääni on tärkeintä, huonoakin videokuvaa jaksaa katsella, jos ääni on kunnossa HP / Yhteenveto Multimediamateriaalit ovat osa WWW:tä, vaikka yhteysnopeudet vaihtelevat paljon mobiiliyhteydet vs laajakaistayhteydet ei ole olemassa yhtä ainoaa oikeata digitaalista multimediateknologiaa, joka toimisi kaikissa tilanteissa (Microsoft tosin yrittää tätä...) Sisältö ratkaisee, ei tekniikka! (mutta tekniikan on toimittava...) HP /