Videokuva ja videomateriaalin käyttö verkossa

Transkriptio

1 1 Videokuva ja videomateriaalin käyttö verkossa Pasi Häkkinen Hypermedialaboratorio Digitaalisen Median Instituutti, TTY Hypermedian perusteet

2 Luentojen sisältö 2 Tiistai Digitaalinen vs analoginen esitystapa Videokuvan perusteita DV-video / Digitointi Äänen ja videokuvan käyttö WWW:ssä Torstai SMIL Multimedia-arkkitehtuurit/ohjelmistot: Quicktime, RealMedia, Windows Media + koodekit MPEG Animaatio

3 Informaatiotyypit 3 teksti kuva tietokonegrafiikka animaatio video audio (pikseligrafiikkaa) (vektorigrafiikkaa) (liikkuvaa tietokonegrafiikkaa) (liikkuvaa kuvaa) Audiota/videota kutsutaan jatkuvaksi mediaksi (aikaelementti kuuluu tärkeänä osana niihin)

4 Digitaalisuuden edut 4 Tärkein etu: esityksen rajoittamattomuus Tallennus: yksi tallennuslaite kaikille mediatyypeille: kovalevy, CD-ROM, DVD,... Siirto: yksi kommunikaatiojärjestelmä (esim. Internet) Prosessoitavuus: mikä tahansa digitaalinen informaatio voidaan analysoida ja muokata: semanttinen tunnistus (puheen- ja hahmontunnistus,...) tietorakenteet (ketjutus, osoittimet,...) editoitavuus ilman häviöitä

5 Videokuva 5 Videokuva muodostuu peräkkäisistä still-kuvista, jotka vaihtuvat riittävän nopeasti yli 10 kuvaa sekunnissa (frames per second, fps) riittää huijaamaan silmää liikkuvasta kuvasta yli 20 fps riittää kuvaamaan nopeitakin liikkeitä ilman nykimistä (PAL-TV 25 fps) Videokamera tulkitsee värit kolmen päävärin yhdistelminä Kolme tapaa siirtää analogista videosignaalia kolme RGB-värisignaali siirretään ja talletetaan erikseen komponenttivideo: väri-informaatio (krominanssi) ja kirkkausinformaatio (luminanssi) siirretään erikseen komposiittivideo: väri- ja luminanssi-informaatio yhdessä

6 TV-kuva 6 kolme TV-kuvastandardia: PAL (suurin osa Eurooppaa) 625 vaakajuovaa (joista 576 näkyviä), 25 fps NTSC (USA, Japani) 525 vaakajuovaa (480 näkyviä), 30fps SECAM (Ranska, Venäjä) 625 vaakajuovaa, 25 fps jokainen kuva (frame) muodostuu kahdesta kuvakentästä (field), joista toisessa on parittomat ja toisessa parilliset juovat => lomitettu kuva aiheuttaa epätarkkuutta tietokoneen ruudulla HDTV: 1080i, 720p,

7 Itse kuvattaessa 7 tee käsikirjoitus huomioi valaistus käytä kamerajalustaa hanki kunnollinen mikrofoni

8 Videokuvan digitointi 8 Vaatii digitointikortin ja tehokkaan tietokoneen Datamäärät valtavia, esim. PAL TV-kuva 640*480 pixel * 24 bit/pixel * 25 kuvaa/s = 140Mbit/s Kompressointi usein jo digitointikortilla tavallisin kompressointitapa Motion-JPEG (M-JPEG): kukin frame kompressoidaan erikseen -> helppo editoitavuus reaaliaikaisessa lähetyksessä joku muu koodekki tai ei ollenkaan kompressointia (ei täyskokoista TV-kuvaa) Lähtömateriaalin laatu vaikuttaa hyvin paljon lopputulokseen DV-kamerat tehneet tarpeettomaksi

9 Digitaalinen video (DV) 9 idea: videokuva tallennetaan digitaalisessa formaatissa jo kamerassa ja siirretään kamerasta eteenpäin myös digitaalisesti useita kilpailevia formaatteja: minidv, DVCPRO, DVCAM, DVCPRO50,... DV-kamera valikoima ulottuu harrastekäyttöön tarkoitetuista, alle 300 euron kameroista ammattikäyttöön soveltuviin, yli euron kameroihin, jotka haastavat broadcast-tasoisina Betacam-kamerat kameran ja tietokoneen välillä käytetään mm. FireWireliitäntää (IEEE-1394, ilink,... )

10 DV-editointi tietokoneella 10 tarvitaan nopea PC tai Mac (nopea kiintolevy) PC:hen Firewire-kortti ( euroa ohjelmistoineen) kaappaus- ja editointiohjelmisto DV-kamera (DV in/out) ääni ja videokuva siirtyvät molempiin suuntiin alkuperäisinä, ei tarvetta säädöille editointi täysin vastaavaa kuin analogisen lähtömateriaalin kanssa mahdollistaa elokuvatasoisen materiaalin tuottamisen hyvällä DV-kameralla ja osaamisella

11 Kompressointi 11 välttämätöntä videomateriaalin loppukäytön kannalta (tiedonsiirtokapasiteetti, laitteiden/tietokoneiden I/O-kyky, tallennuskapasiteetti) voi olla tietoa hukkaamatonta (lossless) tai tieto hukkaavaa (lossy), videomateriaalille käytetään yleensä jälkimmäisen tyyppistä pakkausta symmetrinen: pakkaaminen ja purkaminen yhtä nopeaa epäsymmetrinen: toinen hitaampi suorittaa (käytännössä pakkaaminen)

12 Kompressointi 12 kolme perusteknologiaa diskreetti kosinimuunnos (DCT) - kuva jaetaan kiinteän kokoisiin blokkeihin - eniten käytetty (MPEG, H.261, H.263,...) wavelet-kompressio - käytetään muuttuvan kokoisia kuvaelementtejä fraktaali-kompressio - perustuu yksinkertaisten affiinisten muunnosten (kohteen kierrot, venytykset, pienennykset) iteratiiviseen käyttöön - erittäin epäsymmetrinen mutta tehokas pakkausalgoritmi - patenttisuojattu (Iterated Systems)

13 Ääni ja videokuva WWW:ssä 13 Aluksi tiedostoina tavallisilla WWW-palvelimilla pitkät latausajat, heikko laatu, koko tiedosto ladattava 90-luvun puolivälissä ensimmäiset stream-ratkaisut idea: ääntä ja videokuva soitetaan sitä mukaa kuin data saapuu palvelimelta, ei paikallisesti talletettavaa tiedostoa ei odottamisaikoja aluksi vain ääntä (mm. RealAudio), myöhemmin myös videokuvaa mediapalvelimet WWW-palvelinten rinnalle äänen ja videon läpimurto

14 Ääni ja videokuva WWW:ssä 14 Vaaditaan yleensä erillinen soitto-ohjelma (player) erillinen sovellus (oma ikkuna) upotetaan selainikkunan sisään: Mozilla: plug-in; IE: ActiveX Control (poikkeuksena Java-playerit) Formaattikilpailu osin jo käyty, suuret jääneet jäljelle: Quicktime (Apple) RealMedia Windows Media (Microsoft) MPEG-4 lisäksi joukko ei plug-in:ia -ratkaisuja Player-ohjelmien jakaminen yhdessä käyttöjärjestelmien ja/tai selainohjelmien kanssa merkittävä kilpailutekijä

15 Käyttökohteita 15 Viihde elokuva-trailerit tilausvideot (esim. Koulutus kokonaiset luentotallenteet muu koulutusmateriaali Uutiset tv-uutiset verkossa Yritysviestintä tuotejulkistukset sijoittajatapaamiset

16 WWW-palvelin mediapalvelimena 16 Ideana käyttää HTTP-protokollaa ja aivan normaalia WWW-palvelinta multimediamateriaalin välittämiseen Edut: ei tarvitse omaa palvelinohjelmistoa ("ilmaista") www-proxyt käytössä Haitat: suorituskykyongelmat suurilla käyttäjämäärillä: osa videostreameistä saa liian paljon kaistaa ja osa liian vähän -> pätkimistä ei VCR-kontrolleja -> rajoittaa mediaclipin käyttökelpoista pituutta

17 Erilliset oikeat mediapalvelimet 17 Kehitetty ratkaisemaan suorituskykyongelmia ja lisäämään videostreamien hallittavuutta Edut: kukin stream saa juuri sen verran kaistaa käyttöönsä kuin se tarvitsee ideaalitoistoon (ainakin tavoitteena) tehokkaampi siirtotien käyttö (omat protokollat) videoiden indeksointimahdollisuus live-lähetykset mahdollisia erikoistoiminnot tehokkaampien siirtoprotokollien käyttö (UDP, RTP) Haitat: vrt. edellisen kalvon edut

18 Adaptiivisuus 18 Internet-liittymien kaistanleveys vaihtelee alle 20 kbit/s:sta yli 10Mb/s:iin -> yhdelle bittinopeudelle dekoodattu video/audiostream ei tyydytä kaikkia Todellinen käytössä oleva kaistanleveys vaihtelee jatkuvasti -> miten varautua siihenkin? Vaihtoehdot: erilliset tiedostot eri nopeuksille ja käyttäjä valitsee erilliset tiedostot eri nopeuksille ja player valitsee eri nopeusversiot pakataan samaan tiedostoon ja palvelin valitsee oikean nopeusversion verkkotilanteen mukaan Muita kriteerejä: kieli, prosessoriteho,...

19 Kuvan ja äänen laatu 19 Analoginen modeemi (28,8 kbit/s) mono FM audio tai puhelintasoinen audio ja 1-5 fps pieni video 1 ISDN-kanava (64 kbit/s) stereo FM audio tai mono FM audio ja 2-7 fps pieni video 2 ISDN-kanavaa (128 kbit/s) lähes CD-tasoinen ääni tai stereo FM audio ja 5-10 fps video LAN, ADSL, ym. (500kbit/s - 1,5 Mbit/s) lähes CD-tasoinen ääni ja lähes DVD-tasoinen video

20 Quicktime 20 Macintosh-standardi (multimediatuotanto) multimedia-cd-rom:t päivitetty stream-aikakauteen tuettuja formaatteja mm. (Quicktime 6): video, audio, teksti, VR, Flash, MP3, MPEG-4, 3GPP player-ohjelmasta kaksi versiota: tavallinen pelkkään katseluun ja Pro-versio sisällöntuotantoon (maksull.)

21 Darwin Sreaming Server 21 Applen avoimen lähdekoodin mediapalvelin tuetut alustat: Linux, Mac OS X, Solaris 8, Win2000 Quicktime, MPEG-4, MP3 ja 3GPP streamaus live-lähetykset mahdollisia tukee multicastia voidaan hyödyntää joidenkin videoneuvottelulaitteiden kanssa kokouksen välittämisessä streamauksena

22 RealMedia 22 stream-markkinajohtaja kaikkia alkoi RealAudiosta, nyt RealVideo, -Pix, -Text tukee myös Macromedia Flash -animaatiota, MP3,... laitteistoriipumaton: PC, Mac, Unix mobiililaitetuki: Pocket PC, Symbian OS ilmaiset perusversiot player:istä ja pakkausohjelmista käyttää SMIL-multimediakuvauskieltä (Synchronized Multimedia Integration Language) multimedia browser

23 Helix Universal Server 23 Realin palvelinkonsepti tuettuja formaatteja RealMedia, Quicktime, Windows Media, MPEG (myös MPEG-4), Flash,... monipuoliset sisällönhallintaominaisuudet (mm. automaattiset välimainokset...) palvelinalustat: Linux, Solaris, Windows, HP,... vuosilisenssin hinta $ (myös ilmainen Basicversio) Open Source -versiot

24 RealMedia - kuinka kaikki toimii käytännössä? 24

25 Windows Media 25 Microsoftin vastaus stream-markkinoille tiedostoformaattina ASF (Advanced Streaming Format)/WMV markkinajohtaja yhdessä Realin kanssa kehittynyt näytönkaappaus player ja sisällöntuotantotyökalut ilmaisia player tukee mm. Quicktime:a ja RealVideota palvelinohjelmisto sisältyy Windows Server 2003:een integrointi mm. MS Office:en (PowerPoint) tukee vain Windows-ympäristöjä

26 MPEG 26 Moving Pictures Expert Group kompressointistandardi (ITU sekä ISO) videolle, äänelle ja datalle standardi jaettu useaan eri osaan: MPEG-1, MPEG-2, MPEG-4; ei päivityksiä, vaan versiot eri yhteysnopeuksille ja laatuvaatimuksille yhteensopivuus eri laitteisto- ja sovellustoimittajien tuotteiden välillä määrittää tiedosto/mpeg-stream-formaatin, ei sitä, kuinka kompressointi käytännössä tehdään

27 MPEG-1 27 Vuodelta 1992, tarkoitettu kohtuullisen laatuiselle äänelle ja kuvalle CD-ROM-nopeuksilla Norm. kuvakoko SIF (Standard Interchange Format, 352x288) bitrate:lla 1,5Mb/s Vastaa laadultaan VHS:ää Käytetään CD-ROM:ien lisäksi Internetissä ja Video On- Demand (VOD)-palveluissa VideoCD-formaatti Pakkaaminen MPEG-koodekkikortilla, softalla tai rinnakkaisporttiin kytkettävällä lisälaitteella

28 MPEG-2 vuodelta 1994, tarkoitettu broadcast-tasoisen äänen ja videon pakkaamisen bitrate välillä 2-10 Mb/s, kuvakoko 720x486 pitää sisällään alunperin HDTV:tä varten tarkoitetun MPEG-3:n 5 audiokanavaa (monikieliset lähetykset mahdollisia) käyttö: DVD, digitaaliset TV-lähetykset (kaapeli/satelliitti) 28

29 MPEG-4 uusin MPEG-standardi, tarkoitettu ennen kaikkea Internetkäyttöön tukee yhteysnopeuksia mobiiliyhteyksistä laajakaistayhteyksiin mobiilit päätelaitteet perinteisten ohella author once, play anywhere interaktiivisuus ja mediaobjektit synteettinen ääni ja kuvaelementit useita eri profiileita, jotka määrittelevät yhteensopivuudet eri päätelaitteiden kanssa tärkeimmät tukijat Apple (Quicktime), Cisco, Philips, Sun 29

30 Koodekit 30 codec = compressor/decompressor) algoritmipari, joista toinen pakkaa videodataa ja toinen purkaa sen auki voidaan toteuttaa ohjelmallisesti tai raudalla valinta riippuu materiaalista ja käyttötarkoituksesta kaksi pakkausmenetelmää: pakataan kukin frame erikseen (esim. Motion-JPEG) - saavutetaan hyvä editoitavuus still-kuvien pakkaamisen lisäksi otetaan huomioon peräkkäisissä kuvissa oleva sama informaatio - pakkaussuhde paranee kuvanlaadun kärsimättä

31 Koodekit: Quicktime 31 Cinepak perinteinen ja käytetyin koodekki CD-ROM -tuotteissa purkaminen helppoa kuvanlaatu kohtalainen yli 30ktavua/s-datanopeuksilla -> ei sovellu hyvin WWW-käyttöön Indeo 3.2 Intelin koodekki, vastaava kuin Cinepak valinta Indeon ja Cinepakin välillä riippuu videomateriaalista kuuluu Cinepak:in tavoin tietokoneista automaattisesti löytyviin koodekkeihin

32 Koodekit: Quicktime 32 Sorenson uusi koodekki alhaisille datanopeuksille tasavertainen RealVideon käyttämien koodekkien kanssa vaatii suorituskykyisen tietokoneen kuuluu osana Quicktime 3 ja 4:sta Video nopea, mutta heikkolaatuinen koodekki soveltuu testieditointiin, kun halutaan nähdä nopeasti tuloksia

33 Koodekit: Video for Windows/ASF 33 Cinepak ja Indeo 3.2 käytännössä samat kuin Quicktimen puolella Indeo Video Interactive (IVI) paranneltu versio Indeo 3.2:sta käyttää wavelet-kompressiota vaatii pentium-pc:n Microsoft RLE soveltuu tietokonegrafiikan pakkaamiseen (esim. kuvaruutukaappaus) tukee ainoastaan 8-bittisiä värejä hukkaamaton koodekki

34 Koodekit: Video for Windows/ASF 34 Microsoft Video 1 tarkoitetu analogisista lähteistä tulevan videon pakkaamiseen tukee 8- ja 16-bittisiä värejä nopea, soveltuu parhaiten testieditointikäyttöön Windows Media 9 Microsoftin uusin koodekki tukee kaikkia bitrate-arvoja (28 kbit/s -> 3 Mbit/s) haastaa RealVideo 9:n parhaana stream-koodekkina vaatii paljon CPU-tehoa purkamiseen (korkeilla bitratearvoilla väh. Pentium II)

35 Koodekit: Video for Windows/ASF 35 Microsoft Screen v1 Windows Media Technologies v7.0 hukkaamaton näytönkaappauskoodekki (valikot, hiiren liikkeet ym) ei salli videokuvan tai runsaan grafiikan kaappausta H.263 standardi videoneuvottelukoodekki, parannettu versio H.261:stä symmetrinen pakkaus, vaatii suorituskykyisen koneen parhaimmillaan nopeiden liikkeiden pakkauksessa myös Quicktime tukee

36 Koodekit: RealSystems 36 Real G2 SVT (Scalable Video Technology) tuetaan vanhojen soitto-ohjelmien takia purkaminen vaatii suht. suorituskykyisen tietokoneen (hitaalla koneella frame rate:a pudotetaan dynaamisesti) RealVideo 9 ja 10 G2:sta parempi kuvanlaatu kaikilla nopeuksilla ei yhteensopiva vanhojen versioiden kanssa tukevat korkeita resoluutioita, monikanavaääntä ym. -> haastaa MPEG-2:n huomattavasti sitä alhaisemmilla bitrate-arvoilla unohtamatta modeeminopeuksiakaan

37 Koodekit: DivX 37 tehokas MPEG-4-pohjainen koodekki esim. videotallenteiden tekemiseen CD:lle: 1-2h DVD-tasoista videokuvaa DivXNetworksin kehittämä -> ei MPEG-4 -lisenssointia usein AVI tiedostoformaattina Eri versioita 3.x-versio epävirallinen 5-versio kaupallinen tuote (ilmaisversio olemassa) tuki DVD-soittimissa yleistymässä

38 Koodekit: XviD 38 vastaava koodekki ominaisuuksiltaan kuin DivX avoin lähdekoodi (GNU-lisenssi) ei lisenssimaksuja kehitys vapaaehtoisvoimin jatkuva kehitys soveltuu lähinnä harrastustoimintaan

39 VideoLAN ja VLC 39 Open Source -projekti laajakaistaiseen streamaukseen MPEG-2, MPEG-4, DivX, ogg, DVD,... VLC (VideoLAN Client) yksi monista ilmaissoitto-ohjelmista pystyy näyttämään lähes mitä tahansa videoformaattia voi toimia myös palvelimena osaa tehdä transkoodauksen mediastreamille ja lähettää sen edelleen multicastina

40 Animaatio 40 tietokoneanimaatio tuotetaan alusta alkaen digitaalisesti ei digitoinnista aiheutuvaa laadun heikkenemistä yksinkertaisimpia ja yleisimpiä esimerkkejä WWW-sivuilla olevat GIF-animaatiot perustuu GIF-kuvaformaatin (versio GIF89a) ominaisuuteen tallettaa useita erillisiä kuvia samaan kuvatiedostoon WWW-selaimet tukevat suoraan (ei tarvetta lisäohjelmille) kuvakoko yleensä pieni ja informaatiosisältö vähäinen WWW-sivujen elävöittäminen, mainos-bannerit,... GIF-animaatiot pikseligrafiikkaa (= suuri tiedostokoko), toinen vaihtoehto käyttää vektorigrafiikkaa käyttävää animaatioformaattia

41 Macromedia Flash 41 yleisesti käytetty vektoripohjainen kuva- ja animaatioformaatti vaatii plug-in -ohjelman (tulee yl. jo selaimen mukana) tukee kuvaan synkronoitua ääntä ja interaktiivista animaatiota voidaan jakaa RealServerin kautta streaminä jo modeeminopeuksilla saadaan välitettyä näyttävää, hyvin skaalautuvaa animaatiota soveltuu erinomaisesti erilaisten prosessikuvausten esittämiseen (esim. polttomoottorin toiminta)

42 SMIL-kieli 42 Synchronized Multimedia Integration Language W3C:n suositus ääntä, videota, kuvia ja tekstiä sisältävien esitysten koostamiseen reaaliaikaisesti XML-pohjainen 2.0-versio vuodelta 2001

43 SMIL: Vahvuuksia 43 Viittaaminen medialeikkeisiin SMIL-esityksen elementtien vaihtaminen helppoa Adaptiivisuus aikatasossa esitystä tehtäessä ei tarvitse olla tiedossa leikkeiden tarkka kesto XML-dokumentti helppo muokattavuus ohjelmallisesti

44 SMIL-esityksen layout-määrittely <?xml version= 1.0 encoding= ISO ?> <smil xmlns= > <head> <layout> <root-layout width="572" height= 528"/> <region id= A1" left="4" top="4" width= 280" height="240" /> <region id= A3" left="0" top= 248" width= 280 height= 280" /> <region id= A2" left= 288" top="4 width= 380" height="350" /> </layout> <transition id= fade type= fade dur= 1s /> </head> <body> </body> </smil> SMIL-esityksen layout, johon on määritelty kolme esitysaluetta 44

45 SMIL-esityksen aikaulottuvuus 45 Leikkeet peräkkäin: <body> <seq> <img src= kuva1.gif region= A2 > <img src= kuva1.gif region= A2 > <img src= kuva1.gif region= A2 start= 2s > </seq> </body> Leikkeet rinnakkain: <body> <par> <audio src= audio.mp3 dur= 20s > <img src= kuva1.gif region= A2 > <video src= video.rm region= A1 start= 5s > </par> </body>

46 Esimerkki SMIL-esityksestä: Luentotallenne Videokuvaa luennoijasta (RealMedia) 46 Luennon sisällysluettelo (RealText) Esimerkkejä: Luentokalvot (RealPix + GIF-kuvat)

47 Esimerkki: Videoleike kotisivulle 47 Mitä tarvitaan? videoleike digitaalisessa muodossa (AVI tai Quicktime) RealProducer-ohjelma ( WWW-palvelin Toimenpiteet: 1) videoleikkeen kompressointi RealProducerilla 2) meta-tiedostojen (.ram) ja HTML-tiedostojen luonti (tekstieditori) 3) tiedostojen siirto WWW-palvelimelle (esim. FTP)

48 1) Videoleikkeen kompressointi 48 Helix Producer: Huomioitavia parametrejä: kohdeyleisön Internet-yhteyksien nopeus/nopeudet sijoituspaikkana Helix Server (SureStream) vai normaali WWW-palvelin (Single Rate)? audioraidan tyyppi (puhetta vai musiikkia) Tässä tapauksessa: käytetään WWW-palvelinta ja halutaan kolme nopeusversiota: 56kbit/s, 128kbit/s, 256kbit/s kolme eri RealMedia (.rm) tiedostoa

49 49

50 2) Linkkisivujen luonti 50.ram-tiedosto: välttämätön, koska oikeaa videotiedostoa ei kannata linkittää suoraan HTML-sivulle --video1.ram html-tiedosto: tehdään normaali linkki.ram-tiedostoon --videoita.html-- <a href= video1.ram >Video 1</a> --

51 3) Tiedostojen siirto WWW-palvelimelle 51 FTP, SFTP, verkkolevy, jos kaikki tiedostot siirretään samaan hakemistoon, hakemistolistaus näyttää seuraavalta:

52 Muistilista 52 valitse kohdeyleisö ja selvitä heidän käytössään olevat tietoliikenneyhteydet määrittele maksimi bitrate:t stream-multimediamateriaalille (75% ideaaliarvosta) valitse multimedia-arkkitehtuuri ja koodekki, jotka soveltuvat parhaiten haluttuun materiaaliin (mitä medioita halutaan käyttää, kompressointi, tuki eri yhteysnopeuksille, HTTP- vai oikea stream) valitse välitystapa: `laatikko'protokolla (WM, Quicktime) vs SMIL (kukin media omassa tiedostossaan) ääni on tärkeintä, huonoakin videokuvaa jaksaa katsella, jos ääni on kunnossa

53 Yhteenveto 53 Multimediamateriaalit ovat osa WWW:tä, vaikka yhteysnopeudet vaihtelevat paljon mobiiliyhteydet vs laajakaistayhteydet ei ole olemassa yhtä ainoaa oikeata digitaalista multimediateknologiaa, joka toimisi kaikissa tilanteissa (Microsoft tosin yrittää tätä...) Sisältö ratkaisee, ei tekniikka! (mutta tekniikan on toimittava...)