HELSINKI UNIVERSITY OF TECHNOLOGY 7.11.2006 Tietoliikenneohjelmistojen ja multimedian laboratorio T-111.5080 syksy 2006 - Sisällöntuotannon seminaari Monikameratuotannon automaattinen editointi Jaakko Alajoki 62645C
Monikameratuotannon automaattinen editointi Jaakko Alajoki TKK, Tietoliikenneohjelmistojen ja multimedian laboratorio jaakko.alajoki@tkk.fi Tiivistelmä Tässä seminaarityössä pohditaan monikameratuotannon täysin automaattista leikkausta. Automaattinen leikkaus perustuu videokuvan analyysiin, sekä leikkauksen teoriaan. Esimerkkinä on käytetty teatteriesityksen taltiointia. 1 MONIKAMERATUOTANTO Teatteriesitys on parhaimmillaan paikan päällä seurattuna. Usein kuitenkin halutaan taltioida esitys videolle esimerkiksi arkistointia varten. Erilaisissa hajautetuissa teatteriesityksissä näytös voidaan myös videoida ja lähettää suorana toisaalle. Teatteriesityksen taltiointi edellyttää käytännössä useamman kameran käyttöä. Useamman kameran avulla lisätään todennäköisyttä, että lavan tapahtumat saadaan tallennettua. Useamman kameran avulla saadaan myös vaihtelua kuvakulmiin, mikä tekee videon seuraamisesta mielekkäämpää. Jotta esityksen seuraaminen olisi katsojalle mielekästä, kameroiden kuvista on valittava katsojalle näytettäväksi sellainen, joka välittää esityksen kannalta relevanttia informaatiota (Sumec, 2004). Perinteisesti kameran valinnan on tehnyt ihminen, mutta prosessi on myös mahdollista automatisoida. Automaattinen videon leikkaus perustuu kuvan analysointiin ja automaattiseen valintaan, sekä leikkauksen perusteoriaan. 2 LEIKKAUSSÄÄNNÖT Videon leikkaukseen ei ole olemassa yhtä ja oikeaa tapaa. Videon rytmitys ja tunnelma määräytyvät pitkälle leikkauksen perusteella ja erilaisia tyylejä haettassa voidaan soveltaa hyvinkin erilaisia leikkauksia. Hyvin usein oikeanlainen rytmi muodostuu leikkaajan subjektiivisen näkemyksen perusteella kokeilun ja kokemuksen kautta. Ei ole olemassa absoluuttisen oikeita leikkaussääntöjä, joiden avulla täydellinen video syntyy. 1
Kun puhutaan keinotekoisesta järjestelmästä, joka jäljittelee ihmiskäden jälkeä, on kuitenkin määriteltävä säännöstö, jonka perusteella automaatti toimii. Kumano et al. (2002) määrittelevät tutkimuksessaan ns. videon kieliopin, eli joukon sääntöjä, jotka määrittelevät mitkä videon otot voidaan liittää toisiinsa. Säännöt muistuttavat perinteisiä kielioppisääntöjä, mutta sanojen sijasta sääntöjä sovelletaan ottoihin. Kielioppia voidaan soveltaa videon automaattisessa leikkauksessa. Otolla tarkoitetaan tässä yhteydessä yksikäsitteistä jatkuvaa videon osaa, jossa kameran työskentely ja rajaus pysyvät vakiona. Leikkaussääntöjen perustana on kolme erilaista kuvakokoa. Kuvakoot kertovat kuinka suuri osa kuvattavasta kohteesta, kuten esimerkiksi ihmisestä, mahtuu kuvaan. Kuvakoot ovat: Loose shot (LS) Medium shot (MS) Tight shot (TS) Sananmukaisesti LS on kolmesta vaihtoehdosta laajin ja TS lähin. Lisäksi on olemassa vielä erityinen kokokuva, jossa kohde näkyy kokonaan. Kokokuvaa voidaan käyttää leikkauksessa master-kuvana, eli sellaisena kuvana, johon on aina turvallista leikata. Soveltaen edellä mainittuja kuvakokoja voidaan määrittää seuraavat yksinkertaiset leikkaussäännöt: 1. Kahta ottoa ei voida yhdistää toisiinsa, jos kuvakoko vaihtuu liikaa. Esimerkiksi LS-kuvasta ei voida leikata TS-kuvaan. 2. Videon alussa pitää olla aina laajin kokokuva. 3. Ottojen kestoissa on noudatettava karkeasti seuraavaa kaavaa: LS 6 sekuntia, MS 4 sekuntia ja TS 2,5 sekuntia. 4. Kameran panoroinnin ja polttovälin muuttamisen (zoom) jälkeen on vähintään 1 sekunnin mittainen kuva, jossa kamera ei liiku. Ottojen kestot perustuvat kahteen perusasiaan: kameran liikkeeseen ja yksityiskohtien määrään. Jos kamera liikkuu hitaasti, on otosta leikattava lyhyempi, tai katsojat kyllästyvät. Jos kuvassa taas on paljon liikettä, on katsojille jätettävä aikaa ymmärtää mitä kuvassa tapahtuu. Samaan tapaan yksityiskohtien määrä vaikuttaa kuvan kestoon. Mitä enemmän kuvassa on yksityiskohtia, sitä pidempään sitä on näytettävä. Vastaavasti yksinkertaista kuvaa ei tarvitse näyttää niin pitkään. Kameran panoroinnilla tarkoitetaan kameran kääntämistä vaakasuunnassa. Kameran liikkeiden jälkeen on hyvä olla paikallaan olevaa videokuvaa, jotta lopputulos ei olisi liian rauhaton. 2
Jotta leikkaussääntöjä voidaan soveltaa, on ensin analysoitava kuvamateriaali. Yksinkertaisinta analyysissa on lähteä siitä, että pudotetaan pois käyttökelvoton kuvamateriaali. Kelvottomaksi liikkeeksi luokitellaan esimerkiksi korjausliikkeet, kuten tärähtelyt, nopeat käännökset ja polttovälin muutokset. 3 KAMERAN TÄRINÄN TUNNISTAMINEN Kameran tärinän tunnistaminen on tärkeä osa kuvamateriaalin analysointia, sillä sitä ei tulisi leikata valmiiseen videoon. Erityisesti amatöörikuvaajien videoissa esiintyy paljon kameran tärinää (Dobashi et al., 2001). Kameran tärinä voidaan tunnistaa MHI eli motion history images -menetelmällä (Capin et al., 2006). MHI on alunperin kehitetty eleiden tunnistamiseen, mutta se soveltuu tähän käyttötarkoitukseen myös mainiosti. MHI:n toiminta perustuu perättäisiin mustavalkoisiin ruutukaappauksiin, joista voidaan havaita yksinkertaisia liikkeitä kevyellä laskennalla. Liikkeentunnistuksessa vertaillaan kahta perättäistä mustavalkoista kuvaa vähentämällä niiden intensiteettiarvot toisistaan. Liikehistoriaan merkitään ne kohdat, joissa havaitaan pikseleiden arvojen muutosta. Näin historiaan tallentuu tieto liikkeestä videosekvenssin aikana. Laskemalla keskiarvot liikehistoriaan tallennetuista intensiteettiarvoista, voidaan kameran liike päätellä. Kameran liike taas voidaan edelleen tulkita tärinäksi, jolloin videota ei kelpuuteta mukaan lopulliseen leikkaukseen. Kuva 1. Kuvassa on ote liikehistoriasta. Punaiset pisteet ovat nykyisestä kuvasta tunnistettuja kohteita ja vihreät edellisestä kuvasta tunnistetut kohdat. Yhdistämällä yksittäisten kohteiden liiketiedot voidaan päätellä kameran liike. 4 POLTTOVÄLIN MUUTOKSEN TUNNISTAMINEN Kameran tärinän ohella polttovälin muutoksen tunnistaminen on tärkeää. Polttovälin muuttaminen kuvauksen aikana, eli niinsanottu zoomaaminen, on kameraoperaatio, jota 3
tulisi välttää. Ihmisen oma silmä ei kykene polttovälin muutoksiin, ja siksi se näyttää myös videolla luonnottomalta. Zoomauksen tunnistamiseen voidaan käyttää yhdessä sekä 2DST eli 2D spatio-temporal -menetelmää ja multilayer perceptron -menetelmää (Lee et al., 1998). Menetelmässä luodaan aluksi 2DST-kuvat annetulla ajanjaksolla. 2DST-kuviin muodostuu tietynlainen tekstuuri, mikäli alkuperäisten kuvien pikselit liikkuvat samaan suuntaan. Analysoimalla näitä tekstuureita voidaan päätellä kameraoperaatiot. Tekstuureita analysoidaan diskreetin fourier -muunnoksen sekä power spectrum - menetelmän avulla. 2DST-kuvan suunta k saada seuraavan yhtälön avulla: p( k ) > p( i ) (i k, i,k = 0,..., ) missä p() on määritelty p() = r P(r,). P(r,) on power spectrum polaarikoordinaattimuodossa. Tekstuurien analysointiin sovelletaan multilayer perception -menetelmää (MLP). Menetelmän avulla videokuvasta saadaan aikaan halutunkokoinen vektorikenttä, josta kameran liikkeet voidaan päätellä. Analyysi on tehtävä erikseen sekä horisontaalisesti että vertikaalisesti. Kuva 2. Multilayer perception -menetelmän aikaansaamien vektorikenttien avulla voidaan päätellä kameran liikkeet. Kameran polttovälin muutos näkyy siten, että vektorikentän laidoilla vektorit ovat suunnattuna joko toisiaan kohti tai vastakkaisiin suuntiin. Tätä menetelmää voidaan käyttää myös edellä mainitussa tärinän tunnistamisessa. Mikäli liike on riittävän nopeaa, tulkitaan kameran kuva käyttökelvottomaksi. 5 KUVAKOON TUNNISTAMINEN Kuvakoot määritellään usein erilaisina ihmiskehon rajauksina. Esimerkiksi MS-kuvassa näytetään ihmisestä puolet ja TS-kuvassa vain kasvot. Näinollen kuvakoon tunnistamisessa on luontevinta käyttää ihmisen kasvojen paikan ja koon tunnistavaa algoritmia. Kun kasvot on tunnistettu, voidaan laskea kasvojen ja koko kuva-alan koon suhde ja siten päätellä käytetty kuvakoko. Kasvojen tunnistaminen on haastavaa seuraavien tekiöiden vuoksi (Yang et al, 2002): 4
Kuvakulma. Kasvot voivat olla kuvattuna monesta suunnasta (suoraan edestä, etuviistosta, sivulta, ylösalaisin). Tietyt kasvojen osat, kuten nenä tai korvat, saattavat jäädä kokonaan peittoon. Poikkeavuudet kasvoissa. Ihmisellä voi kavojen peittona olla esimerkiksi silmälasit tai viikset. Nämä esteet voivat olla hyvinkin eri näköisiä. Kasvonilmeet. Ihmisen ilme vaikuttaa paljon kasvojen muotoon ja ulkonäköön ja sitä kautta tunnistettavuuteen. Peittävyys. Kasvot voivat olla joko kokonaan tai osittan edessä olevien objektien, kuten toisten ihmisten, peittämiä. Kuvan kallistus. Kasvokuvat vaihtelevat kameran kallistuksen mukaan. Kuvausolosuhteet. Valaistus, ympäristö ja kameran ominaisuudet vaikuttavat kuvaan. Tähän tulee kasvojen paikan tunnistavan algoritmin kuvaus. Hyvä sellainen on kuvattu liitteessä (Scheiderman, 2000) 6 KÄYTÄNNÖN SOVELLUS Käytännön esimerkkinä käsitellään teatteriesityksen taltiointia kolmella kameralla. Kuvassa 3 on esitetty kameroiden asettelu sekä tehtävät. 5
Kuva 3. Esimerkissä käsitellään teatteriesityksen taltiointia kolmella kameralla. Kaksi kameraa kuvaa lähikuvia esityksestä ja kolmas laajaa yleiskuvaa. Kamera A on sijoitettu lavan läheisyyteen sivulle. Kamera B on sijoitettu myös lavan lähelle, mutta toiselle puolelle. Molempia kameroita käsittelee kameraoperaattori. Kameroilla pyritään kuvaamaan mahdollisuuksien mukaan kaikkia kolmea kuvakokoa (LS, MS ja TS). Kahden eri puolille sijoitetun kameran avulla saadaan todennäköisimmin puhuvan esiintyjän kasvot näkyviin. Lisäksi kahden lähikuvakameran avulla todennäköisyys saada onnistunutta kuvaa kasvaa. Salin takaosaan on sijoitettu kamera C, joka on miehittämätön. Kamera kuvaa laajaa kuvaa, eli niin sanottua master-kuvaa. Kameran kuvassa näkyy esiintymislava kokonaisuudessaan. Tämän kameran kuvaa voidaan näyttää missä tahansa tilanteessa, silloinkin, kun molemmat kamerat A ja B ovat poissa pelistä. Järjetelmä analysoi jatkuvasti kameroiden A ja B kuvaa. Analyysin perusteella luodun metatiedon ja leikkaussääntöjen avulla automaattinen leikkausohjelmisto valitsee lähetykseen kuvan. Jos kameramies B hukkaa kuvasta puheenvuorossa olevan näyttelijän ja alkaa etsiä häntä kuvaan uudelleen, kameran kuva tulkitaan käyttökelvottomaksi. Tulkinta perustuu kameran nopeisiin liikkeisiin, joita pidetään tärinänä. Järjestelmällä on sen jälkeen käytössään vain kameroiden A ja C tarjoama kuva. Jos kameran A operaattori päättää rajata kuvaa tiiviimmäksi muuttamalla polttoväliä, analyysi hylkää kameran kuvan. Sen jälkeen leikkausohjelmisto voi näyttää vain kameran C turvallista kuvaa. Heti, kun jompi kumpi kameramiehistä löytää oikean kuvakulman, järjestelmä voi taas leikata sen kuvaan. 6
7 YHTEENVETO Videon leikkausta pidetään luovana työnä. Monikamerataltioinnin leikkauksen kohdalla suoritus on kuitenkin hyvin yksioikoinen. Ihmisen tehtäväksi jää kelvottoman kuvamateriaalin karsiminen ja kuvakulman säännöllinen vaihtaminen. Kuten monta kertaa aiemminkin on nähty, automaatiolla voidaan korvata konemaiset ihmisen suorittamat työt. Sekä kelvollisen kuvamateriaalin suodatus että kamerakulman vaihto voidaan molemmat nykytekniikan keinoin ongelmitta automatisoida. Modernit kuvantunnistusmenetelmät tarjoavat järjestelmälle pohjan. Niiden avulla voidaan analysoida kuvamateriaali ja tunnistaa kuvasta kameraoperaatiot kuten panoroinnit ja polttovälin muutokset. Lisäksi kuvasta voidaan tunnistaa tapahtumia, kuten henkilöiden liikkeitä. Analyysi tarjoaa varsinaiselle leikkausprosessille arvokasta metatietoa. Itse leikkaus suoritetaan keinotekoisen semanttisen säännöstön mukaisesti. Taltioinnin leikkauksen perusperiaatteita ei ole montaa ja ne ovat hyvin yksinkertaisia. Leikkaussääntöjen eli niinsanotun videon kieliopin ja analyysin tuottaman metatiedon perusteella voidaan tuottaa lopullinen video. 7
LÄHTEET Kentaro Dobashi, Akihisa Kodate ja Hideyoshi Tominaga, 2001, CAMERA WORKING PARAMETER EXTRACTION FOR CONSTRUCTING VIDEO CONSIDRING CAMERA SHAKE, WASEDA University Dept. of Global Information Telecommunication Instiute and Studies, Tokio, Japani. Stanislav Sumec, 2004, Multi Camera Automatic Video Editing, Brno University of Technolohy, Brno, Tsekki. Masahito Kumano, Yasuo Ariki, Miki Amano, Kuniaki Uehara, Kenji Shunto, Kiyoshi Tsudaka, 2002, Video editing support system based on video grammar and content analysis. Capin, T., Haro, A., Setlur, V., ja Wilkinson, S., 2006, Camera-Based Virtual Environment Interaction on Mobile Devices, 21st International Symposium on Computer and Information Sciences (ISCIS). Mee-Sook Lee, Bon-Woo Hwang, Sanghoon Sull ja Seong-Whan Lee, 1998, Automatic video parsing using shot boundary detection and camera, Center for Artificial Vision Research, Korea University, Seoul, Korea. Ming-Hsuan Yang, David J. Kriegman ja Narendra Ahuja, 2002, Detecting Faces in Images: A Survey, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 24, NO. 1, JANUARY 2002. Henry Scheiderman, Takeo Kanade, 2000, A Histogram Based H. Schneiderman, T. Kanade, 2000, A histogram-based method for detection of faces and cars, Proceedings of the 2000 International Conference on Image Processing (ICIP '00), Vol. 3, September, 2000, pp. 504-507 8