Parametrinen äänisynteesi vuorovaikutteisessa digitaalisessa teatterissa

TEKNILLINEN KORKEAKOULU 22.12.2006 Tietoliikenneohjelmistojen ja multimedian laboratorio T-111.5080 Sisällöntuotannon seminaari Syksy 2006: Vuorovaikutteinen digitaalinen teatteri Parametrinen äänisynteesi vuorovaikutteisessa digitaalisessa teatterissa Jukka Rauhala 48283E

Parametrinen äänisynteesi vuorovaikutteisessa digitaalisessa teatterissa Jukka Rauhala TKK, Tietoliikenneohjelmistojen ja multimedian laboratorio jukka.rauhala@acoustics.hut.fi Tiivistelmä Tässä paperissa luodaan yleiskatsaus parametrisen äänisynteesin käyttämiseen vuorovaikutteisessa digitaalisessa teatterissa. Vuorovaikutteisessa digitaalisessa teatterissa yhdistetään tavanomaiseen teatteriin virtuaalisia elementtejä grafiikan, äänentuottamisen, sekä vuorovaikutuksen kautta. Parametrinen äänisynteesi mahdollistaa vuorovaikutuksen äänentuottamismenetelmän ja muiden tekijöiden välillä. Tässä työssä esitellään tärkeimmät parametriset äänisynteesitekniikat. Lisäksi parametrisen äänisynteesin soveltamista digitaalisessa teatterissa tarkastellaan esimerkkitapausten avulla. 1 JOHDANTO Vuorovaikutteinen digitaalinen teatteri on yksi keinotodellisuuden tutkimusaloista, joka on herättänyt kiinnostusta. Digitaalisessa teatterissa yhdistetään tavanomainen teatteriesitys virtuaalisiin audiovisuaalisiin komponentteihin. Kuten teatterissa yleensä, myös digitaalisessa teatterissa äänen tuottaminen on keskeinen asia. Toisaalta vuorovaikutteisuus asettaa uusia vaatimuksia äänentuottojärjestelmälle, koska esityksessä ei voi enää toistaa etukäteen tuotettua äänimaailmaa. Tähän ongelmaan parametrinen äänisynteesi soveltuu mainiosti. Parametrinen äänisynteesi tarkoittaa sellaista äänentuottamista, jossa parameterilla voidaan ohjata ulostulevan äänen ominaisuuksia. Parametrit voivat olla esimerkiksi fysikaalisia (kuten kielen pituus), tai abstrakteja (kuten äänenväri). Parametrinen reaaliaikainen äänisynteesi soveltuu hyvin digitaaliseen teatteriin, koska se mahdollistaa vuorovaikutuksen näyttelijöiden ja äänentuottojärjestelmän välille. Parametriset äänisynteesitekniikat voidaan jakaa karkeasti kolmeen luokkaan: abstraktit menetelmät, äänitepohjaiset menetelmät, sekä fysikaaliseen mallinnukseen pohjautuvat menetelmät. Tämän lisäksi digitaalisessa teatterissa voidaan käyttää erilaisia puhesynteesi- ja laulusyntessitekniikoita, mutta nämä tekniikat on rajattu tästä työstä pois aiheen laajuuden vuoksi. Vuorovaikutteinen digitaalinen teatteri on melko nuori tutkimusala, se on alkanut kiinnittämään huomiota tutkimuspiireissä vasta 1990-luvun loppupuolella. Ensimmäisiä tutkijoita alalla oli Pinhanez (1997; Pinhanez ja Bobick, 1998). Muita digitaalisen teatterin parissa työskennelleitä tutkijoita ovat mm. Geigel (Geigel ja Schweppe, 2004), sekä Reaney (2001). Sen sijaan parametrinen äänisynteesi on jo vanhempi 1

tutkimuskohde, jo 1970-luvulla julkaistiin paljon aiheeseen liittyviä töitä. Hyviä yleiskatsauksia aiheeseen ovat kirjoittaneet mm. Smith (1991; 2005), Roads (1995), Tolonen et al. (1998) ja Cook (2002). Tämä työ on jaettu seuraaviin osiin. Luvussa 2 tutustutaan lähemmin vuorovaikutteisen digitaalisen teatterin konseptiin. Sen jälkeen tärkeimmät parametriset äänisynteesitekniikat esitellään luvussa 3. Luvussa 4 käydään läpi eri vaihtoehtoja vuorovaikutukseen äänisynteesin kanssa. Äänisynteesin soveltamista digitaalisessa teatterissa tarkastellaan esimerkkitapausten avulla luvussa 5. Lopuksi, eri äänisynteesimenetelmiä verrataan keskenään luvussa 6. 2 VUOROVAIKUTTEINEN DIGITAALINEN TEATTERI Geigel ja Schweppe (2004) määrittävät digitaalisen teatterin sellaiseksi teatteriesitykseksi, johon on integroitu virtuaalitodellisuusteknologiaa. Toisin sanoen digitaalisessa teatterissa käytetään tietokonepohjaista järjestelmää tuottamaan audiovisuaalisia elementtejä teatteriesitykseen. Lisäksi konseptiin kuuluu vahvasti vuorovaikutteisuus eri tekijöiden välillä, mikä asettaa omat vaatimuksensa tekniikoille. Jotkut laajentavat tämän käsitteen koskemaan myös hajautettuja järjestelmiä (Pinhanez, 1997), mutta tässä työssä käsitellään vain fyysisesti samassa tilassa tapahtuvia teatteriesityksiä. Ensimmäisenä digitaalisena teatteriesityksenä pidetään It/I -teatteriesitystä, jonka tutkijat kehittivät MIT:ssä (Pinhanez ja Bobick, 1998). It/I -esityksessä näyttelijä esiintyi yhdessä vuorovaikutteisen tietokoneohjatun virtuaalihahmon kanssa, kuten kuvassa 1 näkyy. Muita tutkimushenkisiä digitaalisia teatterihankkeita ovat mm. Getrude Stein Repertory Teatre (Seligmann, 2001), Rochester Institute of Technologyn virtuaaliteatteri (Geigel, 2004), sekä University of Kansasin digitaaliset teatteriprojektit (Reaney, 2001). 2

Kuva 1. It/I teatteriesitys, jossa näyttelijä kommunikoi silmänä kuvatun virtuaalihahmon kanssa (kuva: http://www-tech.mit.edu/v117/n60/it_i.60.gif). Monet digitaalisen teatterin tutkimushankkeet ovat keskittyneet lähinnä vuorovaikutuksen ja grafiikan tutkimiseen, sen sijaan äänentuottamista ei ole juurikaan tutkittu liittyen digitaaliseen teatteriin. Esimerkkejä äänentuottamisesta digitaalisessa teatterisysteemissä ovat MIDI-syntetisaattorin käyttäminen It/I -projektissa (Pinhanez ja Bobick, 1998) ja virtuaaliorkesteri (Geigel ja Schweppe, 2004). 3 PARAMETRISET ÄÄNISYNTEESITEKNIIKAT Tässä luvussa käydään läpi tärkeimmät parametriset äänisynteesitekniikat. Koska digitaalisen teatterin vaatima vuorovaikutteisuus tarkoittaa sitä että synteesi täytyy tehdä reaaliajassa, tässä työssä keskitytään vain reaaliaikaisiin tekniikoihin. 3.1 Abstraktit menetelmät Abstrakteilla menetelmillä tarkoitetaan tekniikoita, joiden pohjalla on jokin matemaattinen kaava. Tälläisia menetelmia ovat mm. FM-synteesi (Chowning, 1973), aaltomuotoilutekniikka (Arfib, 1979; Le Brun 1979), sekä Karplus-Strong-synteesi 1 (Karplus ja Strong, 1983). Nämä menetelmät ovat yleensä laskennallisesti kevyitä. Lisäksi näitä menetelmiä voi kontrolloida rajatulla määrällä parametrejä johtuen 1 Karplus-Strong-synteesin voidaan ajatella olevan myös fysikaalista mallinnusta. Toisaalta se ei varsinaisesti yritä mallintaa mitään yksittäistä soitinta, joten Karplus-Strong soveltuu parhaiten abstrakteihin menetelmiin. 3

matemaattisesta taustasta. Yksi abstraktien menetelmien heikkous synteesimenetelmänä on niiden rajoittuneisuus tuottaa erilaisia ääniä, kukin menetelmä pystyy tuottamaan hyvin vain tietyntyyppisiä ääniä. 3.2 Äänitepohjaiset menetelmät Äänitepohjaiset menetelmät, kuten sämpläystekniikka, tuottavat ääntä toistamalla etukäteen tallennettuja ääniä (Roads, 1995). Tekniikan etuna on mahdollisuus tuottaa mitä tahansa ääniä hyvällä laadulla, minkä takia tämä tekniikka on hyvin yleisessä käytössä nykyään. Toisaalta tähän tarvitaan paljon muistia, mikä asettaa tiettyjä rajotteita tekniikalle. Vaikka äänitepohjaiset menetelmät eivät varsinaisesti tue parametrisuutta, niistä voi kuitenkin tehdä parametrisiä esimerkiksi tallentamalla jokaista parametrin arvoa vastaava ääni tietokantaan, tai käyttämällä parametrisia suotimia muokkaamaan ääntä. 3.3 Spektripohjaiset menetelmät Yksi lähestymistapa äänisynteesiin on tarkastella äänen tuottamista spektritasossa. Lisäävä synteesi on tällainen menetelmä, joka on ollut myös ensimmäisiä äänisynteesimenetelmiä (Roads, 1995). Siinä käytetään hyväksi sitä tietoa, että Fouriermuunnoksella mielivaltainen äänisignaali voidaan esittää siniaaltojen summana, joista jokainen aalto vastaa yhtä taajuutta spetrissä. Näin ollen lisäävällä synteesillä haluttu ääni voidaan tuottaa summaamalla siniaaltoja. Periaatteessa lisäävällä synteesillä voidaan tuottaa mitä tahansa ääniä, tosin laskentatehon ja muistin tarve kasvavat helposti suuriksi. Lisäävää synteesiä voidaan ohjata parametreilla, tosin parametrisyys on rajoittunut yhden spetrikomponentin muuttamiseen kerrallaan. Lisäksi parametrisyyttä voidaan laajentaa muodostamalla kaavoja, joilla ylemmän tason parametrit voidaan linkittää spetrikomponenttien parametreihin. Muita spektripohjaisia menetelmiä ovat mm. vähentävä synteesi sekä lähde-suodin-synteesi. 3.4 Fysikaaliseen mallinnukseen pohjautuvat menetelmät Fysikaalisella mallinnuksella tarkoitetaan sitä että ääni yritetään tuottaa mallintamalla äänentuottojärjestelmää. Tärkeimpiä fysikaalisia mallinnustekniikoita ovat aaltojohtotekniikka (Smith, 1992), modaalisynteesi, sekä äärellisten erotusten mallinnustekniikka. Näistä tekniikoista käsitellään tarkemmin kahta ensimmäistä, äärellisten erotusten mallinnustekniikka vaatii liikaa laskentatehoa pystyäkseen reaaliaikaiseen äänen tuottamiseen. Fysikaalista mallinnusta käsitellään tarkemmin esimerkiksi Smithin (2005) ja Välimäki et al:n (2006) artikkeleissa. Aaltojohtotekniikka pohjautuu läheisesti Karplus-Strongin synteesimalliin (Karplus ja Strong, 1983). Siinä perustana on etenevän aallon yhtälö, joka etenee esimerkiksi kielessä. Tätä yhtälöä diskretisoimalla saadaan yksinkertainen kielimalli, joka koostuu takaisinkytkentäsilmukasta, jonka kokonaisviivettä muuttamalla voidaan säätää tuotetun äänen perustaajuutta. Kuva 2 esittää kielimallin yksinkertaistettua kaaviokuvaa. Kommutoitu aaltojohtomalli (Smith, 1993; Karjalainen et al., 1993) on eräs aaltojohtosynteesin muunnelmista, jossa kielimalli herätetään signaalilla, joka on käänteissuodatettu oikeasta äänestä. Aaltojohtomalli soveltuu hyvin erilaisten kielisoittimien mallintamiseen, sillä on esimerkiksi mallinnettu akustista kitaraa (Laurson et al., 2001), viulua (Smith, 1983), pianoa (Bank et al., 2003), cembaloa (Välimäki et al., 2004), sekä klavikordia (Välimäki et al., 2003). 4

Kielimalli Herätemalli Dispersiosuodin Virityssuodin Häviösuodin Viivelinja Kuva 2. Yksinkertaistettu kaaviokuva aaltojohtotekniikan kielimallista. Kielimalli herätetään herätemallin tuottamalla signaalilla (esimerkiksi pianossa herätemallilla yritetään simuloida vasaraniskua kieleen). Kielimallissa simuloidaan kielen pituutta viivelinjalla ja virityssuotimella, kielessä tapahtuvia häviöitä häviösuotimella, sekä kielen dispersiivisyyttä dispersiosuotimella. Digitaalisen teatterin kannalta kiinnostava fysikaalisen mallinnuksen alue on ns. luonnollisten äänten mallinnus. Eräs tähän tarkoitukseen käytetty lähestymistapa on vaikutusmallinnus, jossa pohjana on vasara-resonaattori-rakenne (Avanzini ja Rocchesso, 2001). Tällä tekniikalla on mallinnettu mm. askeleen ääniä (Fontana ja Bresin, 2003), virvoitusjuomatölkin rusentamista (Fontana ja Bresin, 2003) sekä virvoitusjuoman juomista pillillä (Rochesso et al., 2003). Myös Cook (2002) on käyttänyt samantyyppistä tekniikkaa askeläänien sekä juomalasin aiheuttamien äänien mallinnukseen. Fysikaalinen mallinnus on vahvasti parametrista mallinnusta, se tarjoaa mahdollisuudet monenlaisten parametrien käyttöön. Toisaalta fysikaalinen mallinnus pystyy tuottamaan vain tietyntyyppisiä ääniä. Samoin se vaatii jonkin verran muistia ja laskentatehoa. 3.5 Tiivistelmä Tässä luvussa on esitelty tärkeimpiä parametrisiä äänisynteesitekniikoita. Taulukossa 1 verrataan näitä menetelmiä parametrisyyden, äänentuottokyvyn, laskentatehon ja muistintarpeen suhteen. Yleisesti ottaen voidaan sanoa että abstraktit menetelmät ovat kevyitä mutta rajoittuneita äänentuottokyvyltään ja parametrisyydeltä. Aänitepohjaiset menetelmät taas pystyvät tuottamaan minkälaisia ääniä tahansa, mutta menetelmän ohjaus parametreilla on rajallista. Lisäävä synteesi on raskas menetelmä, joka kykenee tuottamaan erityyppisiä ääniä. Fysikaaliset menetelmät tukevat hyvin parametrisyyttä, mutta vaativat laskentatehoa ja ovat rajoittuneita äänentuottokyvyltään. 5

Taulukko 1. Vertailu eri synteesimenetelmien välillä (Tolonen et al., 1998). Menetelmä Parametrisyys Äänentuottokyky Laskentatehon tarve Muistin tarve FM Melko hyvä Vain Pieni Pieni tietyntyyppisiä ääniä Aaltomuotoilu Melko hyvä Rajoittunut Pieni Pieni KS Hyvä Vain Pieni Pieni tietyntyyppisiä ääniä Sämpläys Huono Hyvä Pieni Suuri Lisäys Melko hyvä Hyvä Keskinkertainen Suuri Modaalinen Hyvä Värähtelevien objektien ääniä Keskinkertainen Keskinkertainen Aaltojohto Hyvä Vain kielisoittimien ja puhallinsoittimien ääniä Keskinkertainen Keskinkertainen 4 ÄÄNISYNTEESIN VUOROVAIKUTTEINEN OHJAUS Kuvassa 3 esitellään yksinkertaistettu kaaviokuva vuorovaikutteisesta äänisynteesistä digitaalisessa teatterissa. Äänisynteesiin liittyvä äänentuottojärjestelmä koostuu viidestä tekijästä: näyttelijä, ohjausmenetelmä, keinotodellisuuden logiikkayksikkö, äänisynteesimenetelmä, sekä äänentoisto (kuten monikanavajärjestelmä). Lisäksi tarvitaan jonkinlainen rajapinta äänisynteesimenetelmän ohjaamiseen, tällä hetkellä yleisin rajapinta on Musical Instrument Digital Interface (MIDI) standardi (MIDI, 2006), joka tarjoaa mahdollisuuden välittää nuotti- sekä kontrollidataa reaaliajassa. Ohjausmentelmä on olennainen osa tätä systeemiä, koska parametrinen äänisynteesi tarvitsee digitaalisessa teatterissa tavan olla vuorovaikutuksessa muiden esiintyjien ja virtuaalihahmojen kanssa. Käytännössä kaikkia keinotodellisuuden input-laitteita voidaan käyttää digitaalisessa teatterissa, tässä esitellään lyhyesti äänisynteesin kannalta olennaisimmat input-laitteet. 6

Äänentoisto Näyttelijä Äänisynteesi MIDI MIDI Ohjausmenetelmä Keinotodellisuuden logiikka Kuva 3. Kaaviokuva äänisynteesistä vuorovaikutteisessa digitaalisessa teatterissa. Keinotodellisuudessa käytetään yleisesti erilaisia datahanskoja ja kädessä pidettäviä ohjauslaitteita, jotka soveltuvat hyvin äänisynteesin ohjaukseen. Virtuaalisoittimien tapauksessa erityisesti soittimia muistuttavat ohjauslaitteet, kuten esimerkiksi rumpupalikat, ovat erinomaisia vaihtoehtoja synteesin ohjaukseen. Näihin ohjauslaitteisiin voidaan lukea myös sähköiset MIDI-ohjauslaitteet, kuten MIDIkosketinsoitin.Virtuaalisessa ilmakitarassa on tehty mielenkiintoinen ratkaisu synteesin ohjauksessa: synteesiä kontrolloidaan oransseilla puutarhahanskoilla, joiden paikkaa seurataan tavallisella internet-kameralla, kuten kuvassa 4 nähdään. Yleensä näillä ohjausmenetelmillä kontrolloidaan suoraan yhtä tai muutamaa ennaltamäärättyä äänisynteesin parametriä. 7

Kuva 4. Esimerkki äänisynteesin ohjauksesta: virtuaalista ilmakitaraa ohjataan oransseilla puutarhahanskoilla, joiden paikkaa seurataan internet-kameralla (kuva: http://airguitar.tml.hut.fi/media/gloves.jpg). Toinen digitaaliseen teatteriin erityisen hyvin sopiva äänisynteesin ohjausmenetelmä on puheentunnistus. Tämä menetelmä sopii hyvin vuorovaikutukseen virtuaalihahmojen äänisynteesin kanssa. Käytännössä puheentunnistus tarvitsee jonkinlaisen logiikan, joka määrittelee, miten tunnistettuun viestiin reagoidaan äänisynteesillä. Näin ollen puheentunnistus tarjoaa laajemmat mahdollisuudet eri parametrien ohjaamiseen, toisaalta luotettava puheentunnistus on edelleen erittäin haastava ongelma. Näiden menetelmien lisäksi voidaan ajatella että äänisynteesiä ohjaa virtuaalimaailman tekoäly sen sijaan että äänisynteesiä kontrolloitaisiin suoraan jollain tietyllä laitteella. Äänisynteesin ohjauksessa tarvitaan myös jonkinlainen rajapinta, jolla ohjausmenetelmä ja/tai keinotodellisuuden logiikka kommunikoivat äänisynteesimenetelmän kanssa. Yksinkertaisissa tapauksessa, jossa ohjausparametrien määrä on pieni, voidaan parametriarvoja välittää suoraan äänisynteesimenetelmälle. Monimutkaisimmissa tapauksissa tarvitaan sen sijaan jonkinlainen formaatti, jolla parametriarvot välitetään. Erittäin yleinen tähän tapaukseen soveltuva formaatti on MIDI-standardi, jota monet digitaalisiset soittimet tukevat. Vaikka MIDI on itsessään melko rajoittunut ja vanhentunut standardi, se on silti käyttökelpoinen, koska se pystyy välittämään pienellä bittimäärällä nuotti-informaatiota ja kontrolliviestejä (control change), jotka mahdollistavat erilaisten parametrien välityksen äänisynteesimenetelmälle. 5 ÄÄNISYNTEESIN SOVELTAMINEN DIGITAALISESSA TEATTERISSA Tässä työssä äänisynteesin soveltamista digitaalisessa teatterissa lähestytään neljän eri sovelluskohteen kautta: taustamusiikki, erikoistehosteet, virtuaalihahmot ja virtuaalisoittimet. 8

5.1 Taustamusiikki Taustamusiikki on olennainen osa teatteriesitystä, sitä käytetään usein luomaan ja tehostamaan tietynlaista ilmapiiriä esitykseen. Tavanomaisessa teatteriesityksessä taustamusiikki on yleensä etukäteen tuotettu äänite, jota toistetaan esityksessä alusta loppuun. Digitaaliseen teatteriin liittyvä vuorovaikutteisuus tuo omia vaatimuksia taustamusiikin tuottamiseen. Taustamusiikin tuottamiseen digitaalisessa teatterissa voidaan ajatella kaksi erilaista lähestymistapaa. Ensinnäkin, taustamusiikki voi olla etukäteen tuotettu, mutta sen toistamisessa on mahdollista pysäyttää ja käynnistää toisto tietyillä ohjaussignaaleilla. Toinen lähestymistapa on taustamusiikin generointi reaaliajassa käyttäen jonkinlaista älykästä systeemiä. Esimerkiksi systeemille voitaisiin kertoa minkälaista tunnelmaa halutaan luoda (Bresin ja Friberg, 2000). Koska taustamusiikki on yleensä joillakin soittimilla soitettua, äänisynteesimenetelmän tulisi pystyä tuottamaan realistisen kuuloista soitinääntä. Toisaalta taustamusiikki ei aseta suuria vaatimuksia parametrisyydelle, yksinkertaisimmillaan se tarvitsee vain pysäytys ja käynnistystoiminnot, jotka eivät varsinaisesti liity äänisynteesimenetelmään. Näin ollen, äänitepohjainen synteesi soveltuu parhaiten taustamusiikin tuottamiseen 5.2 Erikoistehosteet Erikoistehosteet ovat myös hyvin tyypillisiä teatteriesityksessä. Yleensä äänitehosteen tarkoituksena on korostaa jotakin tapahtumaa esityksessä äänitehosteen ei ole tarkoitus kiinnittää huomiota niinkään itseensä vaan tapahtumaan, johon se liittyy. Tällaisia äänitehosteita ovat esimerkiksi erilaiset räjähdykset, lyöntiin liittyvät äänet, askeleen äänet. Äänitehoste on yleensä yksittäinen ääni, joka käynnistetään jollakin ohjaussignaalilla. Tehosteen pitää pystyä simuloimaan haluttua ääntä tarpeeksi hyvin, jotta yleisölle syntyy immersiivinen kokemus. Joihinkin äänitehosteisiin, kuten askeleen ääniin, liittyy vahva parametrisyys: jotta tehosteäänet eivät kuulostaisi synteettisiltä, niissä täytyy olla jonkinlaista variaatiota. Äänitepohjainen menetelmä on soveltuvin menetelmä äänitehosteisiin, koska sillä pystytään simuloimaan realistisesti mitä tahansa ääniä. Toisaalta fysikaalinen mallinnus soveltuu hyvin tapauksiin, jossa vaaditaan parametrisyyttä ja kyseessä olevaa äänilähdettä on mahdollista mallintaa fysikaalisesti esimerkiksi käyttämällä vaikutusmallinnusta, jolla on jo kehitetty fysikaaliset mallit mm. askeläänien simuloimiseen (katso 3.4). 5.3 Virtuaalihahmot Yksi digitaalisen teatterin uusista piirteistä verrattuna tavanomaiseen teatteriin on virtuaalihahmojen esiintyminen. Esimerkiksi It/I -esityksessä esiintyi It -niminen virtuaalihahmo, jolla oli visuaalinen muoto ja joka tuotti ääntä. Samoin University of Kansasin Dinosaurus -esityksessä oli dinosaurus-virtuaalihahmo, joka näkyy kuvassa 5. Äänentuottaminen onkin luonnollinen osa virtuaalihahmoa, jotta se pystyy kommunikoimaan muiden näyttelijöiden kanssa. 9

Kuva 5. Esimerkki virtuaalihahmosta: Dinosaurus-hahmo samannimisestä University of Kansasin digitaalisesta teatteriesityksestä (Reaney, 2001). (kuva: http://web.ku.edu/~mreaney/dinosaurus/dinosketch.jpg) Koska puhesynteesi on rajattu tämän työn ulkopuolelle, tässä käsitellään muita mahdollisia vaihtoehtoja. Periaatteessa virtuaalihahmo voi tuottaa minkälaista ääntä tahansa mahdollisuuksia on rajattomasti. Virtuaalihahmon äänentuottaminen ei saisi olla monotonista vaan äänen pitäisi olla mahdollisimman elävää ja tunteilevaa, jotta hahmo vaikuttaisi elävältä. Näin ollen äänisynteesin pitäisi olla vahvasti parametristä, jotta se pystyy tuottamaan esimerkiksi tunteita (Bresin ja Friberg, 2000). Fysikaalinen mallinnus onkin paras ehdokas virtuaalihahmon äänentuottamiseen sen parametrisyyden takia. Samoin abstraktit menetelmät ovat mahdollisia kandidaatteja. 5.4 Virtuaalisoittimet Virtuaalisoittimet ovat yksi virtuaalihahmojen alalaji, jonka parissa on tehty jonkin verran tutkimusta. Esimerkiksi ilmakitara on eräänlainen virtuaalisoitin (Karjalainen et al., 2006). Kuvassa 6 esiintyy virtuaalinen ksylofoni, joka on toinen esimerkki virtuaalisoittimesta. Virtuaalisoitin koostuu pääpiirteissään äänisynteesistä, soittimen visuaalisesta ilmeestä, sekä kontrollirajapinnasta. Soitin voi joko simuloida jotain olemassaolevaa fyysistä soitinta, tai sitten olla täysin uudentyyppinen soitin. Virtuaalisoittimen äänisynteesiin liittyy kolme tärkeää vaatimusta. Ensinnäkin synteesin äänenlaatu täytyy olla hyvä, varsinkin jos se simuloi jotain olemassaolevaa soitinta. Toinen vaatimus on pieni latenssi, jotta soittaja ei havaitse viivettä soittotapahtuman, kuten koskettimen painalluksen, ja äänen kuulumisen välillä. Lisäksi 10

Kuva 6. Esimerkki virtuaalisoittimesta, virtuaalinen ksylofoni (kuva: http://www.tml.tkk.fi/~tmakipat/alma/almawebisivu/xylaripic1.jpg). synteesitekniikan täytyy olla vahvasti parametrinen, jotta soitin luo vahvan immersion. Käytännössä halutusta soitinäänestä riippuen kaikki tässä paperissa esitellyt äänisynteesitekniikat soveltuvat jossain määrin virtuaalisoittimen synteesiin. Toisaalta vaatimus vahvasta parametrisuudesta osoittaa että fysikaaliseen mallinnukseen pohjautuvat menetelmät soveltuvat ehkä parhaiten, erityisesti kun virtuaalisoittimen halutaan tuottavan puhallin- tai kielisoittimen tyyppistä ääntä (mukaan lukien kosketinsoittimet). 6 KESKUSTELUA Edellisessä luvussa tarkastellaan eri äänisynteesimenetelmien soveltuvuutta digitaalisessa teatterissa neljän eri sovelluskohteen kautta. Näiden pohjalta tehty yhteenveto näkyy Taulukossa 2. Yleisesti ottaen voidaan sanoa että äänisynteesimenetelmän valinta riippuu halutun äänen tyypistä, eri menetelmät soveltuvat parhaiten erityyppisille äänille. Taulukon 2 perusteella voidaan kuitenkin sanoa että sämpläystekniikka soveltuu hyvin taustamusiikkiin ja erikoistehosteisiin, kun taas fysikaalinen mallinnus, kuten aaltojohtotekniikka, soveltuu hyvin virtuaalihahmoihin ja virtuaalisoittimiin. Näin ollen näillä kahdella tekniikalla voidaan kattaa hyvin digitaalisen teatterin tarvitsema äänimaailma. 11

Taulukko 2. Vertailu eri synteesimenetelmien soveltuvuudesta erilaisiin tapauksiin digitaalisessa teatterissa. Menetelmä Taustamusiikki Erikoistehosteet Virtuaalihahmot Virtuaalisoittimet FM Huono Huono Keskinkertainen Huono Aaltomuotoilu Huono Huono Keskinkertainen Huono KS Huono Huono Keskinkertainen Huono Sämpläys Hyvä Hyvä Huono Keskinkertainen Lisäävä Keskinkertainen Hyvä Huono Keskinkertainen Modaali Keskin- Tapaus- Hyvä Hyvä Aaltojohto 7 YHTEENVETO kertainen Keskinkertainen kohtainen Tapauskohtainen Hyvä Hyvä Tässä työssä on tarkasteltu parametristen äänisynteesimenetelmien soveltuvuutta ja käyttöä digitaalisessa teatterissa. Äänisynteesi on olennainen osa vuorovaikutteisen digitaalisen teatterin ilmaisuvoimaa. Jotta äänentuotto digitaalisessa teatterissa voi olla vuorovaikutteista, tarvitaan parametrinen äänisynteesimenetelmä, jonka kanssa esiintyjät ovat vuorovaikutuksessa ohjausmenetelmän, kuten datahanskan, avulla. Äänisynteesiä voidaan käyttää esimerkiksi taustamusiikin ja erikoistehtosteäänten tuottamiseen, sekä virtuaalisoittimien ja virtuaalihahmojen äänimaailman luomiseen. Äänisynteesimenetelmältä vaaditut ominaisuudet riippuvat sovelluskohteesta digitaalisessa teatterissa. Yleisesti ottaen eri äänisynteesimenetelmien ominaisuuksien vertaileminen osoittaa että sämpläystekniikka, sekä fysikaaliseen mallinnukseen pohjautuvat menetelmät soveltuvat parhaiten digitaalisen teatterin äänisynteesimenetelmiksi. LÄHTEET Arfib, D. 1979. Digital synthesis of complex spectra by means of multiplication of nonlinear distorted sine waves. Journal of the Audio Engineering Society. Vol. 27, No. 10. Pp. 757-768. Avanzini, F. ja Rochesso, D. 2001. Controlling material properties in physical models of Sounding Objects. Proceedings of the International Computer Music Conference 2001. La Habana, Cuba. September 17-22. Pp. 91-94. Bank, B.; Avanzini, F.; Borin, G.; De Poli, G.; Fontana, F.; Rocchesso, D. 2003. Physically informed signal processing method for piano sound synthesis: A research overview. EURASIP Journal on Applied Signal Processing. Vol. 2003. No. 10. Pp. 941-952. 12

Bresin, R. ja Friberg, A. 2000. Emotional coloring of computer controlled music performance. Computer Music Journal. Vol. 24. No. 4. Pp. 44-62. Chowning, J.M. 1973. The synthesis of complex audio spectra by means of frequency modulation. Journal of the Audio Engineering Society. Vol. 21, No. 7. Pp. 1631-1640. Cook, P. R. 2002. Real Sound Synthesis for Interactive Applications. Natick, MA. A K Peters. Fontana, F. ja Bresin, R. 2003. Physics-based sound synthesis and control: crushing, walking, and running by crumpling sounds. Proceedings of the XIV Colloquium on Musical Informatics. Firenze, Italy. May 8-10. Pp. 109-114. Geigel, J. ja Schweppe, M. 2004. Theatrical storytelling in a virtual space. Proceedings of the 1 st ACM workshop on Story representation, mechanism and context. New York, NY. Pp. 39-46. Karjalainen, M.; Mäki-Patola, T.; Kanerva, A.; Huovilainen, A. 2006. Virtual Air Guitar. Journal of the Audio Engineering Society. Vol. 54. No. 10. Pp. 964-980. Karjalainen, M.; Välimäki, V.; Jánosy, Z. 1993. Towards high-quality sound synthesis of the guitar and string instruments. Proceedings of the International Computer Music Conference. Tokyo, Japan. Pp. 56-63. Karplus, K.; Strong, A. 1983. Digital synthesis of plucked-string and drum timbres. Computer Music Journal. Vol. 7, No. 2. Pp. 43-55. Laurson, M.; Erkut, C.; Välimäki, V.; Kuuskankare, M. 2001. Methods for modeling realistic playing in acoustic guitar synthesis. Computer Music Journal. Vol. 25. No. 3. Pp. 38-49. Le Brun, M. 1979. Digital waveshaping synthesis. Journal of the Audio Engineering Society. Vol. 27, No. 4. Pp. 250-266. MIDI. 2006. [Online] www.midi.org. Pinhanez, C.S. 1997. Computer Theater. Proceedings of the 8 th International Symposium on Electronic Arts (ISEA 97). Chicago, IL, 1997. Pinhanez, C.S.; Bobick, A.F. 1998. It/I: a theater play featuring an autonomous computer graphics character. Proceedings of the 6 th ACM International conference on Multimedia: technologies for interactive movies. Bristol, United Kingdom. Pp. 22-29. Reaney, M. 2001. Virtual Characters in Theatre Production: Actors and Avatars. Proceedings of the Virtual Reality International Conference, Laval Virtual 2001. Roads, C. 1995. The Computer Music Tutorial. The MIT Press, Cambridge, MA, USA. Rochesso, D.; Bresin, R.; Fernström, M. 2003. Sounding Objects. IEEE Multimedia. Vol. 10. No. 2. Pp. 42-52. Seligmann, D.D. 2001. Toward a digital stage architecture: a long-term research agenda in digitally enabled theater. IEEE Multimedia. Vol. 8, No. 4. Pp. 6-9. Smith, J.O. 1983. Techniques for Digital Filter Design and System Identification with Application to the Violin. PhD thesis, Stanford University, California, USA. 13

Smith, J.O. 1991. Viewpoints on the history of digital synthesis. Proceedings of the International Computer Music Conference. Montreal, Canada. Pp. 1-10. Smith, J.O. 1992. Physical modeling using digital waveguides. Computer Music Journal. Vol. 16, No. 4. Pp. 74-91. Smith, J.O. 1993. Efficient synthesis of stringed musical instruments. Proceedings of the International Computer Music Conference. Tokyo, Japan. Pp. 64-71. Smith, J.O. 2005. Physical Audio Signal Processing: for Virtual Musical Instruments and Digital Audio Effects, December 2005 edition. Center for Computer Research in Music and Acoustics, Stanford University. Online book at http://ccrma.stanford.edu/~jos/pasp05/. Tolonen, T.; Välimäki, V.; Karjalainen, M. 1998. Evaluation of Modern Sound Synthesis Methods. Report no. 48. Helsinki University of Technology, Department of Electrical and Communications Engineering, Laboratory of Acoustics and Audio Signal Processing. Espoo. Välimäki, V.; Laurson, M.; Erkut, C. 2003. Commuted waveguide synthesis of the clavichord. Computer Music Journal. Vol. 27. No. 1. Pp. 71-82. Välimäki, V.; Penttinen, H.; Knif, J.; Laurson, M.; Erkut, C. 2004. Sound synthesis of the harpsichord using a computationally efficient physical model. EURASIP Journal on Applied Signal Processing. Vol. 4. No. 7. Pp. 934-948. Välimäki, V.; Pakarinen, J.; Erkut, C.; Karjalainen, M. 2006. Discrete-time modelling of musical instruments. Reports on Progress in Physics. Vol. 69, No. 1. Pp. 1-78. 14