Vuorovaikutteisen musiikin käyttö teatteriesityksessä

Transkriptio

1 HELSINKI UNIVERSITY OF TECHNOLOGY Telecommunications Software and Multimedia Laboratory Tik Seminar on content creation Vuorovaikutteisen musiikin käyttö teatteriesityksessä Aleksi Lindblad 54531B

2 Vuorovaikutteisen musiikin käyttö teatteriesityksessä Aleksi Lindblad TKK, Tietoliikenneohjelmistojen ja multimedian laboratorio Abstrakti Tässä tutkimuksessa kartoitetaan vuorovaikutteisen musiikin käyttön mahdollisuuksia teatteriesityksessä. Aluksi esitellään vuorovaikutteinen musiikkijärjestelmä yleisesti ja käydään läpi erilaisia mahdollisuuksia sen syötteiksi sekä musiikin reaktioiksi näihin syötteisiin. Lopuksi esitellään joitakin työkaluja, joilla vuorovaikutteisia musiikkijärjestelmiä voidaan rakentaa sekä esitellään joitakin jo olemassa olevia sovelluksia. 1 JOHDANTO Teatterissa on käytetty musiikkia tehokeinona ja kerrontavälineenä sen historian alkuajoista asti. Parhaimmillaan näyttelijöiden ja muusikin esittäjien välille varmasti syntyy aina jonkinlainen vuorovaikutussuhde, mutta digitaalinen teknologia tuo uusia mahdollisuuksia näyttelijän ja musiikin vuorovaikutukselle. Tämän tutkimuksen tarkoituksena on luoda katsaus siihen mitä vuorovaikutteisen musiikin saralla on tähän mennessä tehty ja erityisesti siihen miten vuorovaikutteista musiikkia on käytetty tai voitaisiin käyttää teatteriesityksessä. Vuorovaikutteisen musiikin määrittely ei ole suoraviivaista, sillä käsite on luonnostaan liukuva. Tavallinen kuuntelutilanne on esimerkki mahdollisimman epävuorovaikutteisesta musiikista, vaikka siinäkin on pieni mahdollisuus vuorovaikutukseen. Kotikuuntelussa kuuntelija voi muun muassa muuttaa äänen voimakkuutta ja kelata musiikkia, kun taas live-esityksessä esiintyjän ja yleisön välillä on yleensä jonkinlainen vuorovaikutussuhde. Mahdollisimman vuorovaikutteinen tilanne taas syntyy kun kuuntelija itse soittaa instrumenttia improvisoiden. Näin hänellä on periaatteessa kaikki kontrolli syntyvään musiikkiin. Tämän tutkimuksen puitteissa vuorovaikutteisen musiikin käsite sijoittuu johonkin näiden kahden ääripään väliin. Musiikin kanssa vuorovaikutuksessa oleva esiintyjä ei luo musiikkia kokonaan itse vaan sillä on useita ennalta määrättyjä piirteitä, joista yksi voisi esimerkiksi olla rakenne. Toisaalta esiintyjällä täytyy myös olla ilmaisullisesti merkittävä mahdollisuus vaikuttaa musiikkiin. Toinen perusoletus on että musiikki tuotetaan ainakin osittain digitaalisesti. Teatteriesitys on myös laaja käsite ja musiikilla voi olla monenlaisia rooleja siinä. Pienimmillään musiikki voi olla vain ajoittaista tai jatkuvaa tunnelmaa luovaa 1

3 Kuva 1. Vuorovaikutteisen audiojärjestelmän rakenne. Project-Bar-B-Q. Kuva 2. Music via Motion järjestelmän rakenne. taustamusiikkia. Toisessa ääripäässä on musiikin live-esitys, joka voidaan myös laskea eräänlaiseksi teatteriesitykseksi. Musiikkiesitys voi myös olla esityksen keskellä viemässä tarinaa eteenpäin tai se voi olla tasapuolisessa roolissa yhdessä esimerkiksi akrobatiaesityksen kanssa. Pitää myös muistaa ooppera sekä musikaalit, joissa musiikki on täysin kietoutunut yhteen muun teatteri-ilmaisun kanssa. Olipa musiikin rooli mikä tahansa, vuorovaikutteisuus voi tuoda siihen oman uuden ulottuvuutensa. 2

4 2 VUOROVAIKUTTEINEN MUSIIKKIJÄRJESTELMÄ Project-Bar-B-Q:n työryhmä on määritellyt vuorovaikutteisen audiojärjestelmän yleisen rakenteen [1] (Kuva 1.). Vuorovaikutteinen data (interactive data) tarkoittaa kaikkea järjestelmässä olevaa musikaalista dataa kuten ääninäytteitä ja midi-nuotteja. Syöte (input stimuli) taas on käyttäjän toimintaan liittyvää musiikkiin vaikuttavaa informaatiota. Vuorovaikutteinen audiokone (interactive audio engine) kokoaa joidenkin ennalta määrättyjen sääntöjen ja syötteen perusteella vuorovaikutteisesta datasta musiikkia. Loput järjestelmästä hoitaa vain äänentoistoa. Music via Motionin [11] tarkoitus on taas luoda malli järjestelmälle, joka muuttaa ympäristössä tapahtuneista muutoksista saatua dataa multimediajärjestelmän tapahtumiksi. Käytännössä tämä etupäässä tarkoittaa musiikin kontrollointia liikkeellä. Järjestelmä (Kuva 2.) koostuu viidestä osasta. Syöteosio (data acquisition) hankkii liiketietoa sensoreilta ja kameroilta. Liikkentunnistin (tracking) tunnistaa syötteestä olennaisen informaation. Kartoitus (mapping) muuttaa saadun liikeinformaation musiikkitapahtumiksi. Ulostulo (output) soittaa musiikkitapahtumat ja käyttöliittymällä (user interface) voidaan kontrolloida jokaisen osan toimintaa. Winkler [2] jakaa tietokoneen ja soittajan välisen interaktion neljään perinteisestä musiikkimaailmasta johdettuun luokkaan, jotka ovat orkesterin kapellimestari, jousikvartetti, jazzorkesteri sekä vapaa improvisaatio. Jokaisessa luokassa tietokoneella ja esiintyjällä on omat roolinsa, joita käsitellään seuraavissa kappaleissa. Näihin luokkiin liittyy myös käsite epädeterministisyys (indeterminacy), jonka määrä kertoo kuinka sattumanvarainen tai ennalta määritelty esitys on. Vapaassa säestyksessä on esimerkiksi suuri määrä epädeterministisyyttä, kun taas kapellimestarin johtaessa orkesteria teos melko lailla ennalta määrätty. Epädeterministisyys saattaa liittyä paitsi mikrotason musiikkiin, kuten soitettuun melodiaan tai soittotyyliin, myös koko teoksen rakenteeseen. Tämä jaottelu on käytännöllinen erityisesti silloin kun musiikkiesitys on pääosassa ja interaktio on jonkinlaista soittamista, mutta muuten se ei välttämättä ole paras lähestymistapa. Kaupallisella puolella vuorovaikutteista musiikkia on käytetty ahkerimmin tietokonepelien taustalla, kun taas tutkimuspuolella on keskitytty enemmän tietokoneeseen elävän musiikin säestäjänä tai soittokumppanina. Jälkimmäisestä on saatavilla enemmän tietoa ja se on lähemmin yhteydessä teatterimaailmaan. Teatteriesityksessä voitaisiin kuitenkin myös käyttää taustamusiikkina vuorovaikutteista musiikkia, joka olisi toiminnaltaan lähempänä tietokonepeleissä käytettävää mallia. Vuorovaikutteisen musiikin kehittämistä varten on perustettu Interactive Audio Special Interest Group (IAsig), joka kehittää ja tutkii interaktiivista musiikkia varten tarvittavaa teknologiaa [13]. 3 SYÖTTEET Project-Bar-B-Q:n työryhmä [1] jakaa järjestelmään lähetettävän syötteen suoraan ja epäsuoraan. Suora syöte on käyttäjän tietoisesti musiikkia kontrolloimaan lähettämää dataa, kun taas epäsuora syöte ei tietoisesti ole tarkoitettu kontrolloimaan musiikkia. Teatteriesityksessä saattaa esiintyä molemman tyyppisiä syötteitä. Jos näyttelijä esityksen aikana esimerkiksi tietoisesti soittaa jotakin virtuaali-instrumenttia, on 3

5 kyseessä suora syöte. Jos näyttelijä taas näyttelee erityisesti taustamusiikista välittämättä, mutta musiikkia kontrolloidaan esimerkiksi hänen liikkeidensä perusteella, on kyseessä epäsuora syöte. Winklerin [2] jaottelussa orkesterin kapellimestarin syöte on pääasiassa tahdin anto tietokoneen ohjaamille soittimille. Tämän lisäksi kapellimestari voi ohjata yleisluontoisia musiikin ilmaisuun liittyviä tekijöitä, kuten aggressiivisuus tai voimakkuus. Tämä malli voisi toimia varsin hyvin teatteriesityksen taustamusiikin ohjauksessa, sillä se antaa mahdollisuuden myös epäsuoraan syötteeseen. Esityksen musiikki voitaisiin esimerkiksi synkronoida johonkin näyttämön tapahtumaan tai jotakin esityksen elementtiä, kuten näyttelijän ääntä, voitaisiin käyttää musiikin ilmaisun kontrollointiin. Muut jaottelun mallit melkeinpä vaativat suoran syötteen, joten ne soveltuvat paremmin tilanteeseen, jossa musiikilla on suurempi rooli esityksessä. Jousikvartetti-mallissa musiikin rakenne on pitkälti määritelty, mutta detaljit ja tempo määräytyvät soittajien yhteisvaikutuksesta. Malli vastaa varsin hyvin myös pop- tai rock-yhtyeen esiintymistä. Jazzorkesteri-mallissa soittajilla on enemmän varaa improvisaatioon, mutta jonkinlainen rakenne ja melko selvät yhteiset pelisäännöt, kuten käytettävä musiikkiskaala, on määritelty. Vapaassa improvisaatiossa on vielä vähemmän tarkkaan määriteltyjä sääntöjä, mutta musiikki pysyy kasassa muusikkojen tuntiessa toistensa tyylit ja esityksen sanomattomat säännöt. Kaikissa malleissa syötteenä on musiikkia, joka voi olla myös symbolisessa muodossa (midi), jolloin sitä on helpompi käsitellä. Kaikki mallit asettavat myös omat rajoitteensa sille millaista soitetun musiikin tulisi olla. 3.1 Ääni ja musiikki Ääni voi olla syötteenä järjestelmässä paitsi musiikkina myös esimerkiksi näyttelijän puheena tai yleisön tai näyttämön ääninä ja se voidaan tallentaa mikrofoneilla. Äänen tallennuksen tavoitteena on saada haluttu ääni mahdollisimman selkeänä ilman ylimääräisiä häiriöääniä. Tämän saavuttamiseksi voidaan käyttää erilaisia mikrofoneja, kuten suuntavia mikrofoneja, langattomia pikkumikrofoneja tai soittimiin kiinnitettäviä erikoismikrofoneja. Tallennettu ääni pitää vielä analysoida ja siitä pitää irrottaa kontroillointiin käytettävät piirteet, kuten esimerkiksi voimakkuus, väri, korkeus tai rytmi. Collins [4] esittää joitakin psykoakustisesti perusteltuja piirteitä ja menetelmiä niiden analysoimiseksi. Musiikkia syötteenä käytettäessä symbolinen data (midi) on huomattavasti monipuolisempaa ja helpommin käsiteltävää. Tällöin soittimien pitää olla suunniteltu siten että ne lähettävät sitä. Useimmiten tällaiset soittimet ovat koskettimistoja ja kosketinsoittimet ovat yleensäkin helpoimmat muuntaa tukemaan tätä. On kuitenkin olemassa muunkinlaisia soittimia, jotka kykenevät lähettämään midi-informaatiota. Symbolista dataa voidaan yrittää myös analysoida audiodatasta, mutta tämä on toistaiseksi melko vaikeaa ja epävarmaa. 4

6 3.2 Kuva ja liike Kuvaa voidaan käyttää järjestelmän syötteenä kun musiikkia halutaan kontrolloida esimerkiksi liikkeellä. Kuva tallennetaan videokameroilla ja kuten äänen kanssa, huomiota tulee kiinnittää siihen että tarkasteltava kohde on tarpeeksi selkeä ja kuvassa on tarpeeksi vähän häiriöitä. Kuvauksen kohteena voi olla esimerkiksi yleinen liike näyttämöllä, jonkin yksittäisen näyttelijän liikkeet tai yleisön liike. Tallentusta kuvasta voidaan irrottaa kontrollointia varten piirteitä, kuten liikkeen määrä tai suunta. Liikettä voidaan tunnistaa paitsi kuvasta myös erilaisten sensorien, kuten kiihtyvyysanturien avulla. Näiden sensorien tulisi yleensä olla langattomia, jotta ne eivät rajoittaisi tai häiritsisi liikaa näyttelijöiden liikettä. 3.3 Muut syötteet Järjestelmän syötteenä voidaan käyttää myös muita näyttelijöiden tai yleisön tilaa kuvaavia sensoreita. Tälläisia ovat esimerkiksi sykemittarit ja ihon sähkönjohtavuutta mittaavat sensorit. Myös aivoaaltoja on käytetty musiikin luomisessa [8]. 4 REAKTIOT Musiikin elementit jaetaan yleensä kolmeen eri ryhmään: äänenkorkeuteen ja -väriin sekä rytmiin. Musiikilla on myös erilaisia rakenteita ajassa, jotka ulottuvat yksittäisistä melodioista ja rytmeistä aina kokonaisiin teoksiin tai teoskokonaisuuksiin. Vuorovaikutteisessa musiikissa voidaan luonnollisesti muunnella syötteen perusteella minkä tahansa elementin rakennetta, mutta ainakin tämän tutkimuksen puitteissa musiikilla oletetaan olevan ainakin jossain määrin ennalta määrätty ja rajoitettu rakenne erotuksena virutaalisiin soittimiin. Kuten syötteissä, soitettava musiikki voi olla joko symbolisessa muodossa tai äänitettynä. Symbolisen muodon etu on että musiikin kontrollointi on huomattavasti helpompaa ja monipuolisempaa. Toisaalta hyvälaatuisen musiikin syntetisointi symbolisesta datasta voi olla ongelmallista. Se kuinka suurelta osin musiikki on ennalta määrätty, voi vaihdella paljonkin. Musiikki voi esimerkiksi olla valmiiksi sävelletty ja jopa esitetty, mutta sen jotakin elementtiä kontrolloidaan syötteen mukaan. Toisaalta musiikista voi olla määrättynä esimerkiksi vain hyvin yleisluontoinen rakenne, jolloin suurin osa siitä syntyy reaktiona syötteeseen. Musiikin kokonaisrakenteenkaan ei tarvitse olla täysin ennalta määrätty vaan se voi koostua useammasta osasta, joiden välillä voidaan vapaasti liikkua. Tähän liittyy myös Winklerin [2] epädeterministisyyden käsite. Mitä vähemmän musiikin rakennetta on ennalta määrätty, sitä monipuolisemmin sen tulee reagoida syötteeseen. Tämä voi aiheuttaa ongelmia kun halutaan luoda toimivaa ja mielekästä musiikkia. 4.1 Rytmi Rytmiä voidaan selkeimmin kontrolloida muuntamalla musiikin tempoa. Musiikki voidaan esimerkiksi suoraan synkronoida, johonkin näyttämön tapahtumaan, kuten näyttelijän kävelyyn tai tempoa voidaan kontrolloida epäsuorasti, vaikka näyttelijän 5

7 paikan mukaan. Jos musiikki on symbolisessa muodossa, tempon muuttaminen on yksinkertaista. Jos taas äänitetyn musiikin tempoa muutetaan, muuttuu äänen korkeus samalla, mikä ei yleensä ole toivottua. Tämä voidaan kyllä kiertää signaalinkäsittelyllä, mutta tietyn rajan jälkeen käsittely alkaa vaikuttaa äänenlaatuun huomattavasti. Kolmas vaihtoehto on käyttää äänen paratmetrisoitua pakkausta, joka mahdollistaa tempon ja äänen korkeuden toisistaan riippumattoman manipuloinnin, mutta tämäkin menetelmä huonontaa äänenlaatua. Rytmiä voidaan myös muokata hienovaraisemmin muuttamalla esimerkiksi sen voimakkuutta, runsautta tai painopistettä. Rytmin voimakkuus määräytyy yksinkertaisimmillaan rytmillisten elementtien äänenvoimakkuuden suhteesta muihin elementteihin. Suurimmillaan voimakkuus on kun musiikissa on vain rytmillisiä elementtejä ja pienimmillään silloin kun niitä ei ole ollenkaan. Runsaudella taas tarkoitetaan sitä, kuinka paljon erilaisia rytmejä ja rytmillisiä elementtejä musiikissa soi yhtä aikaa. Painopiste kuvaa sitä, missä kohtaa rytmiä sen painokkain isku tulee. Näitäkin piirteitä on luonnollisesti helpointa kontrolloida symbolisessa muodossa, mutta äänittettyäkin musiikkia voidaan käyttää, jos musiikki on useammalla raidalla. 4.2 Äänenkorkeus Äänenkorkeus liittyy musiikissa melodiaan ja harmoniaan ja on useimmissa länsimaisissa musiikkityyleissä musiikin tärkein piirre. Yksinkertaisimmillaan voidaan muuttaa koko kappaleen sävellajia kerralla. Tällöin kohdataan samat ongelmat kuin musiikin tempoa muutettaessa. Hieman mielekkäämpää on kuitenkin muuttaa vain melodisten elementtien äänenkorkeutta, jolloin niiden täytyy lisäksi olla jotenkin erotettuna rytmillisistä elementeistä. Melodiaa ja harmoniaa on kuitenkin yleensä järkevämpää manipuloida hienovaraisemmin, mihin käytännössä aina tarvitaan symbolista dataa. Jos äänenkorkeutta halutaan muuttaa, on musiikillisesti mielekkäämpää tehdä se vaihtamalla sävelasteikkoa. Sävelasteikkoa voidaan myös vaihtaa duurin ja mollin välillä, millä on suuri vaikutus musiikin luonteeseen. Vaikka symbolisessa muodossa olevan musiikin muuttaminen siten, että se on toisessa sävelasteikossa, on yksinkertaista, itse vaihdoksen tekeminen musiikissa niin, että se kuulostaa luonnolliselta, ei ole. Vaikeimmassa tapauksessa halutaan että tietokone tuottaa itse melodioita tai harmonioita. Tätä tarvitaan esimerkiksi silloin kun halutaan että tietokone on ihmisen säestäjä tai soittokumppani. Musiikkiteoriaa apuna käyttäen voidaan kuitenkin rakentaa algoritmeja, joka luovat musiikkia reagoiden esimerkiksi ihmissoittajan musiikkiin. Algoritmeissa voidaan lisäksi käyttää satunnaismuuttujia, jolloin tietokoneen tuottamat melodiat ovat entistä arvaamattomampia. 4.3 Äänenväri Äänenväri on ehkä helpoin kontrolloitava piirre ja sillä voidaan saada aikaan erilaisia efektejä tai huomattavia muutoksia musiikin tunnelmaan. Äänenvärin muokkaus voidaan yksinkertaisimmillaan toteuttaa erilaisilla suotimilla. Alipäästösuodin 6

8 Kuva 3. Ruutukaappaus MAX/MSP:llä tehdystä ohjelmasta. Yksittäiset laatikot voivat olla hyvin yksinkertaisia signaalinkäsittelyoperaatioita tai jopa kokonaisia aliohjelmia. Niiden välillä kulkee signaaleja, jotka voivat olla esimerksi ääntä tai kontrollidataa. esimerkiksi saa äänen kuulostamaan tunkkaiselta, kun taas ylipäästösuodin tekee siitä ohuemman. Käsittelyyn voidaan käyttää myös erikoisempia suotimia, kuten kampasuodin, joka päästää äänestä läpi vain tietyn taajuuden sekä sen harmoniset yliäänet. Suodatusta varten äänen ei tarvitse olla symbolisessa muodossa, mutta jos käsittely halutaan tehdä vain jollekin tietylle soittimelle, pitää se olla erotettuna muusta musiikista. 5 TYÖKALUT Nimenomaan vuorovaikutteisen musiikin toteutusta varten luotuja ohjelmointiympäristöjä on muutama ja ne ovat kaikki samantyylisiä: visuaalisia ja oliopohjaisia. Kehitystyö alkoi 80-luvun puolivälissä, kun tietokoneiden teho oli kehittynyt tarpeeksi, jotta tällaisia sovelluksia kyettiin tekemään. Tietenkin vuorovaikutteisen musiikin sovelluksia voidaan tehdä myös muilla ohjelmointikielillä, mutta se on todennäköisesti työläämpää ja vaikeampaa. MAX/MSP [2] (Kuva 3.) näyttäisi olevan tällä hetkellä käytetyin vuorovaikutteisen musiikin ohjelmointiympäristö, sillä useampi vastaan tullut projekti on tehty sillä. Se perustuu Miller Phucketin 80-luvulla IRCAMissa kehittämään MAX-kieleen. Valitettavasti MAX/MSP on kuitenkin kaupallinen ja varsin kallis. Pure Data [9] on ilmainen open source-pohjainen versio MAXista. Yhteisen historiansa vuoksi se on hyvin samanlainen ja yhteensopiva MAX/MSP:n kanssa. Se on myös helposti laajennettavissa ja sillä on takanaan aktiviinen yhteisö. SuperCollider on toinen ilmainen MAXiin pohjautuva ohjelmointiympäristö, mutta se on saatavilla vain Macintoshille. EyesWeb [6] samantapainen visuaalinen ohjelmointiympäristö, joka on myös kehitetty nimenomaan vuorovaikutteista musiikkia varten. Sen kehitystyössä on otettu erityisesti huomioon tunteiden välittäminen liikkeestä musiikkiin. Sekin on saatavissa ilmaiseksi. 7

9 Kuva 4. Liikkeen tunnistus tanssista. Ylhäällä näkyy videokuvasta laskettu kuvien välinen muutos. Seuraava kuvaaja näyttää muutoksen määrän ajan funktiona. Alin kuvaaja on muutoksen määrästä laskettu taajuusspektri. 6 VUOROVAIKUTTEINEN MUSIIKKI TEATTERIESITYKSESSÄ Siitä asti kun tietokoneiden teho oli kasvanut tarpeeksi suureksi, on vuorovaikutteista musiikkia käytetty erilaisissa esityksissä ja performansseissa. Sitä mukaa kun laskentateho on kasvanut, ovat myös mahdollisuudet lisääntyneet. Kaksi yleisintä tapaa käyttää vuorovaikutteista musiikkia osana esitystä ovat tietokoneen käyttö musiikin säestäjänä tai soittokumppanina sekä musiikki joka reagoi tanssijan liikkeisiin. Seuraavaksi esitän esimerkkejä molemmista sovelluksista sekä muutamia muita vuorovaikutteisen musiikin sovelluksia. 6.1 Tietokone säestäjänä ja soittokumppanina Belindan BoB (band-out-of-box) [5] on yritys tehdä käyttäjän kanssa yhdessä improvisoiva ohjelma. Ohjelma toimii neljän tahdin pätkissä, joiden aikana käyttäjä ja tietokone improvisoivat vuorotellen. Tarkoituksena on myös että ohjelma sovittaa improvisointinsa käyttäjän soittotyyliin. Vaikka ohjelma on pääasiassa tarkoitettu yksityiseen käyttöön, voisi sillä tai vastaavalla ohjelmalla olla käyttöä myös esiintymistilanteessa. 8

10 BoBin ohjelmoinnissa on otettu mallia vuorovaikutteisessa tarinankerronnassa käytetyistä uskottavista agenteista (believable agents, BA). Se toimii kahdella tasolla: käyttäjän soittoa analysoimalla se yrittää hitaasti oppia soittajan tyylin ja soiton aikana se taas yrittää nopeasti tuottaa improvisoitua musiikkia. Oppiminen on toteutettu käyttämällä ohjaamattomasti oppivaa (unsupervised learning) neuroverkkoa. Soittoa analysoidaan laskemalla käytettyä skaalaa ja intervalleja sekä samanmerkkisten peräkkäisten intervallien määrää. Improvisoitu melodia tuotetaan analysoimalla sekä viimeksi soitettua improvisaatiota että käyttämällä neuroverkon oppimaa mallia. Näiden lisäksi melodian luomisessa käytetään satunnaismuuttujia ja taustalla vaikuttavat ennalta määrätty tempo ja musiikin rakenne. Valitettavasti BoBia ei ollut saatu ainakaan tutkimuksen [5] kirjoitushetkellä valmiiksi. Toinen samantyyppinen improvisoiva tietokonemuusikko on Spicerin SPAA [10], jonka tarkoituksena on tuottaa huiluimprovisaatiota. SPAAn rakenne on agenttipohjainen, mutta midin sijasta se vastaanottaa ja tuottaa audiodataa. Myös SPAA näyttäisi toistaiseksi olevan keskeneräinen. 6.2 Tanssiin reagoiva musiikki Tanssi on yksi näyttämötaiteen muoto, joten sen tiiviimpi liittäminen musiikkiin on erityisen mielenkiintoista. Guedes [3] on rakentanut ohjelman, jolla musiikki voidaan tahdistaa tanssin rytmiin. Ohjelma mittaa muutosta tanssijasta otetusta videokuvasta ja laskee muutoksen rytmin perustaajuuden (Kuva 4). Tätä taajuutta voidaan taas käyttää musiikin tempona. Ohjelma laskee myös liikkeestä sen harmoniset taajuudet ja niiden amplitudit. Näitä taajuuksia voidaan perustaajuuden lisäksi käyttää luomaan monimutkaisempia rytmejä. 9

11 Kuva 5. Aivoaaltojen käyttö pianon soittamiseen Ohjelmaa on käytetty ainakin kahdessa tanssiesityksessä musiikin kontrollointiin. Etudes for Unstable Time koostuu kahdesta osasta, joista ensimmäisessä yksi ensiintyjä kontrolloi musiikkia improvisoidulla tanssilla. Toisessa osassa on kaksi esiintyjää, jotka kilpailevat musiikin kontrolloinnista. Olivia nimisessä lasten tanssiesityksessä ohjelmaa käytettiin kahdessa kohtauksessa. Toisessa Olivia kuvittelee olevansa balettitunnilla ja taustalla soiva pianomusiikki synkronoituu hänen tanssiinsa. Toisessa kohtauksessa Olivia näkee painajaista ja pyörii sängyssä kunnes alkaa tanssia, jolloin rytmin kontrolli siirtyy tanssiin. Music via Motion-projektin [11] puitteissa on tehty Coat of Invisble Notes-järjestelmä. Sen avulla musiikkia voidaan kontrolloida paitsi tanssijoiden liikkeiden myös heidän vaatteidensa värin perusteella. Jokaiselle värille on järjestelmässä määrätty oma äänenvärinsä ja tanssija voi vaihtaa soitintaan vaihtamalla asuaan. Järjestelmää on käytetty erityisesti esityksissä, joissa on samanlaisiin vaatteisiin pukeutuneiden tanssijoiden ryhmiä. 6.3 Muita esimerkkejä Klassisen musiikin maailmasta tuttua menetelmää johtaa orkesteria tahtipuikolla on kokeiltu useammassakin vuorovaikutteisen musiikin sovelluksessa. Yksi näistä on TKK:lla tehty virtuaaliorkesteri, jossa tahtipuikolla kontrolloitiin yksinkertaisesti musiikin tempoa [12]. Orkesteri koostui neljästä soittajasta ja valmiiksi sävelletystä midi-muotoisesta musiikista. Brain Opera-projektin yhteydessä rakennettu laulava puu (The Singing Tree) [7] luo musiikkia ja kuvaa käyttäjän laulun perusteella. Esimerkiksi yhden nuotin laulaminen tasaisesti tuottaa rauhallista musiikkia. Miranda et al. [8] taas ovat luoneet järjestelmän, 10

12 joka luo musiikkia analysoimalla käyttäjästä mitattuja aivoaaltoja (Kuva) Vaikka kaikki tässä kappaleessa mainitut sovellukset ovat alun perin tarkoitettu vain yhden käyttäjän kokemiksi, voitaisiin niitä myös käyttää joko sellaisenaan tai jotenkin muokattuina osana teatteriesitystä. 7 YHTEENVETO Vuorovaikutteinen musiikki tarjoaa paljon mahdollisuuksia ja joitakin toimivia toteutuksiakin teatterimaailmaan. Sen toteuttamiseen liittyy monia tekniikan ja taiteen aloja, kuten hahmontunnistus ja ohjelmointi sekä tanssi- ja musiikkitaide, joten joko tekijöiltä on löydyttävä osaamista näiltä hyvinkin erilaisilta aloilta tai sitten näiden alojen osaajien on kyettävä yhteistyöhön. Myös käytännön vaatimus reaaliaikaisuudesta asetaa tekniikalle kovia vaatimuksia, mikä rajoittaa ja vaikeuttaa sovellusten toteuttamista. Prosessorien tehot kuitenkin jatkavat kasvuaan ja tekniikoita, kuten hahmontunnistusta, tutkitaan ja parrannetaan jatkuvasti. Lisäksi vuorovaikutteista musiikkia kohtaan tuntuu olevan jatkuvaa kiinnostusta, mikä saattaa vielä kasvaa toimivien sovellusten myötä. Näillä perusteilla voisi uskoa että vuorovaikutteisen musiikin rooli tulee tulevaisuudessa kasvamaan teatteri-ilmaisussa. Lähteet: [1] Battino, David et al What is is Interactive Audio? And What Should it Be?, Project-Bar-B-Q, 2003, Group Report, URL: [2] Winkler, Todd Composing interactive music: Techniques and Ideas Using Max. Cambridge: MIT Press [3] Guedes, Carlos Extracting Musically-Relevant Rhythmic Information From Dance Movement By Applying Pitch Tracking Techniques To A Video Signal, Proceedings of the International Computer Music Conference 2005, Barcelona (Spain). [4] Collins, Nick An Automated Event Analysis System with Compositional Applications, Proceedings of the International Computer Music Conference 2005, Barcelona (Spain). [5] Thom, Belinda BoB: An interactive improvisational music companion, Proceedings of the Interantional Conference on Autonomous Agents, 2000, p [6] Camurri, Antonio 1999 EyesWeb - Toward Gesture and Affect Recognition in Dance/Music Interactive Systems, International Conference on Multimedia Computing and Systems -Proceedings, v 1, 1999, p

13 [7] Oliver, William, et.al The Singing Tree Design of An Interactive Musical Interface, Proceedings of the Conference on Designing Interactive Systems: Processes, Practices, Methods, and Techniques, DIS, 1997, p [8] Miranda, Eduardo et al Plymouth Brain-Computer Music Interface Project: Intelligent Assistive Technology For Music-Making, Proceedings of the International Computer Music Conference 2005, Barcelona (Spain). [9] Puredata verkkosivusto, URL:< [10] Spicer, Michel Spaa- An Agent Based Interactive Composition, Proceedings of the International Computer Music Conference 2005, Barcelona (Spain). [11] Kia, C Music via Motion, Proceedings of the IEEE, 2004, Vol 92, Issue 4, p [12] DIVA:n verkkosivusto, URL:< [13] Iasig verkkosivusto, URL:<