Pelimusiikin generoiminen algoritmisesti

I Pelimusiikin generoiminen algoritmisesti Pelimusiikkia generoivan algoritmin kehittäminen ja sen toiminnan arviointi Henri Kumpulainen ja Ossi Hirvola Valkeakosken Tietotien lukio / Päivölän Kansanopisto Tieteenala: Musiikki / Tietotekniikka

II Tiivistelmä Tutkielmassa esitellään synteettistä pelimusiikkia luova algoritmi ja sen pohjalta toteutettu tietokonesovellus. Synteettisellä pelimusiikilla viitataan siihen musiikin genreen, joka muodostui varhaisten tietokone- ja konsolipelien elektronisesta musiikista. Pelimusiikin tehtävä on luoda peliin tunnelmaa. Algoritmilla generoitavat kappaleet jaetaan sointuihin, rytmiin, melodiaan ja säestykseen, joita luotaessa otetaan huomioon länsimaisen tonaalisen musiikin säännöt. Generoitavan musiikin tunnelmaan voidaan vaikuttaa antamalla algoritmille syötteenä halutunlaista tunnelmaa kuvaavia sanoja. Algoritmin pohjalta ohjelmoitiin tietokonesovellus, joka generoi musiikkia algoritmia noudattaen. Arvioimme algoritmia noudattavan sovelluksen tuottamaa musiikkia. Mielestämme parhaat generoidut kappaleet sopisivat hyvin peleihin, kun taas huonoimmat kappaleet kuulostivat epäselviltä. Lisäksi toteutettiin kyselytutkimus, jossa 27 koehenkilöä kuunteli 8 algoritmilla generoitua kappaletta ja 5 peleistä otettua sävellettyä kappaletta. Generoituja kappaleita ei valikoitu. Koehenkilöt arvioivat, kuinka hyviä kappaleet heistä olivat ja miten ne sopivat pelimusiikiksi. Vastauksia mitattiin VAS-mittarin avulla asteikolla 0-10. Koehenkilöt yrittivät myös erottaa toisistaan generoidut ja sävelletyt kappaleet. Kyselyssä generoidut kappaleet saivat keskimäärin arvosanan 5,377 sävellettyjen kappaleiden keskimääräisen arvosanan ollessa 6,267. Generoitujen kappaleiden soveltuvuus pelimusiikiksi oli 5,974 ja sävellettyjen kappaleiden 7,209. Koehenkilöt erottivat generoidut ja sävelletyt kappaleet toisistaan keskimäärin 86,9 % todennäköisyydellä. Kolmasosa koehenkilöistä arvioi onnistuneimman generoidun kappaleen olevan sävelletty. Algoritmin mahdollisia kehityskohteita ovat esimerkiksi melodia ja soinnut. Myöhemmin algoritmia voitaisiin käyttää säveltäjän työn nopeuttamiseen tai pelimusiikin luomiseen reaaliajassa pelaajan toiminnan mukaisesti.

III Sisällysluettelo 1. Johdanto... 1 2. Määritelmiä... 2 3. Algoritmin lähtökohdat ja toiminta... 3 3.1 Generoidun musiikin rakenne... 3 3.2 Teeman ja variaatioiden rakenne... 4 3.3 Soinnut... 5 3.4 Rytmi... 7 3.5 Melodia... 7 3.6 Säestys... 9 3.7 Kappaleen aloitus ja lopetus... 10 3.8 Algoritmin syötteet... 10 4. Algoritmin toteutus tietokonesovelluksena... 12 4.1 Sovelluksen käyttöliittymä... 12 4.2 MIDI-tiedostot... 13 5. Algoritmin toiminnan arviointi... 13 5.1 Generoidun musiikin analysointia... 13 5.2 Kysely... 14 5.3 Kyselyn toteutus... 14 5.4 Kyselyn vastausten analysointi... 16 6. Johtopäätökset... 18 7. Lähdeluettelo... 19 Liitteet... i Liite 1: Algoritmin käyttämiä lähtötietoja... i Liite 2: Kyselyyn kappaleet ja generoitujen kappaleiden syötteet... ii Liite 3: Kyselyssä taustatietojen keräämiseen käytetty lomake... iii Liite 4: Esimerkki algoritmin tuottamasta musiikista... iv

1 1. Johdanto Musiikkia on tuotettu generatiivisesti jo satojen vuosien ajan. 1700-luvulla Saksassa kehitettiin Musikalisches Würfelspiel (suom. musikaalinen noppapeli), jossa musiikkia tuotettiin tiettyjä sääntöjä noudattaen noppaa heittämällä. (Cope, 2001, ss. 4-5) Nykypäivänä tietokoneet tarjoavat ihanteelliset edellytykset musiikin käsittelemiseen, sillä musiikkia voidaan mallintaa erittäin loogisesti ja matemaattisesti (Kauppinen, 2003, s. 1). Tietokoneella tehtävä musiikki on yleensä joko kokonaan tietokoneen tekemää, tai sen avustamaa esimerkiksi luomalla lyhyitä katkelmia, joista säveltäjä kykenee rakentamaan kappaleen. (Yu, 1996, s. 1), (Miranda, 2001, s. 10) Suurin osa musiikista tuotetaan kuitenkin yhä edelleen säveltämällä. Tietokoneiden on vaikea sisällyttää luomaansa generatiiviseen musiikkiin tunnelmia sen itse ollessa tunteeton, mutta se on mahdollista mikäli tunnelma esitetään tietokoneelle loogisessa muodossa. (Kauppinen, 2003, ss. 1, 4) Generoidun musiikin etuna on, että tietokoneiden suuren laskentatehon ansiosta musiikin tekeminen on nopeaa ja säveltäjältä säästyy paljon aikaa. Pelimusiikki on elektronisissa peleissä, kuten konsoli- ja tietokonepeleissä esiintyvää musiikkia. Ennen videopelien kehittymistä nykyiselle tasolle teknologia asetti pelien musiikille rajoituksia, joiden vuoksi se tehtiin synteettisesti. Sen vuoksi pelimusiikista muodostui oma genrensä. Myöhemmin peleissä on alettu käyttää myös ennalta nauhoitettua musiikkia, minkä vuoksi pelimusiikin ja muiden genrejen välinen raja on alkanut hävitä. (Furlong, 2006, ss. 9-13) Peliteollisuus on kasvanut ja kehittynyt 2000-luvun aikana. Samalla pelien laatuvaatimukset ovat tiukentuneet jatkuvasti. (Elsilä, 2010) Pelituottajien on sijoitettava yhä enemmän resursseja pelien valmistukseen (Shagin, 2005). Pelimusiikin generoiminen tietokoneella voisi tehdä pelien tuottamisesta kannattavampaa, sillä valmista algoritmia käyttävän peliyhtiön säveltäjien ei tarvitsisi käyttää säveltämiseen niin paljon aikaa. Lisäksi se olisi oiva ratkaisu ohjelmistoprojekteissa usein ilmeneviin aikatauluongelmiin (Pakkanen, 2003), sillä tietokone pystyy laskentatehonsa puolesta luomaan tarvittavan määrän musiikkia hetkessä. Tutkielmassa toteutetaan synteettistä pelimusiikkia luova algoritmi, ohjelmoidaan sitä noudattava tietokonesovellus ja arvioidaan algoritmin toimivuutta kyselytutkimuksen avulla. Algoritmista pyritään tekemään niin helppokäyttöinen, että sen käyttäjältä ei vaadittaisi musiikillista koulutusta. Lisäksi tarkoituksena on, että generoitu musiikki olisi pelaajan kannalta miellyttävää kuunnella ja sopisi mahdollisimman hyvin erilaisiin peleihin ja pelitilanteisiin. Sen vuoksi algoritmi luo musiikkia länsimaissa suosittujen tonaalisten sääntöjen perusteella.

2 2. Määritelmiä Tässä luvussa on selitetty tutkielmassa käytettyjä käsitteitä. Arpeggio eli murtosointu tarkoittaa, että soinnun sävelet soitetaan yksi kerrallaan. (Randel, 1999, s. 95) Dissonanssi eli riitasointu tarkoittaa epävakaalta yhdessä kuulostavia säveliä. (Aldwell, Schachter & Cadwallader, 2010, s. 26) Intervalli on kahden sävelkorkeuden välinen ero. Intervallit on nimetty sen mukaan, kuinka monta sävelaskelta sävelien välinen ero on. (Apel, 1969, s. 418) Melodinen variaatio on variaatio, jossa alkuperäisen harmonian eli sointurakenteen pohjalta kehitetään uusi melodia. (Apel, 1960, s. 784), (Apel, 1969, s. 371) Rytminen variaatio on variaatio, jossa rytmi on erilainen kuin teemassa. (Apel, 1960, s. 782) Sointu on ääni, joka muodostuu kolmesta tai useammasta samanaikaisesti soivasta erikorkuisesta sävelestä. (Apel, 1969, s. 162) Tässä tutkielmassa käsitellään erityisesti kolmesta sävelestä koostuvia kolmisointuja. Kolmisoinnut voidaan luokitella muun muassa molli- ja duurikolmisointuihin. Teema on melodia, joka on yleensä melko yksinkertainen ja jonka pituus on useimmiten 16-32 tahtia. (Apel, 1960, s. 782) Tässä tutkielmassa teemaan lasketaan kuuluvaksi melodian lisäksi myös rytmit ja soinnut, lisäksi teemojen pituus voi vaihdella vapaammin. Tonaalinen musiikki on musiikkia, jossa eri sävelkorkeuksilla on määritelty hierarkinen suhde keskussäveleen nähden. (Apel, 1969, s. 855) Länsimaissa tonaalisuudella tarkoitetaan yleensä joko mollissa tai duurissa kulkevaa sävellystä. Trioli on rytmi, jossa isku jaetaan kolmeen samanpituiseen nuottiin. (Humphries, 2002, s. 266) Variaatio on musiikillinen muoto, joka perustuu johonkin teemaan ja esittää siitä muunnellun version. Variaatiolla ja teemalla on aina yhteisiä piirteitä (Apel, 1960, s. 782) Tässä tutkielmassa käytetyt variaatiot ovat samanpituisia kuin teemat.

3 3. Algoritmin lähtökohdat ja toiminta Musiikki vaikuttaa erilaisiin ihmisiin eri tavalla, sillä musiikin herättämät erilaiset mielikuvat riippuvat kuulijasta. Ei ole olemassa yksikäsitteistä tapaa mitata musiikin hyvyyttä, vaan sen arvioiminen on subjektiivista (Wieczorkowska, 2005, s. 228). Niinpä ei ole olemassa myöskään yksikäsitteistä algoritmia parhaan musiikin generoimiselle. Tässä tutkielmassa toteutettava algoritmi on yksi esimerkki monista mahdollisista vaihtoehdoista. Musiikin säveltämiseen käytettävät tekniikat voidaan jaotella karkeasti kahteen tapaan: inspiroituneeseen säveltämiseen ja työsäveltämiseen. (Jacob, 1996) Inspiroituneessa säveltämistyylissä hetken mielijohteesta saadaan jonkinlainen idea ja tunnelma, joiden avulla sävelletään kappale loppuun tietynlaisen teeman mukaan. Työsäveltämisessä taas kokeillaan erilaisia vaihtoehtoja, joista sitten valitaan toistensa perään sopivia vaihtoehtoja teoreettisten periaatteiden tukemana ja rakennetaan niistä kokonainen kappale. Edellä mainituista malleista tietokoneelle sopii huomattavasti paremmin työsäveltäminen. (Kauppinen, 2003) Tämän takia algoritmi päädyttiin rakentamaan työsäveltämisen näkökulmasta. Pelimusiikissa kappaleiden halutaan olevan tunnistettavissa, toisin sanoen niiden olisi syytä kuulostaa erilaisilta ja saman kappaleen eri kohtien tulisi olla tyyliltään yhtenäisiä. Sen vuoksi generoidulla kappaleella on oltava yhtenäinen rakenne. Nuotteja ei siis voida vain arpoa satunnaisesti peräkkäin, vaan musiikkia on generoitaessa käsiteltävä suurempina kokonaisuuksina. 3.1 Generoidun musiikin rakenne Generoitavan musiikin yhtenäisen rakenteen varmistamiseksi kappale päätettiin jakaa teemaan ja sen variaatioihin. Teema on useista tahdeista koostuva kokonaisuus, joka luodaan muusta kappaleesta riippumatta. Variaatiot ovat teeman pohjalta luotuja muunnelmia, jotka ovat yhtä pitkiä kuin teema. Kappaletta luodessa tehdään ensin itsenäinen teema, minkä jälkeen sen pohjalta luodaan haluttu määrä variaatioita. Tapahtumaketjua on havainnollistettu kaaviossa 1. Kaavio 1: Kappaleen luominen Peliä tehtäessä ei voida tietää, kuinka kauan pelaaja käyttää aikaa kyseisessä pelitilanteessa. (Collins, 2008, s. 142) Monesti peleissä toistetaankin samaa musiikkia useita kertoja

4 peräkkäin, sillä musiikin halutaan yleensä olevan samassa paikassa ja saman tapahtuman aikana sama. (Collins, 2008, ss. 12, 19) Tämän vuoksi generoitavan musiikin halutaan olevan rakenteeltaan sellaista, että se voidaan toistaa yhä uudelleen. Kaaviossa 2 on kappaleen rakennetta kuvaava esimerkkitilanne, jossa teemasta ja viidestä variaatiosta koostuvaa kappaletta toistetaan yhä uudelleen. Kaavio 2: Esimerkki uudelleen toistettavan kappaleen rakenteesta 3.2 Teeman ja variaatioiden rakenne Teemalla ja kaikilla variaatioilla on soinnut, rytmi, melodia ja säestys. Teeman luominen aloitetaan luomalla jokaiseen tahtiin sointu. Tämän jälkeen luodaan rytmi, jonka pohjalta luodaan melodia. Lopuksi luodaan säestys, joka jakaantuu bassoon, rumpuihin ja arpeggioihin. Kaikki näistä eivät kuitenkaan aina ole käytössä, vaan niistä voidaan valita osa tai jättää kaikki pois. Teeman luomista on kuvattu kaaviossa 3. Variaatiot luodaan muuten samalla tavalla kuin teema, mutta sointujen ja rytmien luomisessa pohjana käytetään teemaa. Sen sijaan, että ne luotaisiin täysin satunnaisesti, jokaisen soinnun ja rytmin kohdalla arvotaan, kopioidaanko se teemasta vai luodaanko se uudelleen. Päädyttiin siis käyttämään melodisia variaatioita, jossa myös rytmi ja sointurakenne muuttuvat hieman. Algoritmissa päätettiin käyttää yksittäisen soinnun uudelleenarpomisen todennäköisyytenä arvoa 30 %, eli keskimäärin kolme sointua kymmenestä on erilaisia kuin teemassa. Yksittäisen iskun rytmi valitaan uudelleen 10 % todennäköisyydellä.

5 3.3 Soinnut Kaavio 3: Teeman luominen Teemojen ja variaatioiden pohjana on peräkkäin aseteltuja sointuja eli sointurakenne. Mitkä tahansa soinnut eivät kuitenkaan sovi peräkkäin, vaan algoritmin on otettava huomioon musiikkikappaleen asteikko ja sävellaji. Länsimaisessa musiikissa tyypillisimpiä sointuja ovat ensimmäisen, neljännen ja viidennen asteen soinnut (Joutsenvirta & Perkiömäki, 2008, s. 17). Näitä sointuja päätettiin painottaa muita enemmän. Vastaavasti algoritmi suodattaa kokonaan pois soinnut, joissa on vain vähän tai ei ollenkaan kappaleen sävellajiin kuuluvia säveliä. Algoritmi luo joka tahdille oman soinnun satunnaislukujen perusteella käyttäen painotettuja todennäköisyyksiä. Soinnuille valitut todennäköisyyksien painokertoimet ja niistä johdetut valitsemisen todennäköisyydet on esitetty taulukossa 1. Soinnut painokertoimella 1 saadaan vain tietyllä satunnaisluvun arvolla kun taas painokertoimella 2 olevat soinnut voidaan saada

6 kahdella eri satunnaisluvun arvolla. Mahdollisten satunnaislukujen määrä on painokertoimien summa. Sointujen luomisprosessia on havainnollistettu tarkemmin kaaviossa 4. Kaavio 4: Sointujen luomisprosessi. Sointujen painokertoimet Painokerroin Todennäköisyys Toonika (1. aste) 2 22,22% Supertoonika (2. aste) 1 11,11% Mediantti (3. aste) 1 11,11% Subdominantti (4. aste) 2 22,22% Dominantti (5. aste) 2 22,22% Submediantti (6. aste) 1 11,11% 7. aste 0 0,00% Taulukko 1: Sointujen painokertoimet ja todennäköisyydet

7 3.4 Rytmi Useimmat länsimaisen tonaalisen musiikin sävellykset voi jakaa tahteihin niin, että jokaisen tahdin pituus on yhtä monta tietyn kestoista nuottia. Tällä tavoin laskettua tahdin pituutta kutsutaan tahtilajiksi. (Randel, 1999, s. 415) Jotta musiikista tulisi kiinnostavampaa, tahdit halutaan täyttää eripituisilla nuoteilla. Yhdessä eripituiset nuotit muodostavat rytmejä. Tietokone ei ymmärrä miltä sen luoma rytmi kuulostaa, joten algoritmin on osattava jättää valitsematta järjettömältä tai huonolta kuulostavat rytmit. Yksinkertainen tapa varmistaa rytmin järkevyys on jakaa rytmi niin pieniin osiin, että siihen syntyy kaikissa tapauksissa tasainen pulssi. Siksi tässä tutkielmassa tutkitaankin rytmejä neljäsosanuotin mittaisina osina. Algoritmin tuottamassa musiikissa pisimmät mahdolliset nuotit ovat neljäsosanuotteja ja edellisellä iskulla alkanut nuotti ei jatku seuraavan iskun aikana. Neljäsosanuotteja pidempiä nuotteja ei tarvita, sillä pitkiä nuotteja haluttaessa voidaan hidastaa musiikin tempoa. Teoriassa erilaisia neljäsosanuotinpituisia rytmejä olisi ääretön määrä, joten algoritmille on asetettava lisää rajoituksia. Kuudestoistaosanuottia lyhyemmät nuotit, kuten kolmaskymmeneskahdesosanuotit ovat jo melko harvinaisia. Päätettiin, että mahdollisia nuotteja ovat neljäsosa-, kahdeksasosa- ja kuudestoistaosanuotit sekä neljäsosanuotin mittaiset triolit. Rytmin selkeyden varmistamiseksi trioleita ja muita nuotteja ei voi esiintyä saman iskun aikana. Rytmit voivat sisältää nuottien lisäksi myös taukoja. Lyhyttä nuottia ja sitä seuraavaa taukoa päätettiin kuitenkin käsitellä samana kuin nuottia, jonka pituus on lyhyen nuotin ja tauon pituuksien summa. Asiaa on havainnollistettu kuvassa 1. Kuva 1: Esimerkki nuotin ja tauon korvaamisesta pidemmällä nuotilla Yhdistelemällä näitä ehtoja noudattavia nuotteja ja taukoja saadaan 22 mahdollista vaihtoehtoa, joista neljä on rajoitettu pois sen takia, että ne koettiin ihmiskorvalle vaikeasti hahmotettaviksi. Liitteessä 1.1 on lueteltu mainitut 22 vaihtoehtoa ja niiden todennäköisyyksien painokertoimet. Hylätyt vaihtoehdot on merkitty painokertoimella 0. 3.5 Melodia Musiikin kiinnostavuuteen vaikuttaa rytmin lisäksi melodia. Melodian pohjana on erilaisia sävelasteikkoja, esimerkiksi molleja ja duureja. Duureja pidetään usein iloisina ja molleja surullisina (Aldwell, Schachter & Cadwallader, 2010, ss. 19-20). Melodia voi tilapäisesti poiketa käytetystä asteikosta, mutta tilapäisten ylennysten ja alennusten on noudatettava soinnun määräämää tonaalisuutta (McGrain, 1986, s. 43). Melodian sävelet luodaan kulloisenkin tahdin soinnun pohjalta, jolloin kappaleeseen syntyy tilapäisiä ylennyksiä ja alennuksia, jotka eivät ole ristiriidassa sointujen kanssa. Algoritmi voi tuottaa musiikkia kaikissa 12 duuri- ja 12 mollisävellajissa. Lisäksi päätettiin toteuttaa muita asteikkoja, kuten pentatoninen asteikko, sekä kuvassa 2 esiteltyjä erilaisten

8 tunnelmien luomiseen sopivia mukautettuja asteikkoja. Melodian halutaan olevan taajuudeltaan ihmiskorvan erotettavissa. Ihmiskorva erottaa parhaiten toisistaan säveliä taajuusalueella 1000-4000 Hz (Lewis, 1937, s. 346). Tämä alue on suuruudeltaan kaksi oktaavia. Algoritmin tuottamissa kappaleissa kaikki melodian sävelet ovat toisistaan alle kahden oktaavin päässä, mutta käyttäjä voi halutessaan vaikuttaa sävelkorkeuteen. Rajoittamalla melodian sävelet kahden oktaavin alueelle estetään myös liian suurten intervallien esiintyminen. Samalla voidaan olla varmoja, ettei algoritmi luo häiritsevän korkeita nuotteja. Tietyt intervallit kuulostavat vakailta ja toiset epävakailta. Vakaita intervalleja kutsutaan konsonansseiksi ja epävakaita dissonansseiksi. Dissonanssit luovat musiikkiin jännitteitä (Aldwell, Schachter & Cadwallader, 2010, s. 26). Oktaavia pienemmistä intervalleista dissonansseja ovat pieni ja suuri sekunti, pieni ja suuri septimi sekä ylinouseva kvartti eli tritonus. (Joutsenvirta & Perkiömäki, 2008, s. 22) Dissonanssit saattavat saada musiikin kuulostamaan epämiellyttävältä, sillä joissain tapauksissa musiikkiin sijoiteltujen dissonanssien aiheuttama jännite tai riitaisa tunnelma ei purkaudu (Schmidit-Jones, 2005, s. 63). Sen vuoksi dissonanssien käyttäminen satunnaisesti generoidussa kappaleessa on riski. Jos melodia on moniääninen, algoritmi estää edellä mainittujen intervallien muodostumisen päällekkäisissä sävelissä. Hyvin yhteensopivia säveliä kuten käytetyn asteikon kolmisoinnun säveliä taas painotetaan muita enemmän. Todennäköisyyksien painokertoimet duurille, mollille ja pentatoniselle asteikolle on esitetty taulukossa 2, kun taas algoritmin käyttämät mukautetut asteikot ja niiden sävelten painokertoimet ovat kuvassa 2. Asteikko Painokertoimet 1. aste 2. aste 3. aste 4. aste 5. aste 6. aste 7. aste Duuri 3 1 2 1 3 1 1 Molli 3 1 2 1 3 1 1 Pentatoninen 3 2 2-3 2 - Taulukko 2: Sävelten todennäköisyyksien painokertoimet Taulukossa mollin 7. aste on ylennetty, koska käytetään harmonista molliasteikkoa. Käytettävä pentatoninen asteikko on niin sanottu anhemitoninen duuripentatoninen asteikko, toisin sanoen se voidaan käsittää duuriasteikkona, josta puuttuu 4. ja 7. aste.

9 3.6 Säestys Kuva 2: Mukautetut asteikot ja niiden sävelten painokertoimet Säestyksen tehtävä musiikissa on tuoda melodialle musiikillinen tausta. (Apel, 1969, s. 6) Lisäksi säestys tuo algoritmin tuottamaan musiikkiin harmonisen taustan ja selkeyttää rytmiä. Algoritmilla kyetään luomaan musiikkiin basso, joka soittaa soinnun perussäveltä jokaisella iskulla. Basson tehtävä algoritmissa on tuoda musiikkiin syvyyttä ja helpottaa rytmin hahmottamista. Basson tueksi luodaan haluttaessa kolmisoinnun arpeggioita. Arpeggio eli murtosointu tarkoittaa, että soinnun sävelet soitetaan yksi kerrallaan (Randel, 1999, s. 95). Arpeggiot voivat noudattaa jotakin kuvan 3 kuvioista tai olla satunnaisesti arvottuja. Niissä on kaksi tai neljä säveltä iskua kohden, eli niiden yksittäiset sävelet ovat joko kahdeksasosanuotteja tai kuudestoistaosanuotteja. Vaihtelun lisäämiseksi arpeggio voi väliaikaisesti siirtyä oktaavin ylös- tai alaspäin. Kuva 3: Valmiit arpeggiokuviot kuudestoistaosanuotteina C-duurissa. Kappaleeseen on luotavissa myös rummut, jotka soittavat jotain ennalta määrättyä rumpukomppia. Koska algoritmi luo synteettistä pelimusiikkia, perinteisen rumpusetin sijaan käytetään synteettisiä rumpuja. Käytössä ei siis ole erikseen esimerkiksi basso- ja virvelirumpua, vaan rumpujen välille tehdään ero muuttamalla sävelkorkeutta. Koska rummut on rytmisoitin, sen rytmien halutaan olevan ehdottoman selkeitä. Siksi ei ole mielekästä generoida rummuille satunnaisia rytmejä, vaan on parempi antaa vaihtoehtoina kullekin tahtilajille etukäteen hyviksi todettuja komppeja. Mainitut valmiit kompit on esitelty liitteessä 1.2.

10 3.7 Kappaleen aloitus ja lopetus Algoritmin luoman musiikkikappaleen aloitus ja lopetus halutaan tehdä niin, ettei kuulijalle synny mielikuvaa siitä, että kappaleen alusta tai lopusta puuttuisi osa. Jos kuulija saa kappaleesta sellaisen kuvan, että sen olisi ollut tarkoitus jatkua pidempään, ei kappale välttämättä kuulosta hyvältä. Länsimaisessa tonaalisessa musiikissa käytännössä kaikki sävellykset loppuvat ja alkavat samalla sävelellä (Cook, 1987, s. 197). Länsimaiset kuuntelijat käsittelevät melodioita musiikkiteorian tonaalisuuden sääntöjen noudattaen, vaikka eivät olisi saaneet musiikillista koulutusta (Trainor & Trehub, 1994, s. 125). Tämän takia johonkin muuhun kuin asteikon perussäveleen loppuva kappale tuntuu usein siltä, että se jää kesken. Algoritmin tekemä musiikki loppuu aina neljäsosanuotin mittaiseen sävellajin perussäveleen. Lisäksi viimeisen tahdin sointuna on ensimmäisen asteen sointu. Näin varmistetaan, ettei kappale tunnu loppuvan kesken. Myös kappaleen ensimmäinen nuotti ja sointu ovat sävellajin ensimmäistä astetta. Kuten luvussa 3.1 mainittiin, pelimusiikkia saatetaan toistaa useita kertoja peräkkäin. Siksi siihen ei haluta liian ehdotonta lopetusta tai aloitusta, sillä musiikin antama tunnelma katkeaisi hetkellisesti kappaleen alkaessa uudelleen. Sen vuoksi algoritmin ei haluta tuottavan enempää lopetusta ilmaisevia piirteitä, sillä kappaleen mahdollinen uudelleenalkaminen lopetuksen jälkeen pyritään pitämään mahdollisimman luonnollisen kuuloisena. 3.8 Algoritmin syötteet Pelimusiikki on tärkeä osa pelin tunnelmaa. (Land & McConnell, 1994, s. 2) Oikeanlaisen musiikin luomiseksi algoritmin on saatava syötteenä tietoa siitä, minkä tyylistä generoitavan musiikin tulee olla. Syötteen antaminen voitaisiin toteuttaa siten, että käyttäjä antaa parametreina algoritmille sen tarvitsemat arvot, kuten sävelasteikon, tempon ja tahtilajin. Tällainen algoritmi vaatisi kuitenkin käyttäjältä jonkin verran musiikillista intuitiota ja kokemusta. Tavoitteena on tehdä algoritmista niin helposti käytettävä, ettei käyttäjä tarvitsisi musiikillista koulutusta. Tämän vuoksi syötteen antaminen päätettiin toteuttaa generoitavaa kappaletta kuvailevien sanojen avulla. Käyttäjä syöttää algoritmille vapaavalintaisen määrän useista kymmenistä algoritmin tuntemista suomenkielisistä sanoista. Jos jotakin kappaleen osa-alueista ei kuvailla lainkaan, algoritmi käyttää kyseisen osa-alueen oletuslähtöarvoa. Lista oletuslähtöarvoista on liitteessä 1.3. Algoritmi muuttaa oletuslähtöarvoja syötteenä saatujen sanojen perusteella. Esimerkiksi sana hidas vähentää tuotettavan kappaleen tempoa. Algoritmin tuntemat sanat ja niiden vaikutukset algoritmin lähtöarvoihin on listattu taulukossa 3. Mikäli käyttäjä haluaa vaikuttaa johonkin luotavan kappaleen ominaisuuteen hyvin voimakkaasti, hän voi antaa parametrina saman sanan useaan kertaan.

11 Kappaleen ominaisuus Sana Vaikutus Tempo Nopea BPM (beats per minute eli iskua minuutissa) kasvaa satunnaisella kokonaisluvulla 10-20 Hidas BPM laskee satunnaisella kokonaisluvulla 10-20 Pituus Pitkä Lyhyt Lisää variaatioiden määrää kahdella Vähentää variaatioiden määrää kahdella Tahtilaji Kolmijakoinen Asettaa tahtilajiksi 3 / 4 Nelijakoinen Asettaa tahtilajiksi 4 / 4 Viisijakoinen Asettaa tahtilajiksi 5 / 4 Kuusijakoinen Asettaa tahtilajiksi 6 / 4 Sävelkorkeus Korkea Matala Nostaa sävelkorkeutta puhtaalla kvartilla Laskee sävelkorkeutta puhtaalla kvartilla Säestys Säestyksetön Bassoton Bassokompillinen Rummuton Passiivinen Aktiivinen Poistaa kaikki säestykset käytöstä Poistaa basson käytöstä Asettaa bassolle tahdin mittaisen satunnaisesti arvotun rytmin, jota basso toistaa koko kappaleen ajan Poistaa rummut käytöstä Asettaa arpeggion nuotit kahdeksasosanuoteiksi Asettaa arpeggion nuotit kuudestoistaosanuoteiksi Melodia Yksinkertainen Moniääninen Vaihteleva Toistuva Vähentää päällekkäin soivien melodiaäänien määrää yhdellä Lisää päällekkäin soivien melodiaäänien määrää yhdellä Kasvattaa teeman ja variaatioiden pituutta kahdella tahdilla (lisää melodian vaihtelua) Vähentää teeman ja variaatioiden pituutta kahdella tahdilla (vähentää melodian vaihtelua) Sävelasteikko Duuri Molli Pentatoninen Kappaleessa käytetään duuriasteikkoa Kappaleessa käytetään molliasteikkoa Kappaleessa käytetään pentatonista eli viisisävelistä asteikkoa Taulukko 3: Algoritmin tuntemat sanat ja niiden vaikutus algoritmin lähtöarvoihin

12 4. Algoritmin toteutus tietokonesovelluksena Algoritmin pohjalta ohjelmoitiin musiikkia generoiva tietokonesovellus. Käytetty ohjelmointikieli oli C# ja kehitysympäristö Microsoft Visual C# 2010 Express. Algoritmin vaatiman laskennan suoritettuaan sovellus kirjoittaa generoidun kappaleen kuunneltavissa olevaksi MIDI-tiedostoksi. Ohjelmointikieleksi valittiin juuri C#, sillä sen avulla on suhteellisen yksinkertaista kirjoittaa yksittäisiä tavuja tiedostoon. Tällä tavoin pystytään vaikuttamaan syntyvään musiikkiin enemmän kuin käyttämällä valmiita MIDI-editoreita. 4.1 Sovelluksen käyttöliittymä Käyttäjän syötteiden vastaanottamista varten sovellukseen tehtiin tekstipohjainen käyttöliittymä. Käynnistettäessä ohjelma kysyy käyttäjältään luotavan kappaleen nimen, josta tulee myös MIDI-tiedoston nimi. Tämän jälkeen käyttäjä voi vapaasti syöttää haluamansa määrän kappaletta kuvailevia sanoja välilyönnein eroteltuina. Kuvailun helpottamiseksi käyttöliittymässä näytetään lista kaikista algoritmin tuntemista sanoista. Aiemmin esiteltyjen algoritmin tuntemien sanojen lisäksi sovellus tuntee myös soittimien nimet, joista käyttäjä pystyy valitsemaan melodialle ja arpeggioille soittimen. Kaikki melodiaäänet kirjoitetaan siis samalle soittimelle. Mikäli käyttäjä ei anna syötteenä soitinta, ohjelma asettaa soittimeksi pianon. Kuvassa 4 on kuvakaappaus käyttöliittymästä kappaletta kuvailtaessa. Kuvakaappauksen mukaisilla syötteillä generoitu kappale on esitetty nuotteina liitteessä 4. Kuva 4: Kuvakaappaus käyttöliittymästä. Alleviivatut kohdat ovat käyttäjän kirjoittamia syötteitä.

13 4.2 MIDI-tiedostot MIDI on lyhenne englannin kielen sanoista Musical Instrument Digital Interface. MIDItiedostot ovat tapa säilöä nuoteista koostuvaa musiikkidataa. MIDI-formaatti valittiin, koska siinä on mahdollista kirjoittaa musiikkia nuotti kerrallaan. Jokaiselle nuotille on ilmoitettu sävelkorkeus, kesto ja äänenvoimakkuus kokonaisluvulla 0-127. MIDI:ssä on mahdollista toistaa useita nuotteja samanaikaisesti käyttäen eri ääniraitoja. Lisäksi MIDI-formaatti sisältää 128 soitinta, joita voi käyttää nuottien toistamiseen. Ohjelman kirjoittamassa MIDI-tiedostossa melodialle, arpeggioille, bassolle ja rummuille on kullekin oma ääniraita. Näistä arpeggio, basso ja rummut ovat yksiäänisiä ja melodian ääniraidassa päällekkäin soivien äänien määrä riippuu käyttäjän syötteestä. Oma ääniraita mahdollistaa joka soittimelle itsenäisen, muista ääniraidoista riippumattoman rytmin. Lisäksi ohjelma antaa käyttäjälle vapaat kädet soittimien valitsemiseen, sillä algoritmin luoma musiikki ei riipu soittimista. Ohjelman kirjoittamia MIDI-tiedostoja voi kuunnella useimmilla mediasoittimilla. 5. Algoritmin toiminnan arviointi 5.1 Generoidun musiikin analysointia Generoimme sovelluksen avulla satoja kappaleita, joita kuuntelemalla pystyimme analysoimaan algoritmin tuottamaa musiikkia. Esimerkkejä kappaleista on kuunneltavissa (28.11.2011) Internetissä osoitteessa http://tinyurl.com/pelimusiikki/. Algoritmi luo pelimusiikkia, joka täyttää kaikki luvussa 3 määritellyt ehdot eli toimii halutulla tavalla. Tietokone selviytyy algoritmin suorittamisesta nopeasti, sillä se kykenee luomaan minuutissa yli 24 tunnin verran musiikkia. Algoritmin pohjalta toteutettu tietokonesovellus on helppokäyttöinen, mutta vaatii ensikertalaiselta perehtymistä syötteenä käytettävien sanojen vaikutukseen. Syötteitä muuttamalla saimme algoritmin tuottamaan hyvin erityylisiä kappaleita. Olemme luoneet sen avulla muun muassa iloisia, rauhallisia, jännittäviä, melankolisia ja mahtipontisia kappaleita. Havaitsimme oletusta hitaampien kappaleiden olevan usein keskimääräistä parempia. Oletusasetuksia nopeammilla kappaleilla sitä vastoin on taipumus olla sekavia. Täysin säestyksettömissä kappaleissa rytmi on usein vaikeasti hahmotettava. Basson tai rumpujen kanssa melodian rytmi on paljon selkeämpi. Aina soinnun perussäveltä soittava basso käy usean kappaleen jälkeen liian ennalta arvattavaksi. Rumpujen ja arpeggion kanssa vastaavaa ongelmaa ei kuitenkaan ilmene, sillä jokaista kappaletta tehdessä rumpujen komppi ja arpeggioiden kuvio valitaan satunnaisesti. Havaitsimme kappaleen jakamisen teemoihin ja variaatioihin onnistuneeksi ratkaisuksi, sillä se tuo kappaleeseen sopivan määrän toistoa ja vaihtelevuutta. Kappaleen alkaessa alusta uudelleen tunnelma säilyy, joten myös kappaleen aloitus ja lopetus ovat tarkoituksenmukaisia.

14 Kaiken kaikkiaan melodia kuulostaa melko luonnolliselta ja algoritmin tuotteet ovat pääosin miellyttävää kuunneltavaa. 5.2 Kysely Pelimusiikin toimivuuden arvioimiseksi järjestettiin algoritmin toimivuutta mittaava kysely. Algoritmilla generoitua musiikkia ja peleistä otettua sävellettyä musiikkia soitettiin koehenkilöille, jotka eivät tienneet, mitkä kappaleista olivat generoituja. Jokaisen kappaleen jälkeen koehenkilöiltä pyydettiin arvioimaan kappaleen hyvyyttä ja soveltuvuutta pelimusiikiksi sekä kertomaan oliko kappale heidän mielestään generoitu vai sävelletty. Kyselyssä käytettiin 13 kappaletta, joista 5 oli erilaisista peleistä valittuja sävellettyjä kappaleita ja 8 algoritmin avulla generoituja kappaleita. Kaikki kyselyssä käytetyt kappaleet on esitelty liitteessä 2. Tullakseen valituksi sävellettyjen kappaleiden täytyi olla synteettistä pelimusiikkia ilman erillisiä ääniefektejä. Niissä tuli olla heti alusta alkava ja loppuun asti kestävä, koko kappaleen ajan samoilla soittimilla soitettu melodia. Melodian tuli myös olla riittävän monimutkainen. Valitsemamme sävelletyt kappaleet olivat kansainvälisesti tunnetuista peleistä, mutta eivät kuitenkaan kappaleena jokaisen tuntemia. Generoidut kappaleet taas eivät olleet millään tavalla valikoituja, vaan ennen kunkin kappaleen generoimista päätettiin kyseisen kappaleen olevan mukana kyselyssä. Kappaleet edustavat näin ollen keskimääräistä algoritmin generoimaa musiikkia. Kaikki kappaleet luotiin eri syötteillä ja niistä pyrittiin tekemään tyyliltään erilaisia. 5.3 Kyselyn toteutus Kysely toteutettiin 8.-23.11.2011 välisenä aikana Päivölän Kansanopistossa. Kyselyyn osallistuneet henkilöt olivat 15 21-vuotiaita entisiä tai nykyisiä Päivölän Kansanopiston matematiikkalinjan opiskelijoita. Kuvassa 5 on koehenkilöitä vastaamassa kyselyyn. Kaikkiaan kyselyyn osallistui 27 henkilöä, joista 25 oli poikia ja 2 tyttöjä. Vastaajista 44,4 % soittaa jotain instrumenttia ja 18,5 % on opiskellut musiikkiopistossa. Omien arvioidensa mukaan 59,3 %:lla heistä on paljon kokemusta tietokone- ja konsolipeleistä, 25,9 %:lla on kokemusta jonkin verran, 11,1 %:lla on kokemusta vähän ja 3,7 %:lla ei lainkaan. Koehenkilöt kuuntelivat jokaisen 13 kappaleen alusta 30 sekunnin mittaisen näytteen, sillä lyhin kappaleista oli kestoltaan 30 sekuntia. Kappaleiden järjestys arvottiin kappaleiden valitsemisen ja generoimisen jälkeen. Kunkin kappaleen jälkeen koehenkilöt vastasivat kyseistä kappaletta koskeviin kysymyksiin paperiselle kyselylomakkeelle. Kappaleiden arvioinnin lisäksi vastaajilta pyydettiin taustatietoja musiikki- ja pelaamistaustasta. Taustatietojen keräämiseen käytetty lomake on liitteessä 3. Vastaajat merkitsivät mielipiteensä kappaleesta käyttäen VAS-mittaria. Siinä asioiden ääripäiden välillä on jana, johon vastaaja merkitsee mielipiteensä parhaaksi katsomaansa kohtaan. Se on erityisesti subjektiivisten asioiden kuvaamiseen kehitetty mittari, joka soveltuu erityisen hyvin käytettäväksi silloin, kun vastaajat ovat tarkkoja ja analyyttisia. (Aaltola & Valli, 2010, ss. 121-122) Kyselylomakkeen VAS-mittareissa jana oli 10 cm pituinen ja siinä

15 oli apuviivoja 2,5 cm välein helpottamassa pituuksien hahmottamista. Mittareiden avulla saatiin tuloksia asteikolla 0-10 riippuen siitä, mikä kohta janasta oli merkitty. Arvo 0 vastaa janan oikeaa reunaa ja 10 vasenta reunaa. Kuva 5: Koehenkilöitä vastaamassa kyselyyn Kyselylomakkeessa oli VAS-mittareiden lisäksi ruutuja, joihin koehenkilö merkitsi oliko kappale hänen mielestään generoitu vai ei. Lomakkeessa oli myös ruutu, johon koehenkilö saattoi merkitä tuntevansa kappaleen. Näin pystyttiin suodattamaan pois vastaukset, joissa vastaajalla oli ennakkotietoja kappaleesta. Kuvassa 6 on yhtä kappaletta koskeva osio kyselylomakkeesta. Kuva 6: Kappaleen arvioimiseen käytetty kyselylomake (ei todellisessa koossaan)

16 5.4 Kyselyn vastausten analysointi Kyselyssä eri vastaajien tuloksia ei verrattu keskenään, vaan käytettiin kaikkien vastaajien keskiarvoa. Näin saadaan suodatettua pois vastaajien välillä mahdollisesti olevat erot siitä, miten he suhteuttavat arvostelunsa. Yksi mahdollinen kyselyn tuloksia muuttava tekijä on se, että vastaajat kuuntelivat kappaleet ilman peliä. Pelimusiikki on tarkoitettu pelin taustalle, minkä vuoksi kyselyn kappaleiden arvostelu saattoi erota siitä mitä se olisi ollut, jos kappaleet olisi esitetty peleissä joiden tunnelmaan ne sopivat. Vastaajat arvioivat asteikolla 0-10 generoitujen kappaleiden hyvyydeksi keskimäärin 5,377, kun taas sävellettyjen kappaleiden vastaava keskiarvo oli 6,267. Vastauksista havaittiin, että sävelletyt kappaleet ovat keskimäärin parempia kuin generoidut. Eri kappaleiden välillä oli kuitenkin melko runsaasti vaihtelua sekä generoitujen että sävellettyjen kappaleiden osalta. Joitakin generoituja kappaleita pidettiin parempina kuin vähiten pidettyjä sävellettyjä kappaleita. Kaaviosta 5 käy ilmi yksittäisten kappaleiden hyvyydet ryhmiteltyinä generoituihin ja sävellettyihin kappaleisiin sekä ryhmien keskiarvot. Kaavio 5: Generoitujen ja sävellettyjen kappaleiden hyvyys. Kyselyyn vastanneiden mielestä generoidun musiikin soveltuvuus pelimusiikiksi on keskimäärin 5,974 ja sävelletyn musiikin soveltuvuus keskimäärin 7,209. Sävelletyt kappaleet sopivat kyselyn vastausten mukaan generoituja kappaleita paremmin pelimusiikiksi. Parhaiten peleihin sopivat kappaleet eivät kuitenkaan olleet samoja kuin parhaina pidetyt kappaleet. Sekä sävellettyjen että generoitujen kappaleiden katsottiin keskimäärin olevan pelimusiikkina parempia kuin kappaleina. Tämä antaa viitteitä siitä, että algoritmin generoima musiikki on tyyliltään pelimusiikin kaltaista. Yksityiskohtaisempia tuloksia on esitetty kaaviossa 6.

17 Kaavio 6: Generoitujen ja sävellettyjen kappaleiden soveltuvuus pelimusiikiksi. Kyselyyn vastanneet henkilöt kykenivät pääosin erottamaan generoidut ja sävelletyt kappaleet toisistaan, mutta eivät olleet yhdestäkään kappaleesta yksimielisiä. Keskimäärin vastaajat erottivat oikein sävelletyt ja generoidut kappaleet toisistaan 86,9 % todennäköisyydellä. Vastauksissa eniten hajontaa aiheutti Kappale 8, jota 33,3 % vastaajista luuli sävelletyksi vaikka se oli generoitu. Kaaviossa 7 on kyselyyn vastanneiden arviot siitä, ovatko kappaleet generoituja vai sävellettyjä. Kaavio 7: Generoitujen ja sävellettyjen kappaleiden tunnistaminen kyselyssä. S merkitsee sävellettyä kappaletta ja G generoitua.