Äänen korkeuden tunnistaminen

T-111.2211 Informaatioverkostot: Studio 4 Maria-Karoliina Tiuraniemi, 50163D mktiuran@cc.hut.fi Äänen korkeuden tunnistaminen Harjoituskierros 2: Vuorovaikutustekniikat 13.4.2011

Tiivistelmä SingStar-laulupelissä tietokone tunnistaa lauletun äänen korkeuden. Musikaaliselle ihmiselle äänen korkeuden tunnistaminen on helppoa, mutta tietokoneen pitää tunnistaa äänen korkeus erityisen algoritmin avulla. Äänen perustaajuuden lisäksi samaan aikaan resonoi useita muita korkeampia taajuuksia. Äänen yläsävelet saadaan, kun perustaajuus kerrotaan kokonaisluvulla. Äänen väri muodostuu siitä, miten eri yläsävelet korostuvat yksilöllisesti. Äänen väristä voidaan erottaa eri instrumentit toisistaan. Äänen korkeuden tunnistamiseen ei ole vielä olemassa täydellistä algoritmia. Siihen voidaan käyttää autokorrelaatioalgoritmeja tai taajuuden perusteella toimivia algoritmeja. Puheäänen korkeutta analysoimalla voidaan tulkita puhujan tunteita. Puheäänen korkeutta voidaan myös käyttää matalan tason käyttöliittymän kontrolleihin. Muusikot ja etnomusikologit voivat hyödyntää soitetun tai lauletun äänen korkeuden analysointia ohjelmissa, jotka tunnistavat tarkasti äänen korkeuden ja visualisoivat ääninäytteessä käytetyn asteikon histogrammin avulla. Sisältö Tiivistelmä... 1 1. Johdanto... 2 2. Äänen korkeus... 3 2.1 Äänen yläsävelsarjat... 3 2.3 Äänen korkeuden tunnistaminen... 5 3. Käytännön sovelluksia... 5 3.1 Puheäänen korkeuden tunnistaminen... 6 3.2 Ääniohjattu käyttöliittymä... 6 3.3 Tartini, äänen korkeuden visualisointi... 7 3.4 Tarsos, käytetyn asteikon selvittäminen... 8 Lähteet... 9 1

1. Johdanto SingStar-laulupeli on todennäköisesti tämän hetken tunnetuin sovellus, jossa tietokone tunnistaa lauletun äänen korkeuden. Pelaajille näytetään yksinkertaistettu versio laulun melodiasta värillisillä palkeilla sekä ruudun alareunassa kulkevat sanat (Kuva 1.). Pelaajan tulee osua palkkeihin, oikeista sävelistä palkitaan. Pelaaja voi itse valita, kuinka tarkkaan laulun tulee mennä oikein eli olla vireessä. SingStarin seurapeliversio on tehnyt siitä erityisen suositun, ja siitä on useita eri versioita musiikin tyylien ja esittäjien mukaan. (SingStar 2011.) Kuva 1. Näkymä SingStar-pelistä (SingStar 2011). Musiikillisesti lahjakkaan ihmisen on helppo tunnistaa soitettu tai laulettu ääni ja toistaa sama ääni perässä. Hänen on myös helppo kuulla, pysyykö laulu tai soitto vireessä. Sen sijaan ihmiskorvan ei ole helppo tunnistaa yksittäisen äänen korkeutta, vain harvoilla on absoluuttinen sävelkorva (Absolute pitch 2011). Ihmiskorva on parempi tunnistamaan suhteellisia korkeuksia, eli sitä, mikä on kahden eri äänen keskinäinen suhde eli intervalli, ja onko tämä intervalli vireessä. Tämä kyky on opittavissa ja kehittyy musiikillisen kokemuksen myötä (Absolute pitch 2011). Tietokone pystyy tunnistamaan äänen huomattavasti tarkemmin ja monipuolisemmin kuin ihmiskorva. Laskennassa on kuitenkin otettava huomioon se, että äänessä on huomattavasti enemmän informaatiota kuin se, mitä ihmiskorva kuulee. Kun äänen korkeus pystytään analysoimaan, sillä on useita mielenkiintoisia sovelluksia, joista erilaiset laulupelit ovat vain yksi osa-alue. 2

2. Äänen korkeus Ihmiskorva tulkitsee äänen korkeudeksi tavallisesti äänen perustaajuuden. Äänellä on perustaajuuden lisäksi yläsävelsarja, joka koostuu sarjasta korkeammalla soivia taajuuksia. Tietokone tunnistaa äänestä samanaikaisesti kaikki nämä eri taajuudet. Siksi se tarvitsee äänen korkeuden tunnistamista varten erillisen algoritmin, jolla äänestä löydetään perustaajuus. 2.1 Äänen yläsävelsarjat Useimmat melodista ääntä tuottavat musiikilliset instrumentit perustuvat kieleen tai ilmapatsaaseen joka värähtelee useammilla taajuuksilla yhtäaikaisesti. Näillä resonoivilla taajuuksilla aallot liikkuvat molempiin suuntiin kieltä tai ilmapatsasta pitkin toisiaan voimistaen ja kumoten sekä muodostaen samalla seisovia aaltoja. Interaktio ympäröivän ilman kanssa muodostaa kuultavissa olevia ääniaaltoja. Muut samaan aikaan resonoivat taajuudet ovat usein alimman taajuuden kokonaislukukerrannaisia. Äänen korkeus hahmotetaan useimmiten matalimman taajuuden eli perustaajuuden korkeudeksi. (Harmonic series (music) 2011.) Yläsävelsarja voidaan visualisoida selkeimmin tutkimalla kieli- tai jousisoittimen kielen käyttäytymistä (Kuva 2.). Äänen perusääni saadaan kun kieli värähtelee koko matkaltaan. Ensimmäinen yläsävel saadaan, kun kieli jaetaan kahtia. Seuraava yläsävel löytyy kun kielen pituus on 1/3, sitten 1/4, 1/5, 1/6 ja 1/7. (Harmonic series (music) 2011.) Yläsävelsarjat on helppo löytää käytännössä esimerkiksi viulun tai kitaran huiluääninä. Tavallisesti ääni saadaan painamalla sormella kieli kokonaan alas otelautaa vasten. Huiluäänessä painetaan sormella kevyesti kieltä tällaisessa solmukohdassa, jolloin viulusta saadaan sen tavallisesta äänestä selkeästi poikkeava helähtävä, huilumainen ääni. Solmukohdan vieressä huilumaista ääntä ei kuulu. 3

Kuva 2. Värähtelevä kieli ja sen jakosuhteet. (Harmonic series (music) 2011.) Harmoninen sarja on aritmeettinen sarja, jossa perustaajuus kerrotaan aina kokonaisluvuilla 1, 2, 3 jne. Peräkkäisten yläsävelien ero on siis aina vakio. Mutta koska ihmisen korva tulkitsee ääntä epälineaarisesti, korkeammat yläsävelet vaikuttavat olevan lähempänä toisiaan kuin matalat äänet. Ensimmäinen yläsävel on oktaavia korkeammalla kuin perussävel. Toinen yläsävel on kvinttiä korkeammalla kuin ensimmäinen, kolmas yläsävel on kvarttia korkeammalla kuin toinen. Ylemmäksi noustessa äänien väliset intervallit pienenevät entisestään. (Kuva 3., Harmonic series (music) 2011.) Kuva 3. Yläsävelsarja musiikillisena notaationa. (Harmonic series (music) 2011.) Äänen väri on tekijä, joka auttaa kuulijaa erottamaan eri instrumenttien äänet toisistaan. Jokaisella instrumentilla on tietyt yläsävelet jotka korostuvat. Nämä korostuneet yläsävelet muodostavat äänen värin. Yläsävelten voimakkuus vaihtelee äänen keston myötä. Tämän vuoksi äänen väri on erilainen lyhyessä ja terävässä staccato-nuotissa kuin pitkässä ja laulavassa legatonuotissa. Joidenkin soittimien ylä-äänet voivat poiketa perusäänen kokonaislukukerrannaisesta. (Overtones 2011.) Jotkut elektroniset instrumentit kuten thereminit ja syntetisaattorit voivat soittaa puhtaan perustaajuuden ilman yläsäveliä. Tietyillä huiluilla voidaan myös saada lähes kokonaan yläsävelettömiä ääniä. (Harmonic series (music) 2011.) 4

2.3 Äänen korkeuden tunnistaminen Jaksollisen signaalin äänen korkeus voidaan arvioida äänen korkeuden havaitsemisen algoritmin (PDA, Pitch Detection Algorithm) avulla. Tavallisesti algoritmia käytetään digitaalisesti tallennetun puheen tai musiikillisen äänen korkeuden arviointiin. Tällä hetkellä ei ole vielä olemassa yksittäistä ideaalista algoritmia. Olemassaolevat algoritmit analysoivat ääntä joko suhteessa aikaan tai taajuuteen. (Pitch detection algorithm 2011.) Yksinkertaisessa ajan suhteen analysoivassa lähestymistavassa mitataan signaalin nollakohtien välistä eroa. Tämä toimii lähinnä puheen tunnistuksessa, jossa oletetaan että ääni tulee yksittäisestä lähteestä. Hieman edistyneemmät autokorrelaatiomenetelmät vertaavat signaalin osia jo tiedettyihin koejaksojen osiin. Näiden ongelmana on väärät tulokset, jossa äänen korkeus saattaa poiketa oktaavilla oikeasta. Autokorrelaatioalgoritmit eivät myöskään useimmiten toimi meluisassa ympäristössä tai polyfonisten äänten kanssa. YIN ja MPM -algoritmit perustuvat autokorrelaatioon, mutta niille on tehty hienosäätöä eteenpäin. (Pitch detection algorithm 2011.) Taajuuden perusteella toimivat algoritmit hyödyntävät Fast Fourier Transformia, joka muuttaa signaalin taajuusspektriksi. Tämä vaatii enemmän prosessointitehoa mutta tuottaa paremman tarkkuuden. Suosittuja taajuusalgoritmeja ovat harmonic product spectrum ja cepstral-analyysi. (Pitch detection algorithm 2011.) 3. Käytännön sovelluksia Jos äänen perustaajuus pystytään luotettavasti selvittämään, sitä voidaan hyödyntää useilla eri tavoilla. Puheen perustaajuuden variaatiot liittyvät prosodiaan eli puheen rytmin, intonaation ja painotuksen tutkimiseen. Tonaalisissa kielissä puheen taajuuden erot auttavat erottamaan eri sanakategorioita toisistaan. Musiikkiohjelmat hyötyvät perustaajuuden arvioinnista, kuten automaattisessa nuottitranskription tekemisessä tai reaaliaikaisissa interaktiivisissa järjestelmissä. Perustaajuus on hyödyllistä myös useille signaalinprosessoinnin metodeille. Perustaajuutta voidaan myös hyödyntää multimedian sisällön indeksoinnissa. (de Cheveigne & Kawahara 2002.) 5

3.1 Puheäänen korkeuden tunnistaminen Ääntä käytetään luonnollisesti sosiaalisessa kanssakäymisessä. Kielellisten ilmaisukeinojen lisäksi äänessä on tärkeä nonverbaali kanava. Tämä affektiivinen puheen sisältö tuodaan esille useilla prosodisilla vihjeillä, jotka viittaavat tiettyihin intonaation, painotuksen, ajoituksen ja äänen laadun tekijöihin. Akustisilla termeillä kyse on tällöin äänen korkeudesta, intensiteetistä ja spektristä. Ääni-ilmaisujen avulla voidaan kommunikoida sanattomasti tunnetiloja ja aikomuksia, joiden tunnistamisella on suuri merkitys ihmisten välisessä kanssakäymisessä ja joita hyväksikäyttämällä voidaan vaikuttaa muihin ihmisiin. (Tuuri & Eerola 2008.) Puheentunnistuksella toimivista järjestelmistä pyritään tekemään yhä luonnollisempia. Tällöin järjestelmä tunnistaa paitsi sen, mitä käyttäjä puhuu, myös sen, miten käyttäjä puhuu eli mikä hänen tunnetilansa on. Tätä voidaan hyödyntää mm. peleissä ja opetuksellisissa ohjelmissa tunnistamaan ovatko käyttäjät innokkaita vai tylsistyneitä, elintoimintoja tukevissa järjestelmissä tunnistamaan paniikkia ja kaupallisissa tuotteissa tunnistamaan vihainen käyttäjä ja siirtämään hänet oikealle asiakaspalvelijalle automaattisen puhelinpalvelun sijaan. Puhelinpalvelun käyttäjiä tutkittaessa todettiin, että puheen perustaajuus nousee käyttäjän turhautuessa. (Ang et al. 2002.) Puheäänen korkeuden analysointia voidaan käyttää myös häivyttämään puheesta sukupuolesta johtuvia eroja, jolloin esimerkiksi puheohjattavat mobiililaitteet pystyvät paremmin analysoimaan puheen informaatiosisältöä (Jung et al. 2002). 3.2 Ääniohjattu käyttöliittymä Puheäänen korkeutta voidaan käyttää matalan tason käyttöliittymän kontrolleihin kuten näytön scrollaamiseen. Käyttäjän ääni toimii on/off nappina, jatkuva ääni vastaa nappia, joka on painettuna alas. Äänen korkeudella voidaan säätää kontrollia ylös tai alas huomattavasti nopeammin kuin puheentunnistuksella. Käyttäjä huomaa reaaliaikaisesti äänen vaikutuksen ja pystyy muuttamaan säätöä. Äänen korkeutta voidaan käyttää myös nopeuden säätämiseen. Diskreettejä arvoja voidaan valita konsonanteilla. Koska tämä tekniikka tunnistaa ainoastaan piikkejä äänisignaalissa, samaan tarkoitukseen voidaan käyttää taputusta tai sormien napsutusta. Tekniikoita voidaan käyttää liikuntarajoitteisille käyttäjille tai tilanteissa, joissa käyttäjän käsien käyttö on rajoitettua, kuten autolla ajaminen tai ulkona liikkuminen. (Igarashi & Hughes 2001.) 6

3.3 Tartini, äänen korkeuden visualisointi Uudessa Seelannissa Otagon yliopiston Tartini-projektissa on tutkittu eri tapoja, joilla tietokone voi analysoida ääntä ja tuottaa hyödyllistä ja käytännöllistä palautetta harrastelija- ja ammattimuusikoille. Tartini visualisoi äänen korkeuden, näyttää mitä nuottia milloinkin soitetaan ja auttaa hienosäätämään virettä (Kuva 4., McLeod et al. 2009). Aloittelijat voivat opetella löytämään puhtaan äänen käyttäen hyväksi Tartinia. Edistyneemmät soittajat voivat analysoida pienempiä variaatioita soittimien sävelpuhtaudessa. (McLeod & Wyvill 2003.) Tasavireiset intervallit ovat aina hieman epäpuhtaita oktaaveja lukuunottamatta (Tasaviritys 2010). Tämän vuoksi esimerkiksi laulajien ja viulistien tulee poiketa tasavireisestä asteikosta soittaakseen puhtaasti. McLeodin ja Wyvillin haastatteleman viulistin mukaan muusikoiden mielipide näiden poikkeavien äänien vireydestä vaihtelee jossain määrin ja kyky tunnistaa näitä kasvaa kokemuksen myötä. Tartini näyttää objektiivisesti, minkä korkuinen nuotti on. (McLeod & Wyvill 2003.) Kuva 4. Äänen korkeuden visualisointi Tartini-ohjelmassa (McLeod et al. 2009). Tartini myös visualisoi äänen yläsävelsarjan. Äänen yläsävelsarja poikkeaa hieman riippuen siitä, millä tekniikalla soitinta soitetaan. Yläsävelsarjojen visualisointi antaa tietoa tästä ja auttaa kehittämään tekniikkaa. (McLeod & Wyvill 2003.) 7

3.4 Tarsos, käytetyn asteikon selvittäminen Hollantilaisen Gentin korkeakoulun Tarsos-projekti perustuu myös äänen korkeuden selvittämiseen, mutta se toimii kulttuuririippumattomasti. Se on etnomusikologeille tehty työkalu, joka ei sitoudu länsimaisen musiikin asteikkoihin vaan visualisoi ääninäytteessä käytettyjä ääniä histogrammin avulla (Kuva 5). Jokainen soitettu ääni jää näkyviin piikkinä histogrammissa, jolloin siitä on helppo jälkikäteen analysoida käytettyä asteikkoa. Samalla ohjelma visualisoi mikrointervalleja 1, jotka ovat länsimaisille muusikoille vieraampia. Tarsoksella voidaan analysoida nauhoitettua ääninäytettä tai reaaliaikaista soittoa. Laulajat ja jousisoittajat voivat käyttää sitä mikrointervallien harjoittelemiseen. (Cornelis & Six 2011.) Kuva 5. Käytetyn asteikon visualisointi Tarsos-ohjelmassa (Cornelis & Six 2011). 1 Länsimaisessa musiikissa pienin käytetty intervalli on puolisävelaskel. Tätä pienempiä, mm. aasialaisessa ja afrikkalaisessa musiikissa käytettyjä intervalleja kutsutaan mikrointervalleiksi. 8

Lähteet Absolute pitch. 2011. [Online] 7.4.2011. [Viitattu: 13.4.2011] Saatavilla: http://en.wikipedia.org/wiki/absolute_pitch Ang, J. Dhillon, R., Krupski, A., Shriberg, E., Stolcke, A. 2002. Prosody-Based Automatic Detection of Annoyance and Frustration in Human-Computer Dialog. [Online] In Proceedings of ICSLP-2002 Denver, Colorado, September 2002. [Viitattu: 13.4.2011] Saatavilla: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.13.4027&rep=rep1&type=pdf de Cheveigne, A. & Kawahara, H. 2002. YIN, a fundamental frequency estimator for speech and music. [Online] The Journal of the Acoustical Society of America. Vol. 111, No. 4. April 2002. Pp. 1917-1930. [Viitattu: 13.4.2011] Saatavilla: http://audition.ens.fr/adc/pdf/2002_jasa_yin.pdf Cornelis, O. & Six, J. 2011. Tarsos. [Www-sivusto] 25.3.2011. [Viitattu: 13.4.011] Saatavilla: http://tarsos.0110.be/ Harmonic series (music). 2011. [Online] Wikipedia. 18.3.2011. [Viitattu: 1.4.2011]. Saatavilla: http://en.wikipedia.org/wiki/harmonic_series_%28music%29 Igarashi & Hughes. 2001. Voice as Sound: Using Non-verbal Voice Input for Interactive Control. [Online] In Proceedings of the Symposium on User Interface Software and Technology (UIST'01), ACM Press, 2001. [Viitattu: 13.4.2011] Saatavilla: http://www.cs.brown.edu/research/pubs/pdfs/2001/igarashi-2001-vsu.pdf Jung, E., Schwarzbacher, A., Humphreys, K., Lawlor, R. 2002. Application of Real-Time AMDF Pitch- Detection in a Voice Gender Normalisation System. [Online] In Proceedings of the 7th International Conference on Spoken Language Processing 2002, pp. 2521-2524. [Viitattu: 13.4.2011] Saatavilla: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.58.5177&rep=rep1&type=pdf McLeod, P. & Wyvill, G.. 2003. Visualization of Musical Pitch. [Online] In Proceedings for the Computer Graphics Internationa, Tokyo, Japan, July 9-11, 2003, pp. 300-303. [Viitattu: 13.4.2011]. Saatavilla: http://miracle.otago.ac.nz/postgrads/tartini/papers/visualization_of_musical_pitch.pdf McLeod, P., Wyvill, G., Warrington, D., Lefohn, K. & Bellingham, J. 2009. Tartini. The Real-Time Music Analysis Tool. [Online] University of Otago, New Zealand. 27.9.2009. [Viitattu: 3.4.2011]. Saatavilla: http://miracle.otago.ac.nz/postgrads/tartini/index.html Overtones. 2011. [Online] Wikipedia 30.3.2011. [Viitattu: 1.4.2011]. Saatavilla: http://en.wikipedia.org/wiki/overtones Pitch detection algorithm. 2011. [Online] Wikipedia 3.3.2011. [Viitattu: 1.4.2011]. Saatavilla: http://en.wikipedia.org/wiki/pitch_detection_algorithm 9

SingStar. 2011. [Online] Wikipedia. 2.2.2011. [Viitattu: 13.4.2011]. Saatavilla: http://en.wikipedia.org/wiki/singstar Tasaviritys. 2010. [Online] Wikipedia 26.5.2010. [Viitattu: 13.4.2011] Saatavilla: http://fi.wikipedia.org/wiki/tasaviritys Tuuri, K. & Eerola, T. 2008. Identifying Function-Specific Prosodic Cues for Non-Speech User Interface Sound Design. In Proceedings of the 11th International Conference on Digital Audio Effects, Espoo, Finland, September 1-4, 2008. [Viitattu: 3.4.2011] Saatavilla: http://www.acoustics.hut.fi/dafx08/papers/dafx08_34.pdf 10