Kohti uuden sukupolven digitaalipianoja Heidi-Maria Lehtonen, DI Aalto-yliopiston teknillinen korkeakoulu Signaalinkäsittelyn ja akustiikan laitos Esitys RISS:n kokouksessa 17.11.2010 Esityksen sisältö Tutkimus Aalto-yliopiston signaalinkäsittelyn ja akustiikan laitoksen akustiikan tutkimusryhmässä Pianon historiaa ja akustiikkaa Fysiikkaan perustuva soitinäänten synteesi Väitöskirjatyöni sisältö pääpiirteissään 2 1
Akustiikan tutkimusryhmän esittely Henkilökuntaa n. 40 3 professoria, 4 dosenttia 2 kaiutonta huonetta Monikanavainen kuuntelu/kaiuton huone Kuunteluhuone A-paja kokemusmaailma V. 2003-2009 n. 10-15 diplomityötä/vuosi, 2-3 tohtorin tutkintoa/vuosi Noin 25 kv. lehtijulkaisua/vuosi, yht. 50-80 kv. julkaisua/ vuosi 3 Tutkimus Huone- ja saliakustinen mallintaminen Akustiset mittaukset Psykoakustiikka Audiokoodaus 3D-ääni ja virtuaaliakustiikka Soittimien ja musiikkilaitteiden mallintaminen (musiikkiteknologia) Äänentoiston signaalinkäsittelymenetelmät Kaiutin- ja kuuloketeknologia Puheteknologia 4 2
Pianon historiaa Cembalo on pianon edeltäjä Mallinnettu akustiikan ja äänenkäsittelytekniikan laboratoriossa 2003-2004 1709 Bartolomeo Christofori vaihtoi cembalon plektrat vasaroihin gravicembalo col piano et forte 5 Nykypäivän pianot 6 3
Flyygelin kielet 7 Pianon ääni Epäharmoninen Monimutkainen vaimeneminen Huojuntaa Laaja dynamiikka Kaikupohja Pedaalit Pianon kielen pitkittäiset värähtelyt 8 4
Fysiikkaan perustuva äänisynteesi Mallinnetaan soittimen äänentuottomekanismia, ei itse ääntä Parametrinen malli, jonka kontrolloiminen suoraviivaista Digitaalinen aaltojohtosynteesi (digital waveguide synthesis) 9 Fysiikkaan perustuva soitinäänten synteesi Etuja verrattuna sämpläystekniikkaan (yleisimmin käytössä nykyisissä digitaalipianoissa) Vähäinen muistin tarve Kontrolloitavuus Skaalautuvuus Sovellusalueita mm. peliteollisuus, mobiiliteknologia, virtuaalitodellisuus, Kehitystyö poikkitieteellistä: matematiikka, fysiikka, DSP, musiikki, psykoakustiikka, 10 5
Väitöskirjatyöni Otsikko: Analysis, Perception, and Synthesis of the Piano Sound 6 osajulkaisua ja yhteenveto Sisältö: Kaikupedaalin analyysi ja synteesi Analyysityökalujen kehittäminen Äänen vaimenemisprosessin mallintaminen Pitkittäisten värähtelyjen havaitseminen 11 Kaikupedaali Esiintyi pianoissa vasta 1700-luvun lopulla Käyttö on taiteenlaji Aikakausi, soittaja, tulkinta Käytöllä kaksi tarkoitusta Ekstrasormet, äänen rikastaminen Ilmiö kaksiosainen: Äänen vaimenemiskäyttäytyminen muuttuu Kielikerta herää (kytkeytyminen kielisillan kautta soivasta kielestä muihin kieliin) Vaikutus ääneen: Tilantuntu (kaiku), huojunta Osittainen kaikupedaali 12 6
Äänitykset analyysia varten Finnvox Studiolla helmikuussa 2006 Tukholmassa KTH:ssa maaliskuussa 2008 13 Signaalianalyysin tulokset: täysi kaikupedaali Kuvassa nuotin C3 (perustaajuus 131 Hz) neljän alimman osaääneksen verhokäyrät Yhtenäinen viiva = ei pedaalia Katkoviiva = pedaali mukana Ääniesimerkkejä verkossa: http://www.acoustics.hut.fi/ publications/papers/jasapiano-pedal/ *+,-./0123'14) Huojunnan lisääntyminen '() ï& ï% ï$ ï$ " # " # '6) ï& ï% ï$ ï$ " 7.+23'8) '1) ï& ï% '5) ï& ï% *+,-./0123'14) Kielikerran herääminen # " 7.+23'8) # 14 7
Signaalianalyysin tulokset: osittainen kaikupedaali Vaimenemiskäyttäytymisessä eroja verrattuna tilanteisiin, joissa ei ole käytetä kaikupedaalia tai käytetään täyttä kaikupedaalia Matalissa äänissä saattaa herätä puuttuvia osaääneksiä Ääniesimerkit: [ei ped. os. ped. täysi ped.] A1 G3 Ääniesimerkkejä verkossa: http://www.acoustics.hut.fi/publications/ papers/jasael-part-pedaling/ 15 Kaikupedaalin synteesi Tavoitteena kehittää algoritmi täyden kaikupedaalin mallintamista varten Lisätään tilantuntua (kaiuntaa) Kielikerran vaikutuksen huomioiminen Ratkaisu: kaikualgoritmi, joka perustuu kielikerran simulointiin 16 8
Kaikupedaalin synteesi Algoritmi, joka perustuu kielikerran simulointiin 12 alinta kieltä Ääniesimerkkejä verkossa osoitteessa: http:// www.acoustics.hut.fi/publications/papers/jasa-pianopedal/ Ilman pedaalia C1: G4: C7: Aito kaikupedaali Synteettinen kaikupedaali 17 Pianon äänen vaimenemisen mallintaminen Vaihe 1: Analyysi käänteiskampasuotimella ja resonaattorilla. Nuotti A2 (perustaajuus 110 Hz). 0 0 Magnitude (db) 20 40 Magnitude (db) 20 40 60 60 0 500 1000 1500 2000 Frequency (Hz) 0 500 1000 1500 2000 Frequency (Hz) 18 9
Pianon äänen vaimenemisen mallintaminen Vaihe 2: Osaääneksen verhokäyrän laskeminen aika-alueessa. Verhokäyrään sovitetun suoran kulmakerroin kertoo vaimenemisajan. Suoritetaan alimmille osaääneksille. 50 alimman osaääneksen vaimenemisajat (aika, jona osaäänes vaimenee 60 db verrattuna lähtötasoon) Vaimenemisajoista voidaan laskea suotimen tavoitevaste. 19 Pianon äänen vaimenemisen mallintaminen Vaihe 3: Suunnitellaan suodin, joka jäljittelee mahdollisimman hyvin mitattuja vaimenemisaikoja. Reaaliaikasynteesiä varten matala-asteinen suodin. Synteesisuodin koostuu kolmesta suotimesta, joiden vasteet näkyvät ylemmässä kuvassa. Loop gain 1 0.8 0.6 0 10 000 20 000 Frequency/Hz Alemmassa kuvassa näkyy, miten synteesisuotimen vaste (punainen viiva) mallintaa tarkasti mitatun tavoitteen. T60/s 30 20 10 0 0 500 1000 1500 Frequency/Hz 20 10
Pitkittäisten värähtelyjen havaitseminen Pianon kielten pitkittäiset värähtelyt ovat kuultavissa erityisesti matalissa, voimakkaissa äänissä Ääniesimerkki, jossa pitkittäisten värähtelyjen viritystä on muutettu (http://www.speech.kth.se/music/5_lectures/conklin/ longitudinal.html) Kuinka korkeissa äänissä ilmiö on merkittävä? Kuuntelukokeet, joissa koehenkilöitä pyydettiin tunnistamaan ääniä, joissa pitkittäiset värähtelyt joko olivat mukana tai ne puuttuivat (ABX-testi) 21 Pitkittäisten värähtelyjen havaitseminen Tulokset: jotkut koehenkilöistä havaitsivat pitkittäisvärähtelyt myös korkeammissa äänissä aina nuottiin C5 (perustaajuus 523 Hz) asti Ilmiö ei kuitenkaan ole merkittävä enää nuotin A3 (220 Hz yläpuolella) Cis1: (ilman) (mukana) A3: (ilman) (mukana) 22 11
Väitöstilaisuuteni Otsikko: Analysis, Perception, and Synthesis of the Piano Sound Aika: pe 3.12.2010 klo 12 Paikka: Aalto-yliopiston teknillinen korkeakoulu, elektroniikan, tietoliikenteen ja automaation tiedekunta, luentosali S4, Otakaari 5 A, Espoo 23 Lopuksi Kiitos Elektroniikkainsinöörien Säätiölle saamastani 2000 e apurahasta 24 12
Kohti uuden sukupolven digitaalipianoja Heidi-Maria Lehtonen, DI Aalto-yliopiston teknillinen korkeakoulu Signaalinkäsittelyn ja akustiikan laitos 13