Binauraalinen äänentoisto kaiuttimilla

Binauraalinen äänentoisto kaiuttimilla Ville Kuvaja TKK vkuvaja@cc.hut.fi Tiivistelmä Tässä työssä esitellään kolmiulotteisen äänen renderöinnin perusteita kaiutinparilla. äpi käydään binauraalisessa äänentoistossa kaiuttimilla tarvittava ristiinkuulumisenpoiston tekniikka. isäksi käsitellään ongelmia ja rajoitteita, joita on binauraalisessa äänentoistossa kaiuttimilla. Ongelmista suurimpia ovat kuuntelualueen rajallinen koko, äänen värittyminen, akustiset ongelmat, ihmisen kuuloon liittyvät ongelmat ja signaalinkäsittelyn vaativuuden ongelmat. Ongelmista yhteen, kuuntelualueen rajalliseen kokoon, esitellään steredipoliksi kutsuttu ratkaisu ja sen fysikaalinen perusta käydään 1 JODANTO Binauraalinen äänentoisto kaiuttimilla tarkoittaa tässä työssä erityistä tekniikkaa, jolla kuuntelijan korviin tuodaan ääntä kahdella kaiuttimella, tavoitteena luoda uskottava kolmiulotteinen (3D) vaikutelma kuuntelijalle. Jotta tavoitteeseen päästäisiin täytyy hallita tekniikka, jolla eri korviin voidaan tuoda eri äänet. Jos korviin tulevia ääniä pystyttäisiin hallitsemaan täydellisesti, pystyttäisiin periaatteessa vapaasti luomaan halutunlainen kolmiulotteinen äänimaisema. Toistettaessa ääntä kahdella kaiuttimella tapahtuu ristiinkuulumista. istiinkuuluminen tarkoittaa kuuntelijan oikeaan korvaan tarkoitetun signaalin kuulumista oikean korvan lisäksi myös vasemmassa korvassa ja vastaavasti vasempaan korvaan tarkoitetun signaalin kuulumista oikeassa korvassa. Jotta pystyttäisiin luomaan tyydyttävää 3D-ääntä, täytyy ristiinkuuluminen poistaa. istiinkuulumisen poisto on keskeinen tehtävä, kun halutaan toistaa 3D-ääntä kahdella kaiuttimella. istiinkuulumisen poistoa käsitellään kappaleessa kaksi. Binauraalisen äänentoiston ongelmia kaiutinparilla käsitellään kappaleessa kolme. Ongelmista kuuntelualueen koon rajallisuuteen esitellään ratkaisuna stereodipoli. Stereodipolin fysikaalinen periaate esitellään kappaleessa neljä siten, kuin se on esitetty alkuperäisissä teksteissä. opuksi kappaleessa viisi tehdään yhteenveto 1

käsitellyistä asioista. Ensimmäistä kertaa ristiinkuulumisesta poistettua binauraalista ääntä kaiuttimilla toisti Schroeder ja Atal vuonna 1966 (uopaniemi, 1999). Tekniikan teorian oli jo aiemmin muotoillut B. Bauer vuonna 1961. Binauraalinen äänentoisto on multimedian leviämisen myötä tällä hetkellä yleisempää kuin koskaan aikaisemmin. Erilaisia 3D-kaiuttimia on tarjolla runsaasti. Niiden ominaisuuksissa ja niiden luomissa 3D-vaikutelmissa on kuitenkin suuria eroja. 2 ISTIINKUUUMISEN POISTO Binauraalinen synteesi ja ristiinkuulumisen poisto ovat operaatiot, jotka suoritetaan, kun toistetaan binauraalista ääntä kuuntelijan korviin. Binauraalinen synteesi tarkoittaa äänen syntetisoimista binauraaliseksi, eli sellaiseksi että se voidaan toistaa kuuntelijan eri korvissa siten, että syntyy kolmiulotteinen vaikutelma. Binauraalisen äänen toisto kaiuttimilla vaatii myös ristiinkuulumisen poiston suorittamisen. istiinkuulumista poistetaan erityisillä suotimilla. istiinkuulumisen poiston teoriaa esitellään tässä työssä yleisen asymmetrisen kuuntelutilanteen ristiinkuulumisen poiston tapauksessa. Esitys perustuu Gardnerin väitöskirjaan (Gardner, 1997). Binauraalinen synteesi suoritetaan kertomalla herätesignaalia vasemman ja oikean ulkokorvan ja korvakäytävän akustisella siirtofunktiolla, eli TF:llä (ead elated Transfer function): x = hx (1) x x =, h = (2) x Missä x on herätesignaali, x on binauraalisten signaalien muodostama pystyvektori ja h on binauraalisen synteesin TF-parin pystyvektori. Jotta binauraalinen signaali voitaisiin tuoda kuuntelijalle kaiuttimien kautta, täytyy binauraalinen signaali suodattaa ristiinkuulumisenpoistosuodattimella C: y = Cx (3) y C11 C12 y =, C = (4) y C21 C22 Missä y on binauraalinen kaiutinsignaali ja suodatin C on ristiinkuulumisenpoistosuodatin. 2

Kuva 1: Akustiset siirtofunktiot kaiuttimien ja kuuntelijan korvien välillä (Gardner, 1997). Kuva 2: ohkokaavio binauraalisesta äänentoistojärjestelmästä, johon kuuluu binauraalinen syntetisaattori, ristiinkuulumisenpoistojärjestelmä ja akustinen siirto kuuntelijalle (Gardner, 1997). Kahden kanavan kuuntelutilanne on esitetty kuvassa 1. Korviin tulevat korvasignaalit ovat seuraavan yhtälön mukaisessa suhteessa kaiuttimista tuleviin kaiutinsignaaleihin: e = Ay (5) e A A e =, A = (6) e A A missä e on korvasignaalien muodostama pystyvektori, A on akustinen siirtomatriisi ja y on kaiutinsignaalien muodostama pystyvektori. 3

Korvasignaalien ajatellaan olevan mitattu ideaalisella mittarilla jostain kohtaa korvakäytävää, siten että kaikki pään vasteen suunnasta riippuvat ominaisuudet on saatu otettua huomioon. A:n siirtofunktiot sisältävät kaiuttimen taajuusvasteen, ilmassa etenemisen ja pään vasteen. A voidaan osittaa seuraavalla tavalla: A = S (7) S A 0 =, S = (8) 0 S A missä on pään siirtofunktioiden, eli TF:ien, matriisi, jossa jokainen TF on normalisoitu suhteessa vapaan kentän vasteeseen pään keskipisteessä, ilman että päätä on huomioitu. TF:ien mittauspiste, joka voi olla esimerkiksi korvakäytävän suu, ja samalla myös korvasignaalin e määritelmä, on yksinkertaisuuden takia jätetty ottamatta huomioon. S on kaiuttimien taajuusvasteiden ja ilman siirtofunktioiden muodostama diagonaalimatriisi. Taajuusvasteet S X ja siirtofunktiot A X ovat kaiuttimesta kuuntelijan pään keskipisteeseen, ilman pään vaikutusta. Yksinkertaisuuden takia on tehty oletus, että kukin kaiutin vaikuttaa ipsilateraaliin (samalla puolella olevaan) ja kontralateraaliin (vastakkaisella puolella olevaan) korvaan yhtä suuruisesti. Binauraalinen äänentoistojärjestelmä on esitetty kuvassa 2. Jotta binauraalinen signaali tulisi toistettua oikein, valitaan ristiinkuulumisenpoistosuodatin C siten, että se on akustisen siirtomatriisin A käänteismatriisi: 1 C = A = S (9) Tässä on pään siirtofunktiomatriisin käänteismatriisi ja käänteissuodattimen kuhunkin kaiuttimeen: S yhdistää 1/( S ) 0 A S = (10) 0 1/( S A ) missä 1/ S X -termit kompensoivat kaiuttimen taajuusvasteet ja 1/ S A -termit kompensoivat ilmassa etenemisen vaikutuksen. Käytännössä tämä taajuuskorjausvaihe voidaan jättää pois, jos kuuntelija on yhtä kaukana molemmista kaiuttimista, jotka ovat hyvälaatuisia ja hyvin sovitettuja. Kuitenkin, jos kuuntelija on sivussa kaiuttimien keskiakselilta, täytyy lähempänä olevaa kaiutinta viivästää ja vaimentaa, niin että signaalit saapuvat kuuntelijalle samaan aikaan ja samalla amplitudilla. Tämä signaalin viivästys ja vaimennus tapahtuu 1/ A -termien avulla. X eaaliaikaisessa toteutuksessa täytyy ristiinkuulumisenpoistosuotimeen lisätä mallinnusviivettä, jotta voidaan luoda kausaalinen järjestelmä. Kun yhtälöön 9 lisätään diskreettiaikaista mallinnusviivettä m :n näytteen verran, saadaan seuraavanlainen yhtälö: 4

m C ( z) = z S ( z) ( z) (11) Mallinnusviiveen määrä m riippuu toteutuksesta. Pään siirtofunktioiden matriisin käänteismatriisi on: 1 1 = (12) D D = (13) missä D on pään siirtofunktioiden matriisin determinantti. 1/D on yhteinen kaikille termeille ja määrittää käänteissuotimen stabiliteetin. Koska se on yhteinen kaikille termeille, niin se vaikuttaa taajuuskorjaukseen kokonaisuudessaan mutta ei vaikuta ristiinkuulumisen poistoon. Kun determinantti on nolla jollain taajuudella, on pään siirtofunktioiden matriisi singulaarinen ja käänteismatriisia ei ole määritelty. Kuva 3: Yhden lähteen binauraalinen syntetisaattori kaskadissa ristiinkuulumisenpoistosuotimen kanssa. Kun yhtälön 12 osoittaja ja nimittäjä jaetaan termillä seuraavaan muotoon:, saadaan yhtälö 1/ 0 0 = (14) 1/ 1 ITF ITF 1 1 1 ITFITF missä ITF = ITF =, (15) 5

ovat interauraaliset siirtofunktiot (interaural transfer function, ITF). Yhtälöä 14 tarkastelemalla saadaan käsitys, kuinka ristiinkuulumisenpoisto prosessi toimii. istiinkuuluminen poistuu oikeanpuoleisen matriisin -ITF-termien ansiosta. Nämä termit ennustavat ristiinkuulumista ja lähettävät vastakkaisvaiheisen poistosignaalin vastakkaiseen kanavaan. Yhteinen termi 1/(1 ITF ITF ) kompensoi korkeamman asteen ristiinkuulumista, eli sitä että ristiinkuulumisenpoistosignaali kulkeutuu itsekin molempiin korviin. Vasemmanpuolinen matriisi yhdistää ipsilateraalin käänteissuotimen 1/ vasempaan kaiutinlähtöön ja 1 / vastaavasti oikeaan kaiutinlähtöön. Nämä ovat olennaisesti korkeampien taajuuksien korjausta, joka mahdollistaa kuuntelijan takaa tulevien äänten havainnoinnin edessä olevista kaiuttimista. Yhtälön 14 avulla voidaan kuvan 3 piiri kirjoittaa muotoon: y y x / = / x ITF 1 1 ITF ITF ITF (16) Yhtälöä 16 tarkastelemalla paljastuu, että se koostuu pelkästään TF:ien suhteista, jotka vastaavat joko ITF:iä tai vapaan kentän mukaan ekvalisoituja TF:iä. Tämä on tärkeää siksi, että jokainen kerroin, joka on yhteinen TF:ille kumoutuu. Käytännön TF-mittaukset voidaan siis tehdä mistä kohtaa korvakäytävää tahansa ja voidaan käyttää joko vapaan kentän tai diffuusin kentän mukaan ekvalisoituja TF:iä. Ainoa rajoitus on että TF:t, joita on käytetty binauraaliseen synteesiin, ovat samat kuin TF:t, joita on käytetty ristiinkuulumisen poistossa.. 3 ONGEMAT JA AJOITTEET Kaksi suurinta ongelmaa ristiinkuulumisen poistavien järjestelmien toteutuksessa ovat uopaniemen (uopaniemi, 1999) mukaan toimivan kuuntelualueen koko ja äänen epätoivottu värittyminen ristiinkuulumisenpoistosuotimissa. Perustavaa laatua olevat rajoitukset ja nykyisen teknologian puutteet johtuvat signaalinkäsittelyn vaatimuksista, akustiikan huomioonottamisesta, ihmisen kuulon ominaisuuksista ja kuuntelijan liikkeestä (Kyriakakis, 1998). Tarkka TF:ien mittaaminen tuntuu olevan perustavan laatuinen vaatimus, jotta voitaisiin toistaa uskottavaa 3D-ääntä. TF:ien tärkeys johtuu ihmisen fysiologiasta ja kognitiivisista ominaisuuksista, jotka ovat ihmisen korvan ja aivojen välissä olevassa rajapinnassa. TF:ien erilaisuus eri kuulijoilla, varsinkin korkeilla taajuuksilla, on aiheuttanut sen, etteivät TF:ien mallintamiseen perustuvat 3D-äänentoistojärjestelmät ole levinneet laajalle. Koska TF:ien henkilökohtaisuus on ollut ongelma, on nykyään tutkimuksen painopistealueena hyvä äänen suunnan lokalisointi TF:illä, jotka ovat saatu keskiarvoistamalla, mallintamalla tai perustuvat hyvien lokalisoijien TF:iin. iittävän realismin tuntu 3D-ääneen saadaan, kun kuuntelijan TF:t ja äänentoistojärjestelmässä käytettävä TF-malli poikkeavat toisistaan enintään ± 1dB. Uusi keino saavuttaa parempi vastaavuus henkilökohtaisen TF:n ja mallin TF:n 6

välillä on kerätä tietokantaa erilaisista TF:istä ja niitä vastaavista korvanlehdistä (Kyriakakis, 1998). Kuuntelijan korvanlehteä parhaiten vastaava tietokannan korvalehti on se johon liittyvä TF valitaan kuuntelijan TF:ksi. Korvalehden tunnistamiseen ja oikeanlaisen TF:n valintaan käytetään kameran tuottamaa kuvaa ja erityistä algoritmia, joka tunnistaa kuvan korvanlehden. Kuuntelutilan akustiikka aiheuttaa myös vaikeita ongelmia. Jos suoran ja heijastuneen äänen äänipainetason ero on alle 15 db ensimmäisten 15 ms:n aikana syntyy pahoja vääristymiä äänen sävyyn (Kyriakakis, 1998). Ongelma tulee esille varsinkin pienissä huoneissa. atkaisuksi on esitetty lähikenttäkuuntelua (near-field monitoring), eli kaiuttimet sijoitetaan niin lähelle kuuntelijaa, että suora ääni on hallitseva. Jos ajatellaan että kuuntelija istuu tietokoneen ääressä, tulee vahvoja heijastumia näytöstä ja pöydästä. Nämä heijastumat aiheuttavat keskibassojen korostumista. atkaisuna tähän ongelmaan kaiuttimet pyritään sijoittamaan riittävän kauas heijastavista pinnoista. Tämä ratkaisu ratkaisee ongelman vain keskitaajuuksien ja korkeiden taajuuksien osalta. Matalien taajuuksien moodit eivät riipu niinkään paikallista pinnoista, vaan huoneen fyysisestä koosta. Nämä moodit tuottavat seisovia aaltoja, jotka aiheuttavat suuria muutoksia taajuusvasteeseen. Tällaiset amplitudi- ja vaihevääristymät voivat kokonaan tuhota huolellisesti suunnitellun 3D-äänentoiston. Seisovat aallot voivat aiheuttaa ± 15 db:n äänipainetason vaihtelun matalilla taajuuksilla tyypillisessä huoneessa. Jos kuuntelija istuu tietokoneen ääressä, voidaan tietoa kuuntelijan sijainnista käyttää hyväksi signaalin käsittelyssä, joka korjaa matalien taajuuksien vääristymiä. Nämä vääristymät voidaan kuitenkin korjata vain pieneltä alueelta. Kun halutaan tehdä taajuuskorjaus suuremmalle alueelle, jotta kuuntelijan liike ei tuhoaisi hänen kokemaansa 3D-vaikutelmaa, voidaan käyttää kuuntelijan liikkeitä seuraavia laitteita ja adaptiivisia signaalinkäsittelymenetelmiä, jotka sallivat reaaliaikaisen taajuuskorjauksen. 4 STEEODIPOI N:llä kaiuttimella on periaatteessa mahdollista hallita äänikenttää N:ssä pisteessä (Kirkeby, Nelson, 1998). Siten kahdella kaiuttimella on mahdollista tuottaa mitkä tahansa kaksi signaalia kuuntelijan kahteen korvaan. Käytännössä on kuitenkin parempi, jos signaalit pystytään toistamaan oikein myös kuuntelijan korvien läheisyydessä, silloin kuuntelijan pään liikkeet eivät tuhoa äänivaikutelmaa. istiinkuulumisenpoistojärjestelmien tarkoitus on tuottaa haluttu signaali haluttuun korvaan siten, ettei mitään kuulu toiseen korvaan. Suuri osa työstä, jota tehdään ristiinkuulumisen poistamiseksi, keskittyy tilanteeseen, jossa kaiuttimien välinen kulma on 60 astetta kuuntelijasta nähtynä. Jos kaiuttimien välistä kulmaa pienennetään, saavutetaan suurempi kuuntelualue, jossa uskottava 3D-vaikutelma säilyy (Kirkeby, Nelson, 1998). Kirkeby ja Nelson ovat ehdottaneet kaiuttimien väliseksi kulmaksi kymmentä astetta. Tätä asetelmaa he kutsuvat stereodipoliksi. Stereodipolin toiminnasta saadaan käsitys tarkastelemalla kuinka kaiuttimien välinen kulma vaikuttaa kaiuttimien impulssivasteisiin ristiinkuulumisen poistamisen yhteydessä. 7

Seuraavassa kappaleessa esitetään ristiinkuulumisen poistaminen, kun halutaan toistaa äänipulssi vain kuuntelijan vasemmassa korvassa. Pulssi on d (t), ja d ( t) << t, t on aika, joka kuluu kun ääni kulkee pään halki toiseen korvaan. Pulssin kesto on huomattavasti lyhyempi kuin ajan t, eli d ( t) << t. Aluksi vasen kaiutin lähettää pulssin, joka kuuluu kuuntelijan vasemmassa korvassa. Ajan t kuluttua pulssi kuuluu myös oikeassa korvassa. Koska pulssin ei pitänyt kuulua oikeassa korvassa, pitää pulssi kumota lähettämällä oikeasta kaiuttimesta negatiivinen pulssi. Tämä negatiivinen pulssi saavuttaa vasemman korvan ajan 2t kuluttua ensimmäisestä vasemman korvan kuulemasta pulssista. Nyt tämä negatiivinen pulssi pitää kumota lähettämällä toinen positiivinen pulssi vasemmasta kaiuttimesta, mikä taas johtaa jälleen yhteen epätoivottuun pulssiin oikeassa korvassa ja niin edelleen. opputuloksena on se, että vasen kaiutin lähettää sarjan positiivisia pulsseja ja oikea kaiutin lähettää sarjan negatiivisia pulsseja. Kumpikin pulssijono lähettää pulsseja "soimistaajuudella" (ringing frequency) f 0. Pulsseja lähetetään kaiuttimista ajan 1.2t välein. Jos yksittäiset pulssit olisivat pitkiä verrattuna t : hen menisivät pulssit päällekkäin. Kuva 4 esittää pulssijonot erilaisilla kaiuttimen välisillä kulmilla. Kuuntelijan etäisyys kaiuttimista on 0.5 m. Pään läpimitta on 180 mm. Signaali on anning-pulssi, joka määritellään seuraavasti: (1 cosω ) / 2, d( t) = 0t 0, 0 t 2π / ω0 muulloin (17) Kuva 4: istiinkuulumisen täydellisen poiston kuuntelijan oikeassa korvassa aikaansaavien kahden kaiutin signaalin aikavasteet eri kaiuttimien välisellä kulmalla. Ohut viiva on vasemman kaiuttimen signaali, paksu oikean. (a) 60. (b) 20. (c) 10. (Kirkeby, Nelson, 1998). 8

missä ω 0 :n arvoksi on valittu 2 π kertaa 3.2 kz (tämän pulssin spektrin ensimmäinen nolla on 6.4 kz:ssä). Kolmelle kaiutin kulmalle 60, 20 ja 10 astetta, vastaavat soimistaajuudet ovat 1.9, 5.5 ja 11 kz. Soimistaajuus f 0 lähestyy ääretöntä, kun kaiuttimien välinen kulma lähestyy nollaa. Pystytään osoittamaan, että rajatilanne vastaa monopolia ja dipolia, kun molemmat on sijoitettu koordinaattijärjestelmän origoon. istiinkuulumisenpoistojärjestelmä on tällöin periaatteessa optimaalinen, koska äänikenttä ei sisällä minkäänlaista "soimista". Kuvasta 4 huomataan, että kun f 0 kasvaa, lisääntyy samalla myös pulssien meneminen päällekkäin. Tämä päällekkäisyys tekee pulssijonoista sileämpiä ja voidaan helposti kuvitella että suurella f 0 : lla soimistaajuus häviää kokonaan ja pulssijonot ovat enää vaimenevia eksponentiaaleja. Kuitenkin samalla kun f 0 kasvaa, kasvaa myös molempien pulssijonojen matalataajuinen sisältö. Tästä johtuen, jotta kaiutinparilla saavutettaisiin täydellinen riistiinkuulumisenpoisto, tarvitaan erittäin suuri matalataajuinen toisto. Kuva 5 esittää äänikenttiä, jotka on tuotettu neljällä eri kaiuttimien välisellä kulmalla. Äänikentät, jotka on kuvattu kuvissa 5(a)-(c) ovat ne kentät, jotka on tuotettu kuvan 4 syötteillä. Kun kaiuttimin välistä kulmaa pienennetään, suurenee samalla kuuntelualue. uonoina puolina on, että mitä pienempi kulma on, sitä vaikeampaa on saavuttaa hyvää ristiinkuulumisen poistoa matalilla taajuuksilla ja että vaaditaan enemmän tehoa matalilla taajuuksilla (Kirkeby, Nelson, amada, 1998). 5 YTEENVETO Binauraalinen äänentoisto kaiuttimilla on edelleen kehittyvä tekniikan ala. Tilanteet, joissa binauraalinen äänentoisto on ollut menestys, ovat olleet 3D-äänentoisto tietokoneiden yhteydessä ja virtuaalisen kotiteatterijärjestelmän luominen. Syy siihen, miksi juuri tietokoneiden 3D-äänentoistossa on ollut suosittua käyttää binauraalista äänentoistoa kaiuttimilla, on umseyn (umsey, 2001) mukaan ollut se, että kuuntelijan pään sijainti on niin hyvin ennustettavissa. Tämä ennustettavuus on helpottanut ristiinkuulumisenpoistosuotimien suunnittelua. Tietokoneiden kanssa ei myöskään yleensä ole niin suuria laatuvaatimuksia äänelle, vaan yleensä riittää karkeat äänen suunnan lokalisoivat äänivihjeet. Äänen värittyminenkään ei ole esimerkiksi tietokonepeleissä välttämättä erityisen häiritsevää. Kuuntelualueen laajentamiseksi on tehty paljon työtä. Stereodipoli on mielenkiintoinen tekniikka kuuntelualueen laajentamiseksi ja sen mahdollisuuksia eri toteutuksissa on vielä vaikea arvioida. Kuuntelijan pään seuranta on myös yksi lisä binauraalisiin järjestelmiin, kun halutaan laajentaa kuuntelualuetta. 9

Kuva 5: Äänikentät, jotka on tuotettu erilaisilla kaiuttimien välisillä kulmilla siten että kuuntelijan oikeassa korvasta on ristiinkuuluminen täydellisesti poistettu. (a) 60. (b) 20. (c) 10. (d) 0, eli niin sanottu monopoli-dipoli yhdistelmä. (Kirkeby, Nelson, 1998). ÄTEET Gardner, W. G. 1997. 3-D Audio Using oudspeakers. Väitöskirja. MIT Media ab. 153 s. uopaniemi, J. 1999. Virtual Acoustics and 3-D Sound in Multimedia Signal Processing. Väitöskirja. Teknillinen Korkeakoulu. 189 s. Kirkeby, O., Nelson, P. A. 1998. The Stereo Dipole -A Virtual Source Imaging System Using Two Closely Spaced oudspeakers. J. Audio Eng. Soc.. Vol. 46. No. 5. S. 387-395. 10

Kirkeby, O., Nelson, P. A., amada,. 1998. ocal sound field reproduction using two closely spaced loudspeakers. J. Acoust. Soc. Am. Vol. 104. No. 4. S. 1973-1981. Kyriakis, C. 1998. Fundamental and Technological imitations of Immersive Audio Systems. Proceedings of the IEEE. Vol. 86. No. 5. S. 941-951. umsey, F. 2001. Spatial Audio. Focal Press. 240 s. 11