Spektrin sonifikaatio AS-0.3200 Automaatio- ja systeemitekniikan projektityöt Väliraportti Paula Sirén
Sisällysluettelo 1. Johdanto... 2 2. Tehtävän kuvaus ja työn rakenne... 2 3. Teoria... 3 3.1 Ääni mekaanisena aaltona... 3 3.2 Ihmisen kuulojärjestelmän fysiologiaa... 3 4. Sonifikaatio käytännössä... 4 4.1 Sovelluksia... 4 4.2 Signaalinkäsittely... 4 4.3 Toteutus Matlabilla... 5 5. Projektin eteneminen... 7 6. Projektin yhteenveto... 7 7. Lähteet... 8
1. Johdanto Tyypillisin tapa esittää mittaustuloksia esimerkiksi kokeellisessa fysiikassa on optinen spektri, sillä optiset ominaisuudet kuten absorptio liittyvät läheisesti moneen tarkasteltavaan ilmiöön, joista esimerkkinä esimerkiksi pulssioksimetria, jossa hyödynnetään veren happipitoisuuden perusteella muuttuvia absorptio-ominaisuuksia. Kokeellisessa työssä joudutaan usein toistamaan mittauksia useasti, mikä vaikuttaa mittausten tekijän keskittymiskykyyn ja sitä kautta työn laatuun ja havaintojen tarkkuuteen. Kelvollisten tulosten saamiseksi ja usein hyvin haastavien ja tarkkuutta vaativien mittausolosuhteiden huomioimiseksi informaation esittäminen eri kanavia pitkin on suotavaa. Esimerkiksi selvästi poikkeavien mittaussignaalien havaitseminen mahdollisimman nopeasti auttaa paikantamaan virheitä mittaus- ja koejärjestelyissä ja jopa ehkäisemään mahdollisesti syntyviä vaaratilanteita. Ihminen kokee visuaalisen havainnon usein tarkimmaksi ja luontevimmaksi kanavaksi ympäristön tarkkailuun. Näköaistin aika- ja paikkaresoluutio on tarkka ja informaatiosisältö helposti tulkittavissa. Usein tarvitaan kuitenkin yhtäaikaista huomion kohdistamista useaan asiaan ja useasta kanavasta saapuvaan informaatioon. Kuuloaistin avulla ihminen kykenee paremmin tarkkailemaan laaja-alaista ympäristöä ja tekemään hyödyllisiä päätelmiä yksinkertaisistakin havainnoista. Tässä projektissa on tarkoitus soveltaa sonifikaatiota eli informaatiosignaalin muuttamista äänisignaaliksi. Lisäksi luodaan katsaus ääneen liittyvään fysiikkaan sekä ihmisen kuulojärjestelmään. Sonifikaatio ja signaalinkäsittely toteutetaan Matlabilla. Väliraportointivaiheessa työ oli edennyt siten, että teoriaosuuteen oli tutustuttu melko kattavasti ja koottu runko kuulon fysiologiasta ja äänen ominaisuuksista lopullista raporttia varten ja käyty läpi sonifikaatioon liittyviä tieteellisiä julkaisuja. Lopulliseen raporttiin on tarkoitus koota teoriaosuus vielä parempaan muotoon ja yhdistää eri aihepiirien keskeiset asiat loogiseksi kokonaisuudeksi. Signaalinkäsittelysovelluksen toteuttamisessa on tutustuttu ja käsitelty aitoa mittausdataa liittyen NIR-spektroskopian kariesmittauksiin. 2. Tehtävän kuvaus ja työn rakenne Projektityön tavoitteena on tutustua sonifikaatioon informaationesitysmenetelmänä, ääneen fysikaalisena ilmiönä sekä ihmisen kuuloaistin toiminnan fysiologiseen perustaan. Työ jakautuu teoria- ja ohjelmointiosuuteen. Teoriaosuuden tarkoituksena on koota tarvittavaa taustatietoja sonifikaatioon läheisesti liittyvistä ilmiöistä, mikä tukee käytännön ohjelmointiosuuden suoritusta. Ohjelmointiosuudessa tehdään Matlab-ohjelma, jonka avulla voidaan muuttaa annetun optisen spektrin informaatiosisältö äänimuotoon. Tähän on tarkoitus käyttää Matlabin signaalinkäsittelyominaisuuksia. Työn kokonaislaajuus rakentuu teoria- ja ohjelmointiosuuden työmäärästä, josta pidetään kirjaa työn etenemisen ajan. Koska kyseessä ei ole ryhmätyö, ryhmätyöhön liittyviä seikkoja kuten työnjakoa ja riskejä ei tässä projektisuunnitelmassa käsitellä. Väliraportointivaiheessa merkittävin tarkennus tehtävänasetteluun oli kohdeprosessin määritys ja siihen liittyvän datan käyttöönotto Matlab-funktioiden toteutuksessa. Kohdeprosessina työssä tullaan käyttämään kariesmittauksia NIR-spektroskopialla. Loppuraporttiin kuvataan kohdeprosessi
ja mittausmenetelmä tarkemmin ja pohditaan mahdollisia virhe- ja häiriölähteitä ja niiden huomioimista. 3. Teoria 3.1 Ääni mekaanisena aaltona Ihmisen kuuloaistin havaitsema ääni on mekaaninen, paineen vaihtelua kuvaava pitkittäisesti etenevä aalto, jonka syntytapaa fysikaalisia ominaisuuksia ja matemaattista esitystapaa käsitellään tässä luvussa. Ääniaallon fysiikkaan ja siihen liittyviin laskennallisiin menetelmiin on tutustuttu ja niitä tullaan käsittelemään loppuraportissa tarvittavalla tarkkuudella. 3.2 Ihmisen kuulojärjestelmän fysiologiaa Ihmisen kuulojärjestelmä koostuu äänen keräämisestä, välityksestä ja prosessoinnista eli ulkokorvasta, keskikorvasta, sisäkorvasta ja yhteydestä aivojen kuulokeskukseen. Sisäkorva koostuu korvalehdestä ja korvakäytävästä, jossa ääniaalto etenee kohti keskikorvaa ja kuuloluita ilman välityksellä. Kuuloluiden kautta ääniaalto kulkeutuu sisäkorvan simpukkaan ja muodostaa seisovan aallon, johon tietyn alueen värekarvat voivat reagoida ja muuttaa mekaanisen informaation sähköiseen muotoon, joka mahdollistaa aktiopotentiaalien lähettämisen kuulohermoa pitkin aivoihin. Sisemmät ja ulommat värekarvat reagoivat erityyppisiin ääniin eli ne ovat järjestäytyneet taajuuden ja äänenvoimakkuuden mukaan. Ulommat värekarvasolut keräävät informaatiota laajemmalta alueelta ja pystyvät havaitsemaan pienemmätkin muutokset, kun taas sisemmät solut kykenevät välittämään informaatiota havaitusta äänestä tarkemmalla aika- ja paikkaresoluutiolla. Ihminen pystyy havaitsemaan ääniä taajuusalueelta 20 20000 Hz, jonka vastaavia paineenvaihteluita korva pystyy keräämään ja havaitsemaan, mutta kuuloaisti ei pysty toimimaan tarkasti kuuloalueen korkeilla ja matalilla taajuuksilla. Esimerkiksi puheen ymmärtäminen on mahdollista taajuusalueella 300 4000 Hz, minkä jälkeen ääni-informaation ymmärtäminen vaikeutuu huomattavasti. Kuulon herkkyys korkeille ja matalille taajuuksille on yksilöllistä, joten tärkeimmän informaation on hyödyllistä asettua tietylle taajuusalueelle, jolle havainnointi- ja reagointiherkkyysherkkyys on erityisen hyvä. Kuten sisäkorvan värekarvasolut, myös kuuloaivokuorelle johtavat hermosyyt ovat jakautuneet taajuuden mukaan. Tietty hermosyy välittää informaatiota vain tietyntaajuisesta ääniärsykkeestä. Kokonaisinformaatio äänihavainnosta syntyy eri taajuuksiin reagoivien neuronien yhteistoiminnan tuloksena ja perustuu etupäässä äänen ja sen komponenttien akustisten ominaisuuksien tunnistamiseen. (Kaaviokuva kuulojärjestelmästä tulossa) Suunniteltaessa informaation esittämistä tehokkaasti ja havainnollisesti äänimuodossa, täytyy huomioida kuuloaistin ja ääni-informaation tulkinnan erot yksilöiden välillä. Lisäksi täytyy huomioida eri äänien muodostama yhteisvaikutus kuten esimerkiksi tiettyjen äänien ja niiden informaation katoaminen suurempaan äänimäärään. Ihmisen herkkyys havaita ääniä on voimakkain taajuuksille
(taajuusalue tarkistetaan vielä useammasta lähteestä), kun taas etenkin taajuudet (taajuusalue tarkistetaan vielä useammasta lähteestä) jäävät usein vähemmälle huomiolle. Taajuuden ja spektrin lisäksi merkittävä asia äänen havainnoinnille on äänenvoimakkuus. Äänen voimakkuus määritellään desibeleissä kaavalla = 10 log, jossa palloaaltona etenevän äänen intensiteetti ~ 1 heikkenee verrannollisena etäisyyden neliöön. Täten myös havainnoijan ja äänilähteen välinen etäisyys on oleellinen tekijä äänen havainnoinnissa. Mikäli äänimuodossa halutaan esittää informaatiota, täytyy huomioida, että helpoimmin reagoidaan tilanteeseen, jossa tasaiseen spektriin tulee helposti havaittavia muutoksia, sillä kuulojärjestelmä adaptoituu helposti tasaisena pysyvään äänisisältöön ja suuri osa kuuloaivokuoren soluista reagoi vain äänen taajuus- ja voimakkuusmuutoksiin. Kuulojärjestelmän fysiologiasta on koottu lyhyt johdatus pääasiallisena lähteenä G. J. Tortora, B. H. Derrickson, Principles of Anatomy and Physiology. Tässä osuudessa on vielä tarkoitus tutustua siihen, mitä tulee huomioida auditiivisen informaation välittämisessä ja millainen ääni-informaatio on ihmiselle helpoin ymmärtää. Keskeisimmät kuulojärjestelmään liittyvät asiat, kuten taajuusalueiden lukuarvot, tullaan tarkistamaan useammasta lähteestä 4. Sonifikaatio käytännössä 4.1 Sovelluksia Tässä osassa käsitellään sonifikaation sovelluksia ja tarkastellaan jo olemassa olevia ja mahdollisesti kiinnostavia potentiaalisia sovelluskohteita. Tähän mennessä on käyty läpi joukko sonifikaatiosovelluksia käsitteleviä tieteellisiä julkaisuja, joiden pohjalta on tarkoitus kirjoittaa lyhyehkö kokoava osuus sonifikaation tyypillisistä sovelluskohteista. 4.2 Signaalinkäsittely Monen fysikaalisen ilmiön kokeellinen tarkastelu perustuu mitatun signaalin analysointiin joko taajuus- tai aikatasossa tarkastellen. Taajuustarkastelussa signaalin informaatio on jaettu kyseessä olevan taajuuskaistan yli painotettuun summaan komponenteista, joista kukin vastaa yhtä aallonpituutta. Hyödyllinen ja yleisimmin käytetty tapa signaalin esittämiseen taajuustasossa on signaalin Fourier-muunnoksen muodostaminen eli signaalin esittäminen siniaaltokomponenttien painotettuna äärettömänä summana. Jatkuvan aikatason signaalin x(t) Fourier-muunnos voidaan muodostaa kaavalla ( ) = ( ).
Esittäminen taajuustasossa on signaalinkäsittelyn menetelmien kannalta usein aikatason esitystapaa edullisempi ratkaisu. Monet laskennalliset operaatiot ovat tehokkaampia suorittaa taajuustasossa, ja signaalin komponenttien analysointi on helpompaa. Signaalinkäsittelyn päätarkoitus on poistaa signaalista ei-toivottuja piirteitä kuten häiriöitä tai artefakteja sekä erotella niistä ilmiön kannalta oleellisia piirteitä analysointia varten. Jotta ei-toivotut piirteet voidaan erottaa ja poistaa signaalista, on tunnettava sekä mittausprosessiin että mitattavaan ilmiöön liittyvä fysikaalinen tausta. Signaalin analyysin kannalta tärkeitä keskeisiä ominaisuuksia ovat muun muassa signaalin taajuussisältö, vaihe-erot, amplitudit, intensiteettimaksimit ja spektrin muoto. Signaalin keskiarvoistus on hyödyllinen toimenpide, kun halutaan poistaa signaalista satunnaisia häiriöpiikkejä, mutta laajemmin esiintyvät häiriöt on poistettava erilaisia suodattimia käyttämällä. Optisen ja audiosignaalin tärkeimmät ominaisuudet, samankaltaisuudet ja eroavaisuudet signaalinkäsittelyn näkökulmasta kuvataan tässä luvussa. Tarkoituksena on tarkastella esimerkiksi Fourier-analyysia ja kohinan suodatusta. Tässä osassa kuvataan ne tärkeimmät menetelmät, joihin Matlab-ohjelman toiminta nojaa. Signaalinkäsittelyyn on tutustuttu usean lähteen perusteella ja painotuttu erityisesti biosignaalien kanssa sovellettaviin menetelmiin ja biosignaalien tyypillisiin piirteisiin. 4.3 Toteutus Matlabilla Sonifikaatiosovelluksen kohdedatana on tarkoitus käyttää kariesmittausten NIR-spektroskopiadataa. Kustakin mittauksesta oli saatavilla NIR-spektri aallonpituuden funktiona sekä tieto, oliko kyseessä sairas vai terve tapaus. Tämä luokittelu oli tehty tuntemattomalla menetelmällä eikä menetelmän tarkkuus ollut tiedossa. Koska itse datan ominaisuudet ovat tärkeässä roolissa sonifikaatiosovelluksen toteuttamisessa, aluksi tutkittiin, mitkä ominaisuudet yhdistävät keskenään sairaita ja terveitä spektrejä. Keskiarvoistamalla saatu spektridata saadaan määritettyä ominaisuudet keskimääräiselle sairaalle ja terveelle spektrille. Näitä ominaisuuksia voidaan hyödyntää signaalin luokittelufunktion määrittelyssä. Kaikille mitatuille spektreille oli yhteistä se, että tarkastelun kannalta mielenkiintoiset muutokset tapahtuivat aallonpituusalueella 400 800 nm. Tämän jälkeen spektri tasaantui vakiosuuruiseksi. Keskeisimmäksi eroksi huomattiin spektrin alku- ja loppupään arvojen suhde, joka terveillä oli huomattavasti sairaita suurempi. Laskettiin keskiarvot suhteesta sairaille ja terveille spektreille, jolloin saatiin yksinkertaisin tapa luokitella spektrit kohtalaisen hyvin sairaisiin ja terveisiin pelkästään spektrin ominaisuuksien avulla.
Kuva 1: Terveen ja sairaan yksilön tyypilliset spektrit. Tarkastelemalla spektrin suurimman ja pienimmän arvon suhdetta ja vertaamalla tätä sopivaksi arvioituun suhdelukuun 2 saatiin eroteltua sairaat ja terveet spektrit toisistaan noin 75 %:n tarkkuudella. Koska menetelmän tarkkuutta ja esimerkiksi todennäköisimpiä virhe- ja häiriölähteitä ei tunnettu, oletettiin 75 %:n erottelukyvyn olevan melko hyvä tulos spektrien luokittelussa. On myös huomioitava, ettei referenssinä käytetty luokittelu terveisiin ja sairaisiin ollut ehdottoman tarkka. Spektrien luokittelussa voidaan hyödyntää myös muita spektrien ominaisuuksia kuten gradientteja, maksimeita, minimeitä ja suhteellisia muutoksia. Projektin edetessä onkin tarkoitus kehittää terveet ja sairaat tapaukset erottavasta funktiosta yleispätevämpi muun muassa edellä mainittuja ominaisuuksia tarkastelemalla ja hyödyntää kehittyneempiä signaalinkäsittelymenetelmiä, jotka on tarkoitus kuvata signaalinkäsittelyä käsittelevässä osuudessa tarkemmin. Kuvassa 1 on esitetty datasta valitut edustajat tyypilliselle sairaalle ja terveelle spektrille. Alku- ja loppupään arvojen suhteen lisäksi voidaan huomata selkeitä eroavaisuuksia esimerkiksi maksimiarvojen sijoittumiselle ja keskimääräiselle intensiteetille. Koska aukottomasti luokiteltuja referenssispektrejä ei ole olemassa ja sairaissa ja terveissä spektreissä saattaa olla keskenäänkin suuria eroja mitattavien yksilöiden välillä, täytyy huomioida, että spektrien vertailussa on aina mukana epävarmuutta.
5. Projektin eteneminen Tässä osassa kuvataan projektin suunnitelma, eteneminen ja päätyminen lopputulokseen. Tähän osuuteen liitetään myös tarkempi selvitys ajankäytöstä. pvm käytetty aika kuvaus Taulukko 1: Ajankäytön seuranta 31.1.2012 mennessä. 23.tammi 3,5 aiheeseen tutustuminen, kalvojen suunnittelu projektisuunnitelmaa varten ohjaustapaaminen 25.tammi 2 projektisuunnitelman teko, esityksen valmistelu 26.tammi 1,5 projektisuunnitelman teko jatkuu 27.tammi 1,5 projektisuunnitelman ja kalvojen teko 30.tammi 3 projektisuunnitelman viimeistely, aikataulutus, kalvojen viimeistely 5.helmi 2 teoriaa signaali/matlab 6.helmi 2 teoriaa äänen fysiikka 9.helmi 2 teoriaa kuulo 13.helmi 2 muistiinpanojen kirjoitus 14.helmi 2 signaalinkäsittelyä Matlabilla 15.helmi 2 tutustuminen kohdedataan 22.helmi 2 signaalinkäsittelyä Matlabilla 23.helmi 1,5 muistiinpanpjen kirjoitus 28.helmi 1 sonifikaation sovelluksiin tutustumista 1.maalis 2 signaalinkäsittelyä Matlabilla teorian kokoamista 5.maalis TENTTIVIIKKO ei projektityöskentelyä 9.maalis 12.maalis 2 biosignaalinkäsittelyn teoriaa 13.maalis 1,5 muistiinpanoja ja tiedonhakua 14.maalis 1,5 väliraportin kokoaminen 15.maalis 1 ohjaustapaaminen 18.maalis 1,5 väliraportin kokoaminen 1 esityskalvojen teko 19.maalis 1,5 esityksen valmistelu 6. Projektin yhteenveto Yhteenveto-osuuden tarkoituksena on kartoittaa syntynyt lopputulos ja onnistuminen. Miten tavoitteissa onnistuttiin, mikä epäonnistui, millaisia haasteita kohdattiin. Yhteenvetoa ei ole tarpeen tehdä väliraportointivaiheessa.
7. Lähteet Esimerkiksi (sijoitetaan paikalleen, kun rakenne vakiintuu): Sonifikaatio ja sen sovellukset Hearing Images: Interactive Sonification Interface for Images. International Conference on Automated solutions for Cross Media Content and Multi-channel Distribution 2008. DOI 10.1109/AXMEDIS.2008.42. M. Watson, P. Sanderson, Sonification Supports Eyes-Free Respiratory Monitoring and Task Time- Sharing. The Journal of the Human Factors and Ergonomics Society 2004 46: 497. DOI: 10.1518/hfes.46.3.497.50401. Mekaaninen aalto A.L. Fetter, J. D. Walecka, Theoretical Mechanics of Particles and Continua. Rossing, Moore, Wheeler, The Science of Sound. Kuulojärjestelmän fysiologia G. J. Tortora, B. H. Derrickson, Principles of Anatomy and Physiology. Signaalinkäsittelyn teoriaa S.K.Mitra, Digital Signal Processing - A Computer Based Approach. P. Diniz, E. da Silva, S. Netto, Digital Signal Processing - System Analysis and Design.