ME-C2400 Vuorovaikutustekniikan studio

Transkriptio

1 Luent ME-C2400 Vurvaikutustekniikan studi Ryhmätyön 1B tekniikkaa: äänen käsittely eleiden tunnistus karttaphjat Tapi Takala

2 Ääni (digitaalisena) signaalina Äänisignaali (ilman paine) digitidaan tasavälisesti ajassa tyypillisesti 44 khz näytetaajuus, tarkkuus 16 bit tiedstissa/netissä yleensä kmpressituna (esim. mp3) Signaalin piirteitä Amplitudi = signaalin vaihteluväli nllatasn mlemmin pulin Taajuus ja aaltmut (tistuvalle signaalille) Spektri = signaalin Furier-muunns Sinnillinen ääni tistuva aaltmut, spektri harmninen (perustaajuus ja sarja sen kerrannaisia) esim. mnet sittimet, puheen vkaalit Khina epäsäännöllinen signaali, spektri jatkuva (ei pelkkiä kerrannaistaajuuksia) jakauma (ja kuulvaikutelma) vaihteleva Impulssi äkisti alkava ja sitten vaimeneva signaali (esim. rummun isku) 2 HCI studi 2016

3 Prcessing ja ääni P2 : Minim ladattavissa myös P3:een mikrfni: AudiInput getlinein(), enablemnitring() äänitiedst: AudiPlayer / AudiSample ladfile(), play() / trigger(), setgain() etc. signaalipuskuri: AudiListener -lukka äänisignaalin käsittely massa säikeessään synchrnized vid samples() hjelmintirajapinta äänisignaalin käsittelylle analyysi: FFT, BeatDetect äänisynteesi: UGens paljn mahdllisuuksia (ks. dkumentaati) P3 : Sund sisältyy pakettiin, ks. Reference / Libraries AudiIn start(), play(), amp() etc. SundFile play(), lp(), jump(), amp() efektejä: LwPass, Delay, Reverb valmiita mduleita ei matalan tasn rajapntaa (?) analyysi: Amplitude, FFT synteesi: äänigeneraattrit, sittaminen perusaaltmudt (sini, sakara, klmi) khina (white, pink, Brwnian) verhkäyrä: Env [ attack, sustain, release ] Yleisesti: vaihtelevan tasisia timintja, dkumentaati vaatii paneutumista mnet esimerkit timivat vain tietyssä Prcessingin versissa! 3

4 Äänen analysinti Yksinkertaisia piirteitä äänen alkaminen/lppuminen: äkillinen amplitudin muuts äänen vimakkuus (hetkellisesti tai integrituna kk kestn yli) Hum. absluuttiset vertailuarvt timivat hunsti, tarkkailtava muutksia! Taajuusjak Furier-muunnksella (FFT) jaetaan signaali taajuuskaistihin kullakin kaistalla vidaan tehdä analyysiä erikseen esim. BeatDetect erttelee matalat (bass) ja krkeat (hi-hat) alukkeet DEMOJA Sinnillisen äänen krkeus (pitch) harmninen spektri havaitaan kknaisuutena, ei erillisinä taajuuksina alin perustaajuus (nutin krkeus) ei aina kvin vimakas è saattaa sekittua harmnisiin Puheentunnistus fneemiphjainen: tunnistetaan vkaalien ja sinnillisten knsnanttien spektri (frmantit), muut äänteet ajallisen rakenteen perusteella; sanat tunnistetaan fneemijnina sanaphjainen: verrataan signaalista irrtetun (segmentidun) äänen verhkäyrää ja spektrirakennetta kknaisuutena tallennettuihin mallisanihin 4 HCI studi 2016

5 Ääni: käytännöllisiä neuvja Kkeile ja testaa kiinnstavia esimerkkejä hjelmakirjastissa varmista yhteenspivuus muun prjektin kanssa Js käytät mikrfnia testaa ympäristön (hälyt, kaiku) vaikutuksia tallenna eri tilanteita tiedstihin ff-line kehitystyötä varten Puheentunnistusta varten testaa eri henkilöitä ja rajita sanasta jtkut tunnistimet "kulutetaan" mallipuheella Tiedn esittäminen äänellä (snifikaati) mnia mahdllisia kuvauksia data-arvista äänen parametreiksi è ks. seuraava sivu nutin krkeus ja vimakkuus triviaalia! symblinen kuvaus: eri ääninäytteet eri kategriille jatkuvia parametreja esim. sudattimen keskitaajuus ja kaistanleveys sterepanrinti tistuvan äänen tiheys (temp) verhkäyrä: erilisen äänen aluke (attack) kest (sustain) ja vaimeneminen (release) 5 Käytä apuna erillisiä työkaluja, esim. HCI studi 2016

6 6

7 Elekäyttöliittymät Ele = kmmunikiva kehllinen liike usein rajataan tarkittavaksi käsien liikkeitä kmmunikidun infrmaatin tarkkuus vaihtelee ("elehtiminen") Peruselementtejä pisteen/khteen sittaminen liikerata + kestaika esim. hiiren avulla: drag-and-drp rajaaminen surakaiteella Mnimutkaisempia useampi seurattava piste yhtä aikaa (multituch) mnivaiheiset liikeradat 7 HCI studi 2016

8 Kahden pisteen eleitä Paljn mahdllisuuksia, tyypillinen tulkinta Hum. yleistettävissä miten hyvänsä (esim. kameralla) tunnistettaviin pisteisiin 8 HCI studi 2016

9 Mutillut eleet Rajattu jukk liikeratja = ele-aakkst Tunnistaminen likimääräistä verrataan havaittua liikettä kuhunkin aakkseen ja lasketaan tdennäköisyys yleensä edellyttää ppivaa algritmia (esim. neurverkk) tarkkuus riippuu aakkstn ksta Yksinkertainen menetelmä jaa piirretyn kuvin alue ruudukkn (esim. 3 x 3) vertaa piirrettyä kuvita siihen, minkä alueiden kautta kukin aakkstn merkki kulkee (kerää tilasta petusaineiststa) 9 HCI studi 2016

10 Karttaphjat saatavilla paljn vaihtehtja Vektrigrafiikka (svg) Prcessing: lukka PShape tarkkuus ei hunne suurennettaessa alueet rajattu viivaketjulla, usein mukana tunnistekenttä tiedst XML-mudssa käsittelyyn syytä etsiä spiva kirjast tai kartta, jnka käsittelyyn PShape riittää L Rasterikuva (png, jpg, ) Prcessing: PImage tarkkuus riippuu esitysksta (ei kestä suurentamista) alueet tunnistettavissa pikseleittäin esim. värin mukaan binääritiedst helpp käsitellä Prcessingin funktiilla DEMO: Sumen kunnat Yhteistä: krdinaatistmuunnkset kuvan ja näytön välillä piirrettäessä rig ja mittakaava sitettaessa käänteiskuvaus 10