ME-C2400 Vuorovaikutustekniikan studio

Transkriptio

1 Luent ME-C2400 Vurvaikutustekniikan studi Ryhmätyön 1B tekniikkaa: äänen käsittely syvyyskamera (Kinect) Tapi Takala

2 Ääni (digitaalisena) signaalina Äänisignaali (ilman paine) digitidaan tasavälisesti ajassa tyypillisesti 44 khz näytetaajuus, tarkkuus 16 bit tiedstissa/netissä yleensä kmpressituna (esim. mp3) Signaalin piirteitä Amplitudi = signaalin vaihteluväli nllatasn mlemmin pulin Taajuus ja aaltmut (tistuvalle signaalille) Spektri = signaalin Furier-muunns Sinnillinen ääni tistuva aaltmut, spektri harmninen (perustaajuus ja sarja sen kerrannaisia) esim. mnet sittimet, puheen vkaalit Khina epäsäännöllinen signaali, spektri jatkuva (ei pelkkiä kerrannaistaajuuksia) jakauma (ja kuulvaikutelma) vaihteleva Impulssi äkisti alkava ja sitten vaimeneva signaali (esim. rummun isku) 2 HCI studi 2015

3 Prcessing ja ääni P2 : Minim mikrfni: AudiInput getlinein(), enablemnitring() äänitiedst: AudiPlayer / AudiSample ladfile(), play() / trigger(), setgain() etc. signaalipuskuri: AudiListener -lukka äänisignaalin käsittely massa säikeessään synchrnized vid samples() hjelmintirajapinta äänisignaalin käsittelylle analyysi: FFT, BeatDetect äänisynteesi: UGens paljn mahdllisuuksia (ks. dkumentaati) P3 : Sund sisältyy pakettiin, ks. Reference / Libraries AudiIn start(), play(), amp() etc. SundFile play(), lp(), jump(), amp() efektejä: LwPass, Delay, Reverb valmiita mduleita ei matalan tasn rajapntaa (?) analyysi: Amplitude, FFT synteesi: äänigeneraattrit, sittaminen perusaaltmudt (sini, sakara, klmi) khina (white, pink, Brwnian) verhkäyrä: Env [ attack, sustain, release ] Yleisesti: vaihtelevan tasisia timintja, dkumentaati vaatii paneutumista mnet esimerkit timivat vain tietyssä Prcessingin versissa! 3

4 Äänen analysinti Yksinkertaisia piirteitä äänen alkaminen/lppuminen: äkillinen amplitudin muuts äänen vimakkuus (hetkellisesti tai integrituna kk kestn yli) Hum. absluuttiset vertailuarvt timivat hunsti, tarkkailtava muutksia! Taajuusjak Furier-muunnksella (FFT) jaetaan signaali taajuuskaistihin kullakin kaistalla vidaan tehdä analyysiä erikseen esim. BeatDetect erttelee matalat (bass) ja krkeat (hi-hat) alukkeet DEMOJA Sinnillisen äänen krkeus (pitch) harmninen spektri havaitaan kknaisuutena, ei erillisinä taajuuksina alin perustaajuus (nutin krkeus) ei aina kvin vimakas è saattaa sekittua harmnisiin Puheentunnistus fneemiphjainen: tunnistetaan vkaalien ja sinnillisten knsnanttien spektri (frmantit), muut äänteet ajallisen rakenteen perusteella; sanat tunnistetaan fneemijnina sanaphjainen: verrataan signaalista irrtetun (segmentidun) äänen verhkäyrää ja spektrirakennetta kknaisuutena tallennettuihin mallisanihin 4 HCI studi 2015

5 Ääni: käytännöllisiä neuvja Kkeile ja testaa kiinnstavia esimerkkejä hjelmakirjastissa varmista yhteenspivuus muun prjektin kanssa Js käytät mikrfnia testaa ympäristön (hälyt, kaiku) vaikutuksia tallenna eri tilanteita tiedstihin ff-line kehitystyötä varten Puheentunnistusta varten testaa eri henkilöitä ja rajita sanasta jtkut tunnistimet "kulutetaan" mallipuheella Tiedn esittäminen äänellä (snifikaati) mnia mahdllisia kuvauksia data-arvista äänen parametreiksi è ks. seuraava sivu nutin krkeus ja vimakkuus triviaalia! symblinen kuvaus: eri ääninäytteet eri kategriille jatkuvia parametreja esim. sudattimen keskitaajuus ja kaistanleveys sterepanrinti tistuvan äänen tiheys (temp) verhkäyrä: erilisen äänen aluke (attack) kest (sustain) ja vaimeneminen (release) 5 Käytä apuna erilisiä työkaluja, esim. HCI studi 2015

6 6

7 Syvyyskamera Kinect Suunniteltu pelikneen (XBx) hjaimeksi Laite mittaa tavallisen videkuvan lisäksi pisteille myös etäisyyden perustuu infrapunavallla heitettyyn mittauskuvin tulksena pisteittäinen 3D-kuva Etäisyyden perusteella vi irrttaa khteita tisistaan/ympäristöstä paremmin kuin pelkästä 2D-kuvasta Käyttöliittymäsvelluksia esim. ihmishahmn sijainti, asent ja eleet DEMO 7 HCI studi 2015

8 Kinect: humiitavaa käytännössä Tarkkuus heikmpi kuin tavallisella kameralla Etäisyyskamera näkee hiukan eri kuvan kuin vide (jää varjja) Kirkas ympäristön val (esim. aurink) häikäisee mittauksen Timivuus riippuu tietkneen ja hjelmistn versiista!!! 8 HCI studi 2015

9 Ohjelmakirjastja Kinectille Open Kinect fr Prcessing (Daniel Shiffman) perustiminnt datan saamiseksi maan hjelmaan SimpleOpenNI ( = OpenNI/NITE svitettuna Prcessingille ) analysi kuvasta ihmishahmn "luurangn" sien asennt ja sijainnit vain karkea hahm, ei esim. srmia tunnistus vaiheittain, aluksi kalibrinti häiriöitä, js kk keh ei näy kuvassa DEMO 9 HCI studi 2015