Sovelle-u digitaalinen signaalinkäsi-ely

Transkriptio

1 Sovelle-u digitaalinen signaalinkäsi-ely Johdanto Tutustuminen Oppimistavoi-eet Kurssin teemaesi-ely Käytännön järjestelyt Arvioin< Päivän an< 1

2 Opetus<imi Jukka Pätynen vastuuope-aja Yleiset järjestelyt Muutama luento, viikkoharjoitusten ja ryhmätöiden ohjaus Audioteknologia Jussi Nieminen Viikkoharjoitusten ja ryhmätöiden ohjaus Niklas Sallinen Viikkoharjoitusten ja ryhmätöiden ohjaus Opetus<imi - aihespesilis<t Audio Prof. Vesa Välimäki Puhe Kalle Palomäki Telecom Prof. Risto Wichman Pramod Matchecken, Emilio Antonio, Jaakko Ojaniemi Tilaääni Prof. Ville Pulkki Juhani Paasonen Kuvankäsi-ely Jorma Laaksonen 2

3 Tutustuminen Esi-elykierros - opiskelijat Signaalinkäsi-ely käytännössä? Kyselykierros 3

4 Signaalinkäsi-ely käytännössä Audiotuotanto Signaalinkäsi-ely käytännössä Puheenkäsi-ely 4

5 Signaalinkäsi-ely käytännössä Nopeat verkkoyhteydet Signaalinkäsi-ely käytännössä Kasvojentunnistus 5

6 Signaalinkäsi-ely käytännössä Oppimistavoi-eet - aihepiiri Oppia toteu-amaan signaalinkäsi-elymenetelmiä Toteutukset todenmukaisissa ohjelmoin<ympäristöissä Perusteet reaaliaikaohjelmoinnista Erilaiset signaalinkäsi-elyn sovellusalueet 6

7 Oppimistavoi-eet työelämätaidot Ryhmätyötaidot & projek<työ Ryhmät organisoituvat ja jakavat työtä fiksus< Tarkoituksenmukaiset työkalut! Palautukset ajallaan Luovuus ja soveltava ongelmanratkaisu Projek<työt suunnitellaan omien ideoiden ja kiinnostuksen mukaan Esiintymistaidot ja raportoin< Vetävä projek<n demonstroin<, selkeät rapor<t SoDiS - yleistä Tun<piiras yht 133 h Luennot Viikkoharjoitukset Päiväkirjat h h Ryhmätyö 7

8 Tun<jako Päiväkirjat 3x Luennot 8x Ryhmätyö Viikkoharjoitukset- 8x Ohjatut harjoitukset, osuudet Kuvankäsi-ely 14% Kommunikaa<o 14% Audio 43% Puhe 29% 8

9 Aikataulu Viikko Luento Ope-ajat Harjoitus 0: Johdanto Jukka, Jussi, Niklas Ohjelmoin<ympäristöt Palautus: Vastaa ryhmätyökyselyyn 1: Audio 1, ryhmäjako Jukka Reaaliaika- audio 2: Audio 2 Prof. Vesa Välimäki Äänenkäsi-ely : Palautus: Alustava suunnitelma ryhmätöistä 3: Puheenkäsi-ely Kalle Palomäki Puheanalyysi 4: Ryhmätyö- ohjaus, palaute Jukka, Jussi, Niklas, aiheassisten<t 5: Tilaääni Prof. Ville Pulkki, Juhani Paasonen Periodi vaihtuu tauko tencviikolla 6: Tietoliikenteen signaalinkäsi-ely Prof. Risto Wichman Puheenkoodaus Monikanava- audio Tietoliikenteen signaalinkäsi-ely 7: Kuvankäsi-ely Jorma Laaksonen Kuvankäsi-ely Ryhmätyön välipalautus Harjoitustyön varsinainen palautus, Posteri Demopäivä Päiväkirjojen palautukset omilla määräajoillaan Viikkoaikataulu Maanantai Tiistai Keskiviikko Torstai Perjantai Luento U356 Aloitus 12:15 Edellisviikon harjoituksen palautus 12: Harjoitus- ryhmä 1 Aloitus 14:15 Maari K+D Harjoitus- ryhmä 2 Aloitus 14:15 Maari K+D 9

10 Harjoitustyöaiheet 1 MIMO / ODFM vastaanocmen simuloin< Tietoliikenteen signaalinkäsi-ely 2 Radiokar-akuvien prosessoin< Kuvan käsi-ely / <etoliikenne 3 Nappaa voro liikkeen tunnistaminen videokuvasta 4 Automaacnen zoomaus urheiluvideoon 5 Synte<saa-orit Audio 6 Efek<t Audio 7 Instrumencmallit Audio Kuvankäsi-ely Kuvankäsi-ely 8 Auralisoin< <lantuntua ja äänen suunta kuulokkeilla Audio 9 Yksinkertaiste-u puheentunnis<n Puhe 10 Yksinkertaiste-u puhesynteesi Puhe MIMO / ODFM vastaanocmen simuloin< Mul<ple input, mul<ple output- orthogonal frequency division mul<plexing (MIMO- OFDM) Ohjaus Jaakko Ojaniemi, Emilio Antonio h-p://users.spa.aalto.fi/wichman/ Prof. Risto Wichman 10

11 Radiokar-akuvien prosessoin< Matlabissa h-p://users.spa.aalto.fi/wichman/ Prof. Risto Wichman Processing of radio environment maps with Matlab image processing tools Map of the signal field strength High-power TV transmitter in Kivenlahti, Espoo Raster image Goal: Convert the raster image to a polygon The polygon describes the service area of the TV transmitters x% of time (signal suffers from random fluctuations due to e.g. weather conditions) Means that the signal can be decoded correctly x% of time Area polygons can be used, e.g., to allocate TV frequencies to a secondary wireless system 11

12 Example of a polygon describing a service area Binary image of the field strength for some threshold (e.g. 95% of Qme) Morphological diluqon applied to the binary image Possible figures of merit for the polygon Mean square error between the polygon and the original map Perimeter of the polygon/area 12/09/16 23 Nappaa voro liikkeen tunnistaminen videokuvasta Differenssikuviin pohjautuva menetelmä lähtökohtana Omatoiminen aihe, taivas rajana 12

13 Automaacnen zoomaus urheiluvideoon Rajaa ja suurenna urheilija laajemmasta kuvasta Differenssikuviin pohjautuva menetelmä lähtökohtana Omatoiminen aihe, taivas rajana Nappaa voro & Urheiluzoom Ohjaus Jussi Nieminen, Niklas Sallinen, Jukka Pätynen Tutkimusta Aallossa: Jorma Laaksonen (8. luento) Kuvahakuja tutkiva ryhmä Tietotekniikan laitoksella h-p://research.ics.aalto.fi/cbir/ 13

14 Audio: Synte<saa-orit Toteuta oma synte<saa-ori audiosovelluksena tai plug- inina! Reaaliaikaohjelmoin<a C/C++ kielillä Kaupallisissa projekteissakin käyte-y JUCE- ympäristö Pelillinen sovellus mahdollinen Cocos2d peliohjelmoin<ympäristö sama koodi (melkein) kaikki lai-eet Audio: Synte<saa-orit Ohjaus Jussi Nieminen, Niklas Sallinen Tutkimusta Aallossa: Prof. Vesa Välimäki 3. Luento h-ps://people.aalto.fi/index.html#vesa_valimaki 14

15 Audio: Efek<t Rokkaa omilla efekteillä! Toteuta omat efek<t audiosovelluksena tai plug- inina! Reaaliaikaohjelmoin<a C/C++ kielillä Kaupallisessa kehitystyössäkin käyte-y JUCE- ympäristö Audio: Efek<t Ohjaus Niklas Sallinen, Jussi Nieminen Tutkimusta Aallossa: Prof. Vesa Välimäki 3. Luento h-ps://people.aalto.fi/index.html#vesa_valimaki 15

16 Demo Synte<saa-orit, efek<t h-ps:// v=thrmglfbrza Audio: Instrumencmallit Vinguta ipadiä! Toteuta instrumen<t mielenkiintoisena pelinä tai viri-ele algoritmejä Matlabissa kuin aito <eteen tekijä! Päheä ammaclaisten käy-ämä JUCE- ympäristö Cocos2d ohjelmoin<ympäristö sama koodi (melkein) kaikki lai-eet 16

17 Audio: Instrumencmallit Ohjaus Niklas Sallinen, Jussi Nieminen Tutkimusta Aallossa: Prof. Vesa Välimäki 2. Luento h-ps://people.aalto.fi/index.html#vesa_valimaki Demo Instrumencmallit Kitarasynteesi 17

18 Audio: Auralisoin< Toteuta aidon tuntuinen ympäröivä <lavaikutelma kuuloketoistolla Käytetään hyväksi koehenkilön tai keinopään korviin asetetuista mikrofoneista mita-uja impulssivasteita, engl. Head- Related Transfer func<ons Audio: Auralisoin< Ohjaus Juhani Paasonen Tutkimusta Aallossa: Prof. Ville Pulkki h-p://users.spa.aalto.fi/ville/ Prof. Tapio Lokki h-ps://mediatech.aalto.fi/~ktlokki/ 18

19 Puhe: Yksinkertaiste-u puheentunnis<n Luoki-elee puheen spektrejä valituihin foneemiluokkiin Muutaman foneemin tunnistaminen rii-ää Toteutetaan piirreirroitus spektrogrammien avulla Opiskelijat keräävät itse pienen puhe<etokannan joka sisältää muutamia yksi-äisiä äänteitä, opetukseen ja testaukseen Luoki-eluun saa-e esimerkkikoodin, k- nearest neighbors luokicmesta, joka luoki-elee kaksiulo-eista dataa Harjoitustyö tehdään Matlabissa Puhe: Yksinkertaiste-u puheentunnis<n Ohjaus Jussi Nieminen, Niklas Sallinen Tutkimusta Aallossa Prof. Mikko Kurimo h-p://users.ics.aalto.fi/mikkok/ Kalle Palomäki h-p://users.spa.aalto.fi/kpalomak/ 19

20 Puhe: Yksinkertaiste-u puhesynteesi Toteutetaan Kla-- puhesynte<saa-ori yksinkertaisilla DSP- elementeillä Vokaalit tuotetaan esim. vokaalin forman-eja mallintavilla suodacmilla Konsonan<t tuotetaan suodacmien ja ajallisten verhokäyrämallien avulla Ei mallinneta kaikkia foneemeja Puhe: Yksinkertaiste-u puhesynteesi Ohjaus Jussi Nieminen, Niklas Sallinen Tutkimusta Aallossa Prof. Paavo Alku Prof. Mikko Kurimo 20

21 Arvioin< Ryhmätyö 50% 1-5 Muut 50% 1-5 Harjoitukset % 1-5 Luennot - 1 tai +1/4 arvosana Päiväkirjat % 1-5 Arvioin< muita ehtoja 7/8 viikkoharjoituksesta täytyy saada hyväksy-y arvosana. Muuten kurssi hylätään. Kaikki päiväkirjat pitää palau-aa arvosteltaviksi Läpipääsyyn vaaditaan vähintään ykkösellä hyväksy-y ryhmätyö Luennot eivät ole pakollisia, mu-a niistä saa sakkoa tai bonusta 21

22 Luentobonukset Nolla luentoa läsnä arvosana - 1 Kaikki läsnä bonusta +1/4 arvosanaa Ellet pääse paikalle, voit korvata luennon korvaavan tehtävän avulla Kaksi sivua reflek<ivinen essee Viikkoharjoitusten arvostelu Arvosana 5 Siis< hyvin kommentoitu ja esimerkillisen selkeä koodi Selkeäs< todiste-u toimivuus Selostus on <ivis, mu-a heijastaa, e-ä tehtävä on syvällises< ymmärre-y Mahdolliset bonustehtävät toteute-u tai selkeäs< ede-y alkua pidemmälle Arvosana 3 Siis< ja kommentoitu koodi Toimivuus todiste-u Tiivis selostus, joka heijastaa sitä, e-ä tehtävä on ymmärre-y Arvosana 1 Järkevää koodia palaute-u, mu-a ei niin siis<ä Toimivuuden kanssa ongelmia Selostusta löytyy, mu-a siinä on puu-eita 22

23 Viikkoharjoitusten arvostelu + Jos et saa koodia toimimaan palauta sil<, mu-a yritä seli-ää miksi se ei toimi + Pidä selostukset lyhyinä + Keskustelu salli-ua, mu-a palauta aina oma työ + Lähteitä voi käy-ää, mu-a ei kopioida + Palautukset ajoissa Ethän kopioi kaverilta, tarkkailemme <lanne-a Myöhassä palau-aneille iskee sakko Viikkoharjoitusten arvostelu Myöhässä palau-aminen Myöhässä 0 24 h, saat puolet pisteistä Myöhässä > 24 h, hylä-y Palautukset ainoastaan MyCoursesin kau-a 23

24 Harjoitus 0:n esi-ely Tiistai tai keskiviikko Tutustutaan kurssilla käyte-äviin eri ohjelmoin<ympäristöihin Ohjelmistopohjia ryhmätöihin Tässä harjoituksessa aloitetaan kevyellä ohjelmoinnilla seuraavissa jo sovelletaan Huom: Tutustu harjoitusohjeen linkkeihin Harjoitus 0:n esi-ely Matlab, komennot sarjassa ja vektoreina Xcode integroitu kehitysympäristö Macilla C- ohjelmoin< Matlabissa mex JUCE C++ kirjasto realiaikaiseen audiosignaalinkäsi-elyyn Kevyt johdanto C++ Tällä kurssilla rii-ää muutama peruskäsite 24

25 Ympäristöt JUCE Kätevä ympäristö usealle ohjelmistoympäristölle kehi-ämiseen (esim. Windows + Android + ios + Mac) Esim. Max- ohjelmisto kehite-y JUCElla h-p:// C++ Reaaliaikaohjelmoin<töissä tarvitaan kevyehkö annos C++:n opiskelua Tutustu oheiseen tutoriaaliin ennen harjoitusta, ks. erityises< luokat (olio- ohjelmoin<) h-p:// 25

26 // classes example #include <iostream> using namespace std; h-p:// class Rectangle { int width, height; public: void set_values (int,int); int area() {return width*height;} }; void Rectangle::set_values (int x, int y) { width = x; height = y; } int main () { Rectangle rect1; rect1.set_values (3,4); cout << "area: " << rect1.area(); return 0; } Objek< instanssi luokasta ts. luokasta realisoitu muu-uja C++ Tutustu oheiseen tutoriaaliin ennen harjoitusta ks. erityises< luokat h-p:// Kysymyksiä perehdy-äväksi Mikä on konstruktori? Mikä on luokkapoin-eri ja miten sitä kutsutaan? 26

27 Seuraavat palautukset Viikkoharjoitusten vakiokäytäntö: Palautus viimeistään seuraavan viikon <istaina klo 12 Palautus MyCoursesiin vastaa ryhmätyökyselyyn, ensimmäinen päiväkirja Palautathan ajoissa, myöhästymisistä sakotetaan! Ryhmätyövalinnat Toteu-amme ryhmätyökyselyn elektronises< Kyselyn perusteella muodostamme ryhmät 2-3 henkilöä Lisäinfoa - seuraa MyCourses uu<sia! Ryhmien muodostus audio 1 - luennon yhteydessä 27

28 Päiväkirjoista Päiväkirjoissa tarkastellaan oppimista, ei väl-ämä-ä sisällön kertaamista Käsi-ele oppimistasi tällä kurssilla kokonaisvaltaises< Käsi-ele kurssilla saamaasi ohjausta ja kerro mielipiteitä kurssista Käsitellään luo-amuksellises< oletusarvona kurssin opetukseen osallistuvat saava nähdä Kerro erityises< ryhmätyöstä Päiväkirjoista Kerro erityises< ryhmätyöstä Miten ryhmä toimii Mikä on oma roolisi ryhmässä Mikä menee hyvin, mikä huonos< Mitä pitäisi kehi-ää Tarkoitus edistää tehokasta ja hyvää ryhmätyötapaa Ryhmätöistä lisää ja

29 Gibbs framework for reflec<on Stage 1: Descrip<on of the event Stage 2: Feelings and Thoughts (Self awareness) Stage 3: EvaluaQon Try to evaluate or make a judgement about what has happened. Consider what was good about the experience and what was bad about the experience or what did or didn t go so well Stage 4: Analysis Stage 5: Conclusion (Synthesis) Stage 6: Ac<on Plan Gibbs framework for reflec<on Stage 1: Descrip<on of the event Stage 2: Feelings and Thoughts (Self awareness) Stage 3: Evalua<on Stage 4: Analysis Break the event down into its component parts so they can be explored separately. You may need to ask more detailed ques<ons about the answers to the last stage. Include: What went well? What did you do well? What did others do well? What went wrong or did not turn out how it should have done? In what way did you or others contribute to this? 29

30 Gibbs framework for reflec<on Stage 1: Descrip<on of the event Stage 2: Feelings and Thoughts (Self awareness) Stage 3: EvaluaQon Stage 4: Analysis Stage 5: Conclusion (Synthesis) During this stage you should ask yourself what you could have done differently. Stage 6: Ac<on Plan Kirjallisuu-a opintopäiväkirjoista Moon PDP working paper 4: Reflec<on in higher educa<on learning Mainio esimerkki, sivut