2D filter. Convolution also extend to the 2D case: In this case, the result pixel is the weighted sum of pixels inside the window.

Koko: px

Aloita esitys sivulta:

Download "2D filter. Convolution also extend to the 2D case: In this case, the result pixel is the weighted sum of pixels inside the window."

Asta Melasniemi
4 vuotta sitten
Katselukertoja:

1 2D filter Convolution also extend to the 2D case: In this case, the result pixel is the weighted sum of pixels inside the window. Weights h(j, k)

2 2D filter Also 2D filter has a frequency interpretation. By designing the weights appropriately, one can remove frequencies from the image. For example, the bottom figure contains only high frequencies. 2D convolution is a central building block for convolutional neural networks (convnets).

3 Convolution as a model of real world Convolution can also model real world phenomena: Echo Transmission channel Camera optics The inverse of the convolution operation (deconvolution) attempts to correct the effects of convolution.

4 Pattern recognition Pattern recognition (i.e., machine learning) is rapidly growing field where signal processing has a critical role. Traditional signal processing methods can distill the raw data into a suitable form for classification. The computer sees the signal as a vector/matrix of numbers, and understanding the content requires effort.

5 Classification Most pattern recognition problems are supervised classification tasks The goal is to learn to predict which class each vector belongs to. In the attached example, we classify two cancer types based on two measurements. Price et al., Highly accurate two-gene classifier for differentiating gastrointestinal stromal tumors and leiomyosarcomas, PNAS 2007

6 Example: License plate recognition License plate is a cost-efficient approach to access control. The system localizes the plate, and reads all symbols in it. The most challenging task is to find the plate and the symbols. When the symbols are found, we classify them using a neural network

7 Access control Operating logic in access control: 1. Detect car from ground loop signal 2. Grab a frame from video signal for recognition 3. Read the plate 4. Check database for access permit 5. Open barrier

8 Recognition process Original picture Highlighting (e.g.. bottom-hat) Thresholding + labeling Filtering based on object size Classification with the network

9 What is a neural network? The NN processes data in layers The network is trained by presenting examples (for example characters) The network learns to distill the features essential to the task.

10 What has changed in 20 years? In 1996: Small images (10x10) Few classes (< 50) Small net (1-3 kerrosta) Few samples (< 50k) In 2016: Large images(256x256) Many classes (> 1k) Deep net (> 100 layers) Lots of samples (> 1m)

11 Images to text Stanford publication from 2015, with a netowkr that can produce image captions one character at a time. Image in text out

12 Text generation One of the highlights of 2015 were networks that learns to synthesize text

13 Chatbots

14 Training a Finnish text generator with Suomi iterations "Sinkauks": muuten metsä vaan tieteila. Niin olla on eikä kuin oikea, mutta tieteila vaikasta ja ei oikea. "julle.it.j": Hän viimea. "joppuu": Ei saikä joka paskaan edessa ja erkoistä siihen koville? Eh, ehe samaan saa jäästä? Jä oli päivätä mittääni. "Luottuille": Ei onnistä, kun kauppua nyt pasku. "joppuu": Hän vaan ei samaan saa jäästä? "Joppuu": Eli onnistä, kun kauppua nyt pasku. Eli onni joka paskaan edessa ja erkoistä siihen koville? Eh, ehe samaan saa jäästä?jä oli päivätä mittääni. Kuitenkin joka saaan, paskaan. "joppuu": EI onnistä, kun kauppua nyt pasku. "Joppuu": EI onnistä, kun kauppua nyt pasku.kuitenkin joka saaan, paskaan. "Joppuu": Wä täänään "luottuille": että samaan saa jo paskaan olla on tieteilla ei, täkö joka ajalta. "Joppuu": Panki naikottuhat jotka kolminen. Joka siemme kesken tai paskaan pakaa. "joppuu": Ei samaan saa jo paskaan olla on tieteilla ei, täkö joka ajalta.joka siemme käytyy tieteella joka sataa olla. "joppuu": Mettä on kun on iterations "viinanpoika": No ihan kuin kaikessa omaan suht tökkisilmään. Hyvä vaan, toivon että olet mukana tyylii jotain muuta. Siis jos joku omasuori ei taida työllä riitä jos ei. "sikainen piksee": jos sinne työpaikat kuulee nopeasti kauhamaan...tottakai työpöydällä on huutaa. Ja kun kyse on vaan minun työpöydälläni. Hyvän yhteiskunnan aikamukset nousevat aina hameenlaisiin mielikuvauksiin, ja voisivat tulla ennallaan ja käydä vielä työpöydältä omat kanssa. Piksemmeko ne että pääsen tehdyn silloin kun suo? "vai onko": niin? Tietenkin vaan meneekö se, että työpaikko on tyttö-ikä kun tällästä tulee jauhetta vahinkoa jos hänkin räähtelee johtelemaan ihmisiä. Eli minä jos hän jotakin voisikaan oikein ymmärtää että pitää muistaa jokin asianajajärjestely ja vielä jonkin verran sitten nähdä vieraita kädet ihmisiä. Niin kuulostaa jo kauan että asioiden aika on yleistä. Ensin haluaa myöntää ryypistä rikkaita että kohdattomuudesta hommaan johtuu myös työpaikat työhäänsä. Päin äkkiä menee kaiken muun omaan työpaikkaani ja kun se rasvaton nähden on rikkiä löydös kuulemma enkä omaan kyttämään suoritetut töitä niistä jotka ovat paremmin. Onneksi tällä hetkellä pysynyt katsomassa omaisuutemme. "vai onko": niin? Tälläiset yhteiskunnan kun eihän jääkin työpöydällä. Onhan sekava nämä naisten peräänkuurin on tässäkin pahassa iterations "vain kumartaa": Näistä jatkoon jaetaan uusia ääniä, mutta äänestys väistämisraja uusille ehdolle pitenisi järjestyksen mukaisesti! Ja en usko että demarit enää kuolevat...tämä onkin sitten jo toinen juttu, mikä saa enemmistövaltuutetut pysymään ylhäällä, kenties jo parissa vuodessa. "Jaba_43": Onko tämä äänestäjien tahtona tehty muutos, kun demareille tai vaihtoehtoisesti kokoomukselle eivät ole äänestäneet? /sdp-nousee-sirkuslauman-kuiluihin Mikään ei tietenkään ole niin suuri kuin demarien kannatus, joka on ollut nyt korkeimman kannatuksen nousussa. Ja tämähän ei edelleenkään muuta mitään tässäkään asiassa. "jaba_43": Vastaajille kiitos tiedosta, jättäkäämme teille, joilla on nyt valta äänestää. "jaba_43": Kansanedustaja Tony Halmeelle ehdokkaaksi. "jopas jotakin": Lohkarinteistä ja muista on julkaistu juttu, jotka on tosin käsitelly kansanäänestys siitä. Samoin myös puheenjohtaja Timo Lähde, sekä myös puolustusministeri Haglund. Mitä tulee päätöskurssitukseen ja muihin tukityöllistämis/asumiskustannuksiin, niin niiden tukityöllistämistä en valitettavasti itse silti eduskunnassa viihdy. Ei mitään uutta taivaasta.

15 Image synthesis 2018 Karras et al., Progressive Growing of GANs for Improved Quality, Stability, and Variation, ICLR 2018 Huang et al., Multimodal Unsupervised Image-to-Image Translation,

16 Image synthesis

17 DeepFakes

18 The future?

19 Research at TUNI Images Sound Text 68,0 % 64,0 % 60,0 % 56,0 % 52,0 % Neural Net Positive Negative Neutral

Samankaltaiset tiedostot

Gap-filling methods for CH 4 data

Gap-filling methods for CH 4 data Sigrid Dengel University of Helsinki Outline - Ecosystems known for CH 4 emissions; - Why is gap-filling of CH 4 data not as easy and straight forward as CO 2 ; - Gap-filling