Matias Sumanen Mittaussignaalin häviötön pakkaaminen. Kandidaatintyö
|
|
- Niko Lehtonen
- 6 vuotta sitten
- Katselukertoja:
Transkriptio
1 Matias Sumanen Mittaussignaalin häviötön pakkaaminen Kandidaatintyö Tarkastaja: Yliopistonlehtori Heikki Huttunen Jätetty tarkastettavaksi:
2 2 TIIVISTELMÄ TAMPEREEN TEKNILLINEN YLIOPISTO Signaalinkäsittelyn ja tietoliikennetekniikan koulutusohjelma SUMANEN, MATIAS: Mittaussignaalin häviötön pakkaaminen Kandidaatintyö, 19 sivua Toukokuu 2015 Pääaine: Signaalinkäsittely Tarkastaja: Yliopistonlehtori Heikki Huttunen Avainsanat: Tiedon pakkaus, Entropia, Huffman-koodaus, Aritmeettinen koodaus, Häviötön pakkaus Tämä työ käsittelee mittaussignaalin häviötöntä pakkaamista ja siihen liittyviä pakkausmenetelmiä. Näistä erityisesti Huffman-koodaus ja aritmeettinen koodaus ovat keskeisiä menetelmiä, joita nykyään sovelletaan häviöttömässä tiedonpakkauksessa. Erityisesti tietoliikennetekniikassa signaalin häviötön pakkaaminen on tärkeää, jotta tiedonsiirto olisi mahdollisimman tehokasta. Teoriaosuudessa käsitellään informaatioteoriasta entropiaa, Huffman-koodausta, aritmeettista koodausta sekä differenssikoodausta. Toteutusosassa puolestaan kerrotaan, millaisia tuloksia on saatu, kun erilaisista signaaleista on laskettu niiden entropiat sekä arvioitu niiden kokonaistilantarve histogrammien avulla. Yhteenvedossa tiivistetään sitten saadut tulokset yhteen ja arvioidaan näiden vastaavuutta odotuksiin nähden. Teoriaosuudessa kerrotaan työn aihepiiriin liittyvät keskeiset menetelmät sekä esitetään niistä asiaa havainnollistavia esimerkkejä.
3 3 ALKUSANAT Tämä kandidaatintyö on toteutettu signaalinkäsittelyn laitoksen kandidaatintyöseminaarissa tammikuun ja toukokuun 2015 välisenä aikana. Haluaisin kiittää lämpimästi arvokkaista neuvoista työn ohjaajaa yliopistonlehtori Heikki Huttusta, joka vaikutti merkittävästi tämän työn asiasisältöön ja etenemiseen kevään aikana. Ajatus juuri tähän aihevalintaan syntyi keskusteltuani asiasta Heikki Huttusen kanssa. Haluaisin kiittää myös perheenjäseniäni, jotka hekin tukivat minua vaikeina hetkinä ja auttoivat omalta osaltaan tämän työn loppuunsaattamisessa. Kangasalla toukokuussa 2015 Matias Sumanen
4 4 SISÄLTÖ 1. Johdanto 6 2. Teoriaa Taustaa Entropia Huffman-koodaus Aritmeettinen koodaus Differenssikoodaus Toteutus ja tulokset Taustaa Huffman-koodauksen toteutuksesta Taustaa aritmeettisen koodauksen toteutuksesta Tulosten laskenta signaaleille Yhteenveto 18 Lähteet 18
5 5 TERMIT JA MÄÄRITELMÄT H X P(X) E I(X) MLE LZ PKZIP N Deflate Entropia Diskreetti satunnaismuuttuja Pistetodennäköisyysfunktio Odotusarvo Satunnaismuuttujan X informaatiosisältö Suurimman uskottavuuden estimointi Lempel-Ziv-pakkausmenetelmä Tiedonpakkausohjelma Suotimen pituus Häviötön tiedonpakkausmenetelmä
6 6 1. JOHDANTO Mittaussignaalin pakkaamisen tavoitteena on kompressoida digitaalinen signaali mahdollisimman pieneen tilaan. Tähän tavoitteeseen päästään poistamalla signaalista tarpeeton, toistuva informaatio sekä pakkaamalla sitä häviöttömillä pakkausmenetelmillä, kuten Huffman-koodauksella. Jonkin tietoaineksen kuvaus pyritään siis korvaamaan lyhyemmällä kuvauksella. Häviöllisessä pakkauksessa tiedon muuttuminen sen sijaan sallitaan, pyrkien kuitenkin mahdollisimman pieneen muutokseen ihmisen saaman kokemuksen kannalta. Esimerkiksi television katselija ei todennäköisesti havaitse, jos taustalta poistetaan joitakin yksityiskohtia, kun hänen huomionsa kiinnittyy etualalla keskusteleviin henkilöihin. Periaatteessa häviöllinen pakkaus heikentää silti aina tallenteen laatua verrattuna alkuperäiseen. Pakattaessa siten, että laatuero ei suurinta osaa ihmisistä vielä häiritse, häviölliset menetelmät pääsevät kuitenkin huomattavasti parempiin pakkaussuhteisiin kuin häviöttömät menetelmät. [1] Pakkausmenetelmät ovat kehittyneet vuosikymmenten aikana merkittävästi. Aluksi bittimäärän pienentäminen oli varsin heikkolaatuista. 8-bittiselle datalle on suhteellisen hyvin onnistunut Huffmanin koodausmalli, joka perustuu näytteiden välisiin erotuksiin. 16-bittisen datan pakkausmenetelmien kehittämiseen, erityisesti häviöllisten menetelmien, ovat osallistuneet lukuisat kansainväliset yhtiöt, kuten Sony ja Philips, jotka ovat käyttäneet kehitystyöhön miljoonia dollareita. [2] Nykyaikana erilaisten pakkausmenetelmien pohjalta on kehitetty lukuisia sovelluksia, kuten esimerkiksi erilaisia pakkauskoodekkeja. Myös esimerkiksi matkapuhelinta käytettäessä puhesignaalia voidaan pakata käyttämällä tähän tarkoitukseen optimoituja menetelmiä, joilla päästään parempiin tuloksiin kuin mitä tahansa signaalia pakattaessa. [1] Huffman-koodaus on informaatioteoriassa tiedonpakkaukseen käytettävä algoritmi. Siinä erilaisten merkkien bittiesitykset muodostetaan eräänlaisella puumallilla. Aluksi jokainen merkki on lehti, jonka arvona on merkin esiintymistiheys. Kaksi pienintä lehteä yhdistetään sen jälkeen puuksi, jonka vasen ja oikea puoli ovat merkit ja niiden arvoksi tulee lehtien arvojen summa. [3] Tämän työn tarkoituksena on käsitellä kolmen testisignaalin häviötöntä pakkaamista Huffman-koodauksella ja aritmeettisella koodauksella. Työssä on tarkoitus generoida MATLAB R -ohjelmistolla satunnaissignaali ja laskea entropia sekä yksit-
7 1. Johdanto 7 täiselle signaalille, kahden signaalin väliselle erotukselle sekä toisen asteen ennustimelle. Teoriaosuudessa luodaan katsaus taustoihin ja esitellään tämän työn aihepiiriin liittyviä keskeisiä menetelmiä. Sen jälkeen käsitellään työn taustalla olevaa teoriaa, eli entropiaa, Huffman-koodausta, aritmeettista koodausta sekä differenssikoodausta. Kolmannessa luvussa esitellään työn toteutustavat sekä eri menetelmillä saadut tulokset. Yhteenvedossa kootaan lopulta saadut tulokset yhteen ja arvioidaan, olivatko ne odotetun kaltaisia.
8 8 2. TEORIAA 2.1 Taustaa Informaatioteoria, algoritmiikka ja hävikkiteoria (engl. rate distortion theory) muodostavat tiedonpakkauksen teoreettisen pohjan. Kryptografia ja koodausteoria liittyvät läheisesti pakkausmenetelmiin. [1] Kryptografia viittaa kryptologiassa prosessiin, jolla koodataan viestejä tai tietoja siten, että vain valtuutetut osapuolet voivat nähdä niitä [5]. Koodausteoria puolestaan tarkoittaa koodausta käsittelevää matematiikan haaraa [6]. Tiedon tiivistämisen ajatus liittyy läheisesti myös tilastolliseen päättelyyn, koska tiedonpakkauksessa sovelletaan esimerkiksi entropiaa ja informaatiosisältöä, sekä suurimman uskottavuuden estimointiin (MLE), koska se on tilastotieteellinen menetelmä [1]. Tiedonpakkauksessa entropia antaa alarajan pakkaustehokkuudelle. Entropiaa voi pienentää muun muassa differenssikoodauksella, joilloin yleensä myös käytännön tilatarve pienenee. Suosituin häviötön pakkausmenetelmä on niin kutsuttu Lempel- Ziv- pakkausme-netelmä. Deflate-algoritmi on puolestaan LZ:n muunnos, joka on optimoitu nopeaa pakkauksen purkamista ja parempaa tiivistyssuhdetta varten. Deflate on yleisesti käytetty esimerkiksi PKZIP:ssä, PNG-kuvaformaatissa. Lempel-Zivmenetelmät taulukoivat usein toistuvaa dataa, joka useimmissa menetelmissä kerätään suoraan aiemmasta datasta. Taulukko itsessään on usein Huffman-koodattu. [1] 2.2 Entropia Entropia kuvaa informaatioteoriassa jonkin vastaanotetun viestin sisältävää keskimääräistä informaation määrää. Keskeinen ajatus on, että mitä epätodennäköisempi jokin tapahtuma on, sitä enemmän se tarjoaa informaatiota tapahtuessaan. Entropiaa mitataan useimmiten bitteinä, mutta myös muut yksiköt ovat mahdollisia riippuen asiayhteydestä. [4] Yksittäisen näytteen sisältämä informaatio määritellään kaavalla I(X) = log 2 (P (X)), (2.1) jossa X on diskreetti satunnaismuuttuja ja P(X) kuvaa X:n todennäköisyyttä. Tämän avulla voidaan määritellä entropia, joka on informaation odotusarvo. Se
9 2. Teoriaa 9 saadaan diskreetin satunnaismuuttujan X pistetodennäköisyysfunktion P (X) avulla kaavalla H(X) = E[I(X)] = E[ log 2 (P (X))], (2.2) jossa E on odotusarvo ja I on satunnaismuuttujan X informaatiosisältö. I(X) on itsessään satunnaismuuttuja. Laskettaessa entropiaa äärellisen mittaisesta näytteestä voidaan kaava 2.1 kirjoittaa muodossa H(X) = i P (X i )I(X i ), (2.3) Havainnollistetaan entropian laskemista esittämällä esimerkki. Oletetaan, että aineistossa on symboleita a, b, c ja d todennäköisyyksillä p a = 0,30, p b = 0,10, p c = 0,15 ja p d = 0,45. Edelläolleiden symbolien informaatio on I(a) = log 2 (0, 30) = 1, 74 I(b) = log 2 (0, 10) = 3, 32 I(c) = log 2 (0, 15) = 2, 74 (2.4) I(d) = log 2 (0, 45) = 1, 15 Koko näytteen entropia on tällöin kaavan 2.3 perusteella H(X) = 1, 78 (2.5) Vertailun vuoksi neljän eri symbolin suora koodaus vaatisi 2 bittiä/näyte, joten entropia on 10,89 % tämän alapuolella. Otetaan vielä toinen vastaava esimerkki. Oletetaan, että toisessa aineistossa on symboleita a, b, c, d, e ja f todennäköisyyksillä p a = 0,20, p b = 0,10, p c = 0,10, p d = 0,15, p e = 0,30 ja p f = 0,15. Näiden symbolien informaatio on vastaavasti
10 2. Teoriaa 10 I(a) = log 2 (0, 20) = 2, 32 I(b) = log 2 (0, 10) = 3, 32 I(c) = log 2 (0, 10) = 3, 32 I(d) = log 2 (0, 15) = 2, 74 (2.6) Tämän näytteen entropiaksi saadaan I(e) = log 2 (0, 30) = 1, 74 I(f) = log 2 (0, 15) = 2, 74 H(X) = 2, 47 (2.7) Vertailun vuoksi neljän eri symbolin suora koodaus vaatisi 3 bittiä/näyte, joten entropia on 17,64 % tämän alapuolella. Entropia antaa tietyn alarajan häviöttömälle pakkaustehokkuudelle. Minkään ainoastaan tilastollisiin ominaisuuksiin perustuvan häviöttömän pakkausmenetelmän ei ole mahdollista päästä entropiaa pienempään bittimäärään. [3] 2.3 Huffman-koodaus Huffman-koodaus on hyvin laajalti käytetty häviötön koodausmenetelmä. Menetelmä arvioi erilaisten symbolien esiintymistodennäköisyyksiä ja esittää usein esiintyvät symbolit lyhyin bittijonoin ja harvemmin esiintyvät pidemmin merkkijonoin. [3] Koska jokaisen merkin mahdollisuus erilaisten datalähteiden sisällä pysyy väistämättä muuttumattomana, voidaan Huffman-kooditaulukkoa hyödyntää datan koodauksessa [9]. Keskimääräinen Huffman-koodatun sanan pituus saadaan kertomalla sanojen pituudet niiden esiintymistodennäköisyyksillä. Tarkastellaan esimerkkiä: jos symbolit ovat kokonaisluvut [1,2,3,4,5,6] ja niiden todennäköisyydet ovat P = [0,5;0,125;0,125; 0,125;0,0625;0,0625], niin koodisanan keskimääräinen pituus on 2,1250 bittiä sekä Symboli "1": P = 0,5000 Symboli "2": P = 0,1250 Symboli "3": P = 0,1250 Symboli "4": P = 0,1250 Symboli "5": P = 0,0625 Symboli "6": P = 0,0625 Edelläolleiden symbolien sisältämä informaatio on
11 2. Teoriaa 11 I( 1 ) = log 2 (0, 5000) = 1, 00 I( 2 ) = log 2 (0, 1250) = 3, 00 I( 3 ) = log 2 (0, 1250) = 3, 00 I( 4 ) = log 2 (0, 1250) = 3, 00 (2.8) Koko näytteen entropia on tällöin I( 5 ) = log 2 (0, 0625) = 4, 00 I( 6 ) = log 2 (0, 0625) = 4, 00 H(X) = 2, 13 (2.9) Tässä tapauksessa Huffman-koodaus saavuttaa entropiarajan. Näin tapahtuu aina, kun todennäköisyydet ovat joitakin luvun 2 potensseja. Kuva 2.1: Esimerkin mukainen Huffman-puurakenne. Kuvassa 2.1 on puurakenne, joka esittää esimerkin mukaista Huffman-puuta. Ensin todennäköisyydet asetetaan suuruusjärjestykseen, minkä jälkeen aletaan muodostaa puurakennetta. Jokaisella iteraatiokierroksella valitaan kaksi pienintä todennäköisyyttä ja yhdistetään ne saman puun haaraan laskemalla ne samalla yhteen. Kun puu on valmis, merkitään jokainen alas lähtevä haara nollalla ja ylös lähtevä ykkösellä. Tämän jälkeen kutakin symbolia vastaava Huffman-koodi saadaan etenemällä juuresta kyseiseen symboliin. [3] Puurakenteen mukaan voidaan muodostaa edellisen esimerkin koodisanat. Ne ovat esitetty alla. Symboli "1": koodisana = 0 Symboli "2": koodisana = Symboli "3": koodisana = Symboli "4": koodisana = 1 1 0
12 2. Teoriaa 12 Symboli "5": koodisana = Symboli "6": koodisana = Huffman-koodi toteuttaa käytännön kannalta merkittävän prefix-ominaisuuden. Tämä tarkoittaa, että mikään koodisana ei ole toisen koodisanan alku. Tällöin koodia purettaessa bittivirtaa luettaessa ei missään vaiheessa tule epäselvyyttä, mihin edellinen koodisana loppuu ja mistä seuraava alkaa. [3] 2.4 Aritmeettinen koodaus Aritmeettinen koodaus on, kuten Huffman-koodauskin, entropian koodausmuoto, jota käytetään tiedon häviöttömässä pakkaamisessa. On itse asiassa osoitettu, että Huffman-koodaus on erikoistapaus aritmeettisesta koodauksesta, koska aritmeettinen koodaus kykenee lähestymään optimaalisinta entropian koodausta lähemmäksi kuin Huffman. [7] Aritmeettinen koodaus oli laajasti mielletty ja 1980-luvuilla enemmänkin akateemiseksi uteliaisuudeksi kuin käytännölliseksi koodaustekniikaksi. Eräs tekijä, joka selitti aritmeettisen koodauksen myöhemmän suosion oli lähdekoodin julkaiseminen vuonna 1987 monisymboliselle aritmeettiselle koodille. Myöhemmin ymmärryksemme aritmeettisesta koodauksesta on kehittynyt, ja aritmeettinen koodaus on tullut yhdeksi suosituimmista häviöttömistä datan pakkausmenetelmistä Huffmankoodauksen rinnalle. [8] Kuva 2.2: Esimerkki aritmeettisesta koodauksesta. Oletetaan kuvan 2.2 tapauksessa, että käytössä on kolmen symbolin A, B ja C kiinteä todennäköisyysjakauma. A:n todennäköisyys on 50 %, B:n todennäköisyys
13 2. Teoriaa 13 on 33 % ja C:n todennäköisyys on 17 %. Oletetaan lisäksi, että rekursiosyvyys tunnetaan jokaisella askeleella. Ensimmäisellä askeleella koodataan symboli B, joka on välillä (0,5;0,83). Binääriluku 0,10x on lyhin koodi, joka edustaa väliä [0,5;0,83). "x"tarkoittaa mielivaltaista bittijärjestystä. Kuitenkin on kaksi ääritapausta: pienin x vastaa äärellistä määrää nollia, joka vastaa pienintä arvoa vastaavalla välillä. Siten pienin arvo välillä on dec(0,10) = 0,5. Suurin x vastaa äärellistä määrää ykkösiä, joka antaa luvun, joka yhtyy arvoon dec(0,11) = 0,75. Siten 0,10x vastaa väliä [0,5;0,75), joka on välin [0,5;0,83) sisällä. Nyt voidaan jättää pois nollas osa, koska kaikki välit alkavat nollalla ja voidaan myös jättää huomiotta "x"osa, koska sillä ei ole mitään väliä, mitä bittijärjestystä se edustaa, joten pysytään välillä [0,5;0,75]. [7] Otetaan vastaavanlainen esimerkki kuin entropian ja Huffman-koodauksen kohdalla. Oletetaan, että aineistossa ovat symbolit [1,2,3,4,5,6] ja niiden todennäköisyydet ovat P = [0,10;0,15;0,15;0,20;0,20;0,20], niin Symboli "1": P = 0,10 Symboli "2": P = 0,15 Symboli "3": P = 0,15 Symboli "4": P = 0,20 Symboli "5": P = 0,20 Symboli "6": P = 0,20 Näiden symbolien sisältämä informaatio on I( 1 ) = log 2 (0, 10) = 3, 32 I( 2 ) = log 2 (0, 15) = 2, 74 I( 3 ) = log 2 (0, 15) = 2, 74 I( 4 ) = log 2 (0, 20) = 2, 32 (2.10) Koko näytteen entropia on I( 5 ) = log 2 (0, 20) = 2, 32 I( 6 ) = log 2 (0, 20) = 2, 32 H(X) = 2, 55, (2.11) ja aritmeettinen koodi näille symboleille on Koodi = (2.12)
14 2. Teoriaa 14 Vektorissa seq on määritelty symbolien järjestys, ja koska symboleita on yhteensä 20, saadaan length(code)/len = 55/20 = 2, 75 (2.13) Aritmeettinen koodaus näille symboleille vaatii siis 2,75 bittiä/symboli. 2.5 Differenssikoodaus Edellä kuvattu entropia antaa siis alarajan pakkaustehokkuudelle. Pakkausta on kuitenkin mahdollista tehostaa käyttämällä jotakin entropiaa pienentävää esitysmuotoa. Mikäli datasta löytyy jotain säännöllisyyksiä, voidaan niiden avulla kenties löytää jokin esitysmuoto, jossa todennäköisyydet eivät olekaan enää yhtäsuuret. Koodausjärjestelmä voi siten kokeilla esimerkiksi differenssikoodausta, jossa talletetaan ensimmäinen arvo sellaisenaan ja sen jälkeen erotus edelliseen datapisteeseen nähden. [3] Toisen asteen ennustimessa on kyse siitä, että koko signaali käydään läpi alkaen kolmannesta näytteestä ja signaalin näytearvo on edeltävä näyte, johon lisätään edeltävän ja sitä edeltävän näytteen erotus. Laskettaessa entropiaa sekä Huffmankoodin- ja aritmeettisen koodin pituutta hyödynnettiin for-silmukassa tätä periaatetta. Esimerkiksi digitaalisia kuvia pakattaessa on pakkaustulosta mahdollista parantaa pelkkään Huffman-koodaukseen verrattuna muun muassa käyttäen differenssikoodausta. Tällöin voidaan saada huomattava parannus, joka perustuu pääasiassa vierekkäisten kuvapisteiden suureen korrelaatioon. Yksinkertaisin menettely koodaa peräkkäisten pikseleiden erotuksen absoluuttisten pikseliarvojen asemasta. [3] Erotuksen laskeminen voidaan ajatella yksinkertaiseksi ennustusmenetelmäksi, viestin lähettäjä ja vastaanottaja ennustavat seuraavan pisteen lukuarvoksi samaa arvoa kun edellisellä pisteellä. Lähettäjä lähettää sitten laskemansa ennustusvirheen. Jos ennustus toimii paremmin, tulee histogrammista entistäkin kapeampi ja entropia pienenee edelleen. [3]
15 15 3. TOTEUTUS JA TULOKSET 3.1 Taustaa Huffman-koodauksen toteutuksesta Käyttäen Huffman-koodausta toteutettiin signaalin häviötön pakkaaminen. Tulokset, jotka saatiin MATLAB R -ohjelmiston avulla, ovat esitetty luvussa 3.3. Huffman-koodaus voidaan toteuttaa käyttämällä MATLAB R :issa funktiota huffmanenco, joka koodaa tietyn signaalin käyttäen koodisanakirja dictin kuvaamaa Huffman-koodia. Allaoleva koodiesimerkki luo satunnaisdataa sisältävän Huffmankoodisanakirjan, jolla on määrätty todennäköisyysjakauma. symbolit = [1:6]; p = [ ]; [dict,avglen] = huffmandict(symbolit,p); Ylläolevassa koodissa oletetaan siis, että datassa on kokonaisluvut 1-6 ja niiden todennäköisyydet. Huffmandict -funktio tuottaa binäärisen Huffman-koodisanakirjan käyttäen suurinta mahdollista varianssia. Se antaa ulos myös Huffman-koodisanan keskimääräisen pituuden. Omalla menetelmällä haluttiin testata differenssikoodauksen merkitystä entropialle. Tätä varten generoitiin kolme testisignaalia MATLAB R :illa. 3.2 Taustaa aritmeettisen koodauksen toteutuksesta Signaalin häviötön pakkaaminen toteutettiin tässä työssä myös hyödyntäen aritmeettista koodausta. Myös tällä menetelmällä saadut tulokset ovat esitetty seuraavassa luvussa 3.3. Aritmeettinen koodaus voidaan toteuttaa MATLAB R :issa funktiota arithenco, joka muodostaa binäärimuotoisen aritmeettisen koodin. Allaoleva koodiesimerkki selventää aritmeettisen koodauksen suorittamaa pakkausta joissakin tilanteissa. counts = [99 1]; len = 1000; seq = randsrc(1,len,[1 2;.99.01]); code = arithenco(seq,counts); s = size(code)
16 3. Toteutus ja tulokset 16 Entropia Huffman Aritmeettinen Entropia Huffman Aritmeettinen N = 100 N = 100 N = 100 N = 1000 N = 1000 N = 1000 Raakadata 8,15 8,18 8,32 8,38 8,41 8,45 Differenssi 5,30 5,34 5,46 3,83 3,86 3,92 Ennustus 5,81 5,83 5,95 4,33 4,37 4,41 Taulukko 3.1: Entropiat, Huffman-koodin ja aritmeettisen koodin pituudet testisignaaleille Ylläolevassa koodissa oletetaan siis, että käytössä on kahden symbolin aakkosto ja testidatassa 99 % symboleista on ykkösiä. Tuhannen symbolin koodaus tuottaa koodivektorin, jossa on huomattavasti vähemmän kuin 1000 elementtiä. Todellinen elementtien määrä koodissa vaihtelee, riippuen tietystä satunnaisjärjestyksestä muuttujassa seq. 3.3 Tulosten laskenta signaaleille Pakattaessa satunnaissignaalia edelläkuvatuilla menetelmillä, generoitiin MATLAB R - ohjelmistolla kolme testisignaalia, jotka on esitetty kuvassa 3.1. Testisignaalit generoitiin siten, että ensin luotiin näytteen mittainen normaalijakautunut satunnaissignaali, jonka keskiarvo on nolla ja keskihajonta 1. Koska satunnaissignaalin näytteet ovat kuitenkin täysin riippumattomia toisistaan, lisättiin näytteiden välistä korrelaatiota keinotekoisesti suodattamalla signaali keskiarvosuotimella, jonka pituus on N = 100 tai 1000 näytettä. Signaaleista laskettiin entropiat sekä yksittäiselle signaalille että kahden signaalin väliselle erotukselle. Näiden lisäksi laskettiin vielä ennustuksen tulokset. 0.5 Testisignaali, kun N = Testisignaali, kun N = Testisignaali, kun N = Kuva 3.1: Esimerkkisignaalit erimittaisilla suotimilla. Taulukossa 3.1 on laskettu entropiat ja keskimääräiset Huffman- sekä aritmeettisen koodin pituudet kolmelle eri signaalille. Taulukon ylimmällä rivillä on entropia, Huffman- sekä aritmeettisen koodin pituus raakadatalle sellaisenaan, sen jälkeen seuraavalla rivillä vastaavat tiedot differenssikoodatulle datalle sekä viimeisellä rivillä vastaavat tulokset toisen asteen ennustimelle. Taulukosta huomataan, että mitä pidempi suodin on, sitä pienemmäksi entropia putoaa differenssisignaalille. Pidemmän suotimen ansiosta myös satunnaissignaali
17 3. Toteutus ja tulokset 17 kompressoituu paremmin ennustuksen jälkeen. Entropia on pienempi sekä Huffmanja aritmeettinen koodisana lyhenee pitemmän suotimen ansiosta. Entropia on myös pienempi differenssikoodatulla datalla ja toisen asteen ennustimella, kuin raakadatalla sellaisenaan. Myös peräkkäisten näytteiden välinen autokorrelaatio tulee suuremmaksi, kun suodin on pidempi. Kun suotimen pituus on 100, autokorrelaatio on 0,9904. Vastaavasti kun suotimen pituus on 1000, autokorrelaation arvo on 0,9991.
18 18 4. YHTEENVETO Työssä sovellettiin entropian laskentaa, Huffman-koodausta ja aritmeettista koodausta mittaussignaalin häviöttömässä pakkaamisessa. Tulokset olivat odotetun kaltaisia, eikä niissä ilmennyt merkittäviä eroja toisiinsa nähden. Entropian perusajatus on, että mitä epätodennäköisempi jokin tapahtuma on, sitä suurempi sen informaatiosisältö on. Informaation avulla voidaan määritellä entropia, joka on keskimääräinen informaation määrä. Se antaa myös alarajan häviöttömälle pakkaustehokkuudelle. Pakkausta on mahdollista tehostaa käyttämällä jotakin entropiaa pienentävää esitysmuotoa. Differenssikoodauksessa on kyse siitä, että ensimmäinen arvo talletetaan sellaisenaan ja sen jälkeen erotus edelliseen datapisteeseen nähden. Differenssikoodatulle signaalille entropia oli huomattavasti pienempi kuin raakadatalle sellaisenaan. Huffman-koodaus on erittäin yleinen häviötön koodausmenetelmä, joka arvioi erilaisten symbolien esiintymistodennäköisyyksiä ja esittää usein esiintyvät symbolit lyhyin merkkijonoin ja vastaavasti harvemmin esiintyvät pidemmin jonoin. Tässä työssä generoitiin kolme satunnaissignaalia MATLAB R -ohjelmistolla, ja hyödynnettiin sitten Huffman-koodausta sekä aritmeettista koodausta näiden signaalien pakkaamisessa. Myös teoriaosan esimerkki havainnollisti molempia koodausperiaatteita. Aritmeettinen koodaus on entropian koodausmuoto, kuten myös Huffman-koodaus, mutta on osoitettu, että Huffman-koodaus on ainoastaan erikoistapaus aritmeettisesta koodauksesta. Aritmeettinen koodi voidaan muodostaa vain koko joukolle symboleita. Aritmeettisen koodisanan pituus on suurempi kuin Huffman-koodin. Laskettaessa entropiaa kolmelle eri satunnaissignaalille sekä näiden erotussignaaleille havaittiin, että mitä pidempi suodin on, sitä paremmin satunnaissignaali kompressoituu ennustuksen jälkeen. Tällöin myös entropia putoaa pienemmäksi ja Huffman- sekä aritmeettinen koodisana lyhenee. Lisäksi peräkkäisten näytteiden välinen autokorrelaatio tulee suuremmaksi.
19 19 LÄHTEET [1] Tiedon pakkaus [Internet]. [viitattu ], Saatavissa: wikipedia.org/tiedonpakkaus [2] Holm, J.M., Audioformaatit versio 2.0, Tietotekniikan Cum-Laudeharjoitustyö, 1998 [Internet]. [viitattu ], Saatavissa: http: //mit.jyu.fi/opiskelu/seminaarit/bak/audioformaatit/5.2. Audionpakkausmenetelmiä [3] Huttunen H., Signaalinkäsittelyn menetelmät, opetusmoniste 2005:1, Tampereen teknillinen yliopisto, Signaalinkäsittelyn laitos [viitattu ]. [4] Entropy (information theory) [Internet]. [viitattu ], Saatavissa: http: //en.wikipedia.org/entropy(informationentropy) [5] Salaus [Internet]. [viitattu ], Saatavissa: wiki/salaus [6] Koodausteoria [Internet]. [viitattu ], Saatavissa: http: //fi.wikipedia.org/wiki/koodausteoria [7] Arithmetic coding [Internet]. [viitattu ], Saatavissa: wikipedia.org/wiki/arithmetic_coding [8] Moffat A.; Neal R.; Witten I.H., Arithmetic coding revisited, Data Compression Conference, 1995, DCC 95. Proceedings, IEEE Conference Publications [9] Ren W.; Wang H.; Xu L.; Cui Y., Research on a quasi-lossless compression algorithm based on Huffman coding, Transportation, Mechanical and Electrical Engineering (TMEE), 2011, International Conference, IEEE Conference Publications
Ongelma 1: Onko datassa tai informaatiossa päällekkäisyyttä?
Ongelma 1: Onko datassa tai informaatiossa päällekkäisyyttä? 2012-2013 Lasse Lensu 2 Ongelma 2: Voidaanko dataa tai informaatiota tallettaa tiiviimpään tilaan koodaamalla se uudelleen? 2012-2013 Lasse
LisätiedotKompleksiluvut signaalin taajuusjakauman arvioinnissa
Kompleksiluvut signaalin taajuusjakauman arvioinnissa Vierailuluento IMA-kurssilla Heikki Huttunen Lehtori, TkT Signaalinkäsittely, TTY heikki.huttunen@tut.fi Department of Signal Processing Fourier-muunnos
LisätiedotSGN-1200 Signaalinkäsittelyn menetelmät Välikoe
SGN-00 Signaalinkäsittelyn menetelmät Välikoe 9.3.009 Sivuilla - on. Älä vastaa siihen, jos et ollut ensimmäisessä välikokeessa. Tentin kysymykset ovat sivuilla 3-4. Vastaa vain jompaan kumpaan kokeeseen,
LisätiedotAvainsanat ja sanonnat: Tiedonpakkaus, algoritmit, Huffmanin koodaus, aritmeettinen koodaus, sanakirjat, informaatioteoria. CR luokat: E.
Häviöttömät tiedonpakkausalgoritmit Jukka Pollari Tiivistelmä. Tässä tutkielmassa käsitellään häviöttömiä pakkausalgoritmeja, tarkemmin määriteltynä sellaisia, joilla voidaan pakata kaikenlaista dataa.
LisätiedotAlgoritmit 2. Luento 9 Ti Timo Männikkö
Algoritmit 2 Luento 9 Ti 17.4.2018 Timo Männikkö Luento 9 Merkkitiedon tiivistäminen Huffmanin koodi LZW-menetelmä Taulukointi Editointietäisyys Algoritmit 2 Kevät 2018 Luento 9 Ti 17.4.2018 2/29 Merkkitiedon
LisätiedotEpäyhtälöt ovat yksi matemaatikon voimakkaimmista
6 Epäyhtälöitä Epäyhtälöt ovat yksi matemaatikon voimakkaimmista työvälineistä. Yhtälö a = b kertoo sen, että kaksi ehkä näennäisesti erilaista asiaa ovat samoja. Epäyhtälö a b saattaa antaa keinon analysoida
LisätiedotKoodausteoria, Kesä 2014
Koodausteoria, Kesä 2014 Topi Törmä Matemaattisten tieteiden laitos 6. Ryöppyvirheitä korjaavat koodit Topi Törmä Matemaattisten tieteiden laitos 2 / 34 6.1 Peruskäsitteitä Aiemmin on implisiittisesti
LisätiedotHäviötön tiedon pakkaaminen
Päivi Toikkanen Häviötön tiedon pakkaaminen Tietotekniikan pro gradu -tutkielma 26. marraskuuta 2014 Jyväskylän yliopisto Tietotekniikan laitos Kokkolan yliopistokeskus Chydenius Tekijä: Päivi Toikkanen
LisätiedotPuheenkoodaus. Olivatpa kerran iloiset serkukset. PCM, DPCM ja ADPCM
Puheenkoodaus Olivatpa kerran iloiset serkukset PCM, DPCM ja ADPCM PCM eli pulssikoodimodulaatio Koodaa jokaisen signaalinäytteen binääriseksi (eli vain ykkösiä ja nollia sisältäväksi) luvuksi kvantisointitasolle,
LisätiedotDiskreetin satunnaismuuttujan odotusarvo, keskihajonta ja varianssi
TOD.NÄK JA TILASTOT, MAA0 Diskreetin satunnaismuuttujan odotusarvo, keskihajonta ja varianssi Kuten tilastojakaumia voitiin esittää tunnuslukujen (keskiarvo, moodi, mediaani, jne.) avulla, niin vastaavasti
LisätiedotT Luonnollisten kielten tilastollinen käsittely
T-61.281 Luonnollisten kielten tilastollinen käsittely Vastaukset 3, ti 11.2.2003, 16:15-18:00 Kollokaatiot, Versio 1.1 1. Lasketaan ensin tulokset sanaparille valkoinen, talo käsin: Frekvenssimenetelmä:
LisätiedotT Privacy amplification
T-79.4001 Privacy amplification Ari Nevalainen ajnevala@cc.hut.fi T-79.4001Privacy amplification 1/25 ALKUTILANNE Alkutilanne. Kaksi erikoistapausta. Yleinen tapaus. Yhteenveto. T-79.4001Privacy amplification
LisätiedotT Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti , 8:30-10:00 Kollokaatiot, Versio 1.1
T-61.281 Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti 10.2.2004, 8:30-10:00 Kollokaatiot, Versio 1.1 1. Lasketaan ensin tulokset sanaparille valkoinen, talo käsin: Frekvenssimenetelmä:
LisätiedotSGN-1200 Signaalinkäsittelyn menetelmät, Tentti
SGN-1200 Signaalinkäsittelyn menetelmät, Tentti 5.5.2008 Kirjoita nimesi ja opiskelijanumerosi jokaiseen paperiin. Vastauspaperit tullaan irrottamaan toisistaan. Jos tila ei riitä, jatka kääntöpuolelle
LisätiedotMICHAEL SITTIG ÄÄNEN HÄVIÖTÖN PAKKAAMINEN. Kandidaatintyö
MICHAEL SITTIG ÄÄNEN HÄVIÖTÖN PAKKAAMINEN Kandidaatintyö Tarkastaja: lehtori Konsta Koppinen Työ jätetty tarkastettavaksi 24. toukokuuta 2010 II TIIVISTELMÄ TAMPEREEN TEKNILLINEN YLIOPISTO Tietotekniikan
Lisätiedot5/11 6/11 Vaihe 1. 6/10 4/10 6/10 4/10 Vaihe 2. 5/11 6/11 4/11 7/11 6/11 5/11 5/11 6/11 Vaihe 3
Mat-.9 Sovellettu todennäköisyyslasku A / Ratkaisut Aiheet: Avainsanat: Verkot todennäköisyyslaskennassa Satunnaismuuttujat ja todennäköisyysjakaumat Jakaumien tunnusluvut Kertymäfunktio, Momentit, Odotusarvo,
LisätiedotDiskreetin matematiikan perusteet Laskuharjoitus 2 / vko 9
Diskreetin matematiikan perusteet Laskuharjoitus 2 / vko 9 Tuntitehtävät 9-10 lasketaan alkuviikon harjoituksissa ja tuntitehtävät 13-14 loppuviikon harjoituksissa. Kotitehtävät 11-12 tarkastetaan loppuviikon
LisätiedotMat Sovellettu todennäköisyyslasku A
TKK / Systeemianalyysin laboratorio Nordlund Mat-.090 Sovellettu todennäköisyyslasku A Harjoitus 7 (vko 44/003) (Aihe: odotusarvon ja varianssin ominaisuuksia, satunnaismuuttujien lineaarikombinaatioita,
LisätiedotSGN-1200 Signaalinkäsittelyn menetelmät, Tentti
SG-1200 Signaalinkäsittelyn menetelmät, Tentti 21.3.2006 Kirjoita nimesi ja opiskelijanumerosi jokaiseen paperiin. Vastauspaperit tullaan irrottamaan toisistaan. Jos tila ei riitä, jatka kääntöpuolelle
LisätiedotOngelma(t): Miten digitaalista tietoa voidaan toisintaa ja visualisoida? Miten monimutkaista tietoa voidaan toisintaa ja visualisoida?
Ongelma(t): Miten digitaalista tietoa voidaan toisintaa ja visualisoida? Miten monimutkaista tietoa voidaan toisintaa ja visualisoida? 2 Tieto on koodattu aikaisempaa yleisemmin digitaaliseen muotoon,
LisätiedotJUHO BLANKENSTEIN MITTAUSSIGNAALIN PAKKAAMINEN, SELVITYS PAKKAUSALGORITMEISTA
I JUHO BLANKENSTEIN MITTAUSSIGNAALIN PAKKAAMINEN, SELVITYS PAKKAUSALGORITMEISTA Kandidaatintyö Tarkastaja: lehtori Konsta Koppinen Työ jätetty tarkastettavaksi 10. toukokuuta 2009 II TIIVISTELMÄ TAMPEREEN
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi
LisätiedotMatematiikka ja teknologia, kevät 2011
Matematiikka ja teknologia, kevät 2011 Peter Hästö 3. helmikuuta 2011 Matemaattisten tieteiden laitos Sisältö Kurssi koostuu kuudesta (seitsemästä) toisistaan riippumattomasta luennosta. Aihepiirit ovat:
Lisätiedot1. Esitä rekursiivinen määritelmä lukujonolle
Matematiikan laitos Johdatus Diskrettiin Matematiikkaan Harjoitus 4 24.11.2011 Ratkaisuehdotuksia Aleksandr Pasharin 1. Esitä rekursiivinen määritelmä lukujonolle (a) f(n) = (2 0, 2 1, 2 2, 2 3, 2 4,...)
LisätiedotHarjoitus 2: Matlab - Statistical Toolbox
Harjoitus 2: Matlab - Statistical Toolbox Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen tavoitteet Satunnaismuuttujat ja todennäköisyysjakaumat
Lisätiedot2. Jatkoa HT 4.5:teen ja edelliseen tehtavään: Määrää X:n kertymäfunktio F (x) ja laske sen avulla todennäköisyydet
Tilastotieteen jatkokurssi Sosiaalitieteiden laitos Harjoitus 5 (viikko 9) Ratkaisuehdotuksia (Laura Tuohilampi). Jatkoa HT 4.5:teen. Määrää E(X) ja D (X). E(X) = 5X p i x i =0.8 0+0.39 +0.4 +0.4 3+0.04
LisätiedotKuvan pakkaus JPEG (Joint Photographic Experts Group)
Kuvan pakkaus JPEG (Joint Photographic Experts Group) Arne Broman Mikko Toivonen Syksy 2003 Historia 1840 1895 1920-luku 1930-luku Fotografinen filmi Louis J. M. Daguerre, Ranska Ensimmäinen julkinen elokuva
Lisätiedot811120P Diskreetit rakenteet
811120P Diskreetit rakenteet 2016-2017 2. Lukujen esittäminen ja aritmetiikka 2.1 Kantajärjestelmät ja lukujen esittäminen Käytettävät lukujoukot: Luonnolliset luvut IN = {0,1,2,3,... } Positiiviset kokonaisluvut
LisätiedotTL5503 DSK, laboraatiot (1.5 op) Audiosignaalit (ver 1.0) Jyrki Laitinen
TL5503 DSK, laboraatiot (1.5 op) Audiosignaalit (ver 1.0) Jyrki Laitinen TL5503 DSK, laboraatiot (1.5 op), K2005 1 Suorita oheisten ohjeiden mukaiset tehtävät Matlab- ja SPDemo-ohjelmistoja käyttäen. Kokoa
LisätiedotShannonin ensimmäinen lause
Shannonin ensimmäinen lause Pro gradu Maija-Liisa Metso Matemaattisten tieteiden laitos Oulun yliopisto Syksy 2014 Sisältö Tiivistelmä 2 1 Johdanto informaatioteoriaan 2 1.1 Informaatioteorian historiaa...................
LisätiedotT Luonnollisten kielten tilastollinen käsittely Vastaukset 11, ke , 12:15 14:00 Puheentunnistus ja kielimallien evaluointi Versio 1.
T-61.020 Luonnollisten kielten tilastollinen käsittely Vastaukset 11, ke 18.4.2007, 12:1 14:00 Puheentunnistus ja kielimallien evaluointi Versio 1.0 1. Käytämme siis jälleen viterbi-algoritmia todennäköisimmän
LisätiedotLaskuharjoitus 5. Mitkä ovat kuvan 1 kanavien kapasiteetit? Kuva 1: Kaksi kanavaa. p/(1 p) ) bittiä lähetystä kohti. Voidaan
Informaatioteoria ELEC-C7 5 Laskuharjoitus 5 Tehtävä 5.3 Mitkä ovat kuvan kanavien kapasiteetit?.3.7 a b Kuva : Kaksi kanavaa b Binäärisessä Z-kanavassa virhe tapahtuu todennäköisyydellä p ja virhe todennäköisyydellä.
Lisätiedot1 Aritmeettiset ja geometriset jonot
1 Aritmeettiset ja geometriset jonot Johdatus Johdatteleva esimerkki 1 Kasvutulille talletetaan vuoden jokaisen kuukauden alussa tammikuusta alkaen 100 euroa. Tilin nettokorkokanta on 6%. Korko lisätään
LisätiedotRekursiolause. Laskennan teorian opintopiiri. Sebastian Björkqvist. 23. helmikuuta Tiivistelmä
Rekursiolause Laskennan teorian opintopiiri Sebastian Björkqvist 23. helmikuuta 2014 Tiivistelmä Työssä käydään läpi itsereplikoituvien ohjelmien toimintaa sekä esitetään ja todistetaan rekursiolause,
LisätiedotMTTTP5, luento Otossuureita ja niiden jakaumia (jatkuu)
21.11.2017/1 MTTTP5, luento 21.11.2017 Otossuureita ja niiden jakaumia (jatkuu) 4) Olkoot X 1, X 2,..., X n satunnaisotos (, ):sta ja Y 1, Y 2,..., Y m satunnaisotos (, ):sta sekä otokset riippumattomia.
Lisätiedot30A02000 Tilastotieteen perusteet
30A02000 Tilastotieteen perusteet Kertaus 1. välikokeeseen Lauri Viitasaari Tieto- ja palvelujohtamisen laitos Kauppatieteiden korkeakoulu Aalto-yliopisto Syksy 2019 Periodi I-II Sisältö Välikokeesta Joukko-oppi
Lisätiedot3. laskuharjoituskierros, vko 6, ratkaisut
Mat-.9 Sovellettu todennäköisyyslasku, kevät - eliövaara, Palo, Mellin. laskuharjoituskierros, vko 6, ratkaisut D. Uurnassa A on 4 valkoista ja 6 mustaa kuulaa ja uurnassa B on 6 valkoista ja 4 mustaa
LisätiedotVÄRISPEKTRIKUVIEN TEHOKAS SIIRTO TIETOVERKOISSA
VÄRISPEKTRIKUVIEN TEHOKAS SIIRTO TIETOVERKOISSA Juha Lehtonen 20.3.2002 Joensuun yliopisto Tietojenkäsittelytiede Kandidaatintutkielma ESIPUHE Olen kirjoittanut tämän kandidaatintutkielman Joensuun yliopistossa
LisätiedotJatkuvat satunnaismuuttujat
Jatkuvat satunnaismuuttujat Satunnaismuuttuja on jatkuva jos se voi ainakin periaatteessa saada kaikkia mahdollisia reaalilukuarvoja ainakin tietyltä väliltä. Täytyy ymmärtää, että tällä ei ole mitään
LisätiedotP (A)P (B A). P (B) P (A B) = P (A = 0)P (B = 1 A = 0) P (B = 1) P (A = 1)P (B = 1 A = 1) P (B = 1)
Harjoitustehtäviä (erä 1) 1 1. Käytetään yksinkertaisesti Bayesin kaavaa: P (A B) = P (A)P (B A). P (B) Tapauksessa B = 1 saadaan P (A = 0 B = 1) = P (A = 1 B = 1) = P (A = 0)P (B = 1 A = 0) P (A = 1)P
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 18. lokakuuta 2007 Antti Rasila () TodB 18. lokakuuta 2007 1 / 19 1 Tilastollinen aineisto 2 Tilastollinen malli Yksinkertainen satunnaisotos 3 Otostunnusluvut
LisätiedotSignaalien generointi
Signaalinkäsittelyssä joudutaan usein generoimaan erilaisia signaaleja keinotekoisesti. Tyypillisimpiä generoitavia aaltomuotoja ovat eritaajuiset sinimuotoiset signaalit (modulointi) sekä normaalijakautunut
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 4 Jatkuvuus Jatkuvan funktion määritelmä Tarkastellaan funktiota f x) jossakin tietyssä pisteessä x 0. Tämä funktio on tässä pisteessä joko jatkuva tai epäjatkuva. Jatkuvuuden
LisätiedotMediaanisuodattimet. Tähän asti käsitellyt suodattimet ovat olleet lineaarisia. Niille on tyypillistä, että. niiden ominaisuudet tunnetaan hyvin
Mediaanisuodattimet Tähän asti käsitellyt suodattimet ovat olleet lineaarisia. Niille on tyypillistä, että niiden ominaisuudet tunnetaan hyvin niiden analysointiin on olemassa vakiintuneita menetelmiä
LisätiedotAlla olevassa kuvassa on millisekunnin verran äänitaajuisen signaalin aaltomuotoa. Pystyakselilla on jännite voltteina.
TT12S1E Tietoliikenteen perusteet Metropolia/A. Koivumäki 1 Kirjan lukuun 3 liittyvää lisäselitystä ja esimerkkejä Kirjan luvussa 3 (Signals Carried over the Network) luodaan katsaus siihen, minkälaisia
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotLÄHTEENKOODAUS. Mikä on lähteenkoodauksen perusidea? A Tietoliikennetekniikka II Osa 20 Kari Kärkkäinen Syksy 2015
1 LÄHTEENKOODAUS Mikä on lähteenkoodauksen perusidea? LÄHTEENKOODAUKSEN IDEA 2 Lähteen symbolien keskimääräinen informaatio (keskimääräinen epävarmuus) määritellään entropian H(X) avulla, ja se on symbolien
LisätiedotJuuri 10 Tehtävien ratkaisut Kustannusosakeyhtiö Otava päivitetty
Juuri 0 Tehtävien ratkaisut Kustannusosakeyhtiö Otava päivitetty 9..08 Kertaus K. a) Alapaineiden pienin arvo on ja suurin arvo 74, joten vaihteluväli on [, 74]. b) Alapaineiden keskiarvo on 6676870774
Lisätiedot6. laskuharjoitusten vastaukset (viikot 10 11)
6. laskuharjoitusten vastaukset (viikot 10 11) 1. a) Sivun 102 hypergeometrisen jakauman määritelmästä saadaan µ µ 13 39 13! 13 12 11 10 9 µ 0! 8! 1! 2 2! 2 1 0 49 48! 47!! 14440 120 31187200 120 1287
LisätiedotAlgebralliset menetelmät virheenkorjauskoodin tunnistamisessa
Algebralliset menetelmät virheenkorjauskoodin tunnistamisessa Jyrki Lahtonen, Anni Hakanen, Taneli Lehtilä, Toni Hotanen, Teemu Pirttimäki, Antti Peltola Turun yliopisto MATINE-tutkimusseminaari, 16.11.2017
LisätiedotTilastotieteen kertaus. Vilkkumaa / Kuusinen 1
Tilastotieteen kertaus Vilkkumaa / Kuusinen 1 Motivointi Reaalimaailman ilmiöihin liittyy tyypillisesti satunnaisuutta ja epävarmuutta Ilmiöihin liittyvien havaintojen ajatellaan usein olevan peräisin
LisätiedotEstimointi. Vilkkumaa / Kuusinen 1
Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman
LisätiedotIIR-suodattimissa ongelmat korostuvat, koska takaisinkytkennästä seuraa virheiden kertautuminen ja joissakin tapauksissa myös vahvistuminen.
TL536DSK-algoritmit (J. Laitinen)..5 Välikoe, ratkaisut Millaisia ongelmia kvantisointi aiheuttaa signaalinkäsittelyssä? Miksi ongelmat korostuvat IIR-suodatinten tapauksessa? Tarkastellaan Hz taajuista
Lisätiedothttps://www10.uta.fi/opas/opintojakso.htm?rid=6909&i dx=5&uilang=fi&lang=fi&lvv=2014
1 MTTTP3 Tilastollisen päättelyn perusteet 2 Luennot 8.1.2015 ja 13.1.2015 1 Kokonaisuudet johon opintojakso kuuluu https://www10.uta.fi/opas/opintojakso.htm?rid=6909&i dx=5&uilang=fi&lang=fi&lvv=2014
LisätiedotJohdatus todennäköisyyslaskentaan Kertymäfunktio. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Kertymäfunktio TKK (c) Ilkka Mellin (2005) 1 Kertymäfunktio Kertymäfunktio: Määritelmä Diskreettien jakaumien kertymäfunktiot Jatkuvien jakaumien kertymäfunktiot TKK (c)
LisätiedotOletetaan, että virhetermit eivät korreloi toistensa eikä faktorin f kanssa. Toisin sanoen
Yhden faktorin malli: n kpl sijoituskohteita, joiden tuotot ovat r i, i =, 2,..., n. Olkoon f satunnaismuuttuja ja oletetaan, että tuotot voidaan selittää yhtälön r i = a i + b i f + e i avulla, missä
LisätiedotHY, MTL / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIb, syksy 2017 Harjoitus 1 Ratkaisuehdotuksia
HY, MTL / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIb, syksy 07 Harjoitus Ratkaisuehdotuksia Tehtäväsarja I Osa tämän viikon tehtävistä ovat varsin haastavia, joten ei todellakaan
LisätiedotFoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. 6. luento. Pertti Palo
FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa 6. luento Pertti Palo 1.11.2012 Käytännön asioita Harjoitustöiden palautus sittenkin sähköpostilla. PalautusDL:n jälkeen tiistaina netistä löytyy
LisätiedotHarmaasävykuvien häviötön tiivistäminen
Harmaasävykuvien häviötön tiivistäminen Kaisa Komulainen 9. huhtikuuta 2001 Joensuun yliopisto Tietojenkäsittelytiede Pro gradu -tutkielma Tiivistelmä Digitaalisessa muodossa olevien kuvien määrä kasvaa
LisätiedotDigitaalitekniikan matematiikka Luku 13 Sivu 1 (10) Virheen havaitseminen ja korjaus
Digitaalitekniikan matematiikka Luku 13 Sivu 1 (10) Digitaalitekniikan matematiikka Luku 13 Sivu 2 (10) Johdanto Tässä luvussa esitetään virheen havaitsevien ja korjaavien koodaustapojen perusteet ja käyttösovelluksia
LisätiedotOdotusarvo. Odotusarvon ominaisuuksia Satunnaismuuttujien ominaisuuksia 61
3.3. Satunnaismuuttujien ominaisuuksia 61 Odotusarvo Määritelmä 3.5 (Odotusarvo) Olkoon X diskreetti satunnaismuuttuja, jonka arvojoukko on S ja todennäköisyysfunktio f X (x). Silloin X:n odotusarvo on
Lisätiedotpuheen laatu kärsii koodauksesta mahdollisimman vähän. puhe pakkautuu mahdollisimman pieneen määrään bittejä.
Luku 1 Puheen koodaus Puheen koodauksella tarkoitetaan puhesignaalin esittämiseen tarvittavan bittimäärän pienentämistä sillä tavalla, että puhesignaalin laatu ja ymmärrettävyys kärsivät mahdollisimman
LisätiedotAlgoritmit 2. Luento 10 To Timo Männikkö
Algoritmit 2 Luento 10 To 11.4.2019 Timo Männikkö Luento 10 Merkkitiedon tiivistäminen LZW-menetelmä Taulukointi Editointietäisyys Peruutusmenetelmä Osajoukon summa Algoritmit 2 Kevät 2019 Luento 10 To
LisätiedotKeskinäisinformaatiosta
Keskinäisinformaatiosta Mikko Malinen 31. heinäkuuta, 2008 1 Johdanto Keskinäisinformaatio (mutual information) on tärkeitä informaatioteorian käsitteitä. Keskinäisinformaatio I(X; Y ) on eräs riippuvuuden
Lisätiedotv 8 v 9 v 5 C v 3 v 4
Verkot Verkko on (äärellinen) matemaattinen malli, joka koostuu pisteistä ja pisteitä toisiinsa yhdistävistä viivoista. Jokainen viiva yhdistää kaksi pistettä, jotka ovat viivan päätepisteitä. Esimerkiksi
Lisätiedot3.7 Todennäköisyysjakaumia
MAB5: Todennäköisyyden lähtökohdat 4 Luvussa 3 Tunnusluvut perehdyimme jo jakauman käsitteeseen yleensä ja normaalijakaumaan vähän tarkemmin. Lähdetään nyt tutustumaan binomijakaumaan ja otetaan sen jälkeen
Lisätiedot815338A Ohjelmointikielten periaatteet Harjoitus 2 vastaukset
815338A Ohjelmointikielten periaatteet 2015-2016. Harjoitus 2 vastaukset Harjoituksen aiheena on BNF-merkinnän käyttö ja yhteys rekursiivisesti etenevään jäsentäjään. Tehtävä 1. Mitkä ilmaukset seuraava
LisätiedotT Luonnollisen kielen tilastollinen käsittely Vastaukset 8, ti , 8:30-10:00 Tilastolliset yhteydettömät kieliopit, Versio 1.
T-61.281 Luonnollisen kielen tilastollinen käsittely astaukset 8, ti 16.3.2004, 8:30-10:00 Tilastolliset yhteydettömät kielioit, ersio 1.0 1. Jäsennysuun todennäköisyys lasketaan aloittelemalla se säännöstön
LisätiedotSuodatus ja näytteistys, kertaus
ELEC-C7230 Tietoliikenteen siirtomenetelmät Luento 6: Kantataajuusvastaanotin AWGN-kanavassa II: Signaaliavaruuden vastaanotin a Olav Tirkkonen Aalto, Tietoliikenne- ja tietoverkkotekniikan laitos a [10.6.3-10.6.6;
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 2A Satunnaismuuttujan odotusarvo Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016,
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 3 Supremum ja infimum Tarkastellaan aluksi avointa väliä, ) = { : < < }. Tämä on joukko, johon kuuluvat kaikki reaaliluvut miinus yhdestä yhteen. Kuitenkaan päätepisteet
LisätiedotMoniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
Lisätiedot811120P Diskreetit rakenteet
811120P Diskreetit rakenteet 2016-2017 1. Algoritmeista 1.1 Algoritmin käsite Algoritmi keskeinen laskennassa Määrittelee prosessin, joka suorittaa annetun tehtävän Esimerkiksi Nimien järjestäminen aakkosjärjestykseen
Lisätiedot2 exp( 2u), kun u > 0 f U (u) = v = 3 + u 3v + uv = u. f V (v) dv = f U (u) du du f V (v) = f U (u) dv = f U (h(v)) h (v) = f U 1 v (1 v) 2
HY, MTO / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIa, syksy 208 Harjoitus 4 Ratkaisuehdotuksia Tehtäväsarja I. Satunnaismuuttuja U Exp(2) ja V = U/(3 + U). Laske f V käyttämällä muuttujanvaihtotekniikkaa.
LisätiedotKoodausteoria, Kesä 2014
Koodausteoria, Kesä 2014 Topi Törmä Matemaattisten tieteiden laitos 5.2 BCH-koodin dekoodaus Tarkastellaan t virhettä korjaavaa n-pituista BCH-koodia. Olkoon α primitiivinen n:s ykkösen juuri, c = c(x)
LisätiedotIlkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (006) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
Lisätiedot4 LUKUJONOT JA SUMMAT
Huippu Kertaus Tehtävien ratkaisut Kustannusosakeyhtiö Otava päivitetty 0.7.08 4 LUKUJONOT JA SUMMAT ALOITA PERUSTEISTA 45A. Määritetään lukujonon (a n ) kolme ensimmäistä jäsentä ja sadas jäsen a 00 sijoittamalla
LisätiedotMS-A0003/A0005 Matriisilaskenta Malliratkaisut 5 / vko 48
MS-A3/A5 Matriisilaskenta Malliratkaisut 5 / vko 48 Tehtävä (L): a) Onko 4 3 sitä vastaava ominaisarvo? b) Onko λ = 3 matriisin matriisin 2 2 3 2 3 7 9 4 5 2 4 4 ominaisvektori? Jos on, mikä on ominaisarvo?
LisätiedotJohdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:
LisätiedotTehtävät. 1. Ratkaistava epäyhtälöt. a) 2(4 x) < 12, b) 5(x 2 4x + 3) < 0, c) 3 2x 4 > 6. 1/10. Sukunimi (painokirjaimin)
1/10 Tehtävä 1 2 3 4 5 6 7 8 9 10 Yhteensä Pisteet (tarkastaja merkitsee) Kokeessa on kymmenen tehtävää, joista jokainen on erillisellä paperilla. Jokaisen tehtävän maksimipistemäärä on 6 pistettä. Ratkaise
LisätiedotKoodausteoria, Kesä 2014
Koodausteoria, Kesä 2014 Topi Törmä Matemaattisten tieteiden laitos 3. Lineaariset koodit Topi Törmä Matemaattisten tieteiden laitos 2 / 22 3.1 Lineaarisen koodin määrittely Olkoon F äärellinen kunta.
LisätiedotEstimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?
TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman
LisätiedotLuku 8. Aluekyselyt. 8.1 Summataulukko
Luku 8 Aluekyselyt Aluekysely on tiettyä taulukon väliä koskeva kysely. Tyypillisiä aluekyselyitä ovat, mikä on taulukon välin lukujen summa tai pienin luku välillä. Esimerkiksi seuraavassa taulukossa
LisätiedotMallipohjainen klusterointi
Mallipohjainen klusterointi Marko Salmenkivi Johdatus koneoppimiseen, syksy 2008 Luentorunko perjantaille 5.12.2008 Johdattelua mallipohjaiseen klusterointiin, erityisesti gaussisiin sekoitemalleihin Uskottavuusfunktio
LisätiedotInversio-ongelmien laskennallinen peruskurssi Luento 7
Inversio-ongelmien laskennallinen peruskurssi Luento 7 Kevät 2012 1 Tilastolliset inversio-ongelmat Tilastollinen ionversio perustuu seuraaviin periaatteisiin: 1. Kaikki mallissa olevat muuttujat mallinnetaan
Lisätiedotχ = Mat Sovellettu todennäköisyyslasku 11. harjoitukset/ratkaisut
Mat-2.091 Sovellettu todennäköisyyslasku /Ratkaisut Aiheet: Yhteensopivuuden testaaminen Homogeenisuuden testaaminen Riippumattomuuden testaaminen Avainsanat: Estimointi, Havaittu frekvenssi, Homogeenisuus,
LisätiedotMatematiikan tukikurssi, kurssikerta 3
Matematiikan tukikurssi, kurssikerta 3 1 Epäyhtälöitä Aivan aluksi lienee syytä esittää luvun itseisarvon määritelmä: { x kun x 0 x = x kun x < 0 Siispä esimerkiksi 10 = 10 ja 10 = 10. Seuraavaksi listaus
LisätiedotSGN Signaalinkäsittelyn perusteet Välikoe Heikki Huttunen
SGN- Signaalinkäsittelyn perusteet Välikoe.5.4 Heikki Huttunen Tentissä ja välikokeessa saa käyttää vain tiedekunnan laskinta. Tenttikysymyksiä ei tarvitse palauttaa. Sivuilla -3 on. Sivuilla 4-5 on. Sivulla
LisätiedotHarjoitus 7: NCSS - Tilastollinen analyysi
Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen
LisätiedotIlkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Kertymäfunktio. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Todennäköisyyslaskenta Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat Kertymäfunktio TKK (c) Ilkka Mellin (2007) 1 Kertymäfunktio >> Kertymäfunktio: Määritelmä Diskreettien jakaumien
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 3. marraskuuta 2007 Antti Rasila () TodB 3. marraskuuta 2007 1 / 18 1 Varianssin luottamusväli, jatkoa 2 Bernoulli-jakauman odotusarvon luottamusväli 3
LisätiedotVaihtoehtoinen tapa määritellä funktioita f : N R on
Rekursio Funktio f : N R määritellään yleensä antamalla lauseke funktion arvolle f (n). Vaihtoehtoinen tapa määritellä funktioita f : N R on käyttää rekursiota: 1 (Alkuarvot) Ilmoitetaan funktion arvot
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 6A Tilastolliset luottamusvälit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016,
LisätiedotS-114.3812 Laskennallinen Neurotiede
S-114.381 Laskennallinen Neurotiede Projektityö 30.1.007 Heikki Hyyti 60451P Tehtävä 1: Virityskäyrästön laskeminen Luokitellaan neuroni ensin sen mukaan, miten se vastaa sinimuotoisiin syötteisiin. Syöte
Lisätiedot10. Esitys ja kuvaus
10. Esitys ja kuvaus Kun kuva on ensin segmentoitu alueisiin edellisen luvun menetelmin, segmentoidut pikselit kootaan esittämään ja kuvaamaan kohteita muodossa, joka sopii hyvin jatkokäsittelyä varten.
LisätiedotMallin arviointi ja valinta. Ennustevirhe otoksen sisällä, parametrimäärän valinta, AIC, BIC ja MDL
Mallin arviointi ja valinta Ennustevirhe otoksen sisällä, parametrimäärän valinta, AIC, BIC ja MDL Sisältö Otoksen ennustevirheen estimointi AIC - Akaiken informaatiokriteeri mallin valintaan Parametrimäärän
LisätiedotMATEMATIIKAN KOE LYHYT OPPIMÄÄRÄ
1 YLIOPPILASTUTKINTO- LAUTAKUNTA 1.10.2018 MATEMATIIKAN KOE LYHYT OPPIMÄÄRÄ A-osa Ratkaise kaikki tämän osan tehtävät 1 4. Tehtävät arvostellaan pistein 0 6. Kunkin tehtävän ratkaisu kirjoitetaan tehtävän
Lisätiedottilastotieteen kertaus
tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla
LisätiedotLuku 6. Dynaaminen ohjelmointi. 6.1 Funktion muisti
Luku 6 Dynaaminen ohjelmointi Dynaamisessa ohjelmoinnissa on ideana jakaa ongelman ratkaisu pienempiin osaongelmiin, jotka voidaan ratkaista toisistaan riippumattomasti. Jokaisen osaongelman ratkaisu tallennetaan
Lisätiedot