Informaatioteoria. Lasse Holmström Matemaattisten tieteiden laitos Oulun yliopisto. Kevät f f. f f
|
|
- Aarne Niemi
- 8 vuotta sitten
- Katselukertoja:
Transkriptio
1 Informaatioteoria Lasse Holmström Matemaattisten tieteiden laitos Oulun yliopisto Kevät f f 0 X Y f f
2 Sisältö Johdanto. Historiaa Informaatioteorian synty Informaatioteorian vaiheita vuodesta Peruskysymyksiä Binäärinen symmetrinen kanava (BSK) Toistokoodit Virheenpaljastavat ja -korjaavat koodit Informaatio ja sen mittaaminen Tapahtuman sisältämä informaatio Satunnaismuuttujat ja informaatio Keskinäisinformaatio i
3 2.4 Fanon epäyhtälö Tyypillisyys AEP Koodaus kompressiossa Yleisemmät informaatiolähteet Häiriöttömän lähteen koodaus, kompressio Koodeja Kraftin epäyhtälö Shannonin ensimmäinen lause Optimaalinen koodaus Koodaus tiedonsiirrossa Kapasiteetti Esimerkkejä kanavista Häviötön kanava Deterministinen kanava Häiriötön kanava Hyödytön kanava ii
4 5.2.5 Symmetrinen kanava Kapasiteetin laskeminen Muistiton diskreetti kanava Koodaus ja dekoodaus Yhteistyypillisyys Shannonin toinen lause Jatkuvat satunnaismuuttujat ja informaatio Differentiaalientropia AEP Multinormaalijakauma Diskreettiaikainen Gaussin kanava Kanavamalli Koodaus ja dekoodaus Shannonin toinen lause diskreettiaikaiselle Gaussin kanavalle Jatkuva-aikainen Gaussin kanava Hilbertin avaruuksista Karhusen-Loèven kehitelmä iii
5 8.3 Shannonin toinen lause jatkuva-aikaiselle Gaussin kanavalle.. 85 iv
6 Luku Johdanto. Historiaa.. Informaatioteorian synty Nykymuotoisen informaatioteorian perustaja on Claude Shannon (96-200). Shannon oli Yhdysvaltalainen matemaatikko, sähköinsinööri ja keksijä. Shannonin informaatioteorian perusteita käsittelevä raportti A Mathematical Theory of Communication ilmestyi vuonna 948 Bell Systems Technical Journalissa. Tämän raportin tuloksiin perustuva Shannonin ja Warren Weaverin kirja ilmestyi vuonna 949 ja siitä on saatavissa vuonna 998 julkaistu uusintapainos [6]. Shannonia pidetään ns. digitaalisen vallankumuoksen aloittajana. Shannon ymmärsi, että kaikkea informaatiota voidaan kommunikoida bitteinä ja hän johti tiedonsiirron tehokkuuden rajat. Shannonin läpimurtotyö käynnisti myös koodausteorian kehittelyn. Tehokkaat koodausmenetelmät ovat nykyisin keskeisen tärkeitä mm. mobiililaitteissa, CD- ja DVD-soittmimissa, erilaisissa
7 Kuva.: Claude Elwood Shannon (96-200). muistilaitteissa, internetin toiminnassa jne. Informaation olemusta oli ennen Shannonia tutkittu myös tilastollisen fysiikan piirissä (mm. Ludwig Boltzmann ja John von Neumann). Leo Szilard lanseerasi bitin käsitteen informaation mittauksessa. Termi bit tosin on peräisin matemaatikko John Tukeyltä (mm. Tukeyn lemma, Explorative Data Analysis (EDA),...). Shannonin tutkimussaralla oli edeltäjiä myös itse Bellin tutkimuslaboratoriossa, mm. Harry Nyquist ja Ralph (Vynton Leon) Hartley. Bellin tutkimuslaboratoriot ovat informaatioteorian lisäksi monen keskeisen keksinnön koti: laboratorioilla lasketaan olevan yli patenttia ja keksintöä mm. stereofoninen ääni, äänielokuva, telefax, UNIX käyttöjärjestelmä, sellaiset ohjelmointikielet kuin C ja C++ jne. Puhelimen keksijän Abraham Bellin mukaan nimetty tutkimuslaboratorio perustettiin vuonna 925 ja nykyään Bellin laboratorioissa työskentelee yli 9000 henkilöä useissa maissa. 2
8 Laboratorion työntekijöiden joukossa on ollut mm. nobelistia. Shannon itse toimi 5 vuotta Bellillä. Vuonna 956 hänestä tuli MIT:n (Massachusetts Institute of Technology) professori. MIT oli ensimmäisiä yliopistoja, jossa informaatioteoriaa alettiin säännöllisesti opettaa. Toisen maailmansodan aikaisilla sotaponnisteluilla oli tärkeä merkitys informaatioteorian ja sen sovellusten siivittäjänä. Sotilastutkimusta tukemaan koottiin poikkitieteellinen ryhmä eri alojen huippututkijoita ratkomaan informaatioon ja sen käsittelyyn liittyviä peruskysymyksiä (koneet, biologia). Tähän ryhmään kuuluivat mm. Claude Shannon, Norbert Wiener, Warren McCulloch, Walter Pitts, Alan Turing ja John von Neumann. Myös elektroniikan ja viestintätekniikan voimakas kehitys sodan aikana ja luotettavan ja turvallisen kommunikaation tarve suuntasi kiinnostusta informaatioteoreettisiin kysymyksiin...2 Informaatioteorian vaiheita vuodesta 948 Shannonin informaatioteorian läpimurtojulkaisua (948) seurasi Norbert Wienerin esittämä teoria vuonna 949. Seuraavaa vuosikymmentä luonnehti voimakas kiinnostuksen kasvu informaatioteoriaa kohtaan: Järjestettiin lukuisia yliopistoseminaareja, kursseja ja konferensseja. IRE (Institute of Radio Engineers) ryhtyi julkaisemaan IRE Transactions on Information Theory lehteä vuonna 955. Vuonna 963 IRE:stä tuli tunnettu ja monella tutkimusalueella nykyisin toimiva IEEE (Institute of Electrical and Electronics Engineers). Informaatioteorian keskeiseksi yhteistyöverkostoksi perustettiin PGIT (Professional Group on Information Theory), joka toimi alan tärkeänä koordinoivana sisäpiirinä. 3
9 Keskeisiä nimiä olivat mm. Peter Elias, Norbert Wiener, Robert Fano, David Huffman, Richard Hamming ja Edgar Gilbert (kummatkin virheitä korjaavien koodien uranuurtajia). Matemaattista informaatioteoriaa edustivat Aleksandr Khintšin, Amiel Feinstein ja Jacob Wolfowitz (mm. IMF:n pääjohtajana jonkin aikaa toimineen Paul Wolfowitzin isä). Kuten usein käy voimakkaasti kehittyvien alojen kohdalla, niin myös informaatioteorian suosion räjähdysmäinen kasvu johti ylikuumenemiseen ja hypeen. Vuoden 952 informaatioteorian konferenssissa melkein puolet papereista olivat psykologiaa ja neurofysiologiaa ja vuoden 956 konferenssissa edustettuina olevien alojen kirjo oli sitten jo todella suuri: anatomia, antropologia,..., lingvistiikka, matematiikka,..., politiikan teoria, tilastotiede. Syynä informaatioteorian ideoiden ylikäyttöön mitä erilaisimmilla aloilla oli usein se, että informaatioteorian esiintyminen määrärahahakemuksissa arveltiin (ilmeisesti osittain perustellusti) lisäävän hankkeen uskottavuutta ja siten rahoitusmahdollisuuksia. Tässä tilanteessa PGIT katsoi välttämättömäksi informaatioteorian puhdistamisen erilaisista lieveilmiöistä. Tämän operaation käynnisti Shannonin itsensä laatima kirjoitus vuonna 956 ja järjestyksen katsotaan palanneen vuoteen 958 mennessä. 950-luvulla elettiin intensiivistä kylmän sodan aikaa ja rahoitusta informaatioteorian tutkimukseen saatiin erityisesti Yhdysvaltojen asevoimilta. Kolme päätutkimussuuntaa tällöin olivat Hajaspektriteknologia. 980-luvun puoleen väliin asti tämä tutkimus oli sotilaallista ja siten salaista. Nykyinen CDMA-tekniikka on saanut alkunsa tästä tutkimuksesta. Kompressio, informaation pakkaaminen. Tämä oli itseasiassa tutkimuksen alkuvuosein pääasiallinen kiinnostuksen kohde kun tiedon siirtoa ei vielä pidetty niin keskeisenä ongelmana. 4
10 Koodaus tiedon siirtoa varten häiriöisessä kanavassa. Shannonin lause kertoi tällöin mihin tehokkuuteen tiedon siirrossa teoriassa voidaan päästä. Koodausta tiedon siirrossa ei aluksi pidetty kiinnostavana, koska voitiin ajatella aina lisättävän lähetystehoa häiriöiden voittamiseksi. Tilanteen muutti Neuvostoliiton Sputnik vuonna 957: Yhdysvaltojen ja Neuvostoliiton kilpajuoksu avaruuteen alkoi. Lähetystehoa oli kallista tai jopa mahdotonta lisätä avaruudessa, koska jokainen avaruuten lähettävä gramma maksoi todella paljon. Tehokkaasta koodauksesta oli saatavissa ratkaisevaa kustannushyötyä ja Shannonin Gaussin kanavan malli sopi hienosti kuvaamaan satelliitin ja maa-aseman välistä viestintää. 960-luvulla kiinnostus koodaukseen kasvoi nopeasti. Tältä ajalta voidaan mainita esimerkiksi Irving Reed ja Gustave Solomon. Koodausta käytettiin ensimmäistä kertaa virallisesti 969 Yhdysvaltain Mariner VI Mars-luotaimessa. Se lähetti mm. värikuvia Marsin kiertoradalta. Viestinnässä käytettiin jo 954 kehitettyä, virheitä korjaavaa Reed-Müller koodia. Tosin koodausta epävirallisesti käytti avaruudessa itseasiassa ensimmäisenä vuonna 968 Pioneer IX, Yhdysvaltain aurinkoa kiertävä fysikaalisia perusmittauksia tekevä satelliitti. 960-luvun lopussa kasvoi kuitenkin epävarmuus koodausmenetelmien kehittelyn käytännön merkityksestä. Algoritmit olivat kalliita implementoida ja vain avaruustutkimuksella oli siihen varaa. Informaatioteorian tutkimusryhmät alkoivatkin hajota tutkijoiden siirtyessä muihin lupaavimpiin projekteihin. Floridan St. Petersburgissa vuonna 97 pidetty Future Directions konferenssi päätyi hyvin pessimistisiin tunnelmiin koodausteorian tulevaisuuden suhteen. Vallalle oli noussut tunne siitä, että oli parempi itse asiassa lyödä niin sanotusti hanskat naulaan. Siinä missä Sputnik oli aikaisemmin muuttanut kaiken, saman teki kuitenkin kertaheitolla Intelin ensimmäinen mikroprosessori vuonna 97. Nyt uusi halvempi ja tehokkaampi teknologia mahdollisti uusien ja parhaimpien koodausalgoritmien käytön. Kuvaan tuli- 5
11 vat mukaan myös kaupalliset, ei-sotilaalliset ja avaruustekniikkaan suoraan liittymättömät sovellukset, modeemi ja telefax ensimmäisten joukossa. Tänä päivänä kehittyvä teknologia on informaatioteorian kehitystä ja hyödyntämistä ylläpitävä voima. Esimerkiksi Gallagerin 960 väitöskirjassaan esittämä koodi (low-density parity-check codes) on tullut vasta nyt käyttöön! Jatkuvia uusia haasteita ja sovellusmahdollisuuksia tarjoavat mobiili tiedonsiirto, erilaiset muistitekniikat (RAM, kiintolevyt), CD-, DVD-, ja MP3-soittimet, tietokoneverkot, internet jne. Mikä sitten on ollut Shannonin teorian merkitys koodausteknologian kehitykselle? Voidaan sanoa, että se määritti tiedonsiirron tehokkuudelle rajat, joita ei voinut ylittää. Kun rajat olivat tiedossa, syntyi motivaatio pyrkiä niitä kohti ja joka vaiheessa tiedettiin kuinka paljon parantamisen varaa vielä oli. Parhailla nykyisillä koodeilla päästään jo Shannonin rajalle tietyissä kanavissa (Gaussin kanava)..2 Peruskysymyksiä Tarkastellaan tiedonsiirtoa seuraavan yksinkertaisen mallin mukaisesti: informaatiolähde kanava vastaanottaja Konkreettisia esimerkkejä tiedonsiirrosta kanavien läpi on esitetty kuvassa.2. Kanavassa, jonka läpi informaatiota siirretään on useinmiten häiriötä ( kohinaa ). Tällöin keskeinen kysymys on se miten vähentää häiriöiden aiheuttamia virheitä. 6
12 modeemi puhelinlinja modeemi satelliitti radioaallot vastaanottoasema työmuisti levymuisti työmuisti Kuva.2: Eräitä esimerkkejä tiedonsiirrosta kanavien läpi..2. Binäärinen symmetrinen kanava (BSK) Kuvassa.3 on esitetty ns. binäärinen symmetrinen kanava. Syötteinä ja tulosteina ovat bitit 0 ja. 0 0 syöte x tuloste y Kuva.3: Binäärinen symmetrinen kanava Olkoon tiedon siirrossa tapahtuvan virheen todennäköisyys (ns. kohinataso) 0 < f < : virheettömän bitin siirtymisen todennäköisyys on P{y = 0 x = 0} = P{y = x = } = f, ja virheen todennäköisyys on P{y = 0 x = } = P{y = x = 0} = f. Tässä P{y = 0 x = 0} = P{y = 0 ja x = 0} P{x = 0} jne. 7
13 Kuva.4: Binäärinen symmetrinen kanava kohinatasolla f = 0. (esimerkki lähteestä [5]). Kuvassa.4 on esimerkki binäärisestä symmetrisestä kanavasta, jossa syötteenä on digitaalinen kuva. Vasemman puoleisen kuvan pikselit on syötetty yksi kerrallaan toisistaan riippumatta binääriseen symmetriseen kanavaan, jonka kohinataso on f = 0.. Ajatellaan toisena esimerkkinä tietokoneen kiintolevyä, jolle luetaan ja kirjoitetaan GB päivässä 0 vuoden ajan ja ajatellaan BSK-mallin kuvaavan bittien siirtymistä lukemisessa ja kirjoittamisessa. Mikä tällöin on kohtuullinen f? Kohtuullista on selvästikin odottaa kiintolevyltä lähes virheetöntä toimintaa. Luku/kirjoitusoperaatioita on yhteensä = n kappaletta. Olkoon f = 0 5, jolloin P{ virheetön toiminta } ( f) n nf Kysymys kuuluu: miten näin pieneen virhetodennäköisyyteen f päästään? Voidaan ensinnäkin ajatella tehtävän parannuksia itse fyysiseen laitteeseen. Tämä voi kuitenkin johtaa kustannusten jyrkkään nousuun. Vaihtoehtona 8
14 informaatiolähde vastaanottaja lähetetty viesti s ŝ vastaanotettu viesti kooderi dekooderi lähetetty signaali t häiriöinen r vastaanotettu signaali kanava Kuva.5: Tiedonsiirto koodamalla ja dekoodaamalla viesti. on koodata/dekoodata bittejä sopivasti jolloin vain tarvittava laskentatyö lisääntyy (ks. kuva.5). Informaatioteoria kertoo tämän koodaukseen/dekoodaukseen perustuvan tiedonsiirtotavan mahdollisuudet ja rajat. Koodausteoriassa kehitetään käytäntöön sopivia koodereita ja dekoodereita..2.2 Toistokoodit Eräs yksinkertainen koodausmenetelmä on ns. toistokoodi. Toistokoodissa R m kukin bitti toistetaan m kertaa. Esimerkki.. Toistotkoodi R 3. Koodaus tapahtuu siis seuraavan kaavion mukaisesti: 9
15 0 kooderi 000 Olkoon nyt lähetety viesti s = 0000, jolloin kooderi tekee siitä lähetettävän signaalin t = Olkoon edelleen häiriöinen kanava muotoa r = t + n (mod 2), missä n on häiriö. Esimerkiksi t n r Dekooderi tekee enemmistöpäätöksen kolmen ryhmissä, jolloin vastaanotettu viesti on ŝ = virhe virhe korjattu ei korjattu Voidaan osoittaa (harjoitustehtävä), että tämä dekooderi on tietyin edellytyksin optimaalinen. Harjoitustehtävänä osoitetaan myös, että kohinatasolla 0 < f < /2 toimivassa BSK:ssa edellisen esimerkin dekooderin virheen todennäköisyys on 0
16 Kuva.6: Binäärinen symmetrinen kanava kohinatasolla f = 0., kun käytetään toistokoodia R 3. Bittivirheen todennäköisyys on nyt noin 0.03 (esimerkki lähteestä [5]). pienempi kuin f, kun 0 < f < /2. Kuitenkin tiedonsiirtonopeus on vain /3 alkuperäisestä, R = 3 (Rate) (bittiä/kanavan käyttö). Jos esimerkiksi kiintolevyn nopeus on Gbit/s, on se toistokoodin R 3 jälkeen Gbit/s. 3 Tarkastellaan sitten yleistä toistokoodia R m, missä m = 2n + on pariton. Olkoon kanava binäärinen symmetrinen kanava, 0 < f < /2, ja oletetaan, että bitit siirtyvät kanavan läpi toisistaan riippumatta. Kooderi on nyt siis s 0 t kooderi 00 0 } {{ } 2n+
17 Olkoon p b = P{ virhe bitissä } = P{ vähintään n + koodibittiä vaihtuu kanavassa }. Vaihtuvien bittien lukumäärään jakauma on silloin Bin(2n +, f), jolloin siis ( ) 2n + P{ k bittiä vaihtuu } = f k ( f) 2n+ k k ja siten p b = 2n+ k=n+ ( ) 2n + f k ( f) 2n+ k. k Olkoon S 2n+ vaihtuvien bittien lukumäärä. Silloin heikon suurten lukujen lain (ns. Bernoullin lause) mukaan S 2n+ 2n + f stokastisesti, eli kaikilla ε > 0, { } lim P S 2n+ n 2n + f ε = 0. Bernoullin lauseen sisältöhän on se, että toistokokeessa esiintyvän tapahtuman suhteellinen esiintymisfrekvenssi lähenee tapahtuman todennäköisyyttä toistokokeiden määrän kasvaessa. Nyt { S2n+ p b = P {S 2n+ n + } = P 2n + n + } 2n + { S2n+ = P 2n + f + n + } 2n + f. Tässä n + 2n + f n 2 f > 0. Siis: jos 0 < ε < n+ f ja n on niin suuri, että f > ε, pätee heikon 2 2n+ suurten lukujen lain mukaan { } { } S2n+ p b P 2n + f + ε S 2n+ P 2n + f ε 0, 2
18 Kuva.7: Bittivirheen p b riippuvuus tiedonsiirtonopeudesta R eräille toistokoodeille binäärinessä symmetrisessä kanavassa kohinatasolla f = 0.. Oikean puoleisessa paneelissa on logaritminen skaala (kuva lähteestä [5]). kun n. Siten bittivirhe p b saadaan mielivaltaisen pieneksi, kun n eli m toistokoodissa R m. Mutta samalla tiedonsiirtonopeudelle saadaan R = 0, 2n + kun n. Siksi p b 0 vain, jos samalla R 0. Kuvassa.7 on esitetty bittivirheen p b riippuvuus tiedonsiirtonopeudesta R eräille toistokoodeille..2.3 Virheenpaljastavat ja -korjaavat koodit Parempiin koodeihin päästään koodaamalla yksittäisten bittien sijaan kokonaisia bittilohkoja. Yksinkertainen virheenpaljastava koodi saadaan lisäämäl- 3
19 lä lohkoon pariteetin tarkastusbitti. Lohkon s...s n pariteetti on n s i mod 2 eli 0, jos ykkösien lukumäärä on parillinen pariteetti =, jos ykkösien lukumäärä on pariton. Esimerkki.2. Tarkastellaan seuraavia tapauksia: 000 pariteetti (pariton) 0000 pariteetti 0 (parillinen) Koodaus tapahtuu seuraavasti: s t Lopputuloksen pariteetti on aina 0. Nyt pystytään havaitsemaan, jos kanavassa on tapahtunut pariton määrä virheitä. Esimerkki.3. Jos r = 0000, tiedetään, että virhe tai virheitä on tapahtunut, mutta ei tiedetä missä. Hammingin koodi pystyy korjaamaan yhden virheellisen bitin. Hammingin (7, 4)-koodi on: 4
20 Kuva.8: Hammingin (7,4)-koodi. s t(s) r s s 2 s 3 s 4 kooderi t t 2 t 3 t 4 t 5 t 6 t 7 kanava r r 2 r 3 r 4 r 5 r 6 r 7 Tässä t i = s i, kun i =, 2, 3, 4, t 5, t 6, t 7 asetetaan siten, että lohkoilla s s 2 s 3 t 5, s 2 s 3 s 4 t 6 ja s s 3 s 4 t 7 on parillinen pariteetti. Saadaan 2 4 = 6 koodisanaa, joiden pituus on seitsemän. Esimerkiksi Koodi on esitetty kuvassa.8. Tässä koodissa koodisanat eroavat vähintään kolmessa bitissä. Mikä mahtaa olla optimaalinen dekooderi? Tämän selvittämiseksi lasketaan t:n ja r:n Hammingin etäisyys, d H (t,r) = 7 t i r i = {i t i r i }, Missä { } tarkoittaa joukon alkioiden lukumäärää. Kun kyseessä on binäärinen symmetrinen kanava, jolle 0 < f < /2 ja kaikki viestit s {0, } 4 ovat yhtä todennäköisiä, optimaalinen dekooderi on valita sellainen ŝ, että d H (t(ŝ),r) = min s {0,} 4 d H (t(s),r). 5
21 Kuva.9: Hammingin (7,4)-koodin käyttö binäärisessä symmetrisessä kanavassa, jonka kohinataso on f = 0.. Bittivirhe p b on nyt noin 0.07 (esimerkki lähteestä [5]). (Optimaalisuuden todistus on harjoitustehtävänä). Koodisanojen t(s) etäisyydet 3, joten yhden bitin virhe korjaantuu! Käytännössä dekoodausta ei tarvitse tehdä minimoimalla Hammingin etäisyyttä, vaan laskennallisesti tehokkaampikin tapa löytyy (lineaarialgebra kunnassa Z 2 :ssa, koodausteoria,...). Nyt P{ virhe } = P{ŝ s} ja bittivirheen todennäköisyys määritellään kaavalla p b = 4 4 P {ŝ i s i }, missä s = s s 2 s 3 s 4 ja ŝ = ŝ ŝ 2 ŝ 3 ŝ 4. Kuvassa.9 on esimerkki Hammingin (7,4)-koodin käytöstä binäärisessä symmetrisessä kanavassa, jonka kohinataso on f = 0.. On helppo nähdä, että binäärisessä symmetrisessä kanavassa P{ŝ s} = O(f 2 ) eli samaa suuruusluokkaa kuin toistokoodissa R 3 (vrt. harjoitustehtävät). Mutta nopeus on nyt parempi: R = 4 7 > 3. 6
22 Kuva.0: Bittivirheen p b riippuvuus tiedonsiirtonopeudesta R eräille toistokoodeille, Hammingin (7,4)-koodille ja BCH-koodeille (Bose-Chaudhuri- Hocquenhem). Kyseessä on binäärinen symmetrinen kanava kohinatasolla f = 0.. Oikean puoleisessa paneelissa on logaritminen skaala (kuva lähteestä [5]). Kuvasssa.0 on vielä lisää esimerkkejä eri koodien suorituskyvystä. Kuitenkin tiedonsiirron nopeus edelleen näyttää melko huonolta! Voidaankin kysyä, että mitkä (R, p b )-yhdistelmät ovat ylipäänsä (edes periaatteessa) mahdollisia? Ennen vuotta 948 uskottiin tilanteen olevan kuvan. kaltainen, eli virheetön tiedon siirto ei ole mahdollista. Shannon osoitti kuitenkin vuonna 948 tilanteen olevankin itse asiassa kuvan.2 kaltainen. Tässä kuvassa C on kanavan kapasiteetti. Kun R < C, on siis mahdollista saavuttaa mielivaltaisen pieni bittivirhe p b. Tilannetta on vielä havainnollisettu eräiden konkreettisten koodien osalta kuvassa.3. Shannonin keskeinen tulos vuodelta 948 on Informaatioteorian peruslause. Tämä lause kertoo tiedonsiirron mahdollisuudet (R < C) ja rajat (R > C) ja se motivoi seuraavien vuosikymmenien koodausteorian kehitystä. Voidaan väittää, että informaatioteoria itse asiassa rakentuu tämän lauseen ja sen seurausten ympärille. 7
23 p b mahdollista ei mahdollista Kuva.: Käsitys bittivirheen p b ja tiedosiirtonopeuden R riippuvuudesta ennen Shannonin teoriaa. R p b mahdollista ei mahdollista C R Kuva.2: Bittivirheen p b ja tiedonsiirtonopeudenr riippuvuus Shannonin teorian mukaan. Tässä C on kanavan kapasiteetti. 8
24 Kuva.3: Shannonin teorian antama raja bittivirheen ja tiedonsiirtonopeuden mahdollisille yhdistelmille (yhteinäinen käyrä) ja eräiden koodien suorituskyky binääriselle symmetriselle kanavalle kohinatasolla f = 0.. Oikean puoleisessa paneelissa on logaritminen skaala (kuva lähteestä [5]). 9
25 Luku 2 Informaatio ja sen mittaaminen 2. Tapahtuman sisältämä informaatio Perusidea tapahtuman sisältämän informaatioon määrittelemisessä on, että epävarma tai odottamaton tapahtuma on informatiivinen. Tapahtuman epävarmuutta mitataan poistuneella epävarmuudella, kun tapahtuman tiedetään sattuneen. Kun epävarma tapahtuma sattuu, siihen liittynyt suuri epävarmuus poistuu ja näin on saatu paljon informaatiota. Jos taas melko varma tapahtuma sattuu, vain vähän epävarmuutta poistuu ja näin on saatu vain vähän informaatiota. Esimerkki 2.. Tarkastellaan 00 palloa, jotka on numeroitu,2,...,00. Pallot,...,0 ovat valkoisia ja pallot,...,00 ovat mustia. Nostetaan yksi pallo umpimähkään. Olkoon A = valkoinen ja B = musta, jolloin P(A) = 0 ja P(B) = 9 0. Jos tapahtuma A sattuu, tiedetään, että kyseessä on pallo,...,0. Jos taas 20
26 tapahtuma B sattuu, tiedetään, että kyseessä on pallo,...,00. Selvästi tapahtuma A vähentää epävarmuutta enemmän kuin tapahtuma B, eli tapahtuma A on informatiivisempi. Tapahtuman A jälkeen tiedetään siis enemmän kuin tapahtuman B jälkeen. Tapahtuma A on epävarmempi, sillä P(A) < P(B). Miten mitata jonkun tapahtuman epävarmuutta tai informatiivisuutta täsmällisesti? Epävarmuus selvästi liittyy tapahtuman todennäköisyyteen. Olkoon siis A tapahtuma ja P(A) = p > 0. Pyritään määrittelemään sellainen funktio h, että h(p) = tapahtuman A epävarmuus, informaatiosisältö. Olkoon A B (riippumattomat), P(A) = p ja P(B) = p 2. Silloin P{ A ja B } = P(A B) = P(A)P(B) = p p 2, joten leikkauksen A ja B epävarmuus on h(p p 2 ). Luonteva vaatimus tällöin on, että h(p p 2 ) h(p ) = h(p 2 ). Toinen luonteva vaatimus on, että p h(p) on aidosti vähenevä ja jatkuva. Lause 2.. Olkoon h : ]0, ] R ja (i) h(p p 2 ) = h(p ) + h(p 2 ), p, p 2 ]0, ], (ii) h on aidosti vähenevä ja jatkuva. Silloin h(p) = C log b p, missä b > ja C > 0 riippuu vakiosta b. Huomautus. p C log b p selvästi toteuttaa ehdot (i) ja (ii). 2
27 Todistus. Olkoon ( g(n) = h, n N +. n) Ehdon (i) nojalla h ( ) ( = h nm n ) = h m ( ) ( ) + h n m eli g(nm) = g(n) + g(m), n, m N +. (2.) Oletetaan, että n < m. Ehdon (ii) nojalla saadaan g(n) < g(m), n, m N +. Osoitetaan, että g(n) = C log b n, (2.2) jollain C > 0 ja b >. Osoitetaan ensin induktiolla, että g(n k ) = k g(n), n, k N +. (2.3) Väite on selvä, kun k =. Oletetaan, että väite pätee arvolla k. Silloin g(n k+ ) = g(n n k ) (2.) = g(n) + g(n k ) ind.ol = g(n) + kg(n) = (k + )g(n). Edelleen, joten g() = g( ) = g() + g(), g() = 0. (2.4) Olkoon n N, n >, kiinteä ja r N +. Valitaan (ks. kuva 2.) sellainen k = k(r) N, että n k 2 r < n k+. (2.5) 22
28 PSfrag 2 r n n 2 n k n k+ Kuva 2.: Indeksin k valinta lauseen 2. todistuksessa. log b 2 log b n g(2) g(n) k r r k+ r Kuva 2.2: Lauseen 2. todistuksen havainnollistus. Nyt g on aidosti kasvava, joten Tuloksen (2.3) nojalla saadaan eli g(n k ) g(2 r ) < g(n k+ ). kg(n) rg(2) < (k + )g(n), k r g(2) g(n) < k +. (2.6) r Huomaa, että g on aidosti kasvava, joten g(n) > g() = 0. Edelleen b >, joten log b on aidosti kasvava. Kaavasta (2.5) saadaan siten josta edelleen k log b n r log b 2 < (k + ) log b n, k r log b 2 log b n < k +. r Huomioidaan tulos (2.6), jolloin (ks. kuva 2.2) log b 2 log b n g(2) g(n) < r. Luku r on mielivaltainen, joten 23
29 eli log b 2 log b n = g(2) g(n), g(n) = g(2) log b 2 log b n, mikä pätee myös, kun n =. Siten ehdossa (2.2) voidaan ottaa C = g(2) log b 2. Olkoon sitten p = r Q, r, s > 0. Nyt s ( ) ( r h = h s s ) r josta edelleen saadaan ( r h = h s) ( ) h s ( (i) r = h + h s) ( ), r ( ) = g(s) g(r) r = C log b s C log b r = C log b r s. (2.7) Lauseen väite pätee siis rationaalisilla p. Lauseen väite mielevaltaiselle p ]0, ] seuraa nyt funktioiden h ja log b jatkuvuudesta: kun p k p, p k ]0, ] Q, saadaan h(p) = lim h(p k ) (2.7) = lim [ C log b p k ] = C log b p. k k Jatkossa otetaan b = 2 ja merkitään log 2 = log. Tämä valinta vaikuttaa vain vakioon C, koska jos a, b >, niin log a p = log a b log b p. Otamme myös jatkossa C =, mikä vaikuttaa vain mitta-asteikkoon. Kun p =, niin h(p) = C log = C log 2 = C. Näin valinta C = tarkoittaa, 2 2 että symmetrisen lantin heiton antama informaatio on yksikköä. Näin tapahtuman A, P(A) = p > 0, epävarmuus tai informaatiosisältö määritellään kaavalla h(p) = log p. Epävarmuuden tai informaatiosisällön yksikkö on bitti. 24
30 2.2 Satunnaismuuttujat ja informaatio Olkoon (Ω, F, P) todennäköisyysavaruus. Siis, Ω on alkeistapausten joukko eli perusjoukko F on tapahtumien joukko (Ω:n osajoukkojen σ-algebra) P on todennäköisyys eli P on kuvaus F [0, ] Esimerkki 2.2. Tarkastellaan nopan heittoa. Alkeistapausten joukko on nyt Ω = {, 2, 3, 4, 5, 6} ja tapausten joukkona F on Ω:n kaikki osajoukot. Kun A Ω, määritellään P(A) = A 6, missä A =joukon A alkioiden lukumäärä. Jatkossa käsitellään satunnaismuuttujia (sm), joiden arvojoukko on äärellinen, eli satunnaismuuttujat voivat saada vain äärellisen monta eri arvoa. Tällainen satunnaismuuttuja on kuvaus X : Ω X, missä X on äärellinen joukko ja X:lle pätee {X = x} = {ω Ω X(ω) = x} F kaikilla x X. Merkitään p(x) = P{X = x}, x X, missä p(x):t ovat satunnaismuuttujan X pistetodennäköisyyksiä. Merkitsemme tavallisesti myös p(x):llä itse pistetodennäköisyysfunktiota (ptnf) p : X [0, ]. Myös merkintää X p(x) käytetään toisinaan. 25
31 Edelleen, jos Y : Ω Y on toinen satunnaismuuttja, merkitään tavallisesti p(y):llä satunnaismuuttujan Y pistetodennäköisyysfunktiota. Tässä hieman huolimattomassa merkintätavassa siis vain argumentin nimi (x tai y) kertoo sen, että kyseessä on yleensä eri funktiot p(x) ja p(y). X voi periaatteessa olla mikä äärellinen joukko hyvänsä: {0, }, {a, b, c, d}, {,, }. Toisaalta, nimeämällä alkiot uudestaan, voitaisiin yhtä hyvin olettaa, että X = {,...,m}, jos X = m. Kuvassa 2.3 on erään Linux-oppaan perusteella laadittu taulukko englannin kielen kirjainten esiintymistodennäköisyyksistä. Nämä ovat siis sellaisen satunnaismuuttujan arvojen todennäköisyydet, joka kuvaa umpimähkään valittua kirjainta kyseisestä oppaasta. Tapahtuman {X = x} epävarmuus tai informaatiosisältö on edellisen luvun mukaan log ( P{X = x} ) = log p(x). Määritelmä 2.2. Satunnaimuuttujan X entropia on H(X) = p(x) log p(x). x X Huomautus. Sovitaan, että 0 log 0 = 0 (koska lim t log t = 0). t 0 + Huomautus. H(X) on itseasiassa odotusarvo H(X) = E log p(x) = E ( log p(x) ). Tässä log p(x) on satunnaismuuttuja ω log p ( X(ω) ) = log ( P{X = X(ω)} ). Siten H(X) on satunnaismuuttujan X arvojen keskimääräinen epävarmuus tai informaatiosisältö. 26
32 Kuva 2.3: Eräs arvio englannin kielen kirjainten esiintymistodennäköisyyksistä. Oikean puoleinen sarake havainnollistaa todennäköisyyksiä vielä graafisesti (esimerkki lähteestä [5]) 27
33 Huomautus. Vain todennäköisyydet p(x) ovat tässä tärkeitä ja satunnaismuuttujan X varsinaiset arvot ovat täysin epäoleellisia. Huomautus. Vaikka funktion h(p) ja sitä kautta entropian H(X) määritelmä pyrittiin perustelemaan intuitiivisesti, on asetettujen määritelmien todellinen motivaatio se, että ne johtavat hyvään ja hyödylliseen tiedonsiirron teoriaan, jota voi menestyksellä soveltaa mm. koodien konstruktioon. Lause 2.3. H(X) 0 ja H(X) = 0 jos ja vain jos X on vakio (todennäköisyydellä ). Todistus. Kaikilla x X on 0 p(x), joten p(x) log p(x) 0. Siten H(X) = p(x) log p(x) 0. x X Edelleen, jos H(X) = 0 on p(x) log p(x) = 0 kaikilla x X, eli p(x) = 0 tai kaikilla x X. Mutta p(x) =, joten tällöin p(x) = täsmälleen yhdellä x X x X, jolle siis pätee p(x) = P{X = x} =. Kääntäen, jos X on vakio (todennäköisyydellä ), on yksi luvuista p(x) arvoltaan ja muut 0, jolloin H(X) = 0. Siis: Satunnaismuuttujassa X ei ole epävarmuutta H(X) = 0 X on vakio. Esimerkki 2.3. Olkoon X = {0, },, todennäköisyydellä p X = 0, todennäköisyydellä p. Silloin H(X) = p log p ( p) log( p) H(p). Kuvassa 2.4 on esitetty tämän funktion kuvaaja. Havaitaan, että kun p = 0 tai p =, ei satunnaismuuttujassa X ole lainkaan epävarmuutta: H(0) = H() = 0. Tällöin X on vakio (todennäköisyydellä 28
34 H(p) p Kuva 2.4: Funktio H(p). ). Suurin epävarmuus saadaan arvolla p = /2, jolloin H(/2) =. Tämä vastaa symmetrisen lantin heittoa. Saatu informaation heiton tuloksesta on bitti. Jos X = m ja p,...,p m ovat arvojen x X todennäköisyydet, merkitään jatkossa joskus myös H(X) = H(p,...,p m ). Entropian voi ajatella liittyvän myös satunnaismuuttujan X arvon määräämiseen binäärisillä ei/kyllä vastauksilla. Esimerkki 2.4. X saa arvot a, b, c, d ja e todennäköisyyksillä 0.3, 0.2, 0.2, 0.5 ja 0.5. Kuvassa 2.5 on X:ää vastaava binääripuu, missä ei = 0 ja kyllä =. 29
35 X = a tai b? 0 X = c? X = a? 0 0 X = d? 0 c b a e d Kuva 2.5: Satunnaismuuttujaa X vastaava binääripuu. Keskimääräinen kysymysten lukumäärä X:n arvo selvittämisesksi on = 2.3. Binääripuusta saadaan koodaus a b 0 c 0 d 00 e 000 Keskimääräinen koodin pituus L = 2.3 bittiä, sama kuin keskimääräinen kysymysten lukumäärä. Toisaalta, H(X) = 0.3 log log log log log
36 Ei ole itse asiassa sattumaa, että L = H(X) + ε, missä ε > 0. Myöhemmin tullaan osoittamaan, että tietyn tyyppisten binääristen koodien joukossa keskimäärin lyhimmälle koodille pätee H(X) L < H(X) +. Edelleen, koodaamalla jonoja (x,..., x n ), x i {a, b, c, d, e} yksittäisten alkioiden sijaan saadaan tietyissä tilanteissa keskimäärin lyhimmälle koodille L, että H(X) L n < H(X) + n, eli optimikoodin keskimääräinen pituus per symboli H(X). Näin olemme saaneet entropialle toisen tulkinnan: H(X) =keskimäärin pienin binääristen kysymysten lukumäärä satunnaismuuttujan X arvon selvittämiseksi. Tarkastellaan sitten satunnaismuuttajaparia (X, Y ). Satunnaismuuttujan X arvojoukko on X ja satunnaismuuttujan Y arvojoukko on Y. Parin (X, Y ) arvojoukko on siten X Y (myös äärellinen). Pistetodennäköisyydet ovat p(x, y) = P{X = x ja Y = y} ja merkitsemme (X, Y ) p(x, y). Kuvassa 2.6 on samasta tekstiaineistosta kuin kuvassa 2.3 lasketut kirjainparien pistetodennäköisyydet graafisesti havainnollistettuna. Määritelmä 2.4. Parin (X, Y ) yhteisentropia on satunnaismuuttujan (X, Y ) entropia, H(X, Y ) = p(x, y) log p(x, y). x X y Y Huomautus. Siis H(X, Y ) = E log p(x, Y ). Määritelmä 2.5. Satunnaismuuttujan Y entropia ehdolla X = x on H(Y X = x) = p(y x) log p(y x). y Y 3
Informaatioteoria. Lasse Holmström Sovelletun matematiikan ja tilastotieteen yksikkö Oulun yliopisto. Kevät 2016. 1 f f. f 1 1 1 f
Informaatioteoria Lasse Holmström Sovelletun matematiikan ja tilastotieteen yksikkö Oulun yliopisto Kevät 206 0 f f 0 X Y f f Sisältö Johdanto. Historiaa................................ Informaatioteorian
LisätiedotShannonin ensimmäinen lause
Shannonin ensimmäinen lause Pro gradu Maija-Liisa Metso Matemaattisten tieteiden laitos Oulun yliopisto Syksy 2014 Sisältö Tiivistelmä 2 1 Johdanto informaatioteoriaan 2 1.1 Informaatioteorian historiaa...................
LisätiedotKoodausteoria, Kesä 2014
Koodausteoria, Kesä 2014 Topi Törmä Matemaattisten tieteiden laitos 3.5 Reedin-Mullerin koodit Olkoon tässä kappaleessa F = F2 = Z2 ja n = 2 m. Määritellään avaruuteen F n kertolasku koordinaateittain:
LisätiedotTehtäväsarja I Tehtävät 1-5 perustuvat monisteen kappaleisiin ja tehtävä 6 kappaleeseen 2.8.
HY, MTO / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIa, syksy 8 Harjoitus Ratkaisuehdotuksia Tehtäväsarja I Tehtävät -5 perustuvat monisteen kappaleisiin..7 ja tehtävä 6 kappaleeseen.8..
LisätiedotEpäyhtälöt ovat yksi matemaatikon voimakkaimmista
6 Epäyhtälöitä Epäyhtälöt ovat yksi matemaatikon voimakkaimmista työvälineistä. Yhtälö a = b kertoo sen, että kaksi ehkä näennäisesti erilaista asiaa ovat samoja. Epäyhtälö a b saattaa antaa keinon analysoida
LisätiedotKoodausteoria, Kesä 2014
Koodausteoria, Kesä 2014 Topi Törmä Matemaattisten tieteiden laitos 6. Ryöppyvirheitä korjaavat koodit Topi Törmä Matemaattisten tieteiden laitos 2 / 34 6.1 Peruskäsitteitä Aiemmin on implisiittisesti
Lisätiedot1 + b t (i, j). Olkoon b t (i, j) todennäköisyys, että B t (i, j) = 1. Siis operaation access(j) odotusarvoinen kustannus ajanhetkellä t olisi.
Algoritmien DP ja MF vertaileminen tapahtuu suoraviivaisesti kirjoittamalla kummankin leskimääräinen kustannus eksplisiittisesti todennäköisyyksien avulla. Lause T MF ave = 1 + 2 1 i
Lisätiedot= 5! 2 2!3! = = 10. Edelleen tästä joukosta voidaan valita kolme särmää yhteensä = 10! 3 3!7! = = 120
Tehtävä 1 : 1 Merkitään jatkossa kirjaimella H kaikkien solmujoukon V sellaisten verkkojen kokoelmaa, joissa on tasan kolme särmää. a) Jokainen verkko G H toteuttaa väitteen E(G) [V]. Toisaalta jokainen
Lisätiedot4.1. Olkoon X mielivaltainen positiivinen satunnaismuuttuja, jonka odotusarvo on
Mat-2.090 Sovellettu todennäköisyyslasku A / Ratkaisut Aiheet: Avainsanat: Otanta Poisson- Jakaumien tunnusluvut Diskreetit jakaumat Binomijakauma, Diskreetti tasainen jakauma, Geometrinen jakauma, Hypergeometrinen
LisätiedotHY, MTL / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIb, syksy 2017 Harjoitus 1 Ratkaisuehdotuksia
HY, MTL / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIb, syksy 07 Harjoitus Ratkaisuehdotuksia Tehtäväsarja I Osa tämän viikon tehtävistä ovat varsin haastavia, joten ei todellakaan
LisätiedotOngelma 1: Onko datassa tai informaatiossa päällekkäisyyttä?
Ongelma 1: Onko datassa tai informaatiossa päällekkäisyyttä? 2012-2013 Lasse Lensu 2 Ongelma 2: Voidaanko dataa tai informaatiota tallettaa tiiviimpään tilaan koodaamalla se uudelleen? 2012-2013 Lasse
LisätiedotCantorin joukon suoristuvuus tasossa
Cantorin joukon suoristuvuus tasossa LuK-tutkielma Miika Savolainen 2380207 Matemaattisten tieteiden laitos Oulun yliopisto Syksy 2016 Sisältö Johdanto 2 1 Cantorin joukon esittely 2 2 Suoristuvuus ja
Lisätiedotk S P[ X µ kσ] 1 k 2.
HY, MTL / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIb, syksy 28 Harjoitus Ratkaisuehdotuksia Tehtäväsarja I Osa tämän viikon tehtävistä ovat varsin haastavia, joten ei todellakaan
Lisätiedot2 exp( 2u), kun u > 0 f U (u) = v = 3 + u 3v + uv = u. f V (v) dv = f U (u) du du f V (v) = f U (u) dv = f U (h(v)) h (v) = f U 1 v (1 v) 2
HY, MTO / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIa, syksy 208 Harjoitus 4 Ratkaisuehdotuksia Tehtäväsarja I. Satunnaismuuttuja U Exp(2) ja V = U/(3 + U). Laske f V käyttämällä muuttujanvaihtotekniikkaa.
Lisätiedot30A02000 Tilastotieteen perusteet
30A02000 Tilastotieteen perusteet Kertaus 1. välikokeeseen Lauri Viitasaari Tieto- ja palvelujohtamisen laitos Kauppatieteiden korkeakoulu Aalto-yliopisto Syksy 2019 Periodi I-II Sisältö Välikokeesta Joukko-oppi
LisätiedotMS-A0402 Diskreetin matematiikan perusteet
MS-A040 Diskreetin matematiikan perusteet Osa : Relaatiot ja funktiot Riikka Kangaslampi 017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Relaatiot Relaatio Määritelmä 1 Relaatio joukosta A
LisätiedotOdotusarvo. Odotusarvon ominaisuuksia Satunnaismuuttujien ominaisuuksia 61
3.3. Satunnaismuuttujien ominaisuuksia 61 Odotusarvo Määritelmä 3.5 (Odotusarvo) Olkoon X diskreetti satunnaismuuttuja, jonka arvojoukko on S ja todennäköisyysfunktio f X (x). Silloin X:n odotusarvo on
Lisätiedotesimerkkejä erilaisista lohkokoodeista
6.2.1 Lohkokoodit tehdään bittiryhmälle bittiryhmään lisätään sovitun algoritmin mukaan ylimääräisiä bittejä [k informaatiobittiä => n koodibittiä, joista n-k lisäbittiä], käytetään yleensä merkintää (n,k)-koodi
LisätiedotVastaus 1. Lasketaan joukkojen alkiot, ja todetaan, että niitä on 3 molemmissa.
Miten perustella, että joukossa A = {a, b, c} on yhtä monta alkiota kuin joukossa B = {d, e, f }? Vastaus 1. Lasketaan joukkojen alkiot, ja todetaan, että niitä on 3 molemmissa. Vastaus 2. Vertaillaan
LisätiedotInversio-ongelmien laskennallinen peruskurssi Luento 7
Inversio-ongelmien laskennallinen peruskurssi Luento 7 Kevät 2012 1 Tilastolliset inversio-ongelmat Tilastollinen ionversio perustuu seuraaviin periaatteisiin: 1. Kaikki mallissa olevat muuttujat mallinnetaan
LisätiedotKonvergenssilauseita
LUKU 4 Konvergenssilauseita Lause 4.1 (Monotonisen konvergenssin lause). Olkoon (f n ) kasvava jono Lebesgueintegroituvia funktioita. Asetetaan f(x) := f n (x). Jos f n
LisätiedotMiten perustella, että joukossa A = {a, b, c} on yhtä monta alkiota kuin joukossa B = {d, e, f }?
Miten perustella, että joukossa A = {a, b, c} on yhtä monta alkiota kuin joukossa B = {d, e, f }? Miten perustella, että joukossa A = {a, b, c} on yhtä monta alkiota kuin joukossa B = {d, e, f }? Vastaus
LisätiedotKoodausteoria, Kesä 2014
Koodausteoria, Kesä 2014 Topi Törmä Matemaattisten tieteiden laitos 3. Lineaariset koodit Topi Törmä Matemaattisten tieteiden laitos 2 / 22 3.1 Lineaarisen koodin määrittely Olkoon F äärellinen kunta.
Lisätiedot2.1. Tehtävänä on osoittaa induktiolla, että kaikille n N pätee n = 1 n(n + 1). (1)
Approbatur 3, demo, ratkaisut Sovitaan, että 0 ei ole luonnollinen luku. Tällöin oletusta n 0 ei tarvitse toistaa alla olevissa ratkaisuissa. Se, pidetäänkö nollaa luonnollisena lukuna vai ei, vaihtelee
LisätiedotINFORMAATIOTEORIA & KOODAUS TÄRKEIMPIEN ASIOIDEN KERTAUS A Tietoliikennetekniikka II Osa 28 Kari Kärkkäinen Syksy 2015
1 INFORMAATIOTEORIA & KOODAUS TÄRKEIMPIEN ASIOIDEN KERTAUS TEENVETO 2 Informaatioteoria tarkastelee tiedonsiirtoa yleisemmällä, hieman abstraktilla tasolla ei enää tarkastella signaaleja aika- tai taajuusalueissa.
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 2A Satunnaismuuttujan odotusarvo Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016,
LisätiedotApprobatur 3, demo 1, ratkaisut A sanoo: Vähintään yksi meistä on retku. Tehtävänä on päätellä, mitä tyyppiä A ja B ovat.
Approbatur 3, demo 1, ratkaisut 1.1. A sanoo: Vähintään yksi meistä on retku. Tehtävänä on päätellä, mitä tyyppiä A ja B ovat. Käydään kaikki vaihtoehdot läpi. Jos A on rehti, niin B on retku, koska muuten
LisätiedotRatkaisu: a) Kahden joukon yhdisteseen poimitaan kaikki alkiot jotka ovat jommassakummassa joukossa (eikä mitään muuta).
Matematiikan laitos Johdatus Diskreettiin Matematiikaan Harjoitus 1 03.11.2010 Ratkaisuehdotuksia Aleksandr Nuija 1. Tarkastellaan joukkoja A = {1,3,4}, B = {2,3,7,9} ja C = {2, 5, 7}. Määritä joukot (a)
LisätiedotTarkastelemme ensin konkreettista esimerkkiä ja johdamme sitten yleisen säännön, joilla voidaan tietyissä tapauksissa todeta kielen ei-säännöllisyys.
Ei-säännöllisiä kieliä [Sipser luku 1.4] Osoitamme, että joitain kieliä ei voi tunnistaa äärellisellä automaatilla. Tulos ei sinänsä ole erityisen yllättävä, koska äärellinen automaatti on äärimmäisen
LisätiedotKuinka määritellään 2 3?
Kuinka määritellään 2 3? y Nyt 3 = 1,7320508.... Luvut 3 2 x x 3 2 x 2 1 = 2, 2 1,7 3,2490, 2 1,73 3,3173, 2 1,732 3,3219,... ovat hyvin määriteltyjä koska näihin tarvitaan vain rationaalilukupotenssin
LisätiedotMartingaalit ja informaatioprosessit
4A Martingaalit ja informaatioprosessit Tämän harjoituksen tavoitteena on tutustua satunnaisvektorin informaation suhteen lasketun ehdollisen odotusarvon käsitteeseen sekä oppia tunnistamaan, milloin annettu
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 21. syyskuuta 2007 Antti Rasila () TodB 21. syyskuuta 2007 1 / 19 1 Satunnaismuuttujien riippumattomuus 2 Jakauman tunnusluvut Odotusarvo Odotusarvon ominaisuuksia
LisätiedotJatkuvat satunnaismuuttujat
Jatkuvat satunnaismuuttujat Satunnaismuuttuja on jatkuva jos se voi ainakin periaatteessa saada kaikkia mahdollisia reaalilukuarvoja ainakin tietyltä väliltä. Täytyy ymmärtää, että tällä ei ole mitään
LisätiedotReaalifunktioista 1 / 17. Reaalifunktioista
säilyy 1 / 17 säilyy Jos A, B R, niin funktiota f : A B sanotaan (yhden muuttujan) reaalifunktioksi. Tällöin karteesinen tulo A B on (aiempia esimerkkejä luonnollisemmalla tavalla) xy-tason osajoukko,
Lisätiedot1. Osoita, että joukon X osajoukoille A ja B on voimassa toinen ns. de Morganin laki (A B) = A B.
HY / Avoin yliopisto Johdatus yliopistomatematiikkaan, kesä 2015 Harjoitus 3 Ratkaisuehdotuksia Tehtäväsarja I Seuraavissa tehtävissä harjoitellaan muun muassa kahden joukon osoittamista samaksi sekä joukon
LisätiedotIV. TASAINEN SUPPENEMINEN. f(x) = lim. jokaista ε > 0 ja x A kohti n ε,x N s.e. n n
IV. TASAINEN SUPPENEMINEN IV.. Funktiojonon tasainen suppeneminen Olkoon A R joukko ja f n : A R funktio, n =, 2, 3,..., jolloin jokaisella x A muodostuu lukujono f x, f 2 x,.... Jos tämä jono suppenee
Lisätiedot5/11 6/11 Vaihe 1. 6/10 4/10 6/10 4/10 Vaihe 2. 5/11 6/11 4/11 7/11 6/11 5/11 5/11 6/11 Vaihe 3
Mat-.9 Sovellettu todennäköisyyslasku A / Ratkaisut Aiheet: Avainsanat: Verkot todennäköisyyslaskennassa Satunnaismuuttujat ja todennäköisyysjakaumat Jakaumien tunnusluvut Kertymäfunktio, Momentit, Odotusarvo,
LisätiedotViivakoodin viiteopas
Viivakoodin viiteopas Versio 0 FIN 1 Johdanto 1 Yleiskuvaus 1 1 Tämä opas sisältää tietoja viivakooditulostuksesta, joka toimii suoraan Brotherin tulostimeen lähetettyjen komentojen avulla. Yhteensopivat
Lisätiedot(b) Tarkista integroimalla, että kyseessä on todella tiheysfunktio.
Todennäköisyyslaskenta I, kesä 7 Harjoitus 4 Ratkaisuehdotuksia. Satunnaismuuttujalla X on ns. kaksipuolinen eksponenttijakauma eli Laplacen jakauma: sen tiheysfunktio on fx = e x. a Piirrä tiheysfunktio.
Lisätiedot1 Lukujen jaollisuudesta
Matematiikan mestariluokka, syksy 2009 1 1 Lukujen jaollisuudesta Lukujoukoille käytetään seuraavia merkintöjä: N = {1, 2, 3, 4,... } Luonnolliset luvut Z = {..., 2, 1, 0, 1, 2,... } Kokonaisluvut Kun
LisätiedotMat Sovellettu todennäköisyyslasku A
Mat-2.090 Sovellettu todennäköisyyslasku A / Ratkaisut Aiheet: Avainsanat: Klassinen todennäköisyys ja kombinatoriikka Todennäköisyyden aksioomat Kokonaistodennäköisyys ja Bayesin kaava Bayesin kaava,
Lisätiedotverkkojen G ja H välinen isomorfismi. Nyt kuvaus f on bijektio, joka säilyttää kyseisissä verkoissa esiintyvät särmät, joten pari
Tehtävä 9 : 1 Merkitään kirjaimella G tehtäväpaperin kuvan vasemmanpuoleista verkkoa sekä kirjaimella H tehtäväpaperin kuvan oikeanpuoleista verkkoa. Kuvan perusteella voidaan havaita, että verkko G on
LisätiedotMatematiikan ja tilastotieteen laitos Reaalianalyysi I Harjoitus Malliratkaisut (Sauli Lindberg)
Matematiikan ja tilastotieteen laitos Reaalianalyysi I Harjoitus 4 9.4.-23.4.200 Malliratkaisut (Sauli Lindberg). Näytä, että Lusinin lauseessa voidaan luopua oletuksesta m(a)
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 4 Jatkuvuus Jatkuvan funktion määritelmä Tarkastellaan funktiota f x) jossakin tietyssä pisteessä x 0. Tämä funktio on tässä pisteessä joko jatkuva tai epäjatkuva. Jatkuvuuden
LisätiedotLaskuharjoitus 5. Mitkä ovat kuvan 1 kanavien kapasiteetit? Kuva 1: Kaksi kanavaa. p/(1 p) ) bittiä lähetystä kohti. Voidaan
Informaatioteoria ELEC-C7 5 Laskuharjoitus 5 Tehtävä 5.3 Mitkä ovat kuvan kanavien kapasiteetit?.3.7 a b Kuva : Kaksi kanavaa b Binäärisessä Z-kanavassa virhe tapahtuu todennäköisyydellä p ja virhe todennäköisyydellä.
Lisätiedotisomeerejä yhteensä yhdeksän kappaletta.
Tehtävä 2 : 1 Esitetään aluksi eräitä havaintoja. Jokaisella n Z + symbolilla H (n) merkitään kaikkien niiden verkkojen joukkoa, jotka vastaavat jotakin tehtävänannon ehtojen mukaista alkaanin hiiliketjua
LisätiedotKoodausteoria, Kesä 2014
Koodausteoria, Kesä 2014 Topi Törmä Matemaattisten tieteiden laitos 3.3 Lineaarisen koodin dekoodaus Oletetaan, että lähetettäessä kanavaan sana c saadaan sana r = c + e, missä e on häiriön aiheuttama
LisätiedotJohdatus matemaattiseen päättelyyn
Johdatus matemaattiseen päättelyyn Maarit Järvenpää Oulun yliopisto Matemaattisten tieteiden laitos Syyslukukausi 2015 1 Merkintöjä 2 Todistamisesta 2 3 Joukko-oppia Tässä luvussa tarkastellaan joukko-opin
LisätiedotMS-A0402 Diskreetin matematiikan perusteet Esimerkkejä ym., osa I
MS-A040 Diskreetin matematiikan perusteet Esimerkkejä ym., osa I G. Gripenberg Aalto-yliopisto. maaliskuuta 05 G. Gripenberg (Aalto-yliopisto) MS-A040 Diskreetin matematiikan perusteet Esimerkkejä. ym.,
LisätiedotMoniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotMS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 2A Satunnaismuuttujan odotusarvo Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Lukuvuosi
LisätiedotHY / Matematiikan ja tilastotieteen laitos Tilastollinen päättely II, kevät 2017 Harjoitus 1 Ratkaisuehdotuksia Tehtäväsarja I
HY / Matematiikan ja tilastotieteen laitos Tilastollinen päättely II, kevät 2017 Harjoitus 1 Ratkaisuehdotuksia Tehtäväsarja I Tehtävä 1 on klassikko. 1. Tässä tehtävässä tapahtumat A ja B eivät välttämättä
LisätiedotÄärellisesti generoitujen Abelin ryhmien peruslause
Tero Harju (2008/2010) Äärellisesti generoitujen Abelin ryhmien peruslause Merkintä X on joukon koko ( eli #X). Vapaat Abelin ryhmät Tässä kappaleessa käytetään Abelin ryhmille additiivista merkintää.
LisätiedotMS-A0402 Diskreetin matematiikan perusteet Esimerkkejä ym., osa I
MS-A040 Diskreetin matematiikan perusteet Esimerkkejä ym., osa I G. Gripenberg Aalto-yliopisto. maaliskuuta 05 G. Gripenberg (Aalto-yliopisto) MS-A040 Diskreetin matematiikan perusteet Esimerkkejä. ym.,
LisätiedotMatematiikan peruskurssi 2
Matematiikan peruskurssi Demonstraatiot III, 4.5..06. Mikä on funktion f suurin mahdollinen määrittelyjoukko, kun f(x) x? Mikä on silloin f:n arvojoukko? Etsi f:n käänteisfunktio f ja tarkista, että löytämäsi
Lisätiedotf(n) = Ω(g(n)) jos ja vain jos g(n) = O(f(n))
Määritelmä: on O(g(n)), jos on olemassa vakioarvot n 0 > 0 ja c > 0 siten, että c g(n) kun n > n 0 O eli iso-o tai ordo ilmaisee asymptoottisen ylärajan resurssivaatimusten kasvun suuruusluokalle Samankaltaisia
LisätiedotÄärellisten mallien teoria
Äärellisten mallien teoria Harjoituksen 4 ratkaisut Tehtävä 1. Määritä suurin aste k, johon saakka kuvan verkot G ja G ovat osittaisesti isomorfisia: Ratkaisu 1. Huomataan aluksi, että G =4 G : Ehrenfeucht-Fraïssé
Lisätiedot1 Määrittelyjä ja aputuloksia
1 Määrittelyjä ja aputuloksia 1.1 Supremum ja infimum Aluksi kerrataan pienimmän ylärajan (supremum) ja suurimman alarajan (infimum) perusominaisuuksia ja esitetään muutamia myöhemmissä todistuksissa tarvittavia
LisätiedotKoodausteoria, Kesä 2014
Koodausteoria, Kesä 2014 Topi Törmä Matemaattisten tieteiden laitos 5.2 BCH-koodin dekoodaus Tarkastellaan t virhettä korjaavaa n-pituista BCH-koodia. Olkoon α primitiivinen n:s ykkösen juuri, c = c(x)
LisätiedotInjektio. Funktiota sanotaan injektioksi, mikäli lähtöjoukon eri alkiot kuvautuvat maalijoukon eri alkioille. Esim.
Injektio Funktiota sanotaan injektioksi, mikäli lähtöjoukon eri alkiot kuvautuvat maalijoukon eri alkioille. Esim. Funktio f on siis injektio mikäli ehdosta f (x 1 ) = f (x 2 ) seuraa, että x 1 = x 2.
LisätiedotAlkulukujen harmoninen sarja
Alkulukujen harmoninen sarja LuK-tutkielma Markus Horneman Oiskelijanumero:2434548 Matemaattisten tieteiden laitos Oulun ylioisto Syksy 207 Sisältö Johdanto 2 Hyödyllisiä tuloksia ja määritelmiä 3. Alkuluvuista............................
Lisätiedot7. Olemassaolo ja yksikäsitteisyys Galois n kunta GF(q) = F q, jossa on q alkiota, määriteltiin jäännösluokkarenkaaksi
7. Olemassaolo ja yksikäsitteisyys Galois n kunta GF(q) = F q, jossa on q alkiota, määriteltiin jäännösluokkarenkaaksi Z p [x]/(m), missä m on polynomirenkaan Z p [x] jaoton polynomi (ks. määritelmä 3.19).
LisätiedotD ( ) E( ) E( ) 2.917
Mat-2.091 Sovellettu todennäköisyyslasku 4. harjoitukset/ratkaisut Aiheet: Diskreetit jakaumat Avainsanat: Binomijakauma, Diskreetti tasainen jakauma, Geometrinen jakauma, Hypergeometrinen jakauma, Kertymäfunktio,
LisätiedotBayesin pelit. Kalle Siukola. MS-E2142 Optimointiopin seminaari: Peliteoria ja tekoäly
Bayesin pelit Kalle Siukola MS-E2142 Optimointiopin seminaari: Peliteoria ja tekoäly 12.10.2016 Toistetun pelin esittäminen automaatin avulla Ekstensiivisen muodon puu on tehoton esitystapa, jos peliä
Lisätiedot3.6 Su-estimaattorien asymptotiikka
3.6 Su-estimaattorien asymptotiikka su-estimaattorit ovat usein olleet puutteellisia : ne ovat usein harhaisia ja eikä ne välttämättä ole täystehokkaita asymptoottisilta ominaisuuksiltaan ne ovat yleensä
LisätiedotTodennäköisyyden ominaisuuksia
Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset
Lisätiedot1. Esitä rekursiivinen määritelmä lukujonolle
Matematiikan laitos Johdatus Diskrettiin Matematiikkaan Harjoitus 4 24.11.2011 Ratkaisuehdotuksia Aleksandr Pasharin 1. Esitä rekursiivinen määritelmä lukujonolle (a) f(n) = (2 0, 2 1, 2 2, 2 3, 2 4,...)
LisätiedotFUNKTIONAALIANALYYSIN PERUSKURSSI 1. 0. Johdanto
FUNKTIONAALIANALYYSIN PERUSKURSSI 1. Johdanto Funktionaalianalyysissa tutkitaan muun muassa ääretönulotteisten vektoriavaruuksien, ja erityisesti täydellisten normiavaruuksien eli Banach avaruuksien ominaisuuksia.
Lisätiedot(iv) Ratkaisu 1. Sovelletaan Eukleideen algoritmia osoittajaan ja nimittäjään. (i) 7 = , 7 6 = = =
JOHDATUS LUKUTEORIAAN (syksy 07) HARJOITUS 7, MALLIRATKAISUT Tehtävä Etsi seuraavien rationaalilukujen ketjumurtokehitelmät: (i) 7 6 (ii) 4 7 (iii) 65 74 (iv) 63 74 Ratkaisu Sovelletaan Eukleideen algoritmia
LisätiedotRekursiolause. Laskennan teorian opintopiiri. Sebastian Björkqvist. 23. helmikuuta Tiivistelmä
Rekursiolause Laskennan teorian opintopiiri Sebastian Björkqvist 23. helmikuuta 2014 Tiivistelmä Työssä käydään läpi itsereplikoituvien ohjelmien toimintaa sekä esitetään ja todistetaan rekursiolause,
LisätiedotTodennäköisyyslaskenta IIa, syyslokakuu 2019 / Hytönen 2. laskuharjoitus, ratkaisuehdotukset
Todennäköisyyslaskenta IIa, syyslokakuu 019 / Hytönen. laskuharjoitus, ratkaisuehdotukset 1. Kurssilla on 0 opiskelijaa, näiden joukossa Jutta, Jyrki, Ilkka ja Alex. Opettaja aikoo valita umpimähkään opiskelijan
LisätiedotOletetaan, että funktio f on määritelty jollakin välillä ]x 0 δ, x 0 + δ[. Sen derivaatta pisteessä x 0 on
Derivaatta Erilaisia lähestymistapoja: geometrinen (käyrän tangentti sekanttien raja-asentona) fysikaalinen (ajasta riippuvan funktion hetkellinen muutosnopeus) 1 / 19 Derivaatan määritelmä Määritelmä
LisätiedotJoukot. Georg Cantor ( )
Joukot Matematiikassa on pyrkimys määritellä monimutkaiset asiat täsmällisesti yksinkertaisempien asioiden avulla. Tarvitaan jokin lähtökohta, muutama yleisesti hyväksytty ja ymmärretty käsite, joista
Lisätiedot7 Vapaus. 7.1 Vapauden määritelmä
7 Vapaus Kuten edellisen luvun lopussa mainittiin, seuraavaksi pyritään ratkaisemaan, onko annetussa aliavaruuden virittäjäjoukossa tarpeettomia vektoreita Jos tällaisia ei ole, virittäjäjoukkoa kutsutaan
LisätiedotTodistusmenetelmiä Miksi pitää todistaa?
Todistusmenetelmiä Miksi pitää todistaa? LUKUTEORIA JA TO- DISTAMINEN, MAA11 Todistus on looginen päättelyketju, jossa oletuksista, määritelmistä, aksioomeista sekä aiemmin todistetuista tuloksista lähtien
LisätiedotV ar(m n ) = V ar(x i ).
Mat-.3 Stokastiset prosessit Syksy 007 Laskuharjoitustehtävät 6 Poropudas/Kokkala. Olkoon M n = X +... + X n martingaali ja M 0 = 0. Osoita, että V ar(m n ) = n V ar(x i ). i= Huomattavaa on, että muuttujia
LisätiedotJohdatus matemaattiseen päättelyyn
Johdatus matemaattiseen päättelyyn Maarit Järvenpää Oulun yliopisto Matemaattisten tieteiden laitos Syyslukukausi 2015 1 Merkintöjä Luonnollisten lukujen joukko N on joukko N = {1, 2, 3,...} ja kokonaislukujen
LisätiedotTehtävä 1. Arvioi mitkä seuraavista väitteistä pitävät paikkansa. Vihje: voit aloittaa kokeilemalla sopivia lukuarvoja.
Tehtävä 1 Arvioi mitkä seuraavista väitteistä pitävät paikkansa. Vihje: voit aloittaa kokeilemalla sopivia lukuarvoja. 1 Jos 1 < y < 3, niin kaikilla x pätee x y x 1. 2 Jos x 1 < 2 ja y 1 < 3, niin x y
Lisätiedot3. laskuharjoituskierros, vko 6, ratkaisut
Mat-.9 Sovellettu todennäköisyyslasku, kevät - eliövaara, Palo, Mellin. laskuharjoituskierros, vko 6, ratkaisut D. Uurnassa A on 4 valkoista ja 6 mustaa kuulaa ja uurnassa B on 6 valkoista ja 4 mustaa
Lisätiedot4. laskuharjoituskierros, vko 7, ratkaisut
4. laskuharjoituskierros, vko 7, ratkaisut D1. Kone valmistaa kuulalaakerin kuulia, joiden halkaisija vaihtelee satunnaisesti. Halkaisijan on oltava tiettyjen rajojen sisällä, jotta kuula olisi käyttökelpoinen.
Lisätiedot3.7 Todennäköisyysjakaumia
MAB5: Todennäköisyyden lähtökohdat 4 Luvussa 3 Tunnusluvut perehdyimme jo jakauman käsitteeseen yleensä ja normaalijakaumaan vähän tarkemmin. Lähdetään nyt tutustumaan binomijakaumaan ja otetaan sen jälkeen
LisätiedotTilastollinen testaus. Vilkkumaa / Kuusinen 1
Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää
LisätiedotJohdatus matematiikkaan
Johdatus matematiikkaan Luento 7 Mikko Salo 11.9.2017 Sisältö 1. Funktioista 2. Joukkojen mahtavuus Funktioista Lukiomatematiikassa on käsitelty reaalimuuttujan funktioita (polynomi / trigonometriset /
Lisätiedot8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH
8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH Osa aikasarjoista kehittyy hyvin erityyppisesti erilaisissa tilanteissa. Esimerkiksi pörssikurssien epävakaus keskittyy usein lyhyisiin
LisätiedotIlkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (006) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotToispuoleiset raja-arvot
Toispuoleiset raja-arvot Määritelmä Funktiolla f on oikeanpuoleinen raja-arvo a R pisteessä x 0 mikäli kaikilla ɛ > 0 löytyy sellainen δ > 0 että f (x) a < ɛ aina kun x 0 < x < x 0 + δ; ja vasemmanpuoleinen
LisätiedotNimitys Symboli Merkitys Negaatio ei Konjuktio ja Disjunktio tai Implikaatio jos..., niin... Ekvivalenssi... jos ja vain jos...
2 Logiikkaa Tässä luvussa tutustutaan joihinkin logiikan käsitteisiin ja merkintöihin. Lisätietoja ja tarkennuksia löytyy esimerkiksi Jouko Väänäsen kirjasta Logiikka I 2.1 Loogiset konnektiivit Väitelauseen
LisätiedotÄärellisten mallien teoria
Äärellisten mallien teoria Harjoituksen 5 ratkaisut (Hannu Niemistö) Tehtävä 1 OlkootGjaG neljän solmun verkkoja Määritä, milloing = 2 G eli verkot ovat osittaisesti isomorfisia kahden muuttujan suhteen
LisätiedotKeskinäisinformaatiosta
Keskinäisinformaatiosta Mikko Malinen 31. heinäkuuta, 2008 1 Johdanto Keskinäisinformaatio (mutual information) on tärkeitä informaatioteorian käsitteitä. Keskinäisinformaatio I(X; Y ) on eräs riippuvuuden
LisätiedotJohdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio TKK (c) Ilkka Mellin (5) 1 Momenttiemäfunktio ja karakteristinen funktio Momenttiemäfunktio Diskreettien jakaumien momenttiemäfunktioita
LisätiedotTodennäköisyys (englanniksi probability)
Todennäköisyys (englanniksi probability) Todennäköisyyslaskenta sai alkunsa 1600-luvulla uhkapeleistä Ranskassa (Pascal, Fermat). Nykyisin todennäköisyyslaskentaa käytetään hyväksi mm. vakuutustoiminnassa,
LisätiedotDIFFERENTIAALI- JA INTEGRAALILASKENTA I.1. Ritva Hurri-Syrjänen/Syksy 1999/Luennot 6. FUNKTION JATKUVUUS
DIFFERENTIAALI- JA INTEGRAALILASKENTA I.1 Ritva Hurri-Syrjänen/Syksy 1999/Luennot 6. FUNKTION JATKUVUUS Huomautus. Analyysin yksi keskeisimmistä käsitteistä on jatkuvuus! Olkoon A R mielivaltainen joukko
LisätiedotDigitaalitekniikan matematiikka Luku 13 Sivu 1 (10) Virheen havaitseminen ja korjaus
Digitaalitekniikan matematiikka Luku 13 Sivu 1 (10) Digitaalitekniikan matematiikka Luku 13 Sivu 2 (10) Johdanto Tässä luvussa esitetään virheen havaitsevien ja korjaavien koodaustapojen perusteet ja käyttösovelluksia
LisätiedotMS-A010{3,4} (ELEC*) Differentiaali- ja integraalilaskenta 1 Luento 4: Derivaatta
MS-A010{3,4} (ELEC*) Differentiaali- ja integraalilaskenta 1 Luento 4: Derivaatta Pekka Alestalo, Jarmo Malinen Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos 21.9.2016 Pekka Alestalo, Jarmo
LisätiedotMS-A0102 Differentiaali- ja integraalilaskenta 1
MS-A0102 Differentiaali- ja integraalilaskenta 1 Riikka Korte (Pekka Alestalon kalvojen pohjalta) Aalto-yliopisto 24.10.2016 Sisältö Derivaatta 1.1 Derivaatta Erilaisia lähestymistapoja: I geometrinen
LisätiedotLineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus
Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus 1 / 51 Lineaarikombinaatio Johdattelua seuraavaan asiaan (ei tarkkoja määritelmiä): Millaisen kuvan muodostaa joukko {λv λ R, v R 3 }? Millaisen
LisätiedotMiten osoitetaan joukot samoiksi?
Miten osoitetaan joukot samoiksi? Määritelmä 1 Joukot A ja B ovat samat, jos A B ja B A. Tällöin merkitään A = B. Kun todistetaan, että A = B, on päättelyssä kaksi vaihetta: (i) osoitetaan, että A B, ts.
LisätiedotLuonnollisten lukujen ja kokonaislukujen määritteleminen
Luonnollisten lukujen ja kokonaislukujen määritteleminen LuK-tutkielma Jussi Piippo Matemaattisten tieteiden yksikkö Oulun yliopisto Kevät 2017 Sisältö 1 Johdanto 2 2 Esitietoja 3 2.1 Joukko-opin perusaksioomat...................
LisätiedotMat Sovellettu todennäköisyyslasku A
TKK / Systeemianalyysin laboratorio Nordlund Mat-2.090 Sovellettu todennäköisyyslasku A Harjoitus 4 (vko 41/2003) (Aihe: diskreettejä satunnaismuuttujia ja jakaumia, Laininen luvut 4.1 4.7) 1. Kone tekee
Lisätiedot802328A LUKUTEORIAN PERUSTEET OSA III BASICS OF NUMBER THEORY PART III. Tapani Matala-aho MATEMATIIKKA/LUTK/OULUN YLIOPISTO
8038A LUKUTEORIAN PERUSTEET OSA III BASICS OF NUMBER THEORY PART III Tapani Matala-aho MATEMATIIKKA/LUTK/OULUN YLIOPISTO SYKSY 016 Sisältö 1 Irrationaaliluvuista Antiikin lukuja 6.1 Kolmio- neliö- ja tetraedriluvut...................
Lisätiedot