Informaatioteoria. Lasse Holmström Matemaattisten tieteiden laitos Oulun yliopisto. Kevät f f. f f

Koko: px
Aloita esitys sivulta:

Download "Informaatioteoria. Lasse Holmström Matemaattisten tieteiden laitos Oulun yliopisto. Kevät 2012. 1 f f. f 1 1 1 f"

Transkriptio

1 Informaatioteoria Lasse Holmström Matemaattisten tieteiden laitos Oulun yliopisto Kevät f f 0 X Y f f

2 Sisältö Johdanto. Historiaa Informaatioteorian synty Informaatioteorian vaiheita vuodesta Peruskysymyksiä Binäärinen symmetrinen kanava (BSK) Toistokoodit Virheenpaljastavat ja -korjaavat koodit Informaatio ja sen mittaaminen Tapahtuman sisältämä informaatio Satunnaismuuttujat ja informaatio Keskinäisinformaatio i

3 2.4 Fanon epäyhtälö Tyypillisyys AEP Koodaus kompressiossa Yleisemmät informaatiolähteet Häiriöttömän lähteen koodaus, kompressio Koodeja Kraftin epäyhtälö Shannonin ensimmäinen lause Optimaalinen koodaus Koodaus tiedonsiirrossa Kapasiteetti Esimerkkejä kanavista Häviötön kanava Deterministinen kanava Häiriötön kanava Hyödytön kanava ii

4 5.2.5 Symmetrinen kanava Kapasiteetin laskeminen Muistiton diskreetti kanava Koodaus ja dekoodaus Yhteistyypillisyys Shannonin toinen lause Jatkuvat satunnaismuuttujat ja informaatio Differentiaalientropia AEP Multinormaalijakauma Diskreettiaikainen Gaussin kanava Kanavamalli Koodaus ja dekoodaus Shannonin toinen lause diskreettiaikaiselle Gaussin kanavalle Jatkuva-aikainen Gaussin kanava Hilbertin avaruuksista Karhusen-Loèven kehitelmä iii

5 8.3 Shannonin toinen lause jatkuva-aikaiselle Gaussin kanavalle.. 85 iv

6 Luku Johdanto. Historiaa.. Informaatioteorian synty Nykymuotoisen informaatioteorian perustaja on Claude Shannon (96-200). Shannon oli Yhdysvaltalainen matemaatikko, sähköinsinööri ja keksijä. Shannonin informaatioteorian perusteita käsittelevä raportti A Mathematical Theory of Communication ilmestyi vuonna 948 Bell Systems Technical Journalissa. Tämän raportin tuloksiin perustuva Shannonin ja Warren Weaverin kirja ilmestyi vuonna 949 ja siitä on saatavissa vuonna 998 julkaistu uusintapainos [6]. Shannonia pidetään ns. digitaalisen vallankumuoksen aloittajana. Shannon ymmärsi, että kaikkea informaatiota voidaan kommunikoida bitteinä ja hän johti tiedonsiirron tehokkuuden rajat. Shannonin läpimurtotyö käynnisti myös koodausteorian kehittelyn. Tehokkaat koodausmenetelmät ovat nykyisin keskeisen tärkeitä mm. mobiililaitteissa, CD- ja DVD-soittmimissa, erilaisissa

7 Kuva.: Claude Elwood Shannon (96-200). muistilaitteissa, internetin toiminnassa jne. Informaation olemusta oli ennen Shannonia tutkittu myös tilastollisen fysiikan piirissä (mm. Ludwig Boltzmann ja John von Neumann). Leo Szilard lanseerasi bitin käsitteen informaation mittauksessa. Termi bit tosin on peräisin matemaatikko John Tukeyltä (mm. Tukeyn lemma, Explorative Data Analysis (EDA),...). Shannonin tutkimussaralla oli edeltäjiä myös itse Bellin tutkimuslaboratoriossa, mm. Harry Nyquist ja Ralph (Vynton Leon) Hartley. Bellin tutkimuslaboratoriot ovat informaatioteorian lisäksi monen keskeisen keksinnön koti: laboratorioilla lasketaan olevan yli patenttia ja keksintöä mm. stereofoninen ääni, äänielokuva, telefax, UNIX käyttöjärjestelmä, sellaiset ohjelmointikielet kuin C ja C++ jne. Puhelimen keksijän Abraham Bellin mukaan nimetty tutkimuslaboratorio perustettiin vuonna 925 ja nykyään Bellin laboratorioissa työskentelee yli 9000 henkilöä useissa maissa. 2

8 Laboratorion työntekijöiden joukossa on ollut mm. nobelistia. Shannon itse toimi 5 vuotta Bellillä. Vuonna 956 hänestä tuli MIT:n (Massachusetts Institute of Technology) professori. MIT oli ensimmäisiä yliopistoja, jossa informaatioteoriaa alettiin säännöllisesti opettaa. Toisen maailmansodan aikaisilla sotaponnisteluilla oli tärkeä merkitys informaatioteorian ja sen sovellusten siivittäjänä. Sotilastutkimusta tukemaan koottiin poikkitieteellinen ryhmä eri alojen huippututkijoita ratkomaan informaatioon ja sen käsittelyyn liittyviä peruskysymyksiä (koneet, biologia). Tähän ryhmään kuuluivat mm. Claude Shannon, Norbert Wiener, Warren McCulloch, Walter Pitts, Alan Turing ja John von Neumann. Myös elektroniikan ja viestintätekniikan voimakas kehitys sodan aikana ja luotettavan ja turvallisen kommunikaation tarve suuntasi kiinnostusta informaatioteoreettisiin kysymyksiin...2 Informaatioteorian vaiheita vuodesta 948 Shannonin informaatioteorian läpimurtojulkaisua (948) seurasi Norbert Wienerin esittämä teoria vuonna 949. Seuraavaa vuosikymmentä luonnehti voimakas kiinnostuksen kasvu informaatioteoriaa kohtaan: Järjestettiin lukuisia yliopistoseminaareja, kursseja ja konferensseja. IRE (Institute of Radio Engineers) ryhtyi julkaisemaan IRE Transactions on Information Theory lehteä vuonna 955. Vuonna 963 IRE:stä tuli tunnettu ja monella tutkimusalueella nykyisin toimiva IEEE (Institute of Electrical and Electronics Engineers). Informaatioteorian keskeiseksi yhteistyöverkostoksi perustettiin PGIT (Professional Group on Information Theory), joka toimi alan tärkeänä koordinoivana sisäpiirinä. 3

9 Keskeisiä nimiä olivat mm. Peter Elias, Norbert Wiener, Robert Fano, David Huffman, Richard Hamming ja Edgar Gilbert (kummatkin virheitä korjaavien koodien uranuurtajia). Matemaattista informaatioteoriaa edustivat Aleksandr Khintšin, Amiel Feinstein ja Jacob Wolfowitz (mm. IMF:n pääjohtajana jonkin aikaa toimineen Paul Wolfowitzin isä). Kuten usein käy voimakkaasti kehittyvien alojen kohdalla, niin myös informaatioteorian suosion räjähdysmäinen kasvu johti ylikuumenemiseen ja hypeen. Vuoden 952 informaatioteorian konferenssissa melkein puolet papereista olivat psykologiaa ja neurofysiologiaa ja vuoden 956 konferenssissa edustettuina olevien alojen kirjo oli sitten jo todella suuri: anatomia, antropologia,..., lingvistiikka, matematiikka,..., politiikan teoria, tilastotiede. Syynä informaatioteorian ideoiden ylikäyttöön mitä erilaisimmilla aloilla oli usein se, että informaatioteorian esiintyminen määrärahahakemuksissa arveltiin (ilmeisesti osittain perustellusti) lisäävän hankkeen uskottavuutta ja siten rahoitusmahdollisuuksia. Tässä tilanteessa PGIT katsoi välttämättömäksi informaatioteorian puhdistamisen erilaisista lieveilmiöistä. Tämän operaation käynnisti Shannonin itsensä laatima kirjoitus vuonna 956 ja järjestyksen katsotaan palanneen vuoteen 958 mennessä. 950-luvulla elettiin intensiivistä kylmän sodan aikaa ja rahoitusta informaatioteorian tutkimukseen saatiin erityisesti Yhdysvaltojen asevoimilta. Kolme päätutkimussuuntaa tällöin olivat Hajaspektriteknologia. 980-luvun puoleen väliin asti tämä tutkimus oli sotilaallista ja siten salaista. Nykyinen CDMA-tekniikka on saanut alkunsa tästä tutkimuksesta. Kompressio, informaation pakkaaminen. Tämä oli itseasiassa tutkimuksen alkuvuosein pääasiallinen kiinnostuksen kohde kun tiedon siirtoa ei vielä pidetty niin keskeisenä ongelmana. 4

10 Koodaus tiedon siirtoa varten häiriöisessä kanavassa. Shannonin lause kertoi tällöin mihin tehokkuuteen tiedon siirrossa teoriassa voidaan päästä. Koodausta tiedon siirrossa ei aluksi pidetty kiinnostavana, koska voitiin ajatella aina lisättävän lähetystehoa häiriöiden voittamiseksi. Tilanteen muutti Neuvostoliiton Sputnik vuonna 957: Yhdysvaltojen ja Neuvostoliiton kilpajuoksu avaruuteen alkoi. Lähetystehoa oli kallista tai jopa mahdotonta lisätä avaruudessa, koska jokainen avaruuten lähettävä gramma maksoi todella paljon. Tehokkaasta koodauksesta oli saatavissa ratkaisevaa kustannushyötyä ja Shannonin Gaussin kanavan malli sopi hienosti kuvaamaan satelliitin ja maa-aseman välistä viestintää. 960-luvulla kiinnostus koodaukseen kasvoi nopeasti. Tältä ajalta voidaan mainita esimerkiksi Irving Reed ja Gustave Solomon. Koodausta käytettiin ensimmäistä kertaa virallisesti 969 Yhdysvaltain Mariner VI Mars-luotaimessa. Se lähetti mm. värikuvia Marsin kiertoradalta. Viestinnässä käytettiin jo 954 kehitettyä, virheitä korjaavaa Reed-Müller koodia. Tosin koodausta epävirallisesti käytti avaruudessa itseasiassa ensimmäisenä vuonna 968 Pioneer IX, Yhdysvaltain aurinkoa kiertävä fysikaalisia perusmittauksia tekevä satelliitti. 960-luvun lopussa kasvoi kuitenkin epävarmuus koodausmenetelmien kehittelyn käytännön merkityksestä. Algoritmit olivat kalliita implementoida ja vain avaruustutkimuksella oli siihen varaa. Informaatioteorian tutkimusryhmät alkoivatkin hajota tutkijoiden siirtyessä muihin lupaavimpiin projekteihin. Floridan St. Petersburgissa vuonna 97 pidetty Future Directions konferenssi päätyi hyvin pessimistisiin tunnelmiin koodausteorian tulevaisuuden suhteen. Vallalle oli noussut tunne siitä, että oli parempi itse asiassa lyödä niin sanotusti hanskat naulaan. Siinä missä Sputnik oli aikaisemmin muuttanut kaiken, saman teki kuitenkin kertaheitolla Intelin ensimmäinen mikroprosessori vuonna 97. Nyt uusi halvempi ja tehokkaampi teknologia mahdollisti uusien ja parhaimpien koodausalgoritmien käytön. Kuvaan tuli- 5

11 vat mukaan myös kaupalliset, ei-sotilaalliset ja avaruustekniikkaan suoraan liittymättömät sovellukset, modeemi ja telefax ensimmäisten joukossa. Tänä päivänä kehittyvä teknologia on informaatioteorian kehitystä ja hyödyntämistä ylläpitävä voima. Esimerkiksi Gallagerin 960 väitöskirjassaan esittämä koodi (low-density parity-check codes) on tullut vasta nyt käyttöön! Jatkuvia uusia haasteita ja sovellusmahdollisuuksia tarjoavat mobiili tiedonsiirto, erilaiset muistitekniikat (RAM, kiintolevyt), CD-, DVD-, ja MP3-soittimet, tietokoneverkot, internet jne. Mikä sitten on ollut Shannonin teorian merkitys koodausteknologian kehitykselle? Voidaan sanoa, että se määritti tiedonsiirron tehokkuudelle rajat, joita ei voinut ylittää. Kun rajat olivat tiedossa, syntyi motivaatio pyrkiä niitä kohti ja joka vaiheessa tiedettiin kuinka paljon parantamisen varaa vielä oli. Parhailla nykyisillä koodeilla päästään jo Shannonin rajalle tietyissä kanavissa (Gaussin kanava)..2 Peruskysymyksiä Tarkastellaan tiedonsiirtoa seuraavan yksinkertaisen mallin mukaisesti: informaatiolähde kanava vastaanottaja Konkreettisia esimerkkejä tiedonsiirrosta kanavien läpi on esitetty kuvassa.2. Kanavassa, jonka läpi informaatiota siirretään on useinmiten häiriötä ( kohinaa ). Tällöin keskeinen kysymys on se miten vähentää häiriöiden aiheuttamia virheitä. 6

12 modeemi puhelinlinja modeemi satelliitti radioaallot vastaanottoasema työmuisti levymuisti työmuisti Kuva.2: Eräitä esimerkkejä tiedonsiirrosta kanavien läpi..2. Binäärinen symmetrinen kanava (BSK) Kuvassa.3 on esitetty ns. binäärinen symmetrinen kanava. Syötteinä ja tulosteina ovat bitit 0 ja. 0 0 syöte x tuloste y Kuva.3: Binäärinen symmetrinen kanava Olkoon tiedon siirrossa tapahtuvan virheen todennäköisyys (ns. kohinataso) 0 < f < : virheettömän bitin siirtymisen todennäköisyys on P{y = 0 x = 0} = P{y = x = } = f, ja virheen todennäköisyys on P{y = 0 x = } = P{y = x = 0} = f. Tässä P{y = 0 x = 0} = P{y = 0 ja x = 0} P{x = 0} jne. 7

13 Kuva.4: Binäärinen symmetrinen kanava kohinatasolla f = 0. (esimerkki lähteestä [5]). Kuvassa.4 on esimerkki binäärisestä symmetrisestä kanavasta, jossa syötteenä on digitaalinen kuva. Vasemman puoleisen kuvan pikselit on syötetty yksi kerrallaan toisistaan riippumatta binääriseen symmetriseen kanavaan, jonka kohinataso on f = 0.. Ajatellaan toisena esimerkkinä tietokoneen kiintolevyä, jolle luetaan ja kirjoitetaan GB päivässä 0 vuoden ajan ja ajatellaan BSK-mallin kuvaavan bittien siirtymistä lukemisessa ja kirjoittamisessa. Mikä tällöin on kohtuullinen f? Kohtuullista on selvästikin odottaa kiintolevyltä lähes virheetöntä toimintaa. Luku/kirjoitusoperaatioita on yhteensä = n kappaletta. Olkoon f = 0 5, jolloin P{ virheetön toiminta } ( f) n nf Kysymys kuuluu: miten näin pieneen virhetodennäköisyyteen f päästään? Voidaan ensinnäkin ajatella tehtävän parannuksia itse fyysiseen laitteeseen. Tämä voi kuitenkin johtaa kustannusten jyrkkään nousuun. Vaihtoehtona 8

14 informaatiolähde vastaanottaja lähetetty viesti s ŝ vastaanotettu viesti kooderi dekooderi lähetetty signaali t häiriöinen r vastaanotettu signaali kanava Kuva.5: Tiedonsiirto koodamalla ja dekoodaamalla viesti. on koodata/dekoodata bittejä sopivasti jolloin vain tarvittava laskentatyö lisääntyy (ks. kuva.5). Informaatioteoria kertoo tämän koodaukseen/dekoodaukseen perustuvan tiedonsiirtotavan mahdollisuudet ja rajat. Koodausteoriassa kehitetään käytäntöön sopivia koodereita ja dekoodereita..2.2 Toistokoodit Eräs yksinkertainen koodausmenetelmä on ns. toistokoodi. Toistokoodissa R m kukin bitti toistetaan m kertaa. Esimerkki.. Toistotkoodi R 3. Koodaus tapahtuu siis seuraavan kaavion mukaisesti: 9

15 0 kooderi 000 Olkoon nyt lähetety viesti s = 0000, jolloin kooderi tekee siitä lähetettävän signaalin t = Olkoon edelleen häiriöinen kanava muotoa r = t + n (mod 2), missä n on häiriö. Esimerkiksi t n r Dekooderi tekee enemmistöpäätöksen kolmen ryhmissä, jolloin vastaanotettu viesti on ŝ = virhe virhe korjattu ei korjattu Voidaan osoittaa (harjoitustehtävä), että tämä dekooderi on tietyin edellytyksin optimaalinen. Harjoitustehtävänä osoitetaan myös, että kohinatasolla 0 < f < /2 toimivassa BSK:ssa edellisen esimerkin dekooderin virheen todennäköisyys on 0

16 Kuva.6: Binäärinen symmetrinen kanava kohinatasolla f = 0., kun käytetään toistokoodia R 3. Bittivirheen todennäköisyys on nyt noin 0.03 (esimerkki lähteestä [5]). pienempi kuin f, kun 0 < f < /2. Kuitenkin tiedonsiirtonopeus on vain /3 alkuperäisestä, R = 3 (Rate) (bittiä/kanavan käyttö). Jos esimerkiksi kiintolevyn nopeus on Gbit/s, on se toistokoodin R 3 jälkeen Gbit/s. 3 Tarkastellaan sitten yleistä toistokoodia R m, missä m = 2n + on pariton. Olkoon kanava binäärinen symmetrinen kanava, 0 < f < /2, ja oletetaan, että bitit siirtyvät kanavan läpi toisistaan riippumatta. Kooderi on nyt siis s 0 t kooderi 00 0 } {{ } 2n+

17 Olkoon p b = P{ virhe bitissä } = P{ vähintään n + koodibittiä vaihtuu kanavassa }. Vaihtuvien bittien lukumäärään jakauma on silloin Bin(2n +, f), jolloin siis ( ) 2n + P{ k bittiä vaihtuu } = f k ( f) 2n+ k k ja siten p b = 2n+ k=n+ ( ) 2n + f k ( f) 2n+ k. k Olkoon S 2n+ vaihtuvien bittien lukumäärä. Silloin heikon suurten lukujen lain (ns. Bernoullin lause) mukaan S 2n+ 2n + f stokastisesti, eli kaikilla ε > 0, { } lim P S 2n+ n 2n + f ε = 0. Bernoullin lauseen sisältöhän on se, että toistokokeessa esiintyvän tapahtuman suhteellinen esiintymisfrekvenssi lähenee tapahtuman todennäköisyyttä toistokokeiden määrän kasvaessa. Nyt { S2n+ p b = P {S 2n+ n + } = P 2n + n + } 2n + { S2n+ = P 2n + f + n + } 2n + f. Tässä n + 2n + f n 2 f > 0. Siis: jos 0 < ε < n+ f ja n on niin suuri, että f > ε, pätee heikon 2 2n+ suurten lukujen lain mukaan { } { } S2n+ p b P 2n + f + ε S 2n+ P 2n + f ε 0, 2

18 Kuva.7: Bittivirheen p b riippuvuus tiedonsiirtonopeudesta R eräille toistokoodeille binäärinessä symmetrisessä kanavassa kohinatasolla f = 0.. Oikean puoleisessa paneelissa on logaritminen skaala (kuva lähteestä [5]). kun n. Siten bittivirhe p b saadaan mielivaltaisen pieneksi, kun n eli m toistokoodissa R m. Mutta samalla tiedonsiirtonopeudelle saadaan R = 0, 2n + kun n. Siksi p b 0 vain, jos samalla R 0. Kuvassa.7 on esitetty bittivirheen p b riippuvuus tiedonsiirtonopeudesta R eräille toistokoodeille..2.3 Virheenpaljastavat ja -korjaavat koodit Parempiin koodeihin päästään koodaamalla yksittäisten bittien sijaan kokonaisia bittilohkoja. Yksinkertainen virheenpaljastava koodi saadaan lisäämäl- 3

19 lä lohkoon pariteetin tarkastusbitti. Lohkon s...s n pariteetti on n s i mod 2 eli 0, jos ykkösien lukumäärä on parillinen pariteetti =, jos ykkösien lukumäärä on pariton. Esimerkki.2. Tarkastellaan seuraavia tapauksia: 000 pariteetti (pariton) 0000 pariteetti 0 (parillinen) Koodaus tapahtuu seuraavasti: s t Lopputuloksen pariteetti on aina 0. Nyt pystytään havaitsemaan, jos kanavassa on tapahtunut pariton määrä virheitä. Esimerkki.3. Jos r = 0000, tiedetään, että virhe tai virheitä on tapahtunut, mutta ei tiedetä missä. Hammingin koodi pystyy korjaamaan yhden virheellisen bitin. Hammingin (7, 4)-koodi on: 4

20 Kuva.8: Hammingin (7,4)-koodi. s t(s) r s s 2 s 3 s 4 kooderi t t 2 t 3 t 4 t 5 t 6 t 7 kanava r r 2 r 3 r 4 r 5 r 6 r 7 Tässä t i = s i, kun i =, 2, 3, 4, t 5, t 6, t 7 asetetaan siten, että lohkoilla s s 2 s 3 t 5, s 2 s 3 s 4 t 6 ja s s 3 s 4 t 7 on parillinen pariteetti. Saadaan 2 4 = 6 koodisanaa, joiden pituus on seitsemän. Esimerkiksi Koodi on esitetty kuvassa.8. Tässä koodissa koodisanat eroavat vähintään kolmessa bitissä. Mikä mahtaa olla optimaalinen dekooderi? Tämän selvittämiseksi lasketaan t:n ja r:n Hammingin etäisyys, d H (t,r) = 7 t i r i = {i t i r i }, Missä { } tarkoittaa joukon alkioiden lukumäärää. Kun kyseessä on binäärinen symmetrinen kanava, jolle 0 < f < /2 ja kaikki viestit s {0, } 4 ovat yhtä todennäköisiä, optimaalinen dekooderi on valita sellainen ŝ, että d H (t(ŝ),r) = min s {0,} 4 d H (t(s),r). 5

21 Kuva.9: Hammingin (7,4)-koodin käyttö binäärisessä symmetrisessä kanavassa, jonka kohinataso on f = 0.. Bittivirhe p b on nyt noin 0.07 (esimerkki lähteestä [5]). (Optimaalisuuden todistus on harjoitustehtävänä). Koodisanojen t(s) etäisyydet 3, joten yhden bitin virhe korjaantuu! Käytännössä dekoodausta ei tarvitse tehdä minimoimalla Hammingin etäisyyttä, vaan laskennallisesti tehokkaampikin tapa löytyy (lineaarialgebra kunnassa Z 2 :ssa, koodausteoria,...). Nyt P{ virhe } = P{ŝ s} ja bittivirheen todennäköisyys määritellään kaavalla p b = 4 4 P {ŝ i s i }, missä s = s s 2 s 3 s 4 ja ŝ = ŝ ŝ 2 ŝ 3 ŝ 4. Kuvassa.9 on esimerkki Hammingin (7,4)-koodin käytöstä binäärisessä symmetrisessä kanavassa, jonka kohinataso on f = 0.. On helppo nähdä, että binäärisessä symmetrisessä kanavassa P{ŝ s} = O(f 2 ) eli samaa suuruusluokkaa kuin toistokoodissa R 3 (vrt. harjoitustehtävät). Mutta nopeus on nyt parempi: R = 4 7 > 3. 6

22 Kuva.0: Bittivirheen p b riippuvuus tiedonsiirtonopeudesta R eräille toistokoodeille, Hammingin (7,4)-koodille ja BCH-koodeille (Bose-Chaudhuri- Hocquenhem). Kyseessä on binäärinen symmetrinen kanava kohinatasolla f = 0.. Oikean puoleisessa paneelissa on logaritminen skaala (kuva lähteestä [5]). Kuvasssa.0 on vielä lisää esimerkkejä eri koodien suorituskyvystä. Kuitenkin tiedonsiirron nopeus edelleen näyttää melko huonolta! Voidaankin kysyä, että mitkä (R, p b )-yhdistelmät ovat ylipäänsä (edes periaatteessa) mahdollisia? Ennen vuotta 948 uskottiin tilanteen olevan kuvan. kaltainen, eli virheetön tiedon siirto ei ole mahdollista. Shannon osoitti kuitenkin vuonna 948 tilanteen olevankin itse asiassa kuvan.2 kaltainen. Tässä kuvassa C on kanavan kapasiteetti. Kun R < C, on siis mahdollista saavuttaa mielivaltaisen pieni bittivirhe p b. Tilannetta on vielä havainnollisettu eräiden konkreettisten koodien osalta kuvassa.3. Shannonin keskeinen tulos vuodelta 948 on Informaatioteorian peruslause. Tämä lause kertoo tiedonsiirron mahdollisuudet (R < C) ja rajat (R > C) ja se motivoi seuraavien vuosikymmenien koodausteorian kehitystä. Voidaan väittää, että informaatioteoria itse asiassa rakentuu tämän lauseen ja sen seurausten ympärille. 7

23 p b mahdollista ei mahdollista Kuva.: Käsitys bittivirheen p b ja tiedosiirtonopeuden R riippuvuudesta ennen Shannonin teoriaa. R p b mahdollista ei mahdollista C R Kuva.2: Bittivirheen p b ja tiedonsiirtonopeudenr riippuvuus Shannonin teorian mukaan. Tässä C on kanavan kapasiteetti. 8

24 Kuva.3: Shannonin teorian antama raja bittivirheen ja tiedonsiirtonopeuden mahdollisille yhdistelmille (yhteinäinen käyrä) ja eräiden koodien suorituskyky binääriselle symmetriselle kanavalle kohinatasolla f = 0.. Oikean puoleisessa paneelissa on logaritminen skaala (kuva lähteestä [5]). 9

25 Luku 2 Informaatio ja sen mittaaminen 2. Tapahtuman sisältämä informaatio Perusidea tapahtuman sisältämän informaatioon määrittelemisessä on, että epävarma tai odottamaton tapahtuma on informatiivinen. Tapahtuman epävarmuutta mitataan poistuneella epävarmuudella, kun tapahtuman tiedetään sattuneen. Kun epävarma tapahtuma sattuu, siihen liittynyt suuri epävarmuus poistuu ja näin on saatu paljon informaatiota. Jos taas melko varma tapahtuma sattuu, vain vähän epävarmuutta poistuu ja näin on saatu vain vähän informaatiota. Esimerkki 2.. Tarkastellaan 00 palloa, jotka on numeroitu,2,...,00. Pallot,...,0 ovat valkoisia ja pallot,...,00 ovat mustia. Nostetaan yksi pallo umpimähkään. Olkoon A = valkoinen ja B = musta, jolloin P(A) = 0 ja P(B) = 9 0. Jos tapahtuma A sattuu, tiedetään, että kyseessä on pallo,...,0. Jos taas 20

26 tapahtuma B sattuu, tiedetään, että kyseessä on pallo,...,00. Selvästi tapahtuma A vähentää epävarmuutta enemmän kuin tapahtuma B, eli tapahtuma A on informatiivisempi. Tapahtuman A jälkeen tiedetään siis enemmän kuin tapahtuman B jälkeen. Tapahtuma A on epävarmempi, sillä P(A) < P(B). Miten mitata jonkun tapahtuman epävarmuutta tai informatiivisuutta täsmällisesti? Epävarmuus selvästi liittyy tapahtuman todennäköisyyteen. Olkoon siis A tapahtuma ja P(A) = p > 0. Pyritään määrittelemään sellainen funktio h, että h(p) = tapahtuman A epävarmuus, informaatiosisältö. Olkoon A B (riippumattomat), P(A) = p ja P(B) = p 2. Silloin P{ A ja B } = P(A B) = P(A)P(B) = p p 2, joten leikkauksen A ja B epävarmuus on h(p p 2 ). Luonteva vaatimus tällöin on, että h(p p 2 ) h(p ) = h(p 2 ). Toinen luonteva vaatimus on, että p h(p) on aidosti vähenevä ja jatkuva. Lause 2.. Olkoon h : ]0, ] R ja (i) h(p p 2 ) = h(p ) + h(p 2 ), p, p 2 ]0, ], (ii) h on aidosti vähenevä ja jatkuva. Silloin h(p) = C log b p, missä b > ja C > 0 riippuu vakiosta b. Huomautus. p C log b p selvästi toteuttaa ehdot (i) ja (ii). 2

27 Todistus. Olkoon ( g(n) = h, n N +. n) Ehdon (i) nojalla h ( ) ( = h nm n ) = h m ( ) ( ) + h n m eli g(nm) = g(n) + g(m), n, m N +. (2.) Oletetaan, että n < m. Ehdon (ii) nojalla saadaan g(n) < g(m), n, m N +. Osoitetaan, että g(n) = C log b n, (2.2) jollain C > 0 ja b >. Osoitetaan ensin induktiolla, että g(n k ) = k g(n), n, k N +. (2.3) Väite on selvä, kun k =. Oletetaan, että väite pätee arvolla k. Silloin g(n k+ ) = g(n n k ) (2.) = g(n) + g(n k ) ind.ol = g(n) + kg(n) = (k + )g(n). Edelleen, joten g() = g( ) = g() + g(), g() = 0. (2.4) Olkoon n N, n >, kiinteä ja r N +. Valitaan (ks. kuva 2.) sellainen k = k(r) N, että n k 2 r < n k+. (2.5) 22

28 PSfrag 2 r n n 2 n k n k+ Kuva 2.: Indeksin k valinta lauseen 2. todistuksessa. log b 2 log b n g(2) g(n) k r r k+ r Kuva 2.2: Lauseen 2. todistuksen havainnollistus. Nyt g on aidosti kasvava, joten Tuloksen (2.3) nojalla saadaan eli g(n k ) g(2 r ) < g(n k+ ). kg(n) rg(2) < (k + )g(n), k r g(2) g(n) < k +. (2.6) r Huomaa, että g on aidosti kasvava, joten g(n) > g() = 0. Edelleen b >, joten log b on aidosti kasvava. Kaavasta (2.5) saadaan siten josta edelleen k log b n r log b 2 < (k + ) log b n, k r log b 2 log b n < k +. r Huomioidaan tulos (2.6), jolloin (ks. kuva 2.2) log b 2 log b n g(2) g(n) < r. Luku r on mielivaltainen, joten 23

29 eli log b 2 log b n = g(2) g(n), g(n) = g(2) log b 2 log b n, mikä pätee myös, kun n =. Siten ehdossa (2.2) voidaan ottaa C = g(2) log b 2. Olkoon sitten p = r Q, r, s > 0. Nyt s ( ) ( r h = h s s ) r josta edelleen saadaan ( r h = h s) ( ) h s ( (i) r = h + h s) ( ), r ( ) = g(s) g(r) r = C log b s C log b r = C log b r s. (2.7) Lauseen väite pätee siis rationaalisilla p. Lauseen väite mielevaltaiselle p ]0, ] seuraa nyt funktioiden h ja log b jatkuvuudesta: kun p k p, p k ]0, ] Q, saadaan h(p) = lim h(p k ) (2.7) = lim [ C log b p k ] = C log b p. k k Jatkossa otetaan b = 2 ja merkitään log 2 = log. Tämä valinta vaikuttaa vain vakioon C, koska jos a, b >, niin log a p = log a b log b p. Otamme myös jatkossa C =, mikä vaikuttaa vain mitta-asteikkoon. Kun p =, niin h(p) = C log = C log 2 = C. Näin valinta C = tarkoittaa, 2 2 että symmetrisen lantin heiton antama informaatio on yksikköä. Näin tapahtuman A, P(A) = p > 0, epävarmuus tai informaatiosisältö määritellään kaavalla h(p) = log p. Epävarmuuden tai informaatiosisällön yksikkö on bitti. 24

30 2.2 Satunnaismuuttujat ja informaatio Olkoon (Ω, F, P) todennäköisyysavaruus. Siis, Ω on alkeistapausten joukko eli perusjoukko F on tapahtumien joukko (Ω:n osajoukkojen σ-algebra) P on todennäköisyys eli P on kuvaus F [0, ] Esimerkki 2.2. Tarkastellaan nopan heittoa. Alkeistapausten joukko on nyt Ω = {, 2, 3, 4, 5, 6} ja tapausten joukkona F on Ω:n kaikki osajoukot. Kun A Ω, määritellään P(A) = A 6, missä A =joukon A alkioiden lukumäärä. Jatkossa käsitellään satunnaismuuttujia (sm), joiden arvojoukko on äärellinen, eli satunnaismuuttujat voivat saada vain äärellisen monta eri arvoa. Tällainen satunnaismuuttuja on kuvaus X : Ω X, missä X on äärellinen joukko ja X:lle pätee {X = x} = {ω Ω X(ω) = x} F kaikilla x X. Merkitään p(x) = P{X = x}, x X, missä p(x):t ovat satunnaismuuttujan X pistetodennäköisyyksiä. Merkitsemme tavallisesti myös p(x):llä itse pistetodennäköisyysfunktiota (ptnf) p : X [0, ]. Myös merkintää X p(x) käytetään toisinaan. 25

31 Edelleen, jos Y : Ω Y on toinen satunnaismuuttja, merkitään tavallisesti p(y):llä satunnaismuuttujan Y pistetodennäköisyysfunktiota. Tässä hieman huolimattomassa merkintätavassa siis vain argumentin nimi (x tai y) kertoo sen, että kyseessä on yleensä eri funktiot p(x) ja p(y). X voi periaatteessa olla mikä äärellinen joukko hyvänsä: {0, }, {a, b, c, d}, {,, }. Toisaalta, nimeämällä alkiot uudestaan, voitaisiin yhtä hyvin olettaa, että X = {,...,m}, jos X = m. Kuvassa 2.3 on erään Linux-oppaan perusteella laadittu taulukko englannin kielen kirjainten esiintymistodennäköisyyksistä. Nämä ovat siis sellaisen satunnaismuuttujan arvojen todennäköisyydet, joka kuvaa umpimähkään valittua kirjainta kyseisestä oppaasta. Tapahtuman {X = x} epävarmuus tai informaatiosisältö on edellisen luvun mukaan log ( P{X = x} ) = log p(x). Määritelmä 2.2. Satunnaimuuttujan X entropia on H(X) = p(x) log p(x). x X Huomautus. Sovitaan, että 0 log 0 = 0 (koska lim t log t = 0). t 0 + Huomautus. H(X) on itseasiassa odotusarvo H(X) = E log p(x) = E ( log p(x) ). Tässä log p(x) on satunnaismuuttuja ω log p ( X(ω) ) = log ( P{X = X(ω)} ). Siten H(X) on satunnaismuuttujan X arvojen keskimääräinen epävarmuus tai informaatiosisältö. 26

32 Kuva 2.3: Eräs arvio englannin kielen kirjainten esiintymistodennäköisyyksistä. Oikean puoleinen sarake havainnollistaa todennäköisyyksiä vielä graafisesti (esimerkki lähteestä [5]) 27

33 Huomautus. Vain todennäköisyydet p(x) ovat tässä tärkeitä ja satunnaismuuttujan X varsinaiset arvot ovat täysin epäoleellisia. Huomautus. Vaikka funktion h(p) ja sitä kautta entropian H(X) määritelmä pyrittiin perustelemaan intuitiivisesti, on asetettujen määritelmien todellinen motivaatio se, että ne johtavat hyvään ja hyödylliseen tiedonsiirron teoriaan, jota voi menestyksellä soveltaa mm. koodien konstruktioon. Lause 2.3. H(X) 0 ja H(X) = 0 jos ja vain jos X on vakio (todennäköisyydellä ). Todistus. Kaikilla x X on 0 p(x), joten p(x) log p(x) 0. Siten H(X) = p(x) log p(x) 0. x X Edelleen, jos H(X) = 0 on p(x) log p(x) = 0 kaikilla x X, eli p(x) = 0 tai kaikilla x X. Mutta p(x) =, joten tällöin p(x) = täsmälleen yhdellä x X x X, jolle siis pätee p(x) = P{X = x} =. Kääntäen, jos X on vakio (todennäköisyydellä ), on yksi luvuista p(x) arvoltaan ja muut 0, jolloin H(X) = 0. Siis: Satunnaismuuttujassa X ei ole epävarmuutta H(X) = 0 X on vakio. Esimerkki 2.3. Olkoon X = {0, },, todennäköisyydellä p X = 0, todennäköisyydellä p. Silloin H(X) = p log p ( p) log( p) H(p). Kuvassa 2.4 on esitetty tämän funktion kuvaaja. Havaitaan, että kun p = 0 tai p =, ei satunnaismuuttujassa X ole lainkaan epävarmuutta: H(0) = H() = 0. Tällöin X on vakio (todennäköisyydellä 28

34 H(p) p Kuva 2.4: Funktio H(p). ). Suurin epävarmuus saadaan arvolla p = /2, jolloin H(/2) =. Tämä vastaa symmetrisen lantin heittoa. Saatu informaation heiton tuloksesta on bitti. Jos X = m ja p,...,p m ovat arvojen x X todennäköisyydet, merkitään jatkossa joskus myös H(X) = H(p,...,p m ). Entropian voi ajatella liittyvän myös satunnaismuuttujan X arvon määräämiseen binäärisillä ei/kyllä vastauksilla. Esimerkki 2.4. X saa arvot a, b, c, d ja e todennäköisyyksillä 0.3, 0.2, 0.2, 0.5 ja 0.5. Kuvassa 2.5 on X:ää vastaava binääripuu, missä ei = 0 ja kyllä =. 29

35 X = a tai b? 0 X = c? X = a? 0 0 X = d? 0 c b a e d Kuva 2.5: Satunnaismuuttujaa X vastaava binääripuu. Keskimääräinen kysymysten lukumäärä X:n arvo selvittämisesksi on = 2.3. Binääripuusta saadaan koodaus a b 0 c 0 d 00 e 000 Keskimääräinen koodin pituus L = 2.3 bittiä, sama kuin keskimääräinen kysymysten lukumäärä. Toisaalta, H(X) = 0.3 log log log log log

36 Ei ole itse asiassa sattumaa, että L = H(X) + ε, missä ε > 0. Myöhemmin tullaan osoittamaan, että tietyn tyyppisten binääristen koodien joukossa keskimäärin lyhimmälle koodille pätee H(X) L < H(X) +. Edelleen, koodaamalla jonoja (x,..., x n ), x i {a, b, c, d, e} yksittäisten alkioiden sijaan saadaan tietyissä tilanteissa keskimäärin lyhimmälle koodille L, että H(X) L n < H(X) + n, eli optimikoodin keskimääräinen pituus per symboli H(X). Näin olemme saaneet entropialle toisen tulkinnan: H(X) =keskimäärin pienin binääristen kysymysten lukumäärä satunnaismuuttujan X arvon selvittämiseksi. Tarkastellaan sitten satunnaismuuttajaparia (X, Y ). Satunnaismuuttujan X arvojoukko on X ja satunnaismuuttujan Y arvojoukko on Y. Parin (X, Y ) arvojoukko on siten X Y (myös äärellinen). Pistetodennäköisyydet ovat p(x, y) = P{X = x ja Y = y} ja merkitsemme (X, Y ) p(x, y). Kuvassa 2.6 on samasta tekstiaineistosta kuin kuvassa 2.3 lasketut kirjainparien pistetodennäköisyydet graafisesti havainnollistettuna. Määritelmä 2.4. Parin (X, Y ) yhteisentropia on satunnaismuuttujan (X, Y ) entropia, H(X, Y ) = p(x, y) log p(x, y). x X y Y Huomautus. Siis H(X, Y ) = E log p(x, Y ). Määritelmä 2.5. Satunnaismuuttujan Y entropia ehdolla X = x on H(Y X = x) = p(y x) log p(y x). y Y 3

Informaatioteoria. Lasse Holmström Sovelletun matematiikan ja tilastotieteen yksikkö Oulun yliopisto. Kevät 2016. 1 f f. f 1 1 1 f

Informaatioteoria. Lasse Holmström Sovelletun matematiikan ja tilastotieteen yksikkö Oulun yliopisto. Kevät 2016. 1 f f. f 1 1 1 f Informaatioteoria Lasse Holmström Sovelletun matematiikan ja tilastotieteen yksikkö Oulun yliopisto Kevät 206 0 f f 0 X Y f f Sisältö Johdanto. Historiaa................................ Informaatioteorian

Lisätiedot

Shannonin ensimmäinen lause

Shannonin ensimmäinen lause Shannonin ensimmäinen lause Pro gradu Maija-Liisa Metso Matemaattisten tieteiden laitos Oulun yliopisto Syksy 2014 Sisältö Tiivistelmä 2 1 Johdanto informaatioteoriaan 2 1.1 Informaatioteorian historiaa...................

Lisätiedot

Ongelma 1: Onko datassa tai informaatiossa päällekkäisyyttä?

Ongelma 1: Onko datassa tai informaatiossa päällekkäisyyttä? Ongelma 1: Onko datassa tai informaatiossa päällekkäisyyttä? 2012-2013 Lasse Lensu 2 Ongelma 2: Voidaanko dataa tai informaatiota tallettaa tiiviimpään tilaan koodaamalla se uudelleen? 2012-2013 Lasse

Lisätiedot

Viivakoodin viiteopas

Viivakoodin viiteopas Viivakoodin viiteopas Versio 0 FIN 1 Johdanto 1 Yleiskuvaus 1 1 Tämä opas sisältää tietoja viivakooditulostuksesta, joka toimii suoraan Brotherin tulostimeen lähetettyjen komentojen avulla. Yhteensopivat

Lisätiedot

Jatkuvat satunnaismuuttujat

Jatkuvat satunnaismuuttujat Jatkuvat satunnaismuuttujat Satunnaismuuttuja on jatkuva jos se voi ainakin periaatteessa saada kaikkia mahdollisia reaalilukuarvoja ainakin tietyltä väliltä. Täytyy ymmärtää, että tällä ei ole mitään

Lisätiedot

Reaalifunktioista 1 / 17. Reaalifunktioista

Reaalifunktioista 1 / 17. Reaalifunktioista säilyy 1 / 17 säilyy Jos A, B R, niin funktiota f : A B sanotaan (yhden muuttujan) reaalifunktioksi. Tällöin karteesinen tulo A B on (aiempia esimerkkejä luonnollisemmalla tavalla) xy-tason osajoukko,

Lisätiedot

Äärellisesti generoitujen Abelin ryhmien peruslause

Äärellisesti generoitujen Abelin ryhmien peruslause Tero Harju (2008/2010) Äärellisesti generoitujen Abelin ryhmien peruslause Merkintä X on joukon koko ( eli #X). Vapaat Abelin ryhmät Tässä kappaleessa käytetään Abelin ryhmille additiivista merkintää.

Lisätiedot

FUNKTIONAALIANALYYSIN PERUSKURSSI 1. 0. Johdanto

FUNKTIONAALIANALYYSIN PERUSKURSSI 1. 0. Johdanto FUNKTIONAALIANALYYSIN PERUSKURSSI 1. Johdanto Funktionaalianalyysissa tutkitaan muun muassa ääretönulotteisten vektoriavaruuksien, ja erityisesti täydellisten normiavaruuksien eli Banach avaruuksien ominaisuuksia.

Lisätiedot

Esimerkki kaikkialla jatkuvasta muttei missään derivoituvasta funktiosta

Esimerkki kaikkialla jatkuvasta muttei missään derivoituvasta funktiosta Esimerkki kaikkialla jatkuvasta muttei missään derivoituvasta funktiosta Seminaariaine Miikka Rytty Matemaattisten tieteiden laitos Oulun yliopisto 2004 Matemaattista ja historiallista taustaa Tämän kappaleen

Lisätiedot

Digitaalitekniikan matematiikka Luku 13 Sivu 1 (10) Virheen havaitseminen ja korjaus

Digitaalitekniikan matematiikka Luku 13 Sivu 1 (10) Virheen havaitseminen ja korjaus Digitaalitekniikan matematiikka Luku 13 Sivu 1 (10) Digitaalitekniikan matematiikka Luku 13 Sivu 2 (10) Johdanto Tässä luvussa esitetään virheen havaitsevien ja korjaavien koodaustapojen perusteet ja käyttösovelluksia

Lisätiedot

Kvanttimekaniikan tulkinta

Kvanttimekaniikan tulkinta Kvanttimekaniikan tulkinta 20.1.2011 1 Klassisen ja kvanttimekaniikan tilastolliset formuloinnit 1.1 Klassinen mekaniikka Klassisen mekaniikan systeemin tilaa kuvaavat kappaleiden koordinaatit ja liikemäärät

Lisätiedot

031021P Tilastomatematiikka (5 op) viikot 5 6

031021P Tilastomatematiikka (5 op) viikot 5 6 031021P Tilastomatematiikka (5 op) viikot 5 6 Jukka Kemppainen Mathematics Division Jakauman tunnusluvut Jakauman tärkeimmät tunnusluvut ovat odotusarvo ja varianssi. Odotusarvo ilmoittaa jakauman keskikohdan

Lisätiedot

k=1 b kx k K-kertoimisia polynomeja, P (X)+Q(X) = (a k + b k )X k n+m a i b j X k. i+j=k k=0

k=1 b kx k K-kertoimisia polynomeja, P (X)+Q(X) = (a k + b k )X k n+m a i b j X k. i+j=k k=0 1. Polynomit Tässä luvussa tarkastelemme polynomien muodostamia renkaita polynomien ollisuutta käsitteleviä perustuloksia. Teemme luvun alkuun kaksi sopimusta: Tässä luvussa X on muodollinen symboli, jota

Lisätiedot

w + x + y + z =4, wx + wy + wz + xy + xz + yz =2, wxy + wxz + wyz + xyz = 4, wxyz = 1.

w + x + y + z =4, wx + wy + wz + xy + xz + yz =2, wxy + wxz + wyz + xyz = 4, wxyz = 1. Kotitehtävät, tammikuu 2011 Vaikeampi sarja 1. Ratkaise yhtälöryhmä w + x + y + z =4, wx + wy + wz + xy + xz + yz =2, wxy + wxz + wyz + xyz = 4, wxyz = 1. Ratkaisu. Yhtälöryhmän ratkaisut (w, x, y, z)

Lisätiedot

Todennäköisyys (englanniksi probability)

Todennäköisyys (englanniksi probability) Todennäköisyys (englanniksi probability) Todennäköisyyslaskenta sai alkunsa 1600-luvulla uhkapeleistä Ranskassa (Pascal, Fermat). Nykyisin todennäköisyyslaskentaa käytetään hyväksi mm. vakuutustoiminnassa,

Lisätiedot

Kaikkia alla olevia kohtia ei käsitellä luennoilla kokonaan, koska osa on ennestään lukiosta tuttua.

Kaikkia alla olevia kohtia ei käsitellä luennoilla kokonaan, koska osa on ennestään lukiosta tuttua. 6 Alkeisfunktiot Kaikkia alla olevia kohtia ei käsitellä luennoilla kokonaan, koska osa on ennestään lukiosta tuttua. 6. Funktion määrittely Funktio f : A B on sääntö, joka liittää jokaiseen joukon A alkioon

Lisätiedot

MATEMATIIKKA 5 VIIKKOTUNTIA. PÄIVÄMÄÄRÄ: 8. kesäkuuta 2009

MATEMATIIKKA 5 VIIKKOTUNTIA. PÄIVÄMÄÄRÄ: 8. kesäkuuta 2009 EB-TUTKINTO 2009 MATEMATIIKKA 5 VIIKKOTUNTIA PÄIVÄMÄÄRÄ: 8. kesäkuuta 2009 KOKEEN KESTO: 4 tuntia (240 minuuttia) SALLITUT APUVÄLINEET: Eurooppa-koulun antama taulukkovihkonen Funktiolaskin, joka ei saa

Lisätiedot

Johdatus tn-laskentaan perjantai 17.2.2012

Johdatus tn-laskentaan perjantai 17.2.2012 Johdatus tn-laskentaan perjantai 17.2.2012 Kahden diskreetin muuttujan yhteisjakauma On olemassa myös monen muuttujan yhteisjakauma, ja jatkuvien muuttujien yhteisjakauma (jota ei käsitellä tällä kurssilla;

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 1 1 Matemaattisesta päättelystä Matemaattisen analyysin kurssin (kuten minkä tahansa matematiikan kurssin) seuraamista helpottaa huomattavasti, jos opiskelija ymmärtää

Lisätiedot

Helsingin, Itä-Suomen, Jyväskylän, Oulun, Tampereen ja Turun yliopisto Matematiikan valintakoe 11.6.2012 klo 10 13 Ratkaisut ja pisteytysohjeet

Helsingin, Itä-Suomen, Jyväskylän, Oulun, Tampereen ja Turun yliopisto Matematiikan valintakoe 11.6.2012 klo 10 13 Ratkaisut ja pisteytysohjeet Helsingin, Itä-Suomen, Jyväskylän, Oulun, Tampereen ja Turun yliopisto Matematiikan valintakoe 11.6.01 klo 10 13 t ja pisteytysohjeet 1. Ratkaise seuraavat yhtälöt ja epäyhtälöt. (a) 3 x 3 3 x 1 4, (b)

Lisätiedot

Nimittäin, koska s k x a r mod (p 1), saadaan Fermat n pienen lauseen avulla

Nimittäin, koska s k x a r mod (p 1), saadaan Fermat n pienen lauseen avulla 6. Digitaalinen allekirjoitus Digitaalinen allekirjoitus palvelee samaa tarkoitusta kuin perinteinen käsin kirjotettu allekirjoitus, t.s. Liisa allekirjoittaessaan Pentille lähettämän viestin, hän antaa

Lisätiedot

LUKU II HOMOLOGIA-ALGEBRAA. 1. Joukko-oppia

LUKU II HOMOLOGIA-ALGEBRAA. 1. Joukko-oppia LUKU II HOMOLOGIA-ALGEBRAA 1. Joukko-oppia Matematiikalle on tyypillistä erilaisten objektien tarkastelu. Tarkastelu kohdistuu objektien tai näiden muodostamien joukkojen välisiin suhteisiin, mutta objektien

Lisätiedot

Nollasummapelit ja bayesilaiset pelit

Nollasummapelit ja bayesilaiset pelit Nollasummapelit ja bayesilaiset pelit Kristian Ovaska HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos Seminaari: Peliteoria Helsinki 18. syyskuuta 2006 Sisältö 1 Johdanto 1 2 Nollasummapelit 1 2.1

Lisätiedot

1 Kannat ja kannanvaihto

1 Kannat ja kannanvaihto 1 Kannat ja kannanvaihto 1.1 Koordinaattivektori Oletetaan, että V on K-vektoriavaruus, jolla on kanta S = (v 1, v 2,..., v n ). Avaruuden V vektori v voidaan kirjoittaa kannan vektorien lineaarikombinaationa:

Lisätiedot

Aloitamme yksinkertaisella leluesimerkillä. Tarkastelemme yhtä osaketta S. Oletamme että tänään, hetkellä t = 0, osakkeen hinta on S 0 = 100=C.

Aloitamme yksinkertaisella leluesimerkillä. Tarkastelemme yhtä osaketta S. Oletamme että tänään, hetkellä t = 0, osakkeen hinta on S 0 = 100=C. Luku 1 Johdatteleva esimerkki Herra K. tarjoaa osto-option Aloitamme yksinkertaisella leluesimerkillä. Tarkastelemme yhtä osaketta S. Oletamme että tänään, hetkellä t = 0, osakkeen hinta on S 0 = 100=C.

Lisätiedot

Karteesinen tulo. Olkoot A = {1, 2, 3, 5} ja B = {a, b, c}. Näiden karteesista tuloa A B voidaan havainnollistaa kuvalla 1 / 21

Karteesinen tulo. Olkoot A = {1, 2, 3, 5} ja B = {a, b, c}. Näiden karteesista tuloa A B voidaan havainnollistaa kuvalla 1 / 21 säilyy Olkoot A = {1, 2, 3, 5} ja B = {a, b, c}. Näiden karteesista tuloa A B voidaan havainnollistaa kuvalla c b a 1 2 3 5 1 / 21 säilyy Esimerkkirelaatio R = {(1, b), (3, a), (5, a), (5, c)} c b a 1

Lisätiedot

Tuloperiaate. Oletetaan, että eräs valintaprosessi voidaan jakaa peräkkäisiin vaiheisiin, joita on k kappaletta

Tuloperiaate. Oletetaan, että eräs valintaprosessi voidaan jakaa peräkkäisiin vaiheisiin, joita on k kappaletta Tuloperiaate Oletetaan, että eräs valintaprosessi voidaan jakaa peräkkäisiin vaiheisiin, joita on k kappaletta ja 1. vaiheessa valinta voidaan tehdä n 1 tavalla,. vaiheessa valinta voidaan tehdä n tavalla,

Lisätiedot

Tietorakenteet ja algoritmit - syksy 2015 1

Tietorakenteet ja algoritmit - syksy 2015 1 Tietorakenteet ja algoritmit - syksy 2015 1 Tietorakenteet ja algoritmit - syksy 2015 2 Tietorakenteet ja algoritmit Johdanto Ari Korhonen Tietorakenteet ja algoritmit - syksy 2015 1. JOHDANTO 1.1 Määritelmiä

Lisätiedot

x > y : y < x x y : x < y tai x = y x y : x > y tai x = y.

x > y : y < x x y : x < y tai x = y x y : x > y tai x = y. ANALYYSIN TEORIA A Kaikki lauseet eivät ole muotoiltu samalla tavalla kuin luennolla. Ilmoita virheistä yms osoitteeseen mikko.kangasmaki@uta. (jos et ole varma, onko kyseessä virhe, niin ilmoita mieluummin).

Lisätiedot

Jarkko Peltomäki. Aliryhmän sentralisaattori ja normalisaattori

Jarkko Peltomäki. Aliryhmän sentralisaattori ja normalisaattori Jarkko Peltomäki Aliryhmän sentralisaattori ja normalisaattori Matematiikan aine Turun yliopisto Syyskuu 2009 Sisältö 1 Johdanto 2 2 Määritelmiä ja perusominaisuuksia 3 2.1 Aliryhmän sentralisaattori ja

Lisätiedot

Tietorakenteet ja algoritmit Johdanto Lauri Malmi / Ari Korhonen

Tietorakenteet ja algoritmit Johdanto Lauri Malmi / Ari Korhonen Tietorakenteet ja algoritmit Johdanto Lauri Malmi / Ari 1 1. JOHDANTO 1.1 Määritelmiä 1.2 Tietorakenteen ja algoritmin valinta 1.3 Algoritmit ja tiedon määrä 1.4 Tietorakenteet ja toiminnot 1.5 Esimerkki:

Lisätiedot

Outoja funktioita. 0 < x x 0 < δ ε f(x) a < ε.

Outoja funktioita. 0 < x x 0 < δ ε f(x) a < ε. Outoja funktioita Differentiaalilaskentaa harjoitettiin miltei 200 vuotta ennen kuin sen perustana olevat reaaliluvut sekä funktio ja sen raja-arvo määriteltiin täsmällisesti turvautumatta geometriseen

Lisätiedot

811312A Tietorakenteet ja algoritmit, 2014-2015, Harjoitus 7, ratkaisu

811312A Tietorakenteet ja algoritmit, 2014-2015, Harjoitus 7, ratkaisu 832A Tietorakenteet ja algoritmit, 204-205, Harjoitus 7, ratkaisu Hajota ja hallitse-menetelmä: Tehtävä 7.. Muodosta hajota ja hallitse-menetelmää käyttäen algoritmi TULOSTA_PUU_LASKEVA, joka tulostaa

Lisätiedot

MATEMATIIKKA 5 VIIKKOTUNTIA

MATEMATIIKKA 5 VIIKKOTUNTIA EB-TUTKINTO 2008 MATEMATIIKKA 5 VIIKKOTUNTIA PÄIVÄMÄÄRÄ: 5. kesäkuuta 2008 (aamupäivä) KOKEEN KESTO: 4 tuntia (240 minuuttia) SALLITUT APUVÄLINEET: Europpa-koulun antama taulukkovihkonen Funktiolaskin,

Lisätiedot

Kurssilla esitetään lyhyt katsaus niihin todennäköisyyden ja satunnaisprosessien peruskäsitteisiin ja -ominaisuuksiin, joita tarvitaan digitaalisten

Kurssilla esitetään lyhyt katsaus niihin todennäköisyyden ja satunnaisprosessien peruskäsitteisiin ja -ominaisuuksiin, joita tarvitaan digitaalisten Todennäköisyys Kurssilla esitetään lyhyt katsaus niihin todennäköisyyden ja satunnaisprosessien peruskäsitteisiin ja -ominaisuuksiin, joita tarvitaan digitaalisten tietoliikennejärjestelmien ymmärtämisessä

Lisätiedot

Johdatus tn-laskentaan torstai 16.2.2012

Johdatus tn-laskentaan torstai 16.2.2012 Johdatus tn-laskentaan torstai 16.2.2012 Muunnoksen jakauma (ei pelkkä odotusarvo ja hajonta) Satunnaismuuttujien summa; Tas ja N Vakiokerroin (ax) ja vakiolisäys (X+b) Yleinen muunnos: neulanheittoesimerkki

Lisätiedot

Ilkka Mellin Todennäköisyyslaskenta Liite 1: Joukko-oppi

Ilkka Mellin Todennäköisyyslaskenta Liite 1: Joukko-oppi Ilkka Mellin Todennäköisyyslaskenta Liite 1: Joukko-oppi TKK (c) Ilkka Mellin (2007) 1 Joukko-oppi >> Joukko-opin peruskäsitteet Joukko-opin perusoperaatiot Joukko-opin laskusäännöt Funktiot Tulojoukot

Lisätiedot

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Jakaumien tunnusluvut. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Jakaumien tunnusluvut. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Todennäköisyyslaskenta Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat Jakaumien tunnusluvut TKK (c) Ilkka Mellin (2007) 1 Jakaumien tunnusluvut >> Odotusarvo Varianssi Markovin ja Tshebyshevin

Lisätiedot

Kappale 20: Kantaluvut

Kappale 20: Kantaluvut Kappale 20: Kantaluvut 20 Johdanto: Kantaluvut... 328 Kantalukujen syöttäminen ja muuntaminen... 329 Matemaattiset toiminnot Hex- ja Bin-luvuilla... 330 Bittien vertaileminen ja manipulointi... 331 Huom!

Lisätiedot

3 Suorat ja tasot. 3.1 Suora. Tässä luvussa käsitellään avaruuksien R 2 ja R 3 suoria ja tasoja vektoreiden näkökulmasta.

3 Suorat ja tasot. 3.1 Suora. Tässä luvussa käsitellään avaruuksien R 2 ja R 3 suoria ja tasoja vektoreiden näkökulmasta. 3 Suorat ja tasot Tässä luvussa käsitellään avaruuksien R 2 ja R 3 suoria ja tasoja vektoreiden näkökulmasta. 3.1 Suora Havaitsimme skalaarikertolaskun tulkinnan yhteydessä, että jos on mikä tahansa nollasta

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 27. syyskuuta 2007 Antti Rasila () TodB 27. syyskuuta 2007 1 / 15 1 Diskreetit jakaumat Diskreetti tasainen jakauma Bernoulli-jakauma Binomijakauma Geometrinen

Lisätiedot

Ongelma(t): Miten digitaalista tietoa voidaan toisintaa ja visualisoida? Miten monimutkaista tietoa voidaan toisintaa ja visualisoida?

Ongelma(t): Miten digitaalista tietoa voidaan toisintaa ja visualisoida? Miten monimutkaista tietoa voidaan toisintaa ja visualisoida? Ongelma(t): Miten digitaalista tietoa voidaan toisintaa ja visualisoida? Miten monimutkaista tietoa voidaan toisintaa ja visualisoida? 2 Tieto on koodattu aikaisempaa yleisemmin digitaaliseen muotoon,

Lisätiedot

PRELIMINÄÄRIKOE PITKÄ MATEMATIIKKA 9.2.2011

PRELIMINÄÄRIKOE PITKÄ MATEMATIIKKA 9.2.2011 PRELIMINÄÄRIKOE PITKÄ MATEMATIIKKA 9..0 Kokeessa saa vastata enintään kymmeneen tehtävään.. Sievennä a) 9 x x 6x + 9, b) 5 9 009 a a, c) log 7 + lne 7. Muovailuvahasta tehty säännöllinen tetraedri muovataan

Lisätiedot

Littlen tulos. Littlen lause sanoo. N = λ T. Lause on hyvin käyttökelpoinen yleisyytensä vuoksi

Littlen tulos. Littlen lause sanoo. N = λ T. Lause on hyvin käyttökelpoinen yleisyytensä vuoksi J. Virtamo 38.3143 Jonoteoria / Littlen tulos 1 Littlen tulos Littlen lause Littlen tuloksena tai Littlen lauseena tunnettu tulos on hyvin yksinkertainen relaatio järjestelmään tulevan asiakasvirran, keskimäärin

Lisätiedot

Probabilistiset mallit (osa 2) Matemaattisen mallinnuksen kurssi Kevät 2002, luento 10, osa 2 Jorma Merikoski Tampereen yliopisto

Probabilistiset mallit (osa 2) Matemaattisen mallinnuksen kurssi Kevät 2002, luento 10, osa 2 Jorma Merikoski Tampereen yliopisto Probabilistiset mallit (osa 2) Matemaattisen mallinnuksen kurssi Kevät 2002, luento 10, osa 2 Jorma Merikoski Tampereen yliopisto Esimerkki Tarkastelemme ilmiötä I, joka on a) tiettyyn kauppaan tulee asiakkaita

Lisätiedot

Teema 4. Homomorfismeista Ihanne ja tekijärengas. Teema 4 1 / 32

Teema 4. Homomorfismeista Ihanne ja tekijärengas. Teema 4 1 / 32 1 / 32 Esimerkki 4A.1 Esimerkki 4A.2 Esimerkki 4B.1 Esimerkki 4B.2 Esimerkki 4B.3 Esimerkki 4C.1 Esimerkki 4C.2 Esimerkki 4C.3 2 / 32 Esimerkki 4A.1 Esimerkki 4A.1 Esimerkki 4A.2 Esimerkki 4B.1 Esimerkki

Lisätiedot

Kuvaus eli funktio f joukolta X joukkoon Y tarkoittaa havainnollisesti vastaavuutta, joka liittää joukon X jokaiseen alkioon joukon Y tietyn alkion.

Kuvaus eli funktio f joukolta X joukkoon Y tarkoittaa havainnollisesti vastaavuutta, joka liittää joukon X jokaiseen alkioon joukon Y tietyn alkion. Kuvaus eli funktio f joukolta X joukkoon Y tarkoittaa havainnollisesti vastaavuutta, joka liittää joukon X jokaiseen alkioon joukon Y tietyn alkion. Vastaavuus puolestaan on erikoistapaus relaatiosta.

Lisätiedot

Helsingin, Itä-Suomen, Jyväskylän, Oulun, Tampereen ja Turun yliopisto Matematiikan valintakoe 10.6.2013 klo 10-13 Ratkaisut ja pisteytysohjeet

Helsingin, Itä-Suomen, Jyväskylän, Oulun, Tampereen ja Turun yliopisto Matematiikan valintakoe 10.6.2013 klo 10-13 Ratkaisut ja pisteytysohjeet Helsingin, Itä-Suomen, Jyväskylän, Oulun, Tampereen ja Turun yliopisto Matematiikan valintakoe.6. klo - Ratkaisut ja pisteytysohjeet. Ratkaise seuraavat epäyhtälöt ja yhtälö: a) x+ x +9, b) log (x) 7,

Lisätiedot

Hahmon etsiminen syotteesta (johdatteleva esimerkki)

Hahmon etsiminen syotteesta (johdatteleva esimerkki) Hahmon etsiminen syotteesta (johdatteleva esimerkki) Unix-komennolla grep hahmo [ tiedosto ] voidaan etsia hahmon esiintymia tiedostosta (tai syotevirrasta): $ grep Kisaveikot SM-tulokset.txt $ ps aux

Lisätiedot

Verkot ja todennäköisyyslaskenta Verkko Verkko eli graafi muodostuu pisteiden joukosta V, särmien joukosta A ja insidenssikuvauksesta : A V V jossa

Verkot ja todennäköisyyslaskenta Verkko Verkko eli graafi muodostuu pisteiden joukosta V, särmien joukosta A ja insidenssikuvauksesta : A V V jossa Mat-.6 Sovellettu todennäköisyyslaskenta B Mat-.6 Sovellettu todennäköisyyslaskenta B / Ratkaisut Aiheet: Verkot ja todennäköisyyslaskenta Satunnaismuuttujat ja todennäköisyysjakaumat Kertymäfunktio Jakaumien

Lisätiedot

Yleiset lineaarimuunnokset

Yleiset lineaarimuunnokset TAMPEREEN YLIOPISTO Pro gradu -tutkielma Kari Tuominen Yleiset lineaarimuunnokset Matematiikan ja tilastotieteen laitos Matematiikka Toukokuu 29 Tampereen yliopisto Matematiikan ja tilastotieteen laitos

Lisätiedot

Neljän alkion kunta, solitaire-peli ja

Neljän alkion kunta, solitaire-peli ja Neljän alkion kunta, solitaire-peli ja taikaneliöt Kalle Ranto ja Petri Rosendahl Matematiikan laitos, Turun yliopisto Nykyisissä tietoliikennesovelluksissa käytetään paljon tekniikoita, jotka perustuvat

Lisätiedot

n! k!(n k)! n = Binomikerroin voidaan laskea pelkästään yhteenlaskun avulla käyttäen allaolevia ns. palautuskaavoja.

n! k!(n k)! n = Binomikerroin voidaan laskea pelkästään yhteenlaskun avulla käyttäen allaolevia ns. palautuskaavoja. IsoInt Tietokoneiden muisti koostuu yksittäisistä muistisanoista, jotka nykyaikaisissa koneissa ovat 64 bitin pituisia. Muistisanan koko asettaa teknisen rajoituksen sille, kuinka suuria lukuja tietokone

Lisätiedot

HELSINGIN YLIOPISTO HELSINGFORS UNIVERSITET UNIVERSITY OF HELSINKI. Matematiikan ja tilastotieteen laitos. Matemaattis-luonnontieteellinen

HELSINGIN YLIOPISTO HELSINGFORS UNIVERSITET UNIVERSITY OF HELSINKI. Matematiikan ja tilastotieteen laitos. Matemaattis-luonnontieteellinen HELSINGIN YLIOPISTO HELSINGFORS UNIVERSITET UNIVERSITY OF HELSINKI Tiedekunta/Osasto Fakultet/Sektion Faculty Laitos Institution Department Matemaattis-luonnontieteellinen Tekijä Författare Author Aleks

Lisätiedot

Pinot, jonot, yleisemmin sekvenssit: kokoelma peräkkäisiä alkioita (lineaarinen järjestys) Yleisempi tilanne: alkioiden hierarkia

Pinot, jonot, yleisemmin sekvenssit: kokoelma peräkkäisiä alkioita (lineaarinen järjestys) Yleisempi tilanne: alkioiden hierarkia Pinot, jonot, yleisemmin sekvenssit: kokoelma peräkkäisiä alkioita (lineaarinen järjestys) Yleisempi tilanne: alkioiden hierarkia Kukin alkio (viite) talletettuna solmuun (node) vastaa paikan käsitettä

Lisätiedot

TAMPEREEN YLIOPISTO Pro gradu -tutkielma. Jarno Haapaniemi. Youngin taulut

TAMPEREEN YLIOPISTO Pro gradu -tutkielma. Jarno Haapaniemi. Youngin taulut TAMPEREEN YLIOPISTO Pro gradu -tutkielma Jarno Haapaniemi Youngin taulut Informaatiotieteiden yksikkö Matematiikka Maaliskuu 2011 Tampereen yliopisto Informaatiotieteiden yksikkö HAAPANIEMI, JARNO: Youngin

Lisätiedot

TKK @ Ilkka Mellin (2008) 1/5

TKK @ Ilkka Mellin (2008) 1/5 Mat-1.2620 Sovellettu todennäköisyyslaskenta B / Tehtävät Demo-tehtävät: 1, 3, 6, 7 Pistetehtävät: 2, 4, 5, 9 Ylimääräiset tehtävät: 8, 10, 11 Aiheet: Moniulotteiset jakaumat Avainsanat: Diskreetti jakauma,

Lisätiedot

3.3 Paraabeli toisen asteen polynomifunktion kuvaajana. Toisen asteen epäyhtälö

3.3 Paraabeli toisen asteen polynomifunktion kuvaajana. Toisen asteen epäyhtälö 3.3 Paraabeli toisen asteen polynomifunktion kuvaajana. Toisen asteen epäyhtälö Yhtälön (tai funktion) y = a + b + c, missä a 0, kuvaaja ei ole suora, mutta ei ole yhtälökään ensimmäistä astetta. Funktioiden

Lisätiedot

TIEA241 Automaatit ja kieliopit, kevät 2011 (IV) Antti-Juhani Kaijanaho. 31. maaliskuuta 2011

TIEA241 Automaatit ja kieliopit, kevät 2011 (IV) Antti-Juhani Kaijanaho. 31. maaliskuuta 2011 TIEA241 Automaatit ja kieliopit, kevät 2011 (IV) Antti-Juhani Kaijanaho TIETOTEKNIIKAN LAITOS 31. maaliskuuta 2011 Sisällys Sisällys Chomskyn hierarkia kieli säännöllinen kontekstiton kontekstinen rekursiivisesti

Lisätiedot

Matematiikka ja teknologia, kevät 2011

Matematiikka ja teknologia, kevät 2011 Matematiikka ja teknologia, kevät 2011 Peter Hästö 3. helmikuuta 2011 Matemaattisten tieteiden laitos Sisältö Kurssi koostuu kuudesta (seitsemästä) toisistaan riippumattomasta luennosta. Aihepiirit ovat:

Lisätiedot

Funktion derivoituvuus pisteessä

Funktion derivoituvuus pisteessä Esimerkki A Esimerkki A Esimerkki B Esimerkki B Esimerkki C Esimerkki C Esimerkki 4.0 Ratkaisu (/) Ratkaisu (/) Mielikuva: Funktio f on derivoituva x = a, jos sen kuvaaja (xy-tasossa) pisteen (a, f(a))

Lisätiedot

Automaatit. Muodolliset kielet

Automaatit. Muodolliset kielet Automaatit Automaatit ovat teoreettisia koneita, jotka käsittelevät muodollisia sanoja. Automaatti lukee muodollisen sanan kirjain kerrallaan, vasemmalta oikealle, ja joko hyväksyy tai hylkää sanan. Täten

Lisätiedot

Algoritmit 1. Luento 13 Ti 23.2.2016. Timo Männikkö

Algoritmit 1. Luento 13 Ti 23.2.2016. Timo Männikkö Algoritmit 1 Luento 13 Ti 23.2.2016 Timo Männikkö Luento 13 Suunnittelumenetelmät Taulukointi Kapsäkkiongelma Ahne menetelmä Verkon lyhimmät polut Dijkstran menetelmä Verkon lyhin virittävä puu Kruskalin

Lisätiedot

Mat-2.3114 Investointiteoria Laskuharjoitus 3/2008, Ratkaisut 05.02.2008

Mat-2.3114 Investointiteoria Laskuharjoitus 3/2008, Ratkaisut 05.02.2008 Korko riippuu usein laina-ajan pituudesta ja pitkille talletuksille maksetaan korkeampaa korkoa. Spot-korko s t on se korko, joka kertyy lainatulle pääomalle hetkeen t (=kokonaisluku) mennessä. Spot-korot

Lisätiedot

Hieman joukko-oppia. A X(A a A b A a b).

Hieman joukko-oppia. A X(A a A b A a b). Hieman joukko-oppia Seuraavassa esittelen hieman alkeellista joukko-oppia. Päämääränäni on saada käyttöön hyvinjärjestyslause, jota tarvitsemme myöhemmin eräissä todistuksissa. Esitykseni on aika, vaikkei

Lisätiedot

Luonnollisen kielen tilastollinen käsittely. T-61.281 (3 ov) L. Luento 2, 21.1.2003. Luentokalvot: Krista Lagus ja Timo Honkela

Luonnollisen kielen tilastollinen käsittely. T-61.281 (3 ov) L. Luento 2, 21.1.2003. Luentokalvot: Krista Lagus ja Timo Honkela Luonnollisen kielen tilastollinen käsittely T-61.281 (3 ov) L Luento 2, 21.1.2003 Luennot: Laskuharjoitukset: Timo Honkela Vesa Siivola Luentokalvot: Krista Lagus ja Timo Honkela 0.1 Laskuharjoitukset

Lisätiedot

OHJ-1010 Tietotekniikan perusteet 4 op Syksy 2012

OHJ-1010 Tietotekniikan perusteet 4 op Syksy 2012 OHJ-1010 Tietotekniikan perusteet 4 op Syksy 2012 Luento 6: Tiedon esittäminen tietokoneessa, osa 1 Tekijät: Antti Virtanen, Timo Lehtonen, Matti Kujala, Kirsti Ala-Mutka, Petri M. Gerdt et al. Luennon

Lisätiedot

MAT-13510 Laaja Matematiikka 1U. Hyviä tenttikysymyksiä T3 Matemaattinen induktio

MAT-13510 Laaja Matematiikka 1U. Hyviä tenttikysymyksiä T3 Matemaattinen induktio MAT-13510 Laaja Matematiikka 1U. Hyviä tenttikysymyksiä T3 Matemaattinen induktio Olkoon a 1 = a 2 = 5 ja a n+1 = a n + 6a n 1 kun n 2. Todista induktiolla, että a n = 3 n ( 2) n, kun n on positiivinen

Lisätiedot

1 Raja-arvo. 1.1 Raja-arvon määritelmä. Raja-arvo 1

1 Raja-arvo. 1.1 Raja-arvon määritelmä. Raja-arvo 1 Raja-arvo Raja-arvo Raja-arvo kuvaa funktion f arvon f() kättätmistä, kun vaihtelee. Joillakin funktioilla f() muuttuu vain vähän, kun muuttuu vähän. Toisilla funktioilla taas f() hppää tai vaihtelee arvaamattomasti,

Lisätiedot

Funktion määrittely (1/2)

Funktion määrittely (1/2) Funktion määrittely (1/2) Funktio f : A B on sääntö, joka liittää jokaiseen joukon A alkioon a täsmälleen yhden B:n alkion b. Merkitään b = f (a). Tässä A = M f on f :n määrittelyjoukko, B on f :n maalijoukko.

Lisätiedot

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta Tilastollisen analyysin perusteet Luento 1: ja hajonta Sisältö Havaittujen arvojen jakauma Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvot sopivaan muotoon. Jakauman

Lisätiedot

Syötteen ainoalla rivillä on yksi positiivinen kokonaisluku, joka on alle 1000000000000 = 10 12. Luvussa ei esiinny missään kohtaa numeroa 0.

Syötteen ainoalla rivillä on yksi positiivinen kokonaisluku, joka on alle 1000000000000 = 10 12. Luvussa ei esiinny missään kohtaa numeroa 0. A Alkulukuosat Tehtävänä on laskea annetusta kokonaisluvusta niiden osajonojen määrä, joita vastaavat luvut ovat alkulukuja. Esimerkiksi luvun 123 kaikki osajonot ovat 1, 2, 3, 12, 23 ja 123. Näistä alkulukuja

Lisätiedot

Osa 1: Todennäköisyys ja sen laskusäännöt. Klassinen todennäköisyys ja kombinatoriikka

Osa 1: Todennäköisyys ja sen laskusäännöt. Klassinen todennäköisyys ja kombinatoriikka Ilkka Mellin Todennäköisyyslaskenta Osa 1: Todennäköisyys ja sen laskusäännöt Klassinen todennäköisyys ja kombinatoriikka TKK (c) Ilkka Mellin (2007) 1 Klassinen todennäköisyys ja kombinatoriikka >> Klassinen

Lisätiedot

Jos d-kohdan vasemmalla puolella perusjoukkona on X, niin oikealla puolella

Jos d-kohdan vasemmalla puolella perusjoukkona on X, niin oikealla puolella DISKREETTI MATEMATIIKKA, harjoitustehtävät Tehtäviä tulee todennäköisesti lisää. Uudet tehtävät tulevat aikanaan ladattavaksi samalle sivulle, josta tämäkin moniste löytyi. Ilmoitustaululta on nähtävissä

Lisätiedot

Aluksi. 1.1. Kahden muuttujan lineaarinen yhtälö

Aluksi. 1.1. Kahden muuttujan lineaarinen yhtälö Aluksi Matematiikan käsite suora on tarkalleen sama asia kuin arkikielen suoran käsite. Vai oliko se toisinpäin? Matematiikan luonteesta johtuu, että sen soveltaja ei tyydy pelkkään suoran nimeen eikä

Lisätiedot

Talousmatematiikan perusteet ORMS.1030

Talousmatematiikan perusteet ORMS.1030 kevät 2014 Talousmatematiikan perusteet Matti Laaksonen, (Matemaattiset tieteet / Vaasan yliopisto) Vastaanotto to 11-12 huone D110/Tervahovi Sähköposti: matti.laaksonen@uva.fi Opettajan kotisivu: http://lipas.uwasa.fi/

Lisätiedot

Sarjat ja differentiaaliyhtälöt

Sarjat ja differentiaaliyhtälöt Sarjat ja differentiaaliyhtälöt Johdanto Tämä luentomoniste on tarkoitettu korvaamaan luentomuistiinpanoja Sarjat ja differentiaaliyhtälöt-kurssilla. Tämä ei kuitenkaan ole oppikirja, mikä tarkoittaa sitä,

Lisätiedot

nyky-ymmärryksemme mukaan hajaantuvaan sarjaan luvun 1 2 kun n > N Huom! Määritelmä on aivan sama C:ssä ja R:ssä. (Kuva vain on erilainen.

nyky-ymmärryksemme mukaan hajaantuvaan sarjaan luvun 1 2 kun n > N Huom! Määritelmä on aivan sama C:ssä ja R:ssä. (Kuva vain on erilainen. Sarjaoppia Käsitellään kompleksi- ja reaalisarjat yhdessä. Reaalilukujen ominaisuuksista (kuten järjestys) riippuvat asiat tulevat lisämausteena mukaan. Kirjallisuutta: 1. [KRE] Kreyszig: Advanced Engineering

Lisätiedot

3.11.2006. ,ܾ jaü on annettu niin voidaan hakea funktion 0.1 0.2 0.3 0.4

3.11.2006. ,ܾ jaü on annettu niin voidaan hakea funktion 0.1 0.2 0.3 0.4 Ü µ ½ ¾Ü¾µ Ü¾Ê 3.11.2006 1. Satunnaismuuttujan tiheysfunktio on ¼ ļ ܽ ܾ ÜÒµ Ä Ü½ ÜÒµ Ò Ä Ü½ ܾ ÜÒµ ܽ µ ܾ µ ÜÒ µ Ò missä tietenkin vaaditaan, että ¼. Muodosta :n ¾Ä ܽ ÜÒµ Ò ½¾ ܾ Ò ½ ¾Ü¾½µ ½ ¾Ü¾Òµ

Lisätiedot

Todennäköisyyslaskenta 1/7 Sisältö ESITIEDOT: joukko-oppi, lukumäärän laskeminen, funktiokäsite Hakemisto

Todennäköisyyslaskenta 1/7 Sisältö ESITIEDOT: joukko-oppi, lukumäärän laskeminen, funktiokäsite Hakemisto Todennäköisyyslaskenta /7 Sisältö ESITIEDOT: joukko-oppi, n laskeminen, käsite Hakemisto Todennäköisyyslaskennan peruskäsitteet Todennäköisyyslaskennassa tarkastelun kohteena ovat satunnaisilmiöt.esimerkkejä

Lisätiedot

Tensorialgebroista. Jyrki Lahtonen A = A n. n=0. I n, I = n=0

Tensorialgebroista. Jyrki Lahtonen A = A n. n=0. I n, I = n=0 Tensorialgebroista Esitysteorian kesäopintopiiri, Turun yliopisto, 2012 Jyrki Lahtonen Olkoon k jokin skalaarikunta. Kerrataan k-algebran käsite: A on k-algebra, jos se on sekä rengas että vektoriavaruus

Lisätiedot

Talousmatematiikan perusteet ORMS.1030

Talousmatematiikan perusteet ORMS.1030 orms.1030 Vaasan avoin yliopisto / kevät 2013 1 Talousmatematiikan perusteet Matti Laaksonen Matemaattiset tieteet Vaasan yliopisto Vastaanotto to 11-12 huone D110/Tervahovi Sähköposti: matti.laaksonen@uva.fi

Lisätiedot

rm + sn = d. Siispä Proposition 9.5(4) nojalla e d.

rm + sn = d. Siispä Proposition 9.5(4) nojalla e d. 9. Renkaat Z ja Z/qZ Tarkastelemme tässä luvussa jaollisuutta kokonaislukujen renkaassa Z ja todistamme tuloksia, joita käytetään jäännösluokkarenkaan Z/qZ ominaisuuksien tarkastelussa. Jos a, b, c Z ovat

Lisätiedot

1 Logiikkaa. 1.1 Logiikan symbolit

1 Logiikkaa. 1.1 Logiikan symbolit 1 Logiikkaa Tieteessä ja jokapäiväisessä elämässä joudutaan tekemään päätelmiä. Logiikassa tutkimuskohteena on juuri päättelyt. Sen sijaan päätelmien sisältöön ei niinkäään kiinnitetä huomiota. Päätelmät

Lisätiedot

Johdatus matemaattiseen päättelyyn

Johdatus matemaattiseen päättelyyn Johdatus matemaattiseen päättelyyn Oulun yliopisto Matemaattisten tieteiden laitos 2011 Maarit Järvenpää 1 Todistamisesta Matematiikassa väitelauseet ovat usein muotoa: jos P on totta, niin Q on totta.

Lisätiedot

Talousmatematiikan perusteet ORMS.1030

Talousmatematiikan perusteet ORMS.1030 orms.1030 Vaasan yliopisto / kevät 2015 Talousmatematiikan perusteet Matti Laaksonen Matemaattiset tieteet, Vaasan yliopisto Vastaanotto to 11-12 huone D110/Tervahovi Sähköposti: matti.laaksonen@uva.fi

Lisätiedot

Mohrin-Mascheronin lause kolmiulotteisessa harppi-viivaingeometriassa

Mohrin-Mascheronin lause kolmiulotteisessa harppi-viivaingeometriassa Mohrin-Mascheronin lause kolmiulotteisessa harppi-viivaingeometriassa Matematiikka Sakke Suomalainen Helsingin matematiikkalukio Ohjaaja: Ville Tilvis 29. marraskuuta 2010 Tiivistelmä Harppi ja viivain

Lisätiedot

5.2 Ensimmäisen asteen yhtälö

5.2 Ensimmäisen asteen yhtälö 5. Ensimmäisen asteen ytälö 5. Ensimmäisen asteen yhtälö Aloitetaan antamalla nimi yhtälön osille. Nyt annettavat nimet eivät riipu yhtälön tyypistä tai asteesta. Tarkastellaan seuraavaa yhtälöä. Emme

Lisätiedot

Kombinatorinen optimointi

Kombinatorinen optimointi Kombinatorinen optimointi Sallittujen pisteiden lukumäärä on äärellinen Periaatteessa ratkaisu löydetään käymällä läpi kaikki pisteet Käytännössä lukumäärä on niin suuri, että tämä on mahdotonta Usein

Lisätiedot

Ei välttämättä, se voi olla esimerkiksi Reuleaux n kolmio:

Ei välttämättä, se voi olla esimerkiksi Reuleaux n kolmio: Inversio-ongelmista Craig, Brown: Inverse problems in astronomy, Adam Hilger 1986. Havaitaan oppositiossa olevaa asteroidia. Pyörimisestä huolimatta sen kirkkaus ei muutu. Projisoitu pinta-ala pysyy ilmeisesti

Lisätiedot

1.4 Funktion jatkuvuus

1.4 Funktion jatkuvuus 1.4 Funktion jatkuvuus Kun arkikielessä puhutaan jonkin asian jatkuvuudesta, mielletään asiassa olevan jonkinlaista yhtäjaksoisuutta, katkeamattomuutta. Tässä ei kuitenkaan käsitellä työasioita eikä ihmissuhteita,

Lisätiedot

Todennäköisyysteoria. Teoria mitasta, mitallisuudesta, mitattomuudesta ja riippumattomuudesta. Tommi Sottinen

Todennäköisyysteoria. Teoria mitasta, mitallisuudesta, mitattomuudesta ja riippumattomuudesta. Tommi Sottinen Todennäköisyysteoria Teoria mitasta, mitallisuudesta, mitattomuudesta ja riippumattomuudesta A. Kolmogorov P. Lévy Tommi Sottinen tommi.sottinen@helsinki.fi mathstat.helsinki.fi/ tsottine 1. joulukuuta

Lisätiedot

Testejä suhdeasteikollisille muuttujille

Testejä suhdeasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman

Lisätiedot

3. Kongruenssit. 3.1 Jakojäännös ja kongruenssi

3. Kongruenssit. 3.1 Jakojäännös ja kongruenssi 3. Kongruenssit 3.1 Jakojäännös ja kongruenssi Tässä kappaleessa esitellään kokonaislukujen modulaarinen aritmetiikka (ns. kellotauluaritmetiikka), jossa luvut tyypillisesti korvataan niillä jakojäännöksillä,

Lisätiedot

A-Osio. Ei saa käyttää laskinta, maksimissaan tunti aikaa. Valitse seuraavista kolmesta tehtävästä kaksi, joihin vastaat:

A-Osio. Ei saa käyttää laskinta, maksimissaan tunti aikaa. Valitse seuraavista kolmesta tehtävästä kaksi, joihin vastaat: MAA6 Loppukoe 26..203 Jussi Tyni Muista merkitä vastauspaperiin oma nimesi ja tee etusivulle pisteytysruudukko. Kaikkiin tehtävien ratkaisuihin välivaiheet näkyviin! Lue ohjeet huolella! A-Osio. Ei saa

Lisätiedot

B. Siten A B, jos ja vain jos x A x

B. Siten A B, jos ja vain jos x A x Mat-1.2600 Sovellettu todennäköisyyslaskenta B / Ratkaisut Aiheet: Johdanto Joukko-opin peruskäsitteet Todennäköisyyslaskennan peruskäsitteet Todennäköisyyslaskennan peruslaskusäännöt Avainsanat: Alkeistapahtuma,

Lisätiedot

Otanta ilman takaisinpanoa

Otanta ilman takaisinpanoa Otanta ilman takaisinpanoa Populaatio, jossa N alkiota (palloa, ihmistä tms.), kahdenlaisia ( valkoinen, musta ) Poimitaan umpimähkään (= symmetrisesti) n-osajoukko eli otos Merkitään tapahtuma A k = otoksessa

Lisätiedot

Kansainväliset matematiikkaolympialaiset 2008

Kansainväliset matematiikkaolympialaiset 2008 Kansainväliset matematiikkaolympialaiset 2008 Tehtävät ja ratkaisuhahmotelmat 1. Teräväkulmaisen kolmion ABC korkeusjanojen leikkauspiste on H. Pisteen H kautta kulkeva ympyrä, jonka keskipiste on sivun

Lisätiedot

Matematiikan ja tilastotieteen laitos Algebra I - Kesä 2009 Ratkaisuehdoituksia harjoituksiin 8 -Tehtävät 3-6 4 sivua Heikki Koivupalo ja Rami Luisto

Matematiikan ja tilastotieteen laitos Algebra I - Kesä 2009 Ratkaisuehdoituksia harjoituksiin 8 -Tehtävät 3-6 4 sivua Heikki Koivupalo ja Rami Luisto Matematiikan ja tilastotieteen laitos Algebra I - Kesä 2009 Ratkaisuehdoituksia harjoituksiin 8 -Tehtävät 3-6 4 sivua Heikki Koivupalo ja Rami Luisto 3. Oletetaan, että kunnan K karakteristika on 3. Tutki,

Lisätiedot

ORMS2020 Päätöksenteko epävarmuuden vallitessa Syksy 2008. päätöspuiden avulla tarkastellaan vasta seuraavissa harjoituksissa.

ORMS2020 Päätöksenteko epävarmuuden vallitessa Syksy 2008. päätöspuiden avulla tarkastellaan vasta seuraavissa harjoituksissa. ORMS00 Päätöksenteko epävarmuuden vallitessa Syksy 008 Harjoitus Ratkaisuehdotuksia Nämä harjoitukset liittyvät päätöspuiden rakentamiseen: varsinaista päätöksentekoa päätöspuiden avulla tarkastellaan

Lisätiedot