Informaatioteoriasta Pro gradu -tutkielma Tero Hukka Matemaattisten tieteiden laitos Oulun yliopisto 2017

Transkriptio

1 Informaatioteoriasta Pro gradu -tutkielma Tero Hukka Matemaattisten tieteiden laitos Oulun yliopisto 2017

2 Sisältö Johdanto 2 1 Todennäköisyysteoriaa Peruskäsitteitä Bayesin kaava Monte Carlo -algoritmit Satunnaismuuttujat Satunnaismuuttujan odotusarvo Törmäysalgoritmit Syntymäpäiväparadoksi Törmäyslause Törmäysalgoritmi diskreetin logaritmin ongelmassa Informaatioteoria Murtamaton salaus Entropia Luonnollisten kielten redundanssi ja entropia Salakielten matematiikkaa Lähteet 49 1

3 Johdanto Tässä tutkielmassa tutustutaan informaatioteoriaan ja sen sovelluksiin. Erityisesti käsitellään salausmenetelmiä ja kieliä. Aluksi käsitellään informaatioteorian pohjana olevaa todennäköisyyslaskentaa. Koska satunnaismuuttujat ovat tärkeässä roolissa informaatioteoriassa, on niiden käsittelyyn syytä paneutua hieman tarkemmin. Käydään lyhyesti läpi myös eräitä satunnaisuutta hyödyntäviä algoritmeja. Koska todennäköisyysteoria rakentuu joukko-opin pohjalle, oletetaan lukijan tuntevan joukko-opin peruskäsitteet. Rajallisen laskentatehon maailmassa algoritmeille on tärkeää niiden suorittamiseen menevä aika. Luvussa kaksi käytetään asymptoottista suoritusaikaa mittaavaa funktiota, jonka tuntemista lukijalta edellytetään (ks. [1], s ). Kolmannessa luvussa päästään itse informaatioteorian perusteisiin ja tarkastellaan sen pohjalta luonnollisten kielten informaatiosisältöä. Viimeisenä tutkitaan hieman salausmenetelmien matematiikkaa. Informaatioteorialle löytyy sovellutuksia niin tietoliikenteestä kuin esimerkiksi molekyylibiologiastakin. Tietokonemaailmassa laajalti käytetyt koodit kuten zip- ja mp3-pakkaus tulivat mahdolliseksi infomaatioteorian pohjille rakentuvan koodausteorian kehityttyä. Tässä Pro gradu -tutkielmassa on käytetty lähteenä pääasiassa teosta [1] An Introduction to Mathematical Cryptography. 2

4 1 Todennäköisyysteoriaa Tässä luvussa tutustutaan diskreetin todennäköisyysteorian perusteisiin. Todennäköisyysteoria on satunnaisilmiöiden matemaattista teoriaa. Aksiomaattisen perustan todennäköisyyslaskennalle kehitti neuvostoliittolainen Andrei Kolmogorov 1930-luvulla. Kolmogorov yhdisti teoksessaan Grundbegrie der Wahrscheinlichkeitsrechnung todennäköisyyslaskennan joukko-opin käsitteisiin sekä mittateoriaan. 1.1 Peruskäsitteitä Määritellään ensin todennäköisyysteorian peruskäsitteitä. Satunnaiskokeella tarkoitetaan jotain toistettavissa olevaa ilmiötä, jonka lopputulos määräytyy satunnaisella mekanismilla. Esimerkiksi arpakuution, eli nopan, heittoa voidaan pitää satunnaiskokeena. Määritelmä 1.1. Otosavaruus Ω on äärellinen joukko satunnaiskokeen tuloksia. Funktio P liittää jokaiseen alkeistapaukseen ω Ω jonkin todennäköisyyden. Toisin sanoen P(ω) : Ω R. Voidaan siis kirjoittaa P(ω) = todennäköisyys, että ω tapahtuu. Funktio P ja otosavaruus Ω muodostavat todennäköisyysavaruuden. Funktion P perusominaisuudet: (a) 0 P(ω) 1 ja (b) P(ω) = 1. (1) ω Ω Intuitiivisesti on mielekästä, että kaikkien alkeistapausten todennäköisyys on välillä 0,..., 1 eli mahdottomasta tapahtumasta varmasti tapahtuvaan. Edelleen pätee, että jokin alkeistapauksista tapahtuu ja otosavaruus Ω pitää sisällään kaikki alkeistapaukset. 3

5 Esimerkki 1.2. Tarkastellaan tavallisen kuusisivuisen nopan heittoa. Jokainen kuudesta mahdollisesta alkeistapauksesta {1, 2, 3, 4, 5, 6} tapahtuu yhtä usein. Voidaankin todeta, että P(1) = P(2) =... = P(6) = 1 6. Myös määritelmän (1.1) ehdot (1) toteutuvat. Todennäköisyys ilmoitetaan usein prosentteina; tässä tapauksessa P(1) = ,7%. Esimerkki 1.3. Heitetään kahta noppaa, punaista ja mustaa. Merkitään punaisella nopalla saatua silmälukua kirjaimella n sekä mustan vastaavaa kirjaimella m. Otosavaruus Ω koostuu tässä tapauksessa joukosta numeropareja Ω = {(n, m) : n, m Z ja 1 n, m 6}. Kuten edellä esimerkissä (1.2), jokainen lukupari eli alkeistapaus saadaan yhtä usein. Esimerkiksi (2, 3) tulee yhtä usein kuin (5, 5). Mahdollisia lopputuloksia on 36 kappaletta. Joten P((n, m)) = On hyvä huomata, että silmälukujen järjestys yllä olevassa esimerkissä (1.3) on oleellinen asia. Punaisella nopalla heitetty 3 sekä mustalla heitetty 6 muodostavat tulosparin (3, 6), joka on eri kuin (6, 3). Esimerkki 1.4. Olkoon uurnassa 100 palloa, joista 21 on valkoisia ja loput mustia. Nostetaan palloista 10 laittamatta niitä takaisin. Mikä on todennäköisyys, että täsmälleen kolme nostetuista palloista on valkoisia? Sadasta pallosta kymmenen erilaista voidaan valita ( ) eri tavalla. Vastaavasti kolme valkoista palloa voidaan valita valkoisten pallojen joukosta ( ) 21 3 eri tavalla, ja seitsemän mustaa palloa ( ) ( 79 7 eri tavalla. On siis 21 )( 79 ) 3 7 eri tapaa valita täsmälleen kolme valkoista ja seitsemän mustaa palloa. Lasketaan kysytty todennäköisyys P(kolme valkoista kymmenellä nostolla ) = ( 21 3 )( 79 7 ) ( 100 ) 0,

6 Edellisissä esimerkeissä esitettyjen alkeistapausten todennäköisyyksien laskeminen on yleensä helppoa. Usein ollaan enemmän kiinnostuneita alkeistapausten joukoista eli tapahtumista. Tapahtumat ovat otosavaruuden osajoukkoja. Esimerkissä (1.3) heitetään noppaa kahdesti. Ajatellaan tapahtumaa ainakin toinen silmäluvuista on kutonen. Tämä tapahtuma on otosavaruuden Ω osajoukko: {(1, 6), (2, 6), (3, 6), (4, 6), (5, 6), (6, 6), (6, 1), (6, 2), (6, 3), (6, 4), (6, 5)}. (2) Tälläisen tapahtuman todennäköisyys voidaan laskea, jos tiedetään jokaisen yksittäisen alkeistapauksen todennäköisyys. Mutta miten lasketaan yleisesti tapahtumien tai tapahtumien yhdisteiden todennäköisyyksiä? Tällöin täytyy tietää ovatko tapahtumat erilliset, vai sisältävätkö ne samoja alkeistapauksia. Seuraavassa määritellään lisää tarvittavia käsitteitä. Määritelmä 1.5. Tapahtuma E on otosavaruuden Ω osajoukko. Asetetaan P(E) = P(ω). ω E Erityisesti asetetaan P( ) = 0 sopimuksen mukaan. Perusominaisuuksien (1) nojalla voidaan lisäksi todeta, että P(Ω) = 1. Määritelmä 1.6. Tapahtumat E ja F ovat toisensa poissulkevat eli erilliset, jos E F =. Nyt P(E F ) = P(E) + P(F ), jos E ja F ovat erilliset. (3) Mikäli tapahtumat E ja F sisältävät samoja alkeistapauksia, voidaan yllä olevaa kaavaa (3) johtaa eteenpäin. Jottei molemmissa tapahtumissa olevia alkeistapauksia lasketa kahteen kertaa, täytyy ne vähentää summasta. Saadaan tulos: P(E F ) = P(E) + P(F ) P(E F ). (4) 5

7 Määritelmä 1.7. Tapahtuman E komplementtitapahtuma E c sisältää kaikki ne alkeistapaukset, jotka eivät ole joukossa E. Toisin sanoen: E c = {ω Ω : ω / E}. Komplementin todennäköisyydelle asetetaan P(E c ) = 1 P(E), (5) koska tapahtuman ja sen komplementtitapahtuman on toteutettava P(E) + P(E c ) = 1. Tapahtumien todennäköisyyksiä on usein helpompi laskea komplenttitapahtumien avulla. Esimerkki 1.8. Palataan edellä olleeseen esimerkkiin (1.3), jossa heitetään kahta noppaa. Olkoon tapahtuma E = {ainakin toinen silmäluvuista on kutonen}. Todennäköisyys on kaavan (2) sekä määritelmän (1.5) perusteella P(E) = 11. Tästä voidaan komplementin todennäköisyyden kaavan (5) nojalla laskea tapahtuman F = {yhtään kutosta ei saada} 36 todennäköisyys P(F ) = P(E c ) = 1 P(E) = Edelleen olkoon tapahtuma F = {kakkosta suurempaa silmälukua ei tule}. Huomataan, että F = {(1, 1), (1, 2), (2, 1), (2, 2)} on erillinen tapahtuma kuin E. Joten yhdistelmän heitetään joko kutonen tai ei kakkosta suurempaa todennäköisyys voidaan laskea seuraavasti P(E F ) = P(E) + P(F ) = = Samoja alkeistapauksia sisältävien tapahtumien todennäköisyyksien laskeminen on sen sijaan hieman monimutkaisempaa. Olkoon tapahtuma G = {saadaan tuplanumerot} = {(1, 1), (2, 2), (3, 3), (4, 4), (5, 5), (6, 6)}. Tällöin tapahtumat E ja G pitävät sisällään saman alkeistapauksen (6, 6). Joten tapahtumien yhdisteessä saadaan joko kutonen tai tuplanumerot on 16, ei 17, alkeistapausta. Käyttämällä tulosta (4) voidaan muotoilla P(E G) = P(E) + P(G) P(E G) = = =

8 Määritelmä 1.9. Sanotaan, että tapahtumat E ja F ovat toisistaan riippumattomia, jos niiden leikkauksen todennäköisyys on tapahtumien todennäköisyyksien tulo. Siis P(E F ) = P(E) P(F ). Leikkauksen todennäköisyys P(E F ) on todennäköisyys sille, että molemmat tapahtumat E ja F tapahtuvat. Esimerkki Vedetään tavallisesta korttipakasta kaksi korttia ilman takaisinpanoa. Tarkastellaan tapahtumia E = {ensimmäinen kortti on kuningas}, F = {toinen kortti on kuningas}. Nyt P(E) = 1 1. Voidaan myös ajatella, että P(F ) =, koska ensimmäisestä nostosta ei ole mitään informaatiota saatavilla. Joten tapahtumien todennäköisyysdet ovat samat. Helpommin ymmärrettävässä muodossa voidaan vastaavasti ajatella, että jaetaan koko korttipakka 52 ihmiselle, tällöin jokainen saa kuninkaan samalla todennäköisyydellä, riippumatta monesko kortti heille jaettiin. Mikäli tiedämme ensimmäisestä kortista jotain, se vaikuttaa myös seuraavaan korttiin. Tarkemmin sanottuna, jos E tapahtuu, on pakassa jäljellä enää 3 kuningasta, joten F tapahtuu harvemmin. Toisaalta, jos E ei tapahdu, on kuninkaita jäljellä vielä 4 ja kortteja enää 51. Matemaattisesti ilmaistuna P(F, jos E tapahtuu) = 3 51 ja P(F, jos E ei tapahdu) = Kahden kuninkaan saamisen todennäköisyys on siis pienempi kuin tulo P(E) P(F ), koska jos E tapahtuu, laskee tapahtuman F todennäköisyys. P(tulee kaksi kuningasta) = P(E F ) = P(E)P(F, kun E tapahtunut) = = ,

9 Olkoon tapahtuma G = {toinen kortti on ässä}. Mikäli E tapahtuu, nousee tapahtuman G todennäköisyys, koska pakassa on enää 51 korttia ja neljä ässää. Edelleen, jos ensimmäinen kortti palautetaan noston jälkeen takaisin pakkaan, tällöin ensimmäisellä nostolla ei tietenkään ole mitään vaikutusta toiseen nostoon. Nyt voidaan laskea todennänköisyys sille, että molemmat E ja F tapahtuvat P(E)P(F ) = ( ) 2 1 0, Joten tapahtumat ovat määritelmän 1.9 nojalla toisistaan riippumattomat. Esimerkki Heitetään noppaa neljä kertaa ja merkitään tulokset ylös. Mitkä ovat seuraavien tapahtumien todennäköisyydet? E = {kaksi ensimmäistä heittoa ovat kutosia }, F = {kaksi ensimmäistä heittoa ovat kutosia ja kaksi viimeistä ykkösiä }, G = {täsmälleen kaksi heitoista ovat kutosia }. Eri heitot eivät vaikuta toisiinsa, joten ne ovat toisistaan riippumattomia tapahtumia. Ensimmäisen kohdan todennäköisyys voidaan siis laskea yksinkertaisesti kertomalla yksittäisten tapausten todennäköisyydet keskenään. Siis P(E) = ( ) 2 1 = ,028. Tapahtuma F, jossa lasketaan todennäköisyyttä, että heitot muodostavat täsmälleen sarjan Jälleen jokainen heitto on erillinen muista, joten P(F ) = ( ) 4 1 = , Viimeinen kohta on hieman monimutkaisempi. Tarvitaan täsmälleen kaksi kutosta, mutta ne voivat olla missä kohtaa sarjaa tahansa. Kutoset voivat 8

10 olla neljän heiton sarjassa ( 4 2) eri tavalla. Muut heitot voivat olla mitä tahansa viidestä muusta numerosta P(G) = 1.2 Bayesin kaava ( ) 4 2 ( ) ( ) 2 5 = ,12. Bayesin kaava on ehdolliseen todennäköisyyteen liittyvä tulos. Sen avulla voidaan laskea todennäköisyys jollekin tapahtumalle, ehdolla että toinen tapahtuma on tapahtunut. Kuten edellä olleesta esimerkistä (1.10) nähtiin, tapahtumien E ja F todennäköisyydet olivat erilaisia, jos edeltävästä tapahtumasta tiedettiin jotain. Tätä kutsutaan ehdolliseksi todennäköisyydeksi. Määritelmä Kun tiedetään, että E on tapahtunut, merkitään ehdollinen todennäköisyys F seuraavasti P(F E) = P(Todennäköisyys F ehdolla E). Ehdollinen todennäköisyys riippuu joukoista E ja F, määritellään P(F E) = P(F E) P(E) (6) Määritelmän perusteella voidaan ajatella, että ehdollinen todennäköisyys kuvaa tilannetta, jossa otosavaruus on joukko E ja tarkastellaan tapahtuman F esiintymistä tässä pienemmässä ympäristössä. Kaavasta (6) voidaan johtaa P(F E)P(E) = P(F E) = P(E F ) = P(E F )P(F ). Edelleen jakamalla saadaan P(E F ) = P(F E)P(E) P(F ) (7) 9

11 Edellä saatua yhtälöä kutsutaan Bayesin kaavaksi. Teoreema on erityisen hyödyllinen, kun tiedetään todennäköisyys F ehdolla E ja halutaan laskea päinvastainen todennäköisyys E ehdolla F. Toisinaan tapahtuman todennäköisyys on helpompi laskea erillisten joukkojen unionina, kuten seuraavassa lauseessa todistetaan. Lause Olkoot E ja F tapahtumia. Tällöin (a) P(E) = P(E F )P(F ) + P(E F c )P(F c ), sekä (b) P(E F ) = P(F E)P(E) P(F E)P(E) + P(F E c )P(E c ) Todistus. Aloitetaan (a)-kohdan oikeasta puolesta: P(E F )P(F ) + P(E F c )P(F c ) = P(E F ) + P(E F c ) määritelmän 1.12 nojalla = P((E F ) (E F c )) koska E F ja E F c ovat erilliset = P(E) koska F F c = Ω. Tämä todistaa (a)-kohdan. Merkitään (b)-kohdan todistuksessa (a)-kohtaa mukaillen P(F ) = P(F E)P(E) + P(F E c )P(E c ). Sijoitetaan tämä kaavan (7) jakajaan, saadaan P(E F ) = jolloin väitteet on todistettu. P(F E)P(E) P(F E)P(E) + P(F E c )P(E c ), Esimerkki Kahdessa laatikossa on palloja. Ensimmäisessä on 10 valkoista ja 3 mustaa palloa, toisessa laatikossa on 4 valkoista ja 8 mustaa palloa. Valitaan umpimähkään toinen laatikoista ja nostetaan sieltä yksi satunnainen pallo. Millä todennäköisyydellä pallo on valkoinen? Merkitään E = {saadaan valkoinen pallo}. 10

12 Tapahtuman E todennäköisyys riippuu siitä, kumpi laatikoista valitaan. Merkitään F = {1. laatikko tulee valituksi}. Nyt lauseen 1.13 nojalla P(E) = P(E F )P(F ) + P(E F c )P(F c ). Laskemalla saadaan Joten P(E F ) = 10 13, P(E F c ) = 4 12, P(F ) = P(F c ) = 1 2. P(E) = = ,55. Esimerkki Niin sanonottu Monty Hallin ongelma on klassinen ehdollisen todennäköisyyden ongelma. Peliohjelmassa on kolme ovea, joista kilpailija valitsee yhden. Kahden oven takana ei ole mitään, mutta yhdessä kolmesta palkintona komeilee arvokas auto. Mikäli kilpailija löytää oikean oven, hän saa pitää palkinnon. Kilpailija valitsee haluamansa oven, joka pidetään vielä tässä vaiheessa suljettuna. Ensimmäisen valinnan jälkeen kahdesta jäljelle jääneestä avataan sellainen ovi, joka ei ainakaan sisällä palkintoa. Oven avaamisen jälkeen kilpailijalta kysytään haluaako hän vaihtaa valintansa vielä jäljellä olevaan suljettuun oveen. Kysymys kuuluu, kannattaako vaihto? Oletetaan, että pelaaja valitsee aluksi oven numero 1. Tilanne on identtinen ovesta riippumatta. Olkoon tapahtumat A 1, A 2, A 3, missä palkinto on aina vastaavan numeron mukaisen oven takana. Näiden kaikkien todennäköisyydet ovat 1 3. Merkitään edelleen tapahtumana X 1 pelaajan valitsemaa ovea. Pelaajan ensimmäinen valinta ei vaikuta palkinnon todelliseen sijaintiin, joten ehdolliset todennäköisyydet P(A i X 1 ) = 1, i = 1, 2, 3. Oletetaan, 3 että juontaja avaa oven kolme, jonka takana ei siis ole palkintoa. Merkitään 11

13 juontajan avaamaa ovea J 3. Tällöin P(J 3 A 1, X 1 ) = 1 2 P(J 3 A 2, X 1 ) = 1 P(J 3 A 3, X 1 ) = 0. Joten jos pelaaja valitsee oven 1 ja juontaja avaa oven 3, ehdollinen todennäköisyys voitolle vaihtamalla ovea on Bayesin kaavan mukaan P(A 2 J 3, X 1 ) = P(J 3 A 2, X 1 )P(A 2 X 1 ) P(J 3 X 1 ) P(J 3 A 2, X 1 )P(A 2 X 1 ) = P(J 3 A 1, X 1 )P(A 1 X 1 ) + P(J 3 A 2, X 1 )P(A 2 X 1 ) + P(J 3 A 3, X 1 )P(A 3 X 1 ) P(J 3 A 2, X 1 ) = P(J 3 A 1, X 1 ) + P(J 3 A 2, X 1 ) + P(J 3 A 3, X 1 ) 1 = = Kun varmasti väärä ovi avataan ensimmäisen valinnan jälkeen, saadaan oleellista lisätietoa siitä, missä palkinto on. Mikäli pelaaja valitsi aluksi oven, joka ei sisällä palkintoa ja tässä vaiheessa vaihtaa valintansa, päätyy hän aina palkintoon, kaksi kertaa kolmesta. Jos pelaaja pitäytyy alkuperäisessä valinnassa, eikä käytä saatua lisäinformaatiota hyväksi, voittaa hän kerran kolmesta. Jos taas ensimmäinen valinta oli palkinnon sisältävä ovi, päätyy vaihtamalla aina menettämään palkinnon. Koska oikea ovi valitaan aluksi vain kerran kolmesta, kannattaa vaihto matemaattisesti aina tehdä. 1.3 Monte Carlo -algoritmit Satunnaisalgoritmit ovat tietynlaisia algoritmeja, jotka hyödyntävät laskennassa satunnaisuutta. Satunnaisalgoritmit ovat nopeampia ja muistinkulutukselta pienempiä kuin deterministiset algoritmit. Monte Carlo -algoritmit ovat erikoistapaus satunnaisalgoritmeista, ne ovat saaneet nimensä kuuluisan kasinokaupungin mukaan. Niiden lopputulos ei ole tarkka. Monte Carlo 12

14 -algoritmin avulla voidaan esimerkiksi testata, onko jokin annettu luku alkuluku. Algoritmia toistetaan useita kertoja, jolloin saadaan riittävä todennäköisyys tuloksesta. Sovellettaessa tällaista algoritmia on erityisen tärkeää saada virheen todennäköisyys halutulle tasolle. Bayesin kaavaa voidaan käyttää tällöin apuna. Esitellään lyhyesti ilman todistusta esimerkkinä Monte Carlo -algoritmista Miller-Rabinin alkulukutesti ([1], s. 127). Testataan onko n alkuluku. 1. Jos n on parillinen, n on yhdistetty luku. 2. Muulloin etsitään sellainen luku k, että n 1 = 2 k q, missä q pariton. 3. Valitaan satunnainen luku a {1,..., n 1}. 4. Jos a q 1 (mod n), n on todennäköisesti alkuluku. 5. Muulloin, jos a 2iq 1 (mod n), luvuille i = 0,..., k 1 n todennäköisesti alkuluku. 6. Muulloin n on yhdistetty luku. Kun Miller-Rabinin alkulukutestiä sovelletaan annettuun lukuun useita kertoja eri satunnaisesti valituilla luvuilla a, saadaan tietyllä todennäköisyydellä varmuus siitä, onko annettu luku alkuluku. Yleisesti Monte Carlo -algoritmit ovat aina satunnaisuutta hyväksi käyttäviä menetelmiä. Tarkastelujoukko voi pitää sisältää erittäin suuren joukon lukuja. Tarkastellaan alkulukutestin avulla joukkoa S. Joukon alkioilla on jokin kiinnostava ominaisuus A. Esimerkiksi S on luvut väliltä Kiinnostava ominaisuus A voisi tässä tapauksessa olla, onko joukon alkio yhdistetty luku. Ominaisuus kiinnostaa, koska suuret alkuluvut ovat eräiden sovellusten takia erittäin hyödyllisiä. Tässä tapauksessa halutaan siis nimenomaan löytää lukuja m S, joilla ei ole ominaisuutta A. Tiedetään, että kyseisen välin luvuista 99 prosentilla on ominaisuus A, kun taas yhdellä prosentilla ei ole. On vaikea selvittää täs- 13

15 mällisesti, millä yksittäisillä luvuilla m ei ole ominaisuutta A. Tässä tapauksessa voimme tyytyä nopeasti laskettavaan algoritmiin, joka antaa riittävän varmuuden asiasta. Algoritmi ominaisuudesta A saa syötteenä luvun m S, jota testataan, sekä satunnaisen luvun r. Algoritmi palauttaa tuloksen kyllä tai ei, seuraavien sääntöjen mukaan: (1) Algoritmi palauttaa kyllä, tällöin luvulla m on varmasti ominaisuus A, P(luvulla m on ominaisuus A algoritmi palauttaa kyllä) = 1. (2) Jos luvulla m on ominaisuus A algoritmi palauttaa kyllä ainakin 50 prosentille r-valinnoista, toisin sanoen, P(algoritmi palauttaa kyllä luvulla m on ominaisuus A) 1 2. Käytetään nyt algoritmia N kertaa lukuun m S, käyttämällä N kappaletta eri satunnaisesti valittua arvoa luvulle r. Jos yksikin yritys palauttaa kyllä, tiedetään, että luvulla m on ominaisuus A. Oletetaan kuitenkin, että jokaisella kerralla algoritmi palauttaa ei. Voidaanko nyt olla varmoja, että luvulla m ei ole ominaisuutta A? Halutaan siis arvioida todennäköisyyttä P(luvulla m ei ole ominaisuutta A algoritmi palauttaa ei N kertaa). Tarkemmin sanottuna osoitetaan, että kun N on iso, todennäköisyys on hyvin lähellä yhtä. Määritellään kaksi tapahtumaa E = {luvulla joukossa S ei ole ominaisuutta A}, F = {algoritmi palauttaa ei N kertaa peräkkäin}. Tarkastellaan ehdollista todennäköisyyttä P(E F ). Se tarkoittaa todennäköisyyttä, että luvulla m ei ole ominaisuutta A, ehdolla, että algoritmi palauttaa ei N kertaa. Haluttu todennäköisyys voidaan laskea Bayesin kaavalla, P(E F ) = P(F E)P(E) P(F E)P(E) + P(F E c )P(E c ). 14

16 Aiemmin todettiin, että 99 prosentilla luvuista joukossa S on ominaisuus A, joten P(E) = 0,01 ja P(E c ) = 0,99. Tarkastellaan seuraavaksi todennäköisyyttä P(F E). Jos luvulla m on ominaisuus A, kuten tässä on ehtona, palauttaa algoritmi palauttaa aina ei. Algoritmin ominaisuuden (1) perusteella tuloste kyllä merkitsee aina sitä, että luvulla m on ominaisuus A; Tästä seuraa, että P(ei ei ominaisuutta A) = P(A kyllä) = 1. P(F E) = P(ei ei ominaisuutta A) = 1. Viimeisenä täytyy vielä laskea todennäköisyys P(F E c ). Algoritmia sovelletaan N kertaa, saadaan P(F E c ) = P(tuloste on ei luvulla m on ominaisuus A) N = (1 P(tuloste on kyllä luvulla m on ominaisuus A)) N (1 1 2 )N algoritmin ominaisuudesta (2), = 1 2 N. Sijoitetaan saadut arvot Bayesin kaavaan ja saadaan todennäköisyys, että algoritmi palauttaa ei N kertaa peräkkäin silloin, kun luvulla m ei ole ominaisuutta A P(E F ) 1 0,01 1 0, N 0,99 = 1 99 = N 2 N Huomataan, kun N on iso niin alaraja on hyvin lähellä yhtä. Esimerkiksi, jos algoritmia sovelletaan sata kertaa ja tuloste on joka kerta ei, todennäköisyys että luvulla ei ole ominaisuutta A on vähintään ,1. Käytännössä voimme siis hyvin suurella todennäköisyydellä sanoa, että luvulla m ei tällöin ole ominaisuutta A. 15

17 1.4 Satunnaismuuttujat Monissa tapauksissa satunnaiskokeen seuraus on paljon mielenkiintoisempi kuin itse koe. Esimerkiksi onnenpelin rahallinen palautus kiinnostaa enemmän kuin itse arvonta. Matemaattisesti ajatellaan tiettyä funktiota, joka yhdistää satunnaiskokeen alkeistapauksiin jonkin lukuarvon. Määritelmä Satunnaismuuttuja on funktio X : Ω R, missä määrittelyjoukko on otosavaruus Ω sekä maalijoukkona reaaliluvut. Koska otosavaruus on tässä äärellinen, saa satunnaismuuttuja vain äärellisen määrän arvoja. Joskus eteen tulee satunnaismuuttujia joiden arvot ovat jotain muuta kuin reaalilukuja, mutta käytännössä nekin ovat aina kuvattavissa reaalilukuina. Satunnaismuuttujat ovat erityisen hyödyllisiä tapahtumien määrittämisessä. Esimerkiksi olkoon X satunnaismuuttuja, tällöin mikä tahansa reaaliluku x määrittää kolme tapahtumaa {ω Ω : X(ω) < x}, {ω Ω : X(ω) = x}, {ω Ω : X(ω) > x}. Määritellään tämän nojalla tiheysfunktion käsite. Määritelmä Olkoon X : Ω R satunnaismuuttuja. Satunnaismuuttujan X tiheysfunktio f X (x) on f X (x) = P(X = x). Toisin sanoen f X (x) on todennäköisyys, jonka satunnaismuuttuja X saa kohdassa x. Tiheysfunktio voidaan myös merkitä lyhyemmin f(x), mikäli satunnaismuuttuja on selvä. On olemassa joitain yleisesti tunnettuja tiheysfunktioita, jotka tulevat jatkuvasti vastaan diskreetissä todennäköisyyslaskennassa, joten on syytä lyhyesti käydä läpi muutama näistä. 16

18 Esimerkki (Tasainen jakauma) Olkoon S joukko, jossa on N alkiota. Esimerkiksi S voi olla joukko S = {0, 1,..., N 1}. Olkoon X satunnaismuuttuja, joka toteuttaa ehdot f X (j) = P(X = j) = { 1 N jos j S, 0 jos j / S. Sanotaan, että kyseinen satunnaismuuttuja X on tasaisesti jakautunut. Esimerkki (Binomijakauma) Olkoon satunnaiskokeessa kaksi tulosvaihtoehtoa: onnistuminen ja epäonnistuminen. Olkoon p onnistumisen todennäköisyys. Satunnaiskoe toistetaan n kertaa ja satunnaismuuttuja X taltioi onnistumisten määrän. Kiinnitetään huomio tiettyihin k määrään kertoja kaikkien suoritettavien toistojen joukosta, todennäköisyys että kyseisillä kerroilla tulee onnistuminen ja muulloin epäonnistuminen, on p k (1 p) n k. On olemassa ( n k) tapaa valita k tiettyä koetta. Täten todennäköisyys täsmälleen k onnistumiselle on ( ) n f X (k) = P(X = k) = p k (1 p) n k. k Kyseessä on binomijakautunut tiheysfunktio. Esimerkki (Hypergeometrinen jakauma) Olkoon uurnassa N määrä palloja, joista m on valkoisia ja loput N m mustia. Nostetaan n palloa ilman takaisinpanoa. Olkoon satunnaismuuttuja X nostettujen valkoisten pallojen lukumäärä, se saa arvonsa väliltä 0 X(ω) min{m, n}. Vastaavasti kuten esimerkissä (1.4) tiheysfunktioksi tulee ( m )( N m ) i n i f X (i) = P(X = i) = ( N. n) Tätä kutsutaan hypergeometrisesti jakautuneeksi tiheysfunktioksi. 17

19 Esimerkki (Geometrinen jakauma) Heitetään toistuvasti painotettua kolikkoa, jossa klaavan todennäköisyys on jotain väliltä 0 < p < 1. Olkoon satunnaismuuttuja X heittojen määrä, joka tarvitaan ensimmäiseen klaavaan. Huomioitavaa on, että X voi saada arvokseen minkä tahansa positiivisen kokonaisluvun. On mahdollista, joskin epätodennäköistä, että heitoista tulee naurettavan monta kruunaa peräkkäin ennen ensimmäistä klaavaa. Voidaan näyttää toteen, että satunnaismuuttujan X tiheysfunktioksi tulee f X (n) = P(X = n) = (1 p) n 1 p kaikille n = 1, 2, 3,... Yllä olevan kaltainen tiheysfunktio on geometrisesti jakautunut. Nimitys tulee siitä, että f X (1), f X (2), f X (3),... muodostavat geometrisen sarjan. Aikaisemmin tutkimme todennäköisyyksiä, missä kaksi tai useampi tapahtumaa vaikuttavat toisiinsa eri tavoin. Seuraavaksi perehdymme kahden tai useamman satunnaismuuttujan vuorovaikutukseen. Määritelmä Olkoot X ja Y satunnaismuuttujia. Satunnaismuuttujien yhteistiheysfunktio, merkitään f X,Y (x, y), on todennäköisyys sille, että X saa arvon x, sekä Y saa arvon y. Siis f X,Y (x, y) = P(X = x ja Y = y). Määritelmä Ehdollinen yhteistiheysfunktio f X Y (x y) on todennäköisyys sille, että X saa arvon x, kun tiedetään, että Y saa arvon y. f X Y (x y) = P(X = x Y = y). Määritelmä Sanotaan, että X ja Y ovat riippumattomia, mikäli f X,Y (x, y) = f X (x)f Y (y) kaikille x, y. Esimerkki Uurnassa on seitsemän kolikkoa, joista neljä on kultaisia ja loput kolme hopeisia. Nostetaan yksi kerrallaan kaksi kolikkoa ja laitetaan ne tutkimisen jälkeen takaisin. Olkoon X nostettujen kultakolikoiden määrä ja Y nostettujen hopeakolikoiden määrä. Määrätään satunnaismuuttujien yhteisjakauma f X,Y (x, y) laskemalla ensin todennäköisyys tapahtumalle 18

20 {X = x ja Y = y}. Asetetaan ensin kaksi uutta satunnaismuuttujaa seuraavasti, olkoon F = { 1 jos ensimmäinen kolikko on kultainen, 0 jos ensimmäinen kolikko on hopeinen, sekä S = { 1 jos toinen kolikko on kultainen, 0 jos toinen kolikko on hopeinen. Nyt X = F + S ja Y = 2 X = 2 F S. Tapahtumat F ja S ovat toisistaan riippumattomia. P(F = 1) = P(S = 1) = 4. Voimme nyt laskea 7 todennäköisyyden f X,Y (1, 1) seuraavasti: f X,Y (1, 1) =P(X = 1 ja Y = 1) =P(F = 1 ja S = 0) + P(F = 0 ja S = 1) =P(F = 1) P(S = 0) + P(F = 0) P(S = 1) = = ,4898. Tämä on todennäköisyys, että nostamme yhden kultaisen ja yhden hopeisen kolikon. Laskut olivat verrattain helppoja, koska X ja Y ovat toisistaan riippumattomia. Tilanne olisi oleellisesti erilainen, jos kolikkoja ei laitettaisi noston jälkeen takaisin uurnaan. Tällöin toisen kolikon materiaalin todennäköisyys riippuisi siitä, saadaanko ensimmäisellä nostolla kultainen vai hopeinen kolikko. Esimerkiksi voitaisiin laskea seuraavasti f X,Y (1, 1) =P(X = 1 ja Y = 1) =P(F = 1 ja S = 0) + P(F = 0 ja S = 1) =P(S = 0 F = 1) P(F = 1) + P(S = 1 F = 0) P(F = 0) = = 4 7 0,5714. Tässä tapauksessa yhden kultaisen ja yhden hopeisen kolikon saaminen olisi siis hieman todennäköisempää. Seuraavana esiteltävä muunnelma Bayesin kaavasta on usein hyödyllinen ehdollisten todennäköisyyksien laskemisessa. 19

21 Lause Olkoon X ja Y satunnaismuuttujia ja oletetaan, että f Y (y) > 0. Tällöin Erityisesti f X Y (x y) = f X(x)f Y X (y x). f Y (y) X ja Y ovat riippumattomia f X Y (x y) = f X (x) kaikille x ja y. Esimerkki Määrätään satunnaismuuttujat (X, Y, Z) seuraavasti: olkoon X ja Y toisistaan riippumattomia, jotka saavat arvoina 1 ja 1, molemmat todennäköisyydellä 1. Lisäksi Z = XY. Tällöin myös Z saa arvoina 2 1 ja 1. Tutkitaan Bayesin kaavan avulla kolmikon parittaisia riippumattomuuksia. Saadaan f Z (1) = x { 1,1} y { 1,1} P(Z = 1 X = x ja Y = y) f X,Y (x, y). Jos (X, Y ) = (1, 1) tai (X, Y ) = ( 1, 1), tällöin Z 1, joten vain termit (X, Y ) = (1, 1) ja (X, Y ) = ( 1, 1) ovat yllä olevassa summassa, siis f Z (1) = P(X = 1 ja Y = 1) + P(X = 1 ja Y = 1) = = 1 2. Saadaan f Z ( 1) = 1 f Z (1) = 1. Lasketaan seuraavaksi yhteisjakauma 2 satunnaismuuttujille Z ja X. Esimerkiksi f Z,X (1, 1) = P{Z = 1 ja X = 1} = P{X = 1 ja Y = 1} = 1 4 koska X ja Y ovat riippumattomia, = f Z (1)f X (1). Vastaavasti laskemalla nähdään, että f Z,X (z, x) = f Z (z)f X (x) kaikille z, x { 1, 1}, joten lauseen (1.26) perusteella voidaan sanoa, että Z ja X ovat riippumattomia. Vastaavasti voidaan osoittaa, että Z ja Y ovat riippumattomia. Joten 20

22 näiden kolmen satunnaismuuttujan joukosta mikä tahansa pari on toisistaan riippumaton. Ei kuitenkaan voida tämän perusteella sanoa, että koko satunnaismuuttujaperhe (X, Y, Z) olisi riippumaton, koska satunnaismuuttujan Z arvo määräytyy kahden muun satunnaismuuttujan perusteella. Määritelläänkin siksi seuraavasti useampien satunnaismuuttujien tapaus. Määritelmä Kahden tai useamman satunnaismuuttujan perhe {X 1, X 2,..., X n } on toisistaan riippumattomia, jos tapahtumat {X 1 = x 1 ja X 2 = x 2 ja... ja X n = x n } ovat keskenään riippumattomia kaikilla x 1, x 2,..., x n. Kuten huomataan, edellisen esimerkin satunnaismuuttujat eivät ole riippumaton satunnaismuuttujaperhe, koska P(Z = 1 ja X = 1 ja Y = 1) = 0, mutta P(Z = 1) P(X = 1) P(Y = 1) = Satunnaismuuttujan odotusarvo Odotusarvo on satunnaismuuttujan todennäköisyyksillä painotettu keskiarvo. Odotusarvo tarjoaa täten jonkinlaisen arvion satunnaismuuttujan käyttäytymisestä. Määritelmä Olkoon X satunnaismuuttuja, joka saa arvot x 1,..., x n. Satunnaismuuttujan X odotusarvo E on summa n n E(X) = x i f X (x i ) = x i P(X = x i ). i=1 i=1 Esimerkki Tarkastellaan kahden nopan heittoa. Satunnaismuuttuja X saa arvonsa noppien yhteenlasketun silmäluvun mukaan. Mahdolliset arvot ovat välillä 2,..., 12, joten 12 E(X) = i P(X = i). i=2 21

23 Kun ajatellaan, että noppien järjestyksellä on väliä, voidaan niillä saada 6 6 = 36 eri tulosta seuraavan taulukon mukaisesti Taulukosta voidaan lukea, että esimerkiksi summa kuusi voidaan saada viidellä eri tavalla. Joten satunnaismuuttujan odotusarvo on 1 E(X) = = 7. Puhuttaessa odotusarvosta täytyy huomata, että 'odotettu' arvo voi olla harhaanjohtava terminä, koska satunnaismuuttuja ei välttämättä edes voi saada samaa arvoa kuin sen odotusarvo on. Kuten seuraavasta esimerkistä käy ilmi. Esimerkki Heitetään noppaa. Satunnaismuuttuja Y saa arvonsa nopan silmäluvun mukaan. Nyt P(Y = i) = 1 kaikilla i = 1, 2,..., 6. Satunnaismuuttuja on tasaisesti jakautunut. 6 Odotusarvo E(Y ) = 1 6 ( ) = 7 2. Tässä tapauksessa satunnaismuuttujan odotusarvo on arvo jota se ei voi saada. Huomautus Yleisesti voidaan sanoa, että tasaisesti 1, 2,..., N jakautuneen satunnaismuuttujan X odotusarvo on E(X) = (N+1) 2. 22

24 2 Törmäysalgoritmit Tehokas keino alkion etsimiseen jostain joukosta perustuu havainnolle, että on helpompi löytää jonkin toisen kanssa samanlaisia kohteita kuin tietyntyyppisiä kohteita. Tämänkaltaisia metodeja kutsutaan useilla nimillä, käytän tässä tutkielmassa termiä tärmäysalgoritmi. 2.1 Syntymäpäiväparadoksi Törmäysalgoritmin perusidean esittelee hyvin seuraava tunnettu esimerkki syntymäpäivistä. Esimerkissä oletetaan, että syntymäpäivät jakautuvat tasaisesti kaikille päiville eikä karkauspäivää oteta huomioon. Esimerkki 2.1. Ajatellaan satunnaisesti valitussa 40 hengen joukossa seuraavia kysymyksiä: 1. Mikä on todennäköisyys sille, että jollain on sama syntymäpäivä kuin sinulla? 2. Mikä on todennäköisyys, että vähintään kahdella joukosta on sama syntymäpäivä? Kuten jäljempänä käy ilmi, vastaukset kysymyksiin ovat hyvin erilaisia. Lasketaan ensimmäiseksi helpompi ensimmäinen kohta. Käytetään komplementtia apuna. Merkitään A = jollain joukosta on kanssasi sama syntymäpäivä, B = Kellään joukosta ei ole kanssasi samaa syntymäpäivää ja C = henkilöllä i ei ole kanssasi sama syntymäpäivä. 23

25 Tällöin P(A) = 1 P(B) 39 = 1 P(C) = 1 i=1 10, 1% ( Kuten huomataan, todennäköisyys että 40 ihmisen joukossa jollain on sama ) 39 syntymäpäivä kuin sinulla on vain noin kymmenen prosenttia. Mietitään seuraavaksi toista kohtaa. Neljänkymmenen henkilön joukosta kahdella on oltava sama syntymäpäivä. Jälleen on helpompi laskea komplementin kautta, että kaikilla joukosta on eri syntymäpäivä. Ajatellaan, että jokaisella henkilöllä on oltava eri syntymäpäivä kuin edellisellä. Merkitään D = kahdella joukosta on sama syntymäpäivä, E = kaikilla joukosta on eri syntymäpäivä ja F = henkilöllä i ei ole samaa syntymäpäivää kenenkään aikaisemman kanssa, jolloin P(D) = 1 P(E) 40 = 1 P(F ) i=1 40 ( ) 365 (i 1) = i=1 = , 1% Joten tarvitaan vain neljänkymmenen ihmisen joukko, jolloin todennäköisyys, että kahden syntymäpäivät ovat samat on lähes 90%. Helposti voisi 24

26 ajatella, että näiden kahden kohdan todennäköisyydet ovat samat tai lähellä toisiaan. Tämän takia ongelmaa kutsutaan syntymäpäiväparadoksiksi. Oikeastaan tarvitaan vain 23 ihmisen joukko, jolloin todennäköisyys sille, että kahdella ihmisellä on sama syntymäpäivä nousee yli 50 prosentin. Vastaavasti tarvitaan 253 ihmisen joukko, että löytyy tietylle syntymäpäivälle vastaavuus yli 50% todennäköisyydellä. 2.2 Törmäyslause Kryptograan sovellus törmäysalgoritmeista voidaan esittää seuraavalla tavalla. Olkoon N niiden lukujen määrä, joista arvotaan umpimähkään n kappaletta. Tulokset kirjataan ylös. Arvotaan lisäksi m kappaletta lukuja ja kirjataan nekin ylös. Mikäli n ja m ovat vain hieman suurempia kuin N on suuri todennäköisyys sille, että listoilta löytyy sama luku. Muotoillaan seuraavaksi lause, josta selviää matematiikka ajatuksen takana. Esitetään ensin apulause, jota käytetään todistuksessa apuna. Lemma 2.2. Epäyhtälö e x 1 x pätee kaikilla x R. Todistus. Tarkastellaan funktiota f(x) = e x (1 x). Funktion derivaatta f (x) = 1 e x. Funktion toinen derivaatta f (x) = e x. Nyt f (x) > 0, kaikilla x R, joten funktio f(x) on alaspäin kupera. Derivaatan nollakohdassa pisteessä x = 0 on funktion globaali minimi f(0) = 0, joten alkuperäinen väite on tosi. Lause 2.3. Oletetaan, että N on suuri ja että m ja n eivät ole paljon suurempia kuin N. Olkoon uurnassa N palloa, joista n on punaisia ja N n sinisiä. Valitaan sattumanvaraisesti pallo toisensa perään uurnasta takaisinpanolla. Jatketaan, kunnes on nostettu m kappaletta palloja. Merkitään A = vähintään yksi punainen. Tällöin 25

27 1. Todennäköisyys, että valitaan vähintään yksi punainen pallo on ( P(A) = 1 1 n ) m. N 2. Alaraja ensimmäisen kohdan todennäköisyydelle on P(A) 1 e mn/n. Todistus. Jokaisella nostolla punaisen pallon todennäköisyys on n N. Todistetaan kohdan yksi väite komplementin avulla. Merkitään B=vähintään yksi punainen pallo m määrällä nostoja sekä C= kaikki m palloa ovat sinisiä ja D= nosto i antaa sinisen pallon P(B) = 1 P(C) m = 1 P(D) i=1 m ( ) N n = 1 N i=1 ( = 1 1 n ) m. N Käytetään kohdan kaksi todistuksessa apuna lemmaa (2.2), jonka mukaan e x 1 x, kaikilla x R. Merkitään x = n/n ja korotetaan epäyhtälön molemmat puolet potenssiin m, jolloin 1 ( 1 n N ) m 1 (e n/n ) m = 1 e mn/n, mikä oli todistettava kohdassa kaksi. Todistamatta mainitaan lisäksi, että tulokset ovat lähellä toisiaan, mikäli n ja m eivät ole paljon suurempia kuin N. Tarkastellaan seuraavassa esimerkin kautta, mitä edellinen lause konkreettisesti tarkoittaa. 26

28 Esimerkki 2.4. Nostetaan sekoitetusta korttipakasta umpimähkään kahdeksan korttia ja asetetaan ne pöydälle. Otetaan sitten toisesta korttipakasta takaisinpanolla yksi kerrallaan kahdeksan korttia. Mikä on todennäköisyys, että saadaan jokin sama kortti kuin pöydällä on ensimmäisestä nostosta? Voidaan ajatella, että lauseen (2.3) uurna on tässä toinen korttipakka ja punaiset pallot ovat ensimmäiset nostetut kahdeksan korttia sekä siniset pallot muut 44 toisessa pakassa olevaa korttia. Joten ( P(tulee sama kortti) = ) 8 73,7%. 52 Alarajaksi saadaan lauseen toisen kohdan perusteella 70,8%. Suurennetaan lukuja huomattavasti seuraavassa esimerkissä. Esimerkki 2.5. Valitaan 10 miljardin luvun joukosta satunnaisesti kaksi luvun listaa. Millä todennäköisyydellä listoilta löytyy jokin sama luku? P(tulee sama luku) = 1 ( ) , Jälleen kun lasketaan alaraja kohdan 2. mukaan saadaa tälläkertaa 0, Kuten huomataan arvio on tässä hyvin lähellä todellista arvoa. Jos listalla olevien lukujen määrä kaksinkertaistetaan :n todennäköisyys kasvaa huomattavasti ja on tällöin noin 98,2%. Eksponettifunktion arvo kasvaa huomattavan nopeasti, kun mn kasvaa suuremmaksi kuin N. Esimerkki 2.6. Arvotaan N kappaleesta alkioita ensimmäisessä vaiheessa listaten n kappaletta. Arvotaan tämän jälkeen toiset n kappaletta takaisinpanolla. Kuinka suuri tulee nostojen määrän n olla, jotta löydetään 50% todennäköisyydellä sama alkio? Entä jos halutaan 99,99% todennäköisyys? Lasketaan alaraja todennäköisyydelle edellä esitetyn nojalla P(sama alkio) 1 e n2 /N =

29 Ratkaistaan n: e n2 /N = 1 2 ( ) n2 1 N = ln 2 n = N ln 2 0,83 N. Joten määrän täytyy olla hieman pienempi kuin N. Toinen kohta on vastaava, lasketaan P(Sama alkio) 1 e n2 /N = Ratkaistaan n = N ln10 4 3,035 N. Edelläolevan kaltaisia algoritmeja, joilla etsitään vastaavuuksia kahdesta listauksesta kutsutaan esimerkiksi nimillä törmäysalgoritmi, syntymäpäiväparadoksialgoritmi tai neliöjuurialgoritmi. Nimi neliöjuurialgoritmi viittaa siihen, että törmäysalgoritmin suoritusaika on yleensä pienellä vakiolla kerrottu systemaattisen etsinnän aikavaatimuksen neliöjuuri. Systemaattisella etsinnällä tarkoitetaan niin sanottua brute forcea, jossa kaikki vaihtoehdot käydään läpi. Kun näitä algoritmeja kaytetään murtamaan salakirjoituksia puhutaan usein vastaavista hyökkäyksistä, esimerkiksi törmäyshyökkäys. Ongelma tämän kaltaisissa algoritmeissa voi olla ensimmäisen listauksen vaatima tallennuskapasiteetti. 2.3 Törmäysalgoritmi diskreetin logaritmin ongelmassa Törmäysalgoritmeille löytyy monia sovelluskohteita kryptograassa. Esimerkiksi julkisen avaimen salauksissa käytettävien vaikeiden matemaattisten ongelmien ratkaiseminen. Tässä luvussa esitetään abstraktin satunnaisen törmäysalgoritmin luominen diskreetin logaritmin ongelman ratkaisuun. 28

30 Äärellisessä kunnassa F p diskreetin logaritmin ongelma voidaan sen avulla ratkaista p askeleella. Vaikkei menetelmä kyseisessä kunnassa ole mitenkään erityisen nopea, on se esimerkiksi elliptisten käyrien ryhmässä nopein tunnettu menetelmä. Tämän takia elliptisten käyrien ryhmää käytetään kryptograassa nykyään eniten; diskreetin logaritmin ongelma on siellä vaikein ratkaistava. Seuraavassa lauseessa käytetään O-funktiota, jolla voidaan mitata algoritmin asymptoottista suoritusaikaa. Funktion avulla saadaan selville suoritusajan rajat suhteessa algoritmin käsittelemän tietojoukon kokoon. Määritellään funktio lyhyesti. Määritelmä 2.7. Olkoon f(x) ja g(x) funktioita, missä x > 0. Merkitään f(x) = O((g(x)), jos on olemassa sellaiset vakiot c ja C, että f(x) cg(x) kaikille x C. Erityisesti f(x) = O(1), jos f(x) on rajoitettu kaikilla x C. Lause 2.8. Olkoot G ryhmä ja h G alkio, jonka kertaluku on N. Toisin sanoen h N = e, missä e on ryhmän neutraalialkio ja N on pienin positiivinen eksponentti, joka toteuttaa ehdon. Oletetaan, että diskreetin logaritmin ongelmalla h x = b on ratkaisu. Tällöin ratkaisu löydetään O( N) askeleella, missä jokainen askel on eksponenttiin korotus ryhmässä G. Todistus. Merkitään x = y z, ratkaistavana on tällöin ongelma h y = b h z. Todistuksen ideana on listata sekä potenssien h y että alkioiden b h z arvot, ja etsiä näistä listoista vastaavuus. Valitaan satunnainen eksponentti 29

31 y 1, y 2,..., y n väliltä 1,... N ja lasketaan arvot ryhmässä G. Kaikki arvot ovat joukossa h y 1, h y 2, h y 3,..., h yn (8) S = {1, h 2, h 3,..., h N 1 }, joten (8) sisältää n alkiota joukosta S. Lauseen (2.3) merkintöjä käyttäen, voidaan S ajatella uurnana, jossa on N palloa ja listaus (8) ovat n punaista palloa. Valitaan satunnaiset eksponentit z 1, z 2,..., z n suureet väliltä 1,..., k ja lasketaan b h z 1, b h z 2, b h z 3,..., b h zn ryhmässä G. Yhtälö h x = b on oletuksen mukaan ratkeava. Tällöin b on jokin luvun h potenssi, siis b h z i = h x+z i. Siitä seuraa, että kaikki arvot b h z i ovat myös joukossa S. Näin ollen listausta (8) voidaan pitää n alkion valitsemisena laatikosta, ja halutaan laskea punaisen pallon löytymisen todennäköisyys. Lauseen (2.3) nojalla P(h y ja b h z arvoissa vastaavuus) ( 1 n N ) n 1 e n 2 /N. Tällöin, kun valitaan esimerkiksi n 3 N, todennäköisyys on noin 99,98%. Kun vastaavuus löytyy, on ratkaistu diskreetin logaritmin ongelma. Arvioidaan laskenta-aikaa. Listausten tekemiseen tarvitaan noin 2n askelta. Lisäksi vertaaminen vie n log 2 n askelta yhteensä. Valitsemalla n 3 N, laskenta-ajaksi saadaan O( N). 30

32 3 Informaatioteoria Informaatioteorian matemaattinen perusta paalutettiin 1940-luvun lopussa yhdysvaltalaisen Claude Shannonin julkaisemassa raportissa A Mathematical Theory of Communication, sekä Shannonin yhdessä Warren Weawerin kanssa julkaisemassa kirjassa The Mathematical Theory of Communication. Julkaisuissa määriteltiin murtamattoman salauksen käsite, esiteltiin entropia sekä tilastollinen analyysi luonnollisissa kielissä. Todennäköisyysteoria yhdistettiin osaksi salakielten turvallisuutta. Julkisen avaimen salakirjoituksessa kriittinen asia on menetelmän laskennallinen kestävyys murtamista vastaan. Salakirjoituksen turvallisuus on suhteessa siinä käytettyyn menetelmään. Salaus on vaikeasti murrettavissa, mikäli taustalla oleva matematiikka on vaikeasti ratkaistavissa. Tässä kappaleessa käsitellään Shannonin esittämiä ideoita ja käsitellään niiden merkitystä symmetrisissä salakirjoitusmenetelmissä. Kirjassa [2] Shannon esittää teorian salausmenetelmien turvallisuudelle, oletuksella että laskentatehoa niiden murtamiseen on käytössä rajattomasti. Esimerkiksi symmetriset salaukset kuten yksinkertaiset Ceasar- ja Vigeneresalaus eivät ole laskennallisesti turvallisia. Rajattomalla, tai näissä tapauksissa jopa hyvin vähäisellä, laskentateholla nämä salaukset ovat helposti murrettavissa. Kun halutaan ehdoton salaus täytyy kehitellä uusia algoritmeja tai soveltaa vanhoja eri tavalla. Itse asiassa Shannon todistaa, että murtamattomassa salauksessa täytyy olla vähintään yhtä monta avainta kuin on salattavia merkkejä, ja että näitä avaimia on käytettävä yhtä suurella todennäköisyydellä. Tämä tarkoittaa myös sitä, että vaadittaessa parempaa salausta se myös muuttuu epäkäytännöllisemmäksi. Murtamattoman salauksen käsite esitellään luvussa 3.1. Shannon esittää myös matemaattisen teorian satunnaismuuttujan informaatiosisällöstä. Satunnaismuuttujalla voidaan esittää salauksen selväkielistä tekstiä, salattua tekstiä tai salausavaimia, joilla on salattu luonnollisia kieliä 31

33 kuten englantia. Näin saadaan luotua viitekehys täsmälliselle teorialle salakielten matematiikasta. Shannon lainasi informaatioteoriaan entropia-sanan, koska se muistuttaa muodollisesti Boltzmannin määritelmää entropiasta tilastotieteessä. Ja koska Shannon näki kielen stokastisena prosessina, siis järjestelmänä, jossa todennäköisyydet tuottavat symbolijonoja. Myöhemmin fyysikko E.T. Jaynes esitti, että termodynamiikan entropia voidaan tulkita sovellukseksi tietyn tyyppisestä informaatioteorian entropiasta. Järjestelmän epävarmuuden määrää mittaava logaritminen Boltzmannin-Gibbsin entropia määritellään, vakiota vaille, siten että siltä vaaditaan jatkuvuus, monotonisuus ja tietyt additiiviset ominaisuudet. 3.1 Murtamaton salaus Salausmenetelmällä on murtamaton salaus, mikäli haltuun saadusta salatusta tekstistä ei voida päätellä mitään vastaavasta selkokielisestä tekstistä eikä mitään tietoa muista salatuista teksteistä. Muotoillaan määritelmä formaalisti asettamalla seuraavasti. Olkoon satunnaismuuttuja M kaikki mahdolliset selkokieliset viestit. Satunnaismuuttuja C kaikki mahdolliset salatut viestit ja satunnaismuuttuja K kaikki mahdolliset salausavaimet. Vastaavat tiheysfunktiot ovat f M, f C ja f K. Muodostetaan myös kaikki parittaiset yhdistetyt ja ehdolliset tiheysfunktiot, kuten aikaisemminkin. Esimerkiksi f (C,M) (c, m) ja f C M (c m) ja niin edelleen. Jatkossa yksinkertaistetaan merkintöjä seuraavasti: esimerkiksi f C M (c m) = f(c m), missä muuttuja määrää mistä satunnaismuuttujasta on kyse. Edelleen f(c m) = P(C = c, ehdolla M = m). Vastaavasti f(m) = f M (m), todennäköisyydelle M = m ja niin edelleen. Määritelmä 3.1. Olkoon salausmenetelmän salausfunktio e : K M C, missä määrittelyjoukko K M on avaimien ja selkotekstien muodostamien parien (k, m) joukko. Arvojoukko on salatekstien joukko C. 32

34 Vastaavasti purkufunktio d : K C M. Luonnollisesti purkufunktion täytyy kumota salausfunktion tulos. Matemaattisesti ilmaistuna d(k, e(k, m)) = m, kaikille k K ja kaikille m M. Merkitään edellisia funktioita helppouden takia lyhemmällä tavalla seuraavasti. Jokaiselle avaimelle k on funktiot e k : M C ja d k : C M, jotka toteuttavat ominaisuuden d k (e k (m)) = m kaikille m M. Toisin sanoen jokaiselle avaimelle k funktio d k on funktion e k käänteisfuntio. Määritelmä 3.2. Salausmenetelmällä on murtamaton salaus, jos f(m c) = f(m), kaikille m M, c C. Toisin sanoen määritelmä tarkoittaa, että selkokielinen viesti ei ole riippuvainen salatusta viestistä. Voidaan intuitiivisesti ajatella, että salateksti ei paljasta selkotekstistä mitään. Bayesin kaavan mukaan f(m c)f(c) = f(c m)f(m), josta voimme johtaa, että murtamaton salaus on yhtäpitävä väitteen f(c m) = f(c) kanssa. Voidaan siis todeta, että myöskään selkoteksti ei paljasta informaatiota salatekstistä. 33

35 Jos tiedetään f K ja f M, määräytyy f C yksikäsitteisesti. Ensinnäkin, mille tahansa avaimelle k pätee seuraava: todennäköisyys sille, että salateksti c vastaa tiettyä selkotekstiä on sama kuin että jokin selkoteksti vastaa salatekstiä c. Tämän avulla voidaan sitten laskea kokonaistodennäköisyydet f C (c) laskemalla yhteen kaikki mahdolliset avaimet lauseen (1.13) yleistyksen nojalla. Merkitään K on jälleen kaikkien mahdollisten avaimien joukko ja olkoon d k salauksen purkufunktio d k : C M avaimelle k K. Tästä saadaan salatekstille todennäköisyys f C (c) = f K (k)f M (d k (c)). k K Esimerkki 3.3. Käytetään englanninkielistä 26 kirjaimista aakkostoa ja yksinkertaista korvaussalausta, jossa jokainen kirjain korvataan siirtymällä tietty määrä askelia aakkosjärjestyksessä eteenpäin. Mahdollisia avaimia on tällöin 26 kappaletta. Mikäli jokainen kirjain salataan erikseen satunnaisesti valitulla avaimella, nähdään, että kyseessä on tällöin murtamaton salaus. Ongelmaksi voi tällöin muodostua avaimenvaihdon vaikeus. Muistetaan, että salausfunktion täytyy olla injektio. Tarkoittaen, että jokaista selkokielistä viestiä vastaa täsmälleen yksi salattu viesti. Tästä seuraa, että on olemassa vähintään yhtä monta salattua tekstiä kuin on selkokielisiä tekstejä. Tarkastellaan aluksi yksinkertaista salausmenetelmää, joka ei ole murtamaton. Esimerkki 3.4. Olkoon salausmenetelmällä kaksi salausavainta k 1 ja k 2, kolme viestiä m 1, m 2 ja m 3 sekä kolme salatekstiä c 1, c 2 ja c 3. Oletetaan edelleen, että viestien satunnaismuuttuja noudattaa tiheysfunktiota f M (m 1 ) = f M (m 2 ) = 1 4 ja f M (m 3 ) = 1 2. m 1 m 2 m 3 k 1 c 2 c 1 c 3 k 2 c 1 c 3 c 2 34

36 Salataan tekstit ylläolevan taulukon mukaisesti. Eli esimerkiksi viesti m 1 salataan avaimella k 1 salatekstiksi c 2. Koska eri avaimia käytetään yhtä suurella todennäköisyydellä, voidaan laskea todennäköisyys, että salateksti on c 1. f(c 1 ) = f(k 1 )f M (d k1 (c 1 )) + f(k 2 )f(d k2 (c 1 )) = f(k 1 )f(m 2 ) + f(k 2 )f(m 1 ) = = 1 4. Toisaalta yllä olevasta taulukosta näemme, että f(c 1 m 3 ) = 0. Joten esimerkin salaus ei ole murtamaton salaus. Intuitiivisesti tulos tuntuu järkevältä, koska salateksti pitää sisällään informaatiota selkotekstistä. Esimerkiksi, jos näemme salatekstin c 1, tiedämme että alkuperäinen teksti oli joko m 1 tai m 2, ei koskaan m 3. Kuten aiemminkin mainittiin, mahdollisten salatekstien määrän on oltava vähintään selkotekstien määrä, koska muutoin salausta ei voida tehdä. Murtamattoman salauksen seuraukseksi osoittautuu, että avaimia täytyy myös olla vähintään yhtä paljon kuin on selkokielisiä tekstejä. Lause 3.5. Jos salaus on murtamaton niin avainavaruus K on suurempi tai yhtä suuri kuin viestiavaruus M. Todistus. Olkoon salateksti c C, jolle f(c) > 0. Murtamaton salaus pitää sisällään ehdon f(c m) = f(c) > 0 kaikille m M. Tämän perusteella on positiivinen todennäköisyys, että m kuvautuu salatekstiksi c, jolloin on olemassa ainakin yksi avain k, joka toteuttaa ehdon e k (m) = c. Edelleen, jos otetaan toinen viesti m, jokin toinen avain k toteuttaa ehdon, koska muuten e k (m) = c = e k (m ), joka on ristiriidassa funktion e k injektioehdon kanssa. On todettu, että jokaista viestiä m M kohden joukko {k K : e k (m) = c} 35

37 on epätyhjä. Edelleen, että nämä joukot ovat erilliset eri viesteille m. Tämä todistaa, että jokaista selkoviestiä m M vastaa yksi tai useampi avain ja eri viesteille on eri avaimet, joten avaimia täytyy olla vähintään yhtä paljon kuin selkoviestejä. Murtamattomalle salaukselle on todistettu seuraavat rajoitukset avaimien, selkotekstien ja salatekstien määristä K M ja C M. Nämä tietäen on järkevää ajatella niitä kaikkia samankokoisina, jolloin ehdot pätevät. Tähän oletukseen nojaten voimme todistaa seuraavan lauseen. Lause 3.6. Olkoon salausmenetelmässä K = M = C. Avainavaruus on siis yhtä suuri kuin viestiavaruus ja salaviestiavaruus. Jos salausmenetelmä on murtamaton, niin (a) (b) Jokainen avain k K on yhtä todennäköinen. Jokaista viestiä m M ja salaviestiä c C vastaa täsmälleen yksi avain k K, joka salaa tekstin m salatekstiksi c. Todistus. Olkoon salausmenetelmä murtamaton. Aloitetaan ehdosta (b). Olkoon jokaista selkotekstiä m M ja salatekstiä c C kohden joukko avaimia, jotka kuvaavat kyseisen selkotekstin salatekstiksi S m,c = {k K : e k (m) = c}. Todistetaan, jos salausmenetelmä on murtamaton joukon koko S m,c = 1, kaikille m ja c, joka on yhtäpitävää väitteen (b) kanssa. Jaetaan todistus kolmeen väitteeseen. Väite 1. Jos m m, tällöin S m,c S m,c =. Oletetaan, että k S m,c S m,c. Tällöin e k (m) = c = e k (m ), josta seuraa, että m = m, koska funktio e k on injektio. Näin ollen Väite 1 pätee. 36