Cog101 Johdatus Kognitiotieteeseen KOTITEHTÄVÄ 1: INFORMAATIO Otto Lappi
[T]ieto-opin perustivat antiikin kreikkalaiset filosofit 400-luvulla ekr, informaatioteorian Bellin yhtiön puhelininsinöörit 1920-luvulla. - Ilkka Niiniluoto (1989), s.9. Informaation käsite liittyy kommunikaatioon: tietoa voidaan välittää, t. informaatiota siirtää paikasta toiseen jonkin tiedonvälityskanavan (channel) kautta (ks. kuva 1). Välitettävän tiedon määrää rajaa kanavan kapasiteetti: laajakaistainen internet yhteys pystyy välittämään enemmän tietoa (aikayksikköä kohti) kuin puhelinlinja, myelinisoitu hermosolun viejähaarake kuljettaa enemmän informaatiota kuin myelinisoimaton. Voidaanko tätä tiedonvälitystä kuvata eksaktisti? viestin lähettäjä viesti viestin vastaanottaja kanava lähetin vastaanotin Kuva 1. Tiedon välittämisen eli informaation siirtämisen perusajatus.viestin lähettäjällä on lähetin, joka tuottaa l. koodaa viestin jonka vastaanotin pystyy ottamaan vastaan ja dekoodaamaan, niin että alkuperäinen tieto päätyy vastaanottajalle. Tiedon käsite sinällään on yhä pitkälti arkipsykologinen, ja sen ymmärtäminen on intuition varassa. Moderni informaatioteoria nojaa matemaatikko/insinööri/fyysikko Claude Shannonin muotoilemaan tilastolliseen kommunikaatioteoriaan (mathematical theory of communication, communication theory), jonka matemaattisia edelleenkehitelmiä kutsutaan yleensä matemaattiseksi informaatioteoriaksi, tai joskus tilastolliseksi informaatioteoriaksi (koska informaation käsitteen matemaattinen muotoilu näissä teorioissa perustuu todennäköisyyden käsitteeseen). Tässä monisteessa käytetään teoriasta nimeä fysikaalisen informaation teoria ja sen kuvaamasta suureesta, Shannon-informaatiosta, vastaavasti nimeä fysikaalinen informaatio, erotukseksi semanttisesta informaatiosta. 1.1. Fysikaalinen informaatio (Shannoniin tilastollinen kommunikaatioteoria)
Ensimmäinen lähtökohta fysikaalisen informaation teoriassa on huomioida, että tiedonvälityksessä siirtyy aina paitsi tieto itsessään merkityksiä tai sisältöjä - myös tämän merkityksen kantajia merkkejä: symboleita tai muita signaaleja. Myös pelkkää tulkitsematonta rakennetta voidaan välittää yhtä hyvin. Fysikaalisen informaatioteorian näkökulmasta nämä ovatkin samanarvoisia. Kanava (tai kommunikaatioteoria) ei näe tilanteiden välillä mitään eroa. Olennaista on että signaali tai merkki siirtyy luotettavasti lähettäjältä vastaaottajalle, ts. että vastaanotin toistaa uskollisesti lähettimessä koodattavan alkuperäisen viestin rakenteen (high fidelity) 1 se missä fysikaalisessa muodossa se siirtyy, tai millaiset (kausaaliset) mekanismit lähettäjän ja vastaanottajan välistä kommunikaatiota mahdollisesti ylläpitävät on merkityksetöntä. Esimerkiksi suorissa TV-lähetyksissä TV-kameran linssin muodostama kuva muuntuu digitaaliseksi elektroniseksi signaaliksi, radiotaajuuksisia valoaaltoja synnyttävän lähettimen elektronien värähtelyksi, itse valoaaltojen rakenteeksi, vastaanottimen antennin ja sähkölaitteiden toiminnaksi, kunnes TV:n ruudulle piirtyy vastaava kuva. Samalla tavalla aivojen tapa esittää esimerkiksi kuvia ja sanoja perustuu fysikaalisesti aivan erilaisiin rakenteisiin kuin symbolit aivojen ulkopuolella (kuvat, teksti). Olennaista on että signaali kantaa koko ajan rakenteessaan informaatiota muuttumattomana (informaatio on monitoteutuva ). Periaatteessa teoria sinällään ei edellytä että sillä mitä lähettminen ja vastaaottimen välillä tapahtuu edes olisi mitään järkevää fysikaalista tulkintaa. Tällaista informaation välitystä ja välitettävän tiedon määrää (muttei sisältöä) kuvaamaan on kehitetty eksakti kvantitatiivinen teoria jossa kommunikaatiokanavan välittämän informaation määrä voidaan määritellä täsmällisesti. Useimmin käytetty mittayksikkö on bitti. 1.1.1. Bitti Luonnontieteellinen menetelmä edellyttää, että kuvattavat ilmiöt pyritään mahdollisuuksien mukaan esittämään eksaktissa muodossa: numeroiden, kaavojen, geometristen kaavioiden, tms. avulla. Tämä mahdollistaa ilmiöiden mittaamisen, ja teorian seurausten johtamisen laskemalla 2. Empiirisen luonnontieteen eri osa-alueet ovatkin määritelleet lukuisia mittayksiköitä (etäisyyttä mitataan metreinä, aikavälejä sekunteina, massaa grammoina, sähkövarausta coulombeina, voimaa newtoneina jne.) ja 1 Informaation käsite liittyy siis läheisesti myös rakenteeseen. Olennaista on, että kanava mahdollistaa lähettimessä olevan hahmon tai rakenteen rekonstruoimisen toisessa päässä - vastaanottimessa - kanavan kautta välitettävän signaalin kantaman informaation perusteella. Juuri tämä on se mitä teorian on tarkoitus kuvata. Se miten rakenteet tulkitaan symboleina on kokonaan eri asia. 2 Matemaattisen ja loogisen järkeilyn mukaisesti näiden periaatteiden tutkiminen ja kehittäminen kuuluu menetelmätieteiden (matematiikka, tilastotiede, logiikka ja filosofia) alaan, joskaan käytännössä ero metodologian ja luonnontieteen eturintaman välillä ei aina ole kovin selvä.
teorioita joissa nämä yksiköt esiintyvät, ja jotka määrittelevät näiden keskinäisiä suhteita luonnossa. Fysikaalisen informaatioteorian eksakti tapa kuvata informaatiota ja tiedon välittämistä perustuu bitin käsitteeseen: Bitin määritelmä: Yksi bitti on se määrä kommunikaatiota joka tarvitaan jotta vastaanottaja saa tietoonsa sen ( tulee informoiduksi siitä), kumpi kahdesta toisensa poissulkevasta ja yhdessä kaikki mahdolliset vaihtoehdot kattavasta, yhtä todennäköisestä asiantilasta on toteutunut (tai vastaavasti kumpi kyseiset asiantilat esittävistä propositioista on tosi). Määritelmä kuulostaa kovin monimutkaiselta, mutta seuraava esimerkki valaisee asiaa: Esimerkki Lähettäjällä on kolikko, joka antaa todennäköisyydellä 0.5 tuloksen kruuna, ja todennäköisyydellä 0.5 tuloksen klaava. Lähettäjä heittää kolikkoa. Tulos on kruuna (KRUUNA on tosi, KLAAVA epätosi). Jos hän haluaa kommunikoida tuloksen vastaanottajalle, on hänen lähetettävä vähintään yksi bitti informaatiota kanavaa pitkin. Täsmälleen yksi bitti myös riittää kommunikoimaan uuden tiedon tyhjentävästi 3. Tiedon käsitteen epäselvyys ja informaation määritelmän (yllä) kenties epäilyttävä tapa viitata propositioihin ja niiden totuuteen, tai vaihtoehtoisiin asiantiloihin ( puhtaasti hypoteettisia abstrakteja olioita jotka jo määritelmänsä mukaan eivät ole toteutuneet todellisessa, konkreettisten kausaalisten vuorovaikutusten materiaalisessa maailmassa ), ei millään tavalla vähennä teorian ihmeellistä sovellusarvoa. Matemaattisesti melko hyvin ymmärretty todennäköisyyden käsite, ei heikosti ymmärretty tiedon tai proposition käsite tekee määritelmässä kaiken teknisen työn, mikä tarkoittaa että teorian avulla voidaan laskea 4 : Fysikaalisen informaation määritelmä: I 2 ( bitteinä) log p, 3 Huom. Termiä bitti käytetään usein paitsi välitettävän viestin kantaman informaation määrän, myös itse viestien, symbolien, nimenä: kun viestit ovat binäärisen numerojärjestelmän merkkijonoja kutsutaan näiden merkkijonojen yksittäisiä merkkejä (usein 0 ja 1) myös biteiksi. Nämä kaksi merkitystä tulee kuitenkin ymmärtää toisistaan erillisinä: toisessa on kyse merkeistä joita välitetään paikasta toiseen, toisessa tämän välittämisen siirtämän informaation määrästä. Mikäli merkit 0 ja 1 esiintyvät viesteissä yhtä todennäköisesti (kuten on laita edellisessä esimerkissä), määritelmät yhtenevät sikäli että yksi merkki kantaa täsmälleen yhden bitin verran informaatiota. 4 Tämä ei tietenkään poista sitä filosofista tosiseikkaa että osa yllä mainitusta epäilyttävästä aineksesta toteutumattomat mahdollisuudet on sisäänrakennettua itse todennäköisyyden käsitteeseen.
missä p on sen asiantilan jota viesti koskee (t. proposition jonka viesti kommunikoi, tai itse viestin syntymisen) todennäköisyys. Viestin tietystä tapahtumasta välittämän informaation määrä I (bitteinä 5 ) on siten yksinkertainen funktio itse tapahtuman todennäköisyydeltä suureelle, jonka ylläoleva kaava määrittelee (informaatio), ja jota siten voidaan mitata bitteinä (logaritmin ajatus kannattaa ehkä tässä vaiheessa kerrata harjoitustehtävästä 1). Mitä pienempi p on, sitä suurempi on I. Tämä tarkoittaa intuitiivisesti sitä, että mitä epätodennäköisemmästä tapahtumasta saamme tietoa, sitä enemmän saamme informaatiota. Usein tämä ilmaistaan siten että viestin bittien määrä kuvaa viestin uutisarvoa - tai yllätysarvoa (surprisal) - vastaanottajalle; lähes varman tapahtuman toteutuminen ei ole suuri uutinen. Yksi bitti informaatiota spesifioi yksikäsitteisesti toisen kahdesta mahdollisesta, yhtä todennäköisestä vaihtoehdosta (0, 1). (Edellisessä esimerkissä KRUUNA ja KLAAVA, tai yhtäpitävästi KRUUNA = tosi, KRUUNA = epätosi). Kaksi bittiä riittää valitsemaan oikein neljästä vaihtoehdosta (00, 01, 10, 11). Kolme bittiä riittää kahdeksaan vaihtoehtoon (000, 001, 010, 100, 011, 101, 110, 111), ja neljä kuuteentoista (0000, 0001, 0010, jne ). Tämä voidaan yleistää: n bittiä riittää poimimaan yhden vaihtoehdon 2 n vaihtoehdon joukosta, tai kääntäen, jos a priori yhtä todennäköisiä viestejä joita voimme lähettäjältä saada on 2 n erilaista, on kunkin viestin informaatioarvo n bittiä. Esimerkki Ajatellaan esimerkiksi, että lähetin voi muodostaa neljä erilaista viestiä (symbolia 6 ): A, B, C, D. Ennen viestin välittymistä, ei vastaanottimen päässä voida tietää minkä symboleista lähetin on muodostanut. Kun viesti (vaikkapa B) saapuu, on B:n esiintyminen varmaa (oletamme tässä että kanavassa ei ole lainkaan kohinaa joka voi muuttaa viestiä kesken matkan). Paljonko epävarmuutemme on täsmälleen ottaen vähentynyt? Ennen viestin välittämistä lähettimen tilaa koskeva epävarmuutemme aste on log 2 4 eli kaksi bittiä. Kaksi bittiä tarvitaan oikean vastauksen poimimiseen. Yksi bitti kaventaa vaihtoehtojen määrän puoleen (esim. A tai B), ja toinen bitti riittää yksikäsitteiseen valintaan (B). Yleisesti ottaen jos vaihtoehtoja, eli erilaisia viestejä, on M erilaista, on viestin saamista edeltävä epävarmuus log 2 M ; kun tiedämme että B on oikea vaihtoehto, epävarmuutta ei enää ole. Viesti B on siis tuonut meille kaksi bittiä informaatiota. (Jos kunkin viestin {A, B, C, D} todennäköisyys on 0,25 niin kukin symboleista kantaa täsmälleen kaksi bittiä. Vastaavasti koodi A, B, C, D voidaan palauttaa eli redusoida binääriseen koodiin 5 Logaritmin kantaluku 2, tämä on luontevaa kun signaali on muodostettu binäärikoodilla, esim. nollista ja ykkösistä (nimi bit tulee sanoista binary digit). Desimaalijärjestelmän kantalukua 10 käytettäessä informaation mittayksikön nimi on Hartley. Tämä ei vaikuta itse teoriaan mitenkään (vrt. etäisyyden mittaaminen metrinä ja jalkoina). 6 Näillä symboleilla voi olla jokin tulkinta, jolloin kukin symboli koodaa jonkin käsitteen tai proposition, tai ne voivat olla puhtaasti fysikaalisia mittauksia (kuten digitaalikameran valokennon toiminta joka muuttaa linssin kautta saapuvan valon nollien ja ykkösten muodostamaksi binäärikoodiksi). Tämä on fysikaalisen informaation teorian kannalta yhdentekevää.
seuraavasti: A = 00, B=01, C=10, D=11. Siten neljän (=2 2 ) perussymbolin systeemissä yksi symboli kantaa täsmälleen saman fysikaalisen informaation kuin kaksi symbolia kahden perussymbolin systeemissä, joten ) Logaritmiin perustuva informaatiosuure on additiivinen. Tämä vastaa intuitiivista ajatustamme siitä, että jos meillä on kaksi samanlaista viestikanavaa, jotka viestit voivat saada vaikkapa neljä erilaista arvoa (00, 01,10 tai 11), niiden avulla voidaan välittää kaksi kertaa niin paljon informaatiota kuin yhdellä viesteillä yksinään - vaikka vaihtoehtoisten viestiparien määrä onkin 16 (0000, 0001, 0010, ) siis nelinkertainen. (Logaritmisella funktiolla informaation määritelmänä on itse asiassa monia muitakin toivottavia matemaattisia ominaisuuksia intuition noudattaminen ei ole niistä tärkein tai edes tarpeellinen. Tieteellisen teorian teknisten termien määrittelyssä olennaista on määritelmien toimivuus, ei se vastaavatko ne intuitiota).
Tehtäviä 1.1. Logaritmifunktio y f ( x) log x on eksponenttifunktion käänteisfunktio. Toisin n y sanoen n x y logn x. Se antaa jokaiselle luvulle x luvun y, joka on se eksponentti johon logaritmin kantaluku n pitää korottaa, jotta saadaan x. Ts. y on se määrä kertolaskuoperaatioita, kuinka monta kertaa kantaluku pitää kertoa itsellään jotta saadaan x. Paljonko on Esimerkki a) log 2 128 b) log 2 256 c) log 2 1024 d) log 4 256 Luvun kahdeksan kaksikantainen logaritmi on kolme, koska luku kahdeksan on kantaluku 2 kolmanteen potenssiin korotettuna: 3 log2 8 log2(2 ) log2(2 2 2) 3, vastaavasti 4 log2 16 log2(2 ) log2(2 2 2 2) 4jne. 1.2. Kuinka monta bittiä informaatiota tarvitaan valitsemaan oikea heittosarja kaikkien mahdollisten heittosarjojen joukosta, kun kolikkoa on heitetty a) 2 kertaa b) 4 kertaa c) 10 kertaa d) 1 048 576 kertaa Kuinka monta erilaista heittosarjaa kaikkien mahdollisten heittosarjoihin kussakin tapauksessa a-d kuuluu, ts. kuinka monta erilaista heittosarjaa kukin määrä bittejä pystyy spesifioimaan yksikäsitteisesti? 1.3. Kuinka monta erilaista nollien ja ykkösten konfiguraatiota voidaan tallentaa digitaalikameran puolen gigan muistikortille jonka tallennuskapasiteetti on 512 megatavua? Yksi tavu (byte) on kahdeksan bittiä, yksi megatavu on 2 20 tavua. 1.4. Perustuen materiaalissa annettuun informaation käsitteen määritelmään, selitä miksi varmaa asiantilaa (todennäköisyys p=1) koskevalla viestillä ei ole lainkaan uutisarvoa. 1.5. Tarkastellaan seuraavanlaista peliä.
Pelaaja A pyytää pelaajaa B ajattelemaan yhtä kokonaislukua x välillä 1 64 (esimerkiksi 36 - vrt. kuva). Pelaajan A tehtävä on päätellä mitä lukua pelaaja B ajattelee kysymällä tältä onko x suurempi kuin neljätoista muotoisia kyllä/ei kysymyksiä joihin B vastaa. Kuinka paljon informaatiota henkilö A tarvitsee tietääkseen mitä lukua B ajattelee? Perustele lyhyesti. 1 2 3 36 63 64
Lähteet: Alkuperäisiä lähteitä: Shannon, C. (1948). A mathematical theory of communication. The Bell System Technical Journal, 27: 379-423, 623-656. Lisälukemista: Aleksander, I. (2002). Understanding information, bit by bit. Teoksessa: Farmelo, G. (toim.) (2002). It Must be Beautiful Great Equations of Modern Science. London: Granta Books. Niiniluoto, I. (1989). Informaatio, tieto ja yhteiskunta. Filosofinen käsiteanalyysi. 1.-2.p. Helsinki: Valtion painatuskeskus. VonBaeyer, H.C. (2004). Information, the New Language of Science. London: Phoenix.