ESS oppiminen ja sen simulointi

Transkriptio

1 ESS oppiminen ja sen simulointi

2 Suhteellinen palkkiosumma, RPS = = = = + + = = n i t i t i t i t i i n i i i i P m r P m r t f r r f ) ( ) ( ) ( (1) τ τ τ τ τ τ Harleyn (1981) ehdottama sääntö ES-oppimiselle Todistus kokeellisesti, kritisoitu

3 RPS-Esimerkki S konsentraatiot B käyttäytyminen P palkkiot r - residuaalit / bias / oletus palkkiosta Peliä pelataan kierroksittain, jolloin valitaan käytös todennäköisyydellä: Pr( B Pr( B ) = S ) = S /( S1 /( S S2) + S ) 2

4 RPS-Esimerkki Esimerkin malli voisi kuvastaa kahta neurosolua Solut aktivoituvat riippuen suhteellisesta konsentraatiosta jotain ainetta (S) Konsentraatiota vähenee suhteessa kertoimeen m, S Sm Konsentraatiota lisääntyy määrällä (1-m)r Ilman palkkiota konsentraatiot ajautuvat määräksi r (kotitehtävänä osoittaa tämä)

5 Haluttuja ominaisuuksia - RPS I. Populaatio ajautuu ESS-tilaan, sillä rajoituksella, että mikään käyttäytyminen ei katoa kokonaan (johtuen r:stä) II. Kierroksen n peliin vaikuttaa kierroksen k<n peli enemmän kuin tätä aikasemman kierroksen h<k<n peli. (Unohtava vaikutus) III. Käyttäytyminen alussa riippuu täysin r:stä IV. Käyttäytymisen muutokset riippuvat suhteellisista määristä r:stä ja palkkioista

6 Haluttuja ominaisuuksia - RPS Jos r suuri: alk. käyttäytyminen muuttuu hitaasti Jos palkkiot ovat suuret suhteessa r:iin: käyttäytyminen painottuu nopeasti tiettyyn käytökseen r:t vastaavat oletusta palkkiosta Jos todellinen palkkio on pienempi, käyttäytymistä tulee muuttaa (eli jatkaa alkuperäistä satunnaista käytöstä) Jos todellinen palkkio on suurempi, käyttäytyminen tulee kohdistaa siihen mikä aiheuttaa palkkion (eli alkuperäinen satunnainen käytös tulee painottua enemmän suotuisaan käytökseen)

7 Oppimisen simulointi Harley esittää neljä eri simulointia (tässä siis kurssikirjan tulkinta)

8 (1/4). Kaksikätinen rosvo Kaksi mahdollista käytöstä B 1 ja B 2, Molemmilla vakio tod. saada palkkio. Näitä todennäköisyyksiä ei alussa tiedetä mutta ne voidaan estimoida yritysten kautta. Kun peliä on pelattu monta kierrosta todennäköisyydet voidaan estimoida. Tällöin ESS on että valitaan aina käytös jolla on suurempi todennäköisyys antaa palkkio. Hyvin lähellä RPS-oppimista

9 (1/4). Kaksikätinen rosvo

10 (2/4). Haukka-kyyhky peli 30 yksilöä pelaa haukka-kyyhky peliä Keskiarvo lähellä ESS:aa (80% kyyhkyjä) Yksilöt ajelehtivat huomattavasti

11 (2/4). Haukka-kyyhky peli

12 (3/4). Ruuan etsiminen (population foraging) Milinskyn 1979 toteuttama koe 6 kalaa akvaariossa syötettiin vesikirpuilla akvaarion molemmista päistä, niin että toisesta päästä syötettiin kaksin verroin toiseen päähän verrattuna ESS on kun kala ei hyödy siirtymällä toiseen päähän. Tässä tapauksessa ESS on kun 2 kalaa on vähemmän ruokittavassa päädyssä ja 4 enemmän ruokittavassa Kokeessa (kuva) todettiin, että ESS saavutetaan kun tarkastellaan kalojen keskimääräistä sijaintia. Kuitenkin yksittäiset kalat uivat akvaariota päästä päähän.

13 (3/4). Ruuan etsiminen (population foraging)

14 (3/4). Ruuan etsiminen (population foraging) Harley simuloi Milinskyn kokeita RPS oletuksella päätyen seuraaviin tuloksiin Harleyn simulaatio kun oletus palkkiosta (r) keskisuuri

15 (3/4). Ruuan etsiminen (population foraging) Harleyn simulaatio kun oletus palkkiosta (r) pieni

16 (3/4). Ruuan etsiminen (population foraging) Harleyn simulaatio kun oletus palkkiosta (r) suuri

17 (4/4). Concurrent variable-interval game Kaksi mahdollista käytöstä (vasen ja oikea), Molemmilla vakio tod. saada palkkio. (vrt. kaksikätinen rosvo) Kun valitaan vasen käsi se antaa palkkion vakio todennäköisyydellä, mutta samalla myös oikea käsi antaa palkkion sen vakio tod. Oikean käden antama palkkio ei kuitenkaan ole saatavissa ennen kuin valitaan oikea käsi. Kun jollain puolella on palkkio, ei sille puolelle anneta lisää palkkioita ennen kuin palkkio on käytetty. Vastaavasti kun valitaan oikea käsi, myös vasen antaa palkkion jota ei kuitenkaan nähdä ennen kuin valitaan vasen käsi

18 (4/4). Concurrent variable-interval game Jos täydennys todennäköisyydet p 1 ja p 2 ovat pieniä, voidaan kirjan mukaan osoittaa että ESS on valita 1 vaihtoehto tod. p 1 (p 1 +p 2 ) Kirjassa todetaan, että todellisuudessa eläimet saavuttavat tämän ESS:an (Heyman, 1979) ja että simulointi RPS:lla ajautuu myös samaiseen ESS:aan.

19 Ote kirjasta: An animal which performs the correct action correct in fitness-maximising terms when simultaneously experiencing hunger, thirst and sexual motivation, will, by definition, leave most offspring.

20 Henkilöitä John Maynard Smith Harley B Calvin Richard Dawkins

21 Sanastoa Daphnia - Vesikirppu Foraging - Ruoan etsiminen Concurrent - Samanaikainen Moth - Yöperhonen/Perhonen Warbler - Kerttu Replenishment - Täydennys Lähteet Maynard Smith (1982). Evolution and the Theory of Games. Cambridge University Press. Tracy & Seaman (1995). Properties of Evolutionarily Stable Learning Rules. J. theor. Biol. 177,

22 Kotitehtävä a) Kalvolla 3 on esitetty kirjan kuvaus RPS mekanismista. Osoita, että ilman palkkiota konsentraatiot lähenevät residuaaleja. b) Harley:tä ja Manyard Smith:iä on kritisoitu ES-oppimiseen liittyen. Selitä ja perustele omin sanoin jokin kritiikki.