Moraalinen uhkapeli: perusmalli ja optimaalinen sopimus

Transkriptio

1 Moraalinen uhkapeli: perusmalli a optimaalinen sopimus Mat Optimointiopin seminaari Mauno Taaamaa

2 Esityksen rakenne Johdanto moraalisen uhkapelin käsite) Yksinkertaistettu tapaus a sen ratkaisu Yleinen malli a optimaalisen ratkaisun/sopimuksen ohto Optimaalisen ratkaisun/sopimuksen tulkinta Yhteenveto a kysymykset Kotitehtävä

3 Johdanto: Moraalinen uhkapeli Moraalisen uhkapelin edellytykset Agentti tekee päätöksen toiminta ), oka vaikuttaa hänen a Päämiehen saamaan hyötyyn Päämies pystyy vain tarkkailemaan tulosta, epätäydellistä signaalia toiminnasta Toiminta, onka Agentti suorittaa, ei ole Pareto-optimaalinen

4 Johdanto: Moraalinen uhkapeli Päämies ei voi pakottaa Agenttia toimimaan Paretooptimaalisesti, sillä hän ei tiedä mitä Agentti tekee Normaalisti Agentti on riskiä karttava a Päämies riskineutraali Päämies pyrkii vaikuttamaan Agentin saamaan hyötyyn lopputuloksen kautta: kannustimet a riskinkanto näiden välillä kompromissi) Mikäli Agentti riskineutraali, mitään kompromissia ei tarvita, vaan Agentti haluaa kantaa kaiken riskin

5 Yksinkertaistettu tapaus Kaksi toimintaa a), kaksi tulosta x) Agentti valitsee työskentelyn a=1) a työskentelemättä olemisen a = 0) välillä Kun a = 1, niin onnistumisen todennäköisyys on P, vastaavasti a = 0 niin todennäköisyys on p < P Päämies pystyy seuraamaan vain onnistuuko vai epäonnistuuko agentti Toiminnan hinta Agentille on normalisoitu siten, että agentin saama hyöty riippuen palkkiosta w) on uw) a, missä u on konkaavi Päämiehen saama hyöty onnistumisesta on x S a epäonnistumisesta on x F < x S

6 Yksinkertaistettu tapaus Päämies pyrkii saamaan Agentin valitsemaan a = 1, oten hän antaa palkkion w S onnistumisesta a w F epäonnistumisesta Täten Agentin saama hyöty Puw S ) + 1 P)uw F ) 1 puw S ) + 1 p)uw F ) P p)uw S ) uw F )) 1 Koska w S w F niin palkkoen erotus nousee kun P p olloin on vaikeampaa päätellä Agentin valintaa). Tällöin sanotaan, että kannustimen ollakseen toimiva on oltava korkea-asteisempi IC)

7 Yksinkertaistettu tapaus Myös yksilöllinen osallistumisraoite rationaalisuusehto) on pitää ottaa huomioon ulkopuolisen valinnan antama hyöty = U): Puw S ) + 1 P)uw F ) 1 U IR) Nyt IR-epäyhtälö)ehto redusoituu yhtälöksi, sillä muuten Päämies voi vähentää uw S ):sta a uw F ):sta pienen muutoksen, ε, oka ei muuta IC-ehtoa, mutta lisää Päämiehen hyötyä: Px S w S ) + 1 P)x F w F )

8 Yksinkertaistettu tapaus Lisäksi IC-ehto myös muodostuu yhtälöksi Sillä os se olisi tiukka epäyhtälö siitä voisi vähentää w S :stä termin 1 P)ε/u w S ) a lisätä w F :ään termin Pε/u w F ) Tällöin vielä IC-ehto olisi voimassa pienelle ε Nyt uw S ) vähenisi 1 P)ε verran a uw F ) kasvaisi Pε verran siten, että IR ehto pysyisi voimassa Kuitenkin Päämiehen kulut Pw S + 1 P) w F vähentyisi P1 P) ε1/u w S ) 1/uw F )) verran, oka on positiivinen sillä w S >w F a u on konkaavi

9 Yksinkertaistettu tapaus Nyt IC- a IR- ehdoista syntyy seuraavat ehdot: uw F ) = U p/p p) uw S ) = U 1 p)/p p) Josta ratkeaa Päämiehen odotettu hyöty: W 1 =Px S w S ) + 1 P)x F w F ) Mikäli Päämies katsoo, että Agentin kannustintoimet ovat liian kalliita, hän taroaa palkkioita w S = w F = w siten, että uw) = U a Päämies saa odotetun hyödyn: W 0 =px S + 1 p)x F w

10 Yksinkertaistettu tapaus Nyt W 1 W 0 on: W 1 W 0 = P p)x S x F )+w P w S 1 P)w F Koska palkkiot eivät riipu x S, x F :stä, oten os onnistuminen on Päämiehelle selvästi kiinnostavampi kuin epäonnistuminen x S x F on iso), niin hän valitsee kannustinpalkkion Tällöin on x S w S > x F w F optimitilassa, olloin voitto on aettu Agentin a Päämiehen kesken

11 Yleinen malli - pohustus Agentti voi valita n vaihtoehdoista toiminnan: a 1,a 2,,a n Vastaavasti tulee m kpl tuloksia: x 1,,x m Tulos on siis a priori signaali Agentin toiminnasta voitto/yliäämä Päämies- Agentti suhteesta Toiminnan vaihtoehdon a tuloksen välistä suhdetta kutsutaan toimintarakenteeksi : a i x tn:llä p i >0

12 Yleinen malli - lähtökohta Perusaatuksena on, että sopimusten tulee perustua palkkioihin, otka riippuvat tuloksesta: Päämies huomaa tuloksen x, hän maksaa palkkion w a pitää x w itsellään Agentin hyöty on separoituva palkkion a toiminnan suhteen, lisäksi toiminta on renormalisoitu siten, että marginaalikulut ovat vakiot Agentin hyöty on täten uw) a, missä u on kasvava a konkaavi Päämies on riskineutraali, olloin hänen hyötynsä on x w

13 Yleinen malli Agentin ohelma Agentti valitsee toimintansa Päämiehen taroaman palkkion w perusteella seuraavan ongelman pohalta max p i uw ) a i ) Kun Agentti valitsee a i, niin on n 1) kpl kannustinehtoa a rationaalisuusehto p i uw ) a i p k uw ) a k, IC k ) oka on voimassa k = 1,..,n a k n. p i uw ) a i U IR)

14 Yleinen malli Päämiehen ohelma Päämies voi valita sopimuksen w 1,,w n, oka maksimoi hänen odotettua hyötyään max p i x w ) Kun a i on optimaalinen ratkaisu, niin IR- a IC raoitteesiin liittyvät kertoimet λ 0 a µ 0 λ k p i uw ) a p k uw ) + a k ) 0 IC k ) µ p i uw ) a U ) 0 IR)

15 Yleinen malli Optimiratkaisu Ratkaisu tapahtuu Lagrangian yhtälön kautta Lw, λ, µ) = p i x w ) + λ p i uw ) a p k uw ) + a k ) + µ p i uw ) a U) Siitä saadaan ratkaistua 1 u' w ) = µ + n k = 1, k i λ 1 k p p k i ) Tämä redusoituu ykkösparhaaksi 1/ u w ) = µ 0, oka on samalla tehoikkain riskiako µ 0 toteuttaa aktiivisen IR:n) Termillä p k /p i on tärkeä rooli analyysissa, se voidaan ymmärtää tilastollisessa mielessä sitä kutsutaankin todennäköisyyssuhteeksi likelihood ratio) a pätee: p k /p i 1 kaikilla k, kun a i on estimaattori suhteelle annetulla x *)

16 Yleinen malli Optimiratkaisu Optimiratkaisu a i kiinnitetty Koska kaikki kertoimet λ k ovat ei-negatiivisia a funktio 1/u on kasvava, niin palkkio w liittyen tulokseen on suurempi kun on isompi määrä todennäköisyyssuhteita p k /p i <1 Päädytään ohtopäätökseen, että Päämies antaa parempaa palkkaa, kun hän tulkitsee tuloksesta, että Agentin suorittama toiminta olisi optimaalista

17 Yleinen malli Optimiratkaisun tulkinta Tutkitaan kuinka palkkio w riippuu tuloksesta Tiedetään, että kun Agentin toiminta on näkyvä a Päämies riskineutraali, niin optimaalinen palkka on vakio Jos Päämies on riskiä karttava a hänellä on konkaavi von Neumann-Morgenstern hyötyfunktio v, niin silloin marginaalihyötyen suhde on v x w ))/u w ) Tämä on itsenäinen tuloksesta, a optimiratkaisu w, on kasvava funktio :stä Vastaavanlainen tulos olisi hyvä saada myös tilanteessa, ossa Agentin toiminta ei ole havaittavissa Luonnollista olisi, että palkkion tulisi olla isompi, mitä enemmän hyödyn yliäämää on aettavissa

18 Yleinen malli Optimiratkaisun tulkinta Yleisesti pätee vain seuraavaa: 1. w ei voi olla tasaisesti vähenevä :ssä 2. Kuten ei myöskään x w ) 3. On olemassa,l) w > w l a x w x l w l

19 Yleinen malli Optimiratkaisun tulkinta Jos tuloksia on kahta vaihtoehtoa: onnistuminen a epäonnistuminen, niin optimaalinen palkkio-ohelma w: w 1 = w w 2 = w + sx 2 -x 1 ) Agentti saa siis peruspalkkion w, a bonuksen yliäämän perusteella mikäli hyväksyy sopimuksen 3. ehdon perusteella bonuskerroin: 0 < s 1

20 Yleinen malli Optimiratkaisun tulkinta Mikäli tuloksia enemmän kuin kaksi vaihtoehtoa, ei tarkempaa analyysia voi tehdä tekemättä lisäoletuksia toimintarakenteesta eli todennäköisyyksistä p i ) Tuloksella on siis kaksoisrooli: 1) kertoo aettavan hyödyn yliäämän 2) signaloi Päämiehelle minkälaisen toiminnan Agentti on mahdollisesti) tehnyt Ratkaisun rakenne täten määräytyy signaalin ominaisuuksista, kuten edellä nähtiin todennäköisyyssuhteesta

21 Yleinen malli Optimiratkaisun tulkinta Optimiratkaisu oli siis 1/ u w ) = µ + λ k 1 p k / p i ) *) Oletetaan, että korkeampi toiminta lisää todennäköisyyttä saada hyvä tulos vähintään yhtä palon kuin se lisää todennäköisyyttä saada huonompi tulos: kaikilla k < i, l <, pi pk p p il kl Tätä kutsutaan monotoniseksi todennäköisyyssuhde-ehdoksi MLRC: monotone likelihood ratio condition)

22 Yleinen malli Optimiratkaisun tulkinta MLRC kertoo siis että todennäköisyyssuhde kasvaa tuloksen kasvaessa Lisäksi siitä seuraa ensimmäisen asteen stokastinen dominanssi todistus kiran haroitus 5.6) Koska *):n kertoimet λ k ovat ei-negatiivisia, niin MLRC sanoo, että termit λ k 1 p k / p i ) ovat kasvavia, mikäli k < i a väheneviä muulloin Mielekäs ratkaisu saadaan kun ehdoksi tulee, että kertoimet λ k ovat nollia kun k > i, olloin ainoat aktiiviset kannustinraoitteet ovat ne, otka estävät Agenttia valitsemasta toimintaa, oka on vähemmän kallista kuin optimaalinen ratkaisu

23 Yleinen malli Optimiratkaisun tulkinta Mikäli tuloksia on vain kahdenlaisia, riittää MLRC takaa, että palkkio nousee tuloksen perusteella Yleisessä tapauksessa käytetään Jakaumafunktion konveksisuusehtoa CDFC - convexity of the distribution function condition) Kumulatiivinen akaumafunktio tuloksesta pitää olla konveksi a:ssa {a 1,, a n } Tarkemmin, kun i < < k a λ kuuluu [0,1] siten, että a = λa i + 1 λ)a k, niin CDFC P l λp il + 1 λ)p kl kaikilla l = 1,,m Yksi tulkinta CDFC:lle on, että se kuvaa toiminnasta tulevien tuloen vähenemistä, mutta Salinié kritisoi tulkintaa

24 Yleinen malli Optimiratkaisun tulkinta Olkoon a i optimaalinen toiminta Tällöin on l < i, olloin λ l on positiivinen Jos kaikki λ k = 0, k < i, niin optimaalinen palkkio sama, os mahdolliset toiminnat olisivat raoitettu A = {a i,,a n } Mutta tällöin optimaalinen palkkio olisi vakio, sillä a i on pienimmän kustannuksen toiminta oukossa A Nyt vakio palkkio voi implementoida toiminnan a 1, eikä a i oka on siis globaali optimi) ei päästä eteenpäin

25 Yleinen malli Optimiratkaisun tulkinta Tarkastellaan tilannetta, ossa Agentti on raoitettu toimintaan A = {a 1,,a i } a optimipalkkio w Tällöin a i on kallein toiminta a MLRC kertoo, että w kasvaa :ssä Tavoitteena todistaa, että w pysyy optimaalisena os Agentin annetaan valita toiminta raoittamattomasta oukosta A = {a 1,,a n }

26 Yleinen malli Optimiratkaisun tulkinta Vastatodistus: oletetaan, että on olemassa k > i siten, että Agentti haluaa valita a k :n: p k uw ) a k > p i uw ) a i Nyt l on indeksi toiminnalle, oka on vähemmän kallis kuin a i a onka kerroin λ k 0, p l uw ) a l = p i uw ) a i On olemassa λ kuuluu [0,1] siten, että a i = λa k + 1 λ)a l CDFC P i λp k + 1 λ)p l kaikilla = 1,,m

27 Yleinen malli Optimiratkaisun tulkinta Sioitetaan a käytetään CDFC:ää + = = = = = + = + + = = m l l m k k m l m l m k m k i m m m i i i a w u p a w u p a w u w u w u P a w u w u w u P a w u w u w u P a w u p ) ) 1 ) ) )) ) ) 1 ) )) ) ) )) ) ) λ λ λ λ

28 Yleinen malli Optimiratkaisun tulkinta Tulos on ristiriidassa a k :n a a l :n määritelmien kanssa Täten palkkio w on kasvava a optimaalinen ratkaisu yleiseen ongelmaan Pitää huomioida myös, että välttämättä aina intuitiiviset tulokset eivät päde, esim. Päämiehen odotettu tuotto ei nousekaan Agentin tullessa tuottoisammaksi stokastisen dominanssin mielessä, eli todennäköisyydet kasvavat) valitsi Agentti mitä tahansa kotitehtävä)

29 Yhteenveto Moraalinen uhkapeli erittäin yleinen elävässä elämässä Ratkaisu ongelmaan on sitoa Agentin palkkio tulokseen, käyttäen hyväksi kannustimia a tarvittaessa riskinakoa Johdettu optimaalinen sopimusehto a siitä saatu palkkio-ohelma 1/ u w ) = µ + λ k 1 p k / p i ) w kasvava tai kahden tuloksen tapauksessa w 1 = w w 2 = w + sx 2 -x 1 ) Kysymyksiä?

30 Kotitehtävä Kiran haroitus 5.3.1) Yksinkertaistettu tapaus kaksi toimintaa, kaksi tulosta) Lähde liikkeelle Päämiehen odotetusta hyödystä W 1 >W 0. Kiroita W 1 a osoita, että W p P1 P) 1 = 2 ) P p u' w 1 ) u' ) 1 < S w F 0