Samankaltaisia ongelmia esiintyy mm. puskurinhallinnan yhteydessä: on päätettävä,

Koko: px
Aloita esitys sivulta:

Download "Samankaltaisia ongelmia esiintyy mm. puskurinhallinnan yhteydessä: on päätettävä,"

Transkriptio

1 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 1 MARKOVIN PÄÄTÖSPROSESSIT Aikaisemmin Markovin prosesseja käsiteltäessä on lähdetty siitä, että systeemin mahdolliset tilat ja näiden väliset tilasiirtymänopeudet on annettu. Tehtävänä tällöin on ollut lähinnä selvittää, mitkä ovat järjestelmän tasapainotodennäköisyydet tai mahdollisesti miten tilatodennäköisyydet kehittyvät annetusta alkutilasta lähtien. Näiden avulla voidaan laskea kiinnostavia suureita kuten esto- tai ylivuototodennäköisyyksiä. Usein järjestelmän operoinnissa voidaan kuitenkin tehdä valintoja. Järjestelmän toiminta ei ole edeltäkäsin kokonaan kiinnitetetty, vaan sen käyttäytyminen riippuu valitusta toimintapolitiikasta. Tällöin tehtäväksi muodostuu sellaisen optimaalisen politiikan määrittely, joka maksimoi jonkin tavoitefunktion arvon. Esimerkiksi reititystehtävät johtavat tämäntyyppiseen ongelmanasetteluun. Kun verkon tila (käynnissä olevat yhteydet) tunnetaan, tehtävänä on päättää, otetaanko tiettyyn luokkaan (lähde- ja kohdepisteet, muut mahdolliset attribuutit) kuuluva yhteys kuljetettavaksi ja jos otetaan, mitä kautta se reititetään. Tavoitteena voi olla maksimoida (pitkällä tähtäimellä) esim. kuljetettujen yhteyksien lukumäärä tai kuljetetun liikenteen määrä (yhteysminuutit). Samankaltaisia ongelmia esiintyy mm. puskurinhallinnan yhteydessä: on päätettävä, missä järjestyksessä paketteja lähetetään, mitä paketteja hylätään puskurin täyttyessä jne.

2 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 2 Markovin päätösprosessit (MDP, Markov decision processes) Markovin päätösprosessien teoria tutkii edellä kuvatun kaltaisia päätöksentekotehtäviä silloin, kun järjestelmää stokastiselta kannalta voidaan kuvata Markovin prosessina. Siinä yhdistyvät Dynaaminen ohjelmointi (Bellman, 1957) Markovin prosessien teoria (Howard, 1960) Markovin prosessissa systeemin tila X S voi hypätä tilasta i tilaan j annetulla todennäköisyydellä p i,j. Se miten tilaan i on tultu, ei vaikuta mitenkään seuraavaan eikä myöhempiinkään tilasiirtymiin. Markovin päätösprosesseissa jokaisen tilasiirtymän jälkeen, oltaessa uudessa tilassa, voidaan tehdä jokin päätös tai toimenpide (action), johon liittyy jokin välitön tuotto-/kustannusvaikutus ja joka lisäksi vaikuttaa seuraavaan tilasiirtymätodennäköisyyteen. Esimerkiksi, kun verkosta poistuu yhteys tai sinne on juuri otettu uusi yhteys, voidaan samantien päättää, mitä tässä tilassa oltaessa mahdollisesti saapuville uusille kutsuille tehdään (hylätään/hyväksytään/mille reitille ohjataan). Tämä päätös selvästi vaikuttaa siihen, mitkä tilasiirtymät ovat mahdollisia tai yleisemmin mitkä ovat eri siirtymien todennäköisyydet; itse siirtymä tapahtuu kuitenkin stokastisesti, koska kutsujen saapumis- jä päättymisprosessit ovat stokastisia.

3 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 3 Markovin päätösprosessit (jatkoa) Tehtävänä on siis etsiä optimaalinen politiikka siten, että tuottojen odotusarvo maksimoituu (tai kustannusten odotusarvo minimoituu; on samantekevää kummasta tehtävästä puhutaan). Markovisuusoletusten vallitessa on selvää, että kussakin tilassa valittava edullisin toimenpide riippuu vain tilasta itsestään. Yleisestikin tietty politiikka, olipa se optimaalinen tai ei, määrittelee kussakin tilassa valittavan toimenpiteen. Kun kuhunkin tilaan on liitetty tietty toimenpide, joka puolestaan määrää seuraavan tilasiirtymän todennäköisyydet, ovat nämä todennäköisyydet vain ko. tilasta riippuvia ja systeemi kokonaisuudessaan muodostaa Markovin prosessin. Kuhunkin politiikkaan liittyy erilainen Markovin prosessi. Erityisen kiinnostuksen kohteena on siis sellaisen politiikan etsiminen, johon liittyvällä Markovin prosessilla on maksimaalinen keskimääräinen tuotto. Samalla tavalla kuin Markovin prosessit yleensä jaetaan myös Markovin päätösprosessit diskreettiaikaisiin ja jatkuva-aikaisiin päätösprosesseihin.

4 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 4 Diskreettiaikaiset MDP:t Järjestelmän tila voi muuttua vain diskreeteillä ajanhetkillä t = 1, 2,.... Kun järjestelmä on tullut tilaan i, on tehtävä jokin päätös a (action), joka kuuluu tilassa i mahdollisten toimenpiteiden A i joukkoon, a A i. Päätökseen a liittyy välitön tuotto r i (a). Tuotto voi olla myös stokastinen, jolloin r i (a) tarkoittaa sen odotusarvoa. Seuraavalla ajanhetkellä järjestelmä siirtyy uuteen tilaan j tilasiirtymätodennäköisyydellä p i,j (a), joka riippuu tilassa i valitusta toimenpiteestä a. Tilasiirtymätodennäköisyydet eivät kuitenkaan riipu siitä, miten tilaan i on tultu (markovisuus). Lisäksi rajoitutaan tarkastelemaan vain aikahomogeenisiä systeemejä, joissa r i (a) ja p i,j (a) eivät myöskään riipu ajanhetkestä t. Politiikka α määrittelee, mikä toimenpide a = a i (α) kussakin tilassa i valitaan mahdollisten toimenpiteiden joukosta. Tällöin tilassa i käyntiin liittyvä tuotto r i (a i (α)) sekä tilasiirtymätodennäköisyydet p i,j (a i (α)) ovat politiikan α ja asianomaisten tilojen funktioita, ja käytetään näille lyhyyden vuoksi merkintöjä r i (α) ja p i,j (α).

5 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 5 Diskreettiaikaisen MDP:n tasapainojakauma Kun politiikka α on annettu, tilasiirtymätodennäköisyydet p i,j (α) ovat kiinteitä. Yleisten oletusten vallitessa näiden tilasiirtymätodennäköisyyksien määrittelemällä Markovin ketjulla on tasapainojakauma; tilatodennäköisyydet π i (α). Tasapainojakauma ratkaistaan, kuten minkä tahansa Markovin ketjun tapauksessa, tasapainoyhtälöistä täydennettynä normiehdolla: i π i (α) = j π i (α) = 1 eli vektorimuodossa π j (α)p j,i (α) π(α) = π(α)p(α) π(α) e T = 1 missä π(α) = (π 1 (α), π 2 (α),...) P(α) = p 1,1 (α) p 1,2 (α)... p 2,1 (α) p 2,2 (α) e = (1, 1,...) Näistä yhtälöistä voidaan π(α) ratkaista. Ratkaisu voidaan kirjoittaa muodossa π(α) = e(p(α) I + E) 1, missä I on identiteettimatriisi ja E on matriisi, jonka kaikki elementit ovat ykkösiä.

6 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 6 Diskreettiaikaisen MDP:n keskituotto Kun tasapainojakauma π(α) on ratkaistu, voidaan heti kirjoittaa järjestelmän keskimääräinen tuotto r(α) eli tuoton odostuarvo yhtä askelta kohden, r(α) = i π i (α) r i (α) = π(α) r T (α), missä r(α) = (r 1 (α), r 2 (α),...). Tehtävänä on etsiä optimaalinen politiikka α, joka maksimoi keskimääräisen tuoton α = argmax r(α) eli r(α ) r(α), α α Koska politiikan määrittely on luonteeltaan diskreetti, ei optimipolitiikan etsiminen ole aivan suoraviivaista, vaikka periaatteessa r(α) voidaankin selvittää jokaiselle politiikalle. Optimin hakemiseen tarvitaan tiettyä systematiikkaa. Käytettävissä ovat mm. seuraavat lähestymistavat 1. Politiikkaiterointi 2. Arvoiterointi 3. Lineaarinen ohjelmointi Jatkossa keskitytään lähinnä politiikkaiterointiin. Tätä varten joudutaan tutkimaan suuretta, joka tunnetaan nimellä tilan i suhteellinen arvo.

7 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 7 Tilojen suhteelliset arvot Suure r(α) kertoo keskimääräisen tuoton yhdellä askeleella politiikan α vallitessa. Nyt halutaan tutkia, mitä voidaan sanoa tuoton kertymästä, jos meillä on lisätieto siitä, että järjestelmä on alkuhetkellä tilassa i. Merkitään V n (i, α) = kertyvän tuoton odotusarvo n:ltä askeleelta, kun systeemi lähtee tilasta i Ensimmäisellä askeleella (alkutilassa) tuotto on r i (α) = e i r T (α), missä e i = (0,..., 0, }{{ 1 }, 0,..., 0) komponentti i Ensimmäisen askeleen jälkeen tilatodennäköisyysvektori on e i P(α). Vastaavasti tuoton odotusarvo toisella askeleella on e i P(α) r T (α). Yleisesti on V n (i, α) = e i ( I + P(α) + P 2 (α) P n 1 (α) ) r T (α) Tiedetään, että alkutilasta riippumatta tilatodennäköisyydet lähenevät tasapainojakaumaa, e i P n (α) π(α), kun n

8 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 8 Tilojen suhteelliset arvot (jatkoa) n:n kasvaessa lisätermit V n (i, α):ssa lähenevät arvoa π(α) r T (α) = r(α). Riittävän monen askeleen jälkeen alkutila unohtuu ja tuottoa kertyy askelta kohden tuottokeskiarvon verran. V n (i, α) on kuvan osoittama summa. Vain alkupään tuottokertymä riippuu alkutilasta. Alkutransientin kokonaisvaikutus voidaan laskea kullekin tilalle. Määritellään tilan i suhteellinen arvo v i (α) v i (α) = lim n (V n (i, α) n r(α)) r Tilan i suhteellinen arvo kertoo, kuinka paljon suurempi äärettömän aikahorisontin tuottokertymän odotusarvo on, kun systeemi lähtee alkutilasta i, verrattuna keskimääräiseen tuottokertymään.

9 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 9 Howardin yhtälö Tilojen suhteelliset arvot voidaan ratkaista Howardin yhtälöistä v i (α) = r i (α) r(α) + j p i,j (α) v j (α) i Määrittelemällä v(α) = (v 1 (α), v 2 (α),...) yhtälö voidaan kirjoittaa vektorimuodossa v(α) = r(α) r(α)e + v(α)p T (α) Komponenttimuotoinen Howardin yhtälö voidaan tulkita seuraavasti. Lähtien alkutilasta i: Tuottokertymän poikkeama keskiarvoon nähden ensimmäisellä askeleella on r i (α) r(α); tämä otetaan eksplisiittisesti huomioon. Tästä eteenpäin käytetään hyväksi markovisuutta; ehdollistettuna siihen, että systeemi siirtyy tilaan j, tuottokertymän poikkeama toisesta askeleesta eteenpäin on v j (α). Koska p i,j (α) on todennäköisyys, että siirrytään tilaan j, antaa summa (ehdollistamattoman) odotusarvon tuottokertymän poikkeamalle toisesta askeleesta eteenpäin.

10 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 10 Huomioita Howardin yhtälöstä Tasapainoyhtälön ja Howardin yhtälön vertailu Tasapainoyhtälössä π j = π i p i,j i tilan i todennäköisyys hajoitetaan ja työnnetään eteenpäin. Howardin yhtälön viimeisessä termissä p i,j v j tulevien polkujen tuotot kerätään j taaksepäin. p i, j j p i, j j, v j π i i i Huomaa tästä johtuva ero: πp vs. vp T.

11 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 11 Huomioita Howardin yhtälöstä (jatkoa) Koska j p i,j = 1, Howardin yhtälöt voidaan kirjoittaa muodossa r i (α) r(α) + j p i,j (α)(v j (α) v i (α)) = 0, i Vain erotukset v j (α) v i (α) esiintyvät yhtälössä. Suhteelliset arvot v i (α) jäävät vakioyhteenlaskettavaa vaille määräämättömiksi. Jatkon kannalta määräämättömällä vakioyhteenlaskettavalla ei ole merkitystä; vain suhteellisten arvojen erot ovat tärkeitä. Voidaan mielivaltaisesti asettaa esim. v 1 (α) = 0. Tämän jälkeen tuntemattomia arvoja v i (α) on yksi vähemmän kuin yhtälöitä. Mutta myös r(α) on tuntematon; kaikkiaan tuntemattomia on yhtä monta kuin yhtälöitä; r(α) ratkeaa muiden mukana.

12 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 12 Huomioita Howardin yhtälöstä (jatkoa) Se arvo r(α), joka määräytyy Howardin yhtälön ratkaisuna (arvojen v 2 (α), v 3 (α),... ohella), on automaattisesti sama kuin rπ T (α). Tämä nähdään kertomalla (pistetulo) Howardin yhtälö oikealta π T (α):lla (lyhyyden vuoksi jätetään riippuvuus politiikasta α merkitsemättä): v = r re + vp T π T v π T = r π T r e π T } {{ } 1 +v P T π T }{{} (π P) T =π T = r π T r + v π T r = r π T

13 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 13 Politiikkaiterointi Howardin yhtälö määrää tilojen suhteelliset arvot v i (α), kun politiikka α on annettu. Politiikkaa voidaan parantaa valitsemalla kussakin tilassa i toimenpide a seuraavasti a i = argmax a {r i (a) r(α) + j p i,j (a) v j (α)} Idea tässä on se, että yksittäinen päätös tehdään maksimoiden tuoton odotusarvo, ottaen huomioon päätöksen välitön vaikutus sekä sen vaikutus seuraavaan tilasiirtymään, mutta olettaen, että siitä eteenpäin kaikki päätökset tehdään vanhan politiikan α mukaan. Valitsemalla toimenpide a i ylläolevan mukaisesti aina kussakin tilassa päädytään uuteen politiikkaan α. Uudella politiikalla α voidaan (ainakin periaatteessa) ratkaista keskimääräinen tuotto r(α ) ja tilojen suhteelliset arvot v i (α ). Voidaan osoittaa, että uusi politiikka α on aina parempi kuin lähtökohtana oleva politiikka α eli että r(α ) r(α). Politiikkaiteraatiossa iteraatiota jatketaan, kunnes mikään ei enää muutu. Yleensä politiikkaiteraatio konvergoi melko nopeasti.

14 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 14 Arvoiterointi Arvoiteraatiossa käsitellään kumulatiivista tuottoa V n (i) lähtien alkutilasta i. Nyt on mukavinta indeksoida aika siten, että alkuhetken indeksi on n. Viimeistä hetkeä merkitään indeksillä 0 ja asetetaan V 0 (i) = 0, i. Optimaalisen politiikan määrääminen (terminaalituotoilla V 0 (i) = 0) tapahtuu dynaamisen ohjelmoinnin tapaan edeten loppuhetkestä 0 kohti alkuhetkeä n. Kysytään, mikä toimenpide kannataa ensimmäisellä askeleella (hetki n) valita, systeemin ollessa tilassa i, ja mikä on vastaava tuoton odotusarvo V n (i) optimaalisella politiikalla. Asia ratkaistaan rekursiivisesti olettaen, että vastaava tehtävä on jo ratkaistu seuraavalle askeleelle (hetki n 1) ja, että optimipolitiikan tuotto-odotusarvot kyseisestä hetkestä loppuun asti V n 1 (i) tunnetaan kaikille tiloille i hetekllä n 1. Rekursioaskeleen määrittelee yhtälö (rekursiona alku: V 0 (i) = 0, i) V n (i) = max a {r i (a) + j p i,j (a)v n 1 (j)} Sulkulauseke edustaa tuotto-odotusarvoa, kun hetkellä n ollaan tilassa i ja valitaan toimenpide a, ja siitä hetkestä eteenpäin toimitaan optimaalisesti. Hetkellä n tilassa i optimaalinen toimenpide a on se, joka maksimoi sulkulausekkeen. Maksimin arvo on tuoton odotusarvo toimittaessa joka askeleella (n, n 1, n 2,..., 1) optimaalisesti.

15 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 15 Arvoiterointi (jatkoa) Arvoiteraatiossa tapahtuu optimipolitiikan ja tilojen arvojen määrääminen rinnakkain. Kun n kasvaa ja ollaan yhä kauempana terminaalipisteestä: Arvoiteraation määräämä toimenpidevalinta tulee riippumattomaksi aika-askeleesta n ja riippuu vain tilasta i; kyseinen valinta vastaa (jatkuvan tilan) optimipolitiikkaa α. Tuotto-odostusarvot lähenevät muotoa: V n (i) v i (α ) + n r(α ) + c, missä c on jokin vakio. Jos viimeksi mainittu muoto sijoitetaan takaisin arvoiteraatioyhtälöön, saadaan v i (α ) = max a {r i (a) r(α ) + j p i,j (a)v j (α )} joka on optimaalisuusehto sekä politiikalle α että suhteellisille arvoille v i (α ) ja keskituotolle r(α ). Optimipolitiikka α on se politiikka, joka kussakin tilassa i valitsee maksimin toteuttavan toimenpiteen a. Maksimoiva toimenpide riippuu arvoista v i, jotka puolestaan yhtälön mukaan riippuvat siitä, mikä kyseinen maksimoiva toimenpide on.

16 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 16 Arvoiterointi (jatkoa) Optimipolitiikan ja siihen liittyvien suhteellisten arvojen mutkikkaasta riippuvuudesta ei varsinaisessa arvoiteroinnissa tarvitse välittää. Kumulatiivisten tuottojen V n (i) rekursiivinen laskenta arvoiteraatioyhtälöstä on helppo tehdä. Politiikkaiteraatiossa politiikan ja arvojen määrääminen on erotettu toisistaan: Toimenpidevalinta tehdään annetun politiikan α mukaan (ei maksimoiden), jolloin yhtälö on Howardin yhtälö suhteellisten arvojen määräämiseksi. Näillä suhteellisilla arvoilla määrätään uusi politiikka maksimoiden lauseke. Politiikka- ja arvoiteraatioiden vertailua Vaikka politiikkaiterointi voi vaikuttaa mutkikkaammalta, se on tehokkaaampi: tiettyyn politiikkaan liittyvät tilojen suhteelliset arvot lasketaan kerralla ratkaisemalla lineaarinen Howardin yhtälöryhmä. Arvoiteraatiossa tämän lineaarisen yhtälöryhmän ratkaisukin efektiivisesti tapahtuu iteroimalla, mikä on hidasta (joskin tähän limitettynä koko ajan samalla optimoidaan politiikka). Arvoiteraatiossa tarvitaan paljon enemmän iteraatiokierroksia.

17 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 17 Jatkuva-aikaiset MDP:t Edellä esitetyt tarkastelut voidaan suhteellisen suoraviivaisesti siirtää jatkuva-aikaisiin Markovin päätösprosesseihin. Jokaisessa tilassa i valitaan tietty toimenpide a, joka riippuu vain tästä tilasta. Tila i ja siinä valittu toimenpide a yhdessä määräävät tuottonopeuden r i (a) sekä siirtymänopeudet q i,j (a) muihin tiloihin j. Annettu politiikka α määrää valinnan a jokaisessa tilassa i, a = a i (α), jolloin tuottonopeus ja siirtymänopeudet ovat tilan ja politiikan funktioita. Merkitään näitä jälleen lyhyyden vuoksi r i (α):lla ja q i,j (α):lla. Politiikkaan α liittyvät tilojen suhteelliset arvot v i (α) määräytyvät jälleen Howardin yhtälöstä, joka analogisesti aikaisemmin kirjoitetun muodon kanssa kuuluu r i (α) r(α) + j =i q i,j (α)(v j (α) v i (α)) = 0, i v i (α) = tilan i suhteellinen arvo r i (α) = tuottonopeus tilassa i r(α) = keskimääräinen tuottonopeus politiikalla α

18 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 18 Jatkuva-aikaisen MDP:n Howardin yhtälö Myös jatkuva-aikainen Howardin yhtälö voidaan kirjoittaa vektorimuodossa. Tätä varten muokataan ensin edellistä yhtälöä q i,j (α)(v j (α) v i (α)) = q i,j (α)v j (α) q i,j v i (α) = j =i j =i j =i }{{} q i,i j q i,j (α)v j (α) Saadaan r(α) r(α)e + v(α)q T (α) = 0 Q on tilasiirtymänopeuksista q i,j muodostettu siirtymänopeusmatriisi, Q = (q i,j ) Politiikka α eksplisiittisesti määrää siirtymänopeusmatriisin Q(α). v(α) ja r(α) määräytyvät tämän jälkeen Howardin yhtälöstä. Vertailun vuoksi on jälleen hyvä muistaa, että politiikkaa α vastaavat tasapainotodennäköisyydet π(α) määräytyvät tasapainoyhtälöstä π(α)q(α) = 0 (huomaa ero Q vs. Q T )

19 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 19 Huomioita Howardin yhtälöstä v i (α):t jäävät vakioyhteenlaskettavaa vaille määräämättä. Jos v(α):aan lisätään c e, missä c on vakio, yhtälö säilyy samana, koska eq T = (Q e T ) T = 0 (Q:n rivisummat ovat nollia). Voidaan asettaa esim. v 1 (α) = 0, jolloin yhtälöstä ratkeavat v 1 (α), v 2 (α),... sekä r(α). Näin saatu r(α) on automaattisesti sama kuin keskimääräinen tuottonopeus r(α)π T (α) Tämä nähdään kertomalla Howardin yhtälö oikealta π T :llä: r π T r e π T } {{ } 1 +v Q T π T }{{} (πq) T =0 = 0 r = r π T

20 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 20 Tilojen suhteelliset arvot Tilan i suhteellinen arvo v i edustaa jälleen alkutilasta i lähtien syntyvän tuottokertymän odotusarvon ja keskimääräisen tuottokertymän erotusta. Lähdettäessä tilasta i tilatodennäköisyysvektori on alkuhetkellä π(0) = e i (i:s komponentti on yksi, muut nollia). Tästä eteenpäin ajasta riippuvan todennäköisyysvektroin kehitys on, d dtπ(t) = π(t) Q, eli π(t) = π(0)e Qt ja tuottonopeus hetkellä t on siten rπ T (t) = re QTt e T i. Olkoon V i (t) tuottokertymä (tuottonopeuden aikaintegraali) välillä (0, t) lähtien alkutilasta i ja olkoon V(t) näistä muodostettu vektori. Helposti nähdään, että V(t) = r t 0 eqtu du jolloin v = lim t (V(t) r t e) Jälkimmäinen, vakiotermi ei muuta Howardin yhtälöä. Osoitetaan, että rajalla t ensimmäinen termi V(t) toteuttaa Howardin yhtälön: V(t)Q T = r t 0 eqtu du Q T = r/ t 0 eqtu = r( e QT t }{{} I) (r π T ) e r = r e r π T e r r e + V(t)Q T 0 kun t v toteuttaa Howardin yhtälön

21 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 21 Politiikkaiteraatio Politiikkaiteraatiossa lähdetään liikkeelle jostakin politiikasta α ja ratkaistaan siihen liittyvät tilojen suhteelliset arvot v i (α) ja keskimääräinen tuottonopeus r(α) Howardin yhtälöstä. Tämän jälkeen määrätään uusi politiikka, jossa kussakin tilassa i valitaan se toimenpide a, joka toteuttaa maksimin max {r a i(a) r(α) + q i,j (a)(v j (α) v i (α))} j =i Nämä valinnat määrittelevät uuden politiikan α. Tämän politiikan mukaisella siirtymänopeusmatriisilla Q(α ) ratkaistaan Howardin yhtälöstä uudet arvot v i (α ) ja r(α ) ja määrätään uusi politiikka ylläolevan yhtälön mukaisesti. Näin jatketaan, kunnes mikään ei muutu.

22 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 22 Arvoiteraatio Arvoiteraatiossa tarkastellaan kumulatiivista tuottoa V i (t) äärellisellä aikavälillä ( t, 0), kun alkuhetkellä t systeemi on tilassa i. Indeksi t mittaa aikaa loppupisteestä 0 taaksepäin. Loppupisteessä t = 0 kumulatiivisilla tuotoilla on terminaaliarvot V i (0) = 0, i. Taaksepäin etenevä rekursioyhtälö saa jatkuvassa ajassa differentiaaliyhtälön muodon d dt V i(t) = max a {r i (a) + j =i q i,j (a)(v j (t) V i (t))} Tämä määrää sekä optimaalisen toimenpidevalinnan kussakin tilassa i (ja ajanhetekellä ( t)) sekä tähän optimipolitiikkaan liittyvät kumulatiivisten tuottojen odotusarvot V i (t) optimaalisella politiikalla.

23 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 23 Arvoiteraatio (jatkoa) Kun arvoiteraatioyhtälöä integroidaan riittävän pitkälle taaksepäin (suureen arvoon t), tullaan jatkuvaan tilaan, jossa toimenpidevalinta riippuu vain tilasta i (ei ajasta t), ja tämä valinta vastaa optimipolitiikkaa α. Vastaavasti kumulatiivinen tuotto kasvaa vakionopeudella ajan funktiona V i (t) = v i (α ) + r(α ) t + c, missä c on jokin vakio. Kun tämä sijoitetaan arvoiteraatioyhtälöön, tämä saa muodon max a {r i (a) r(α ) + j =i q i,j (a)(v j (α ) v i (α ))} = 0 joka on optimaalisuusehto sekä politiikalle α että suhteellisille arvoille v i (α ) ja keskimääräiselle tuottonopeudelle r(α ). Käytännössä on helpointa tarkastella kumulatiivisia tuottoja ja ratkaista differentiaaliyhtälö riittävän pitkälle tai erottaa politiikan ja arvojen määrääminen politiikkaiteraation mukaisesti.

24 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 24 Esimerkki 1. Tilojen suhteelliset arvot M/M/ -järjestelmässä Politiikkana on tämän järjestelmän vakio-oletusten mukaisesti vapaa pääsy: jokainen saapuva kutsu otetaan vastaan (saa oman johdon). Oletetaan, että tuottoa kertyy jokaisesta käynnissä olevasta yhteydestä vakionopeudella 1 (minuuttiveloitus, esim. senttiä/min). Kun systeemi on tilassa n (n yhteyttä käynnissä), tuottonopeus on n. Jatkuva-aikainen Howardin yhtälö tilalle n voidaan kirjoittaa suoraan n a + λ(v n+1 v n ) + µn(v n 1 v n ) = 0 Tässä on jo käytetty hyväksi sitä tietoa, että keskimääräinen tuottonopeus on sama kuin keskimäärin systeemissä olevien yhteyksien lukumäärä, joka on a = λ/µ. Merkitään u n = µv n. Tällöin yhtälö saa muodon n a + a(u n+1 u n ) + n(u n 1 u n ) = 0 eli a(u n+1 u n 1) = n(u n u n 1 1) Yhtälön ratkaisu on u n+1 u n = 1 eli u n = n + c, n = 0, 1,...

25 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 25 Esimerkki 1. (jatkoa) Vakion c arvo (joka ei ole tärkeä) kiinnittyy vaatimuksesta n π nu n = 0 n π nn + c n π n = a + c = 0 c = a Ratkaisu on u n = n a 5 Tulos voidaan ymmärtää helposti fysikaalisesti : Miehityksen odotusarvo m(t) = E[N(t)] M/M/ järjestelmässä noudattaa aina (alkutilajakaumasta riippumatta) yhtälöä d dt m(t) = λ µm(t) m(t) = (m(0) a)e µt + a Tällöin mistä tahansa alkutilasta n lähtien (jolloin m(0) = n) tuottokertymän odotusarvo keskimääräiseen kertymään nähden on (m(t) a)dt = (m(0) a) e µt dt = 1 (n a) 0 0 µ m(t) 1/µ t

26 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 26 Esimerkki 2. Tilojen suhteelliset kustannukset M/M/1-jonossa Kun halutaan kehittää menetelmiä viiveen minimoimiseksi M/M/1-jonossa, on tarkoituksenmukaista ottaa tarkasteltavaksi kustannukset (ei tuotot). Asiakasta kohti kertyväksi kustannukseksi otetaan asiakkaan kokonaisviipymäaika jonossa. Tällöin tilassa n (asiakasta jonossa) kustannusten kertymänopeus on n. Jonojärjestelmässä halutaan minimoida m(t)dt, missä m(t) = E[N(t)]. Menetysjärjestelmässä integraali edustaa kuljetetun liikenteen odotusarvoa ja se halutaan maksimoida. Eston ja viipymisajan minimoinnit ovat vastakkaisia tavoitteita. Howardin yhtälö on jälleen helppo kirjoittaa (politiikkana vapaa pääsy jonoon): n ρ 1 ρ + λ(v n+1 v n ) + µ1 n>0 (v n 1 v n ) = 0 missä on käytetty hyväksi sitä, että keskimääräinen kustannusnopeus on sama kuin keskimääräinen jononpituus, jonka tiedetään olevan ρ/(1 ρ), ρ = λ/µ. (Yhtälö voidaan ratkaista ilmankin tätä tietoa).

27 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 27 Esimerkki 2. (jatkoa) Merkitään u n = µv n. Tällöin yhtälö on n ρ 1 ρ + ρ(u n+1 u n ) + 1 n>0 (u n 1 u n ) = 0 ρ (u n+1 u n n ρ ) = 1 n>0(u n u n 1 ) n 1 ρ u n+1 u n = n ρ v n+1 v n = n + 1 µ λ v n = 1 2 n(n + 1) µ λ kun asetetaan v 0 = 0 Fysikaalinen tulkinta: Miehityksen odotusarvo m(t) = E[N(t)] M/M/1-järjestelmässä käyttäytyy likimain kuvan mukaisesti. m(t) m(0)-( µ - λ)t ½ m(0) m(0)/( µ - λ) Lähdettäessä suuresta miehityksestä n, m(t) pienenee aluksi lineaarisesti. Kolmioalueen pinta-ala on alkumiehityksen neliöllinen funktio. ρ /(1- ρ) t

28 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 28 Esimerkki 3. Optimireititys kahden M/M/1-jonon tapauksessa Paketteja saapuu poissonisesti nopeudella λ. Saapuva µ paketti voidaan reitittää kumman tahansa jonon kautta. Jonojen miehitykset n 1 ja n 2 ovat aina tiedossa. 1 λ Tehtävänä on määritellä reitityspolitiikka siten, että µ 2 pitkällä tähtäimellä pakettien viipymä jonossa minimoituu. Otetaan lähtökohdaksi seuraava peruspolitiikka (0-politiikka): Saapuva paketti ohjataan todennäköisyydellä p jonoon 1 ja todennäköisyydellä 1 p jonoon 2. Jonoihin tulee tällöin poissoniset virrat intensiteeteillä λ 1 = pλ ja λ 2 = (1 p)λ. Jonot ovat riippumattomia M/M/1-jonoja ja keskimääräinen viipymä jonossa on p µ 1 pλ + 1 p µ 2 (1 p)λ Voidaan suorittaa staattinen optimointi parametrin p suhteen. Merkitään x = µ 2 /µ 1. Lauseke minimoituu arvolla p = p, p = 1, λ (1 x)µ x + x 1 + x (1 x) µ 1 λ, λ > (1 x)µ 1

29 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 29 Esimerkki 3. (jatkoa) Parannetaan peruspolitiikkaa suorittamalla yksi politiikkaiterointi. Arvioidaan kunkin reitityspäätöksen vaikutukset käyttämällä 0-politiikalla laskettuja tilojen suhteellisia kustannuksia. Koska 0-politiikan vallitessa jonot ovat riippumattomia M/M/1-jonoja, suhteellisille kustannuksille pätevät edellisessä esimerkissä lasketut arvot. Reititysvaihtoehtojen 2 ja 1 kustannusero on (ensimmäinen termi on kustannuskertymän lisäys, jos paketti pannaan jonoon 2, eli jonolle 2 laskettu v n2 +1 v n2, ja jälkimmäinen termi on vastaava suure jonolle 1) n n Jos 0, paketti kannattaa panna jonoon 1, jos < 0, paketti µ 2 λ 2 µ 1 λ 1 kannattaa panna jonoon 2. Päätössuora, joka erottaa eri reititysvaihtoehtoja vastaavat miehitysalueet, saadaan asettamalla lauseke nollaksi: n 2 "1" n 2 = µ 2 λ 2 µ 1 λ 1 (n 1 + 1) 1 JSQ-politiikassa (join the shortest queue) päätössuora menee diagonaalia pitkin. JSQ-politiikka ei kuitenkaan ole optimaalinen. Nyt selvitetty päätössuorakaan ei määrittele optimaalista politiikkaa, vaan on tulos ensimmäisestä politiikkaiteraatiosta. n 1 "2"

30 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 30 Esimerkki 3. (jatkoa) Iteraation jatkaminen tästä eteenpäin on mahdollista vain ratkaisemalla Howardin yhtälö numeerisesti. Oheinen kuva on saatu katkaisemalla tila-avaruus alueeseen n 1 < 20 ja n 2 < 20 (vain osa alueesta näkyvissä) ja ratkaisemalla Howardin yhtälö numeerisesti parametreilla λ = 1, µ 1 = 2, µ 2 = 1. Iteraatio suppeni (vakioitui) neljällä kierroksella. Lopullinen optimaalinen politiikka ilmenee pisteiden värityksestä: vihreä (vaalea) piste: ohjaa paketti jonoon 2 punainen (tumma) piste: ohjaa paketti jonoon JSQ 1st policy iteration Staattisen optimaalisen politiikan (p = 0.828) mukaan toimittaessa paketin keskimääräinen viipymä systeemissä on JSQ-politiikka tuottaa arvon Optimoidusta staattisesta politiikasta ensimmäisellä politiikkaiteraatiolla saadun politiikn vastaava arvo on Tämä on jo hyvin lähellä optimaalisen politiikan arvoa

31 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 31 Esimerkki 4. Tilojen suhteelliset kustannukset M/M/m/m-järjestelmässä Esimerkissä 1 tarkasteltiin äärettömän monen palvelijan M/M/ systeemiä ja laskettiin tilojen suhteelliset arvot, kun arvon mittana käytettiin kuljetetun liikenteen määrää. Nyt otetaan tutkittavaksi äärellinen M/M/m/m-järjestelmä eli (Erlangin) menetysjärjestelmä, jossa käytettävissä on m palvelinta (johtoa). Kaikki kutsut hyväksytään, jos tilaa on. Nytkin voitaisiin laskea tilojen suhteelliset arvot käyttäen mittana kuljetetun liikenteen määrää. Seuraavassa lasketaan kuitenkin tilojen suhteelliset kustannukset käyttäen mittana estyvän liikenteen määrää. Teknisesti laskut eroavat hiukan toisistaan tuottoa laskettaessa tilan n tuottonopeus on n, n estokustannuksia laskettaessa kustannusnopeus tilassa n = m on λ ja muissa tiloissa n < m kustannusnopeus on 0; systeemin ollessa estotilassa n = m kutsuja estyy odotusarvoisesti nopeudella λ (itse asiassa, jotta tämä olisi yhteismitallinen tuottotarkastelun kanssa, λ pitäisi vielä kertoa yhden yhteyden tuoton odotusarvolla, joka yksikköaikaveloituksen vallitessa on sama kuin yhteyden keskimääräinen kesto 1/µ; vakiotekijällä ei kuitenkaan tarkasteluissa ole merkitystä, ja se jätetään tässä pois). Sovellusten kannalta ei ole merkitystä sillä, kumpaa tarkastelua käytetään; kuljetetun liikenteen maksimointi on ekvivalentti tehtävä estyneen liikenteen minimoinnin kanssa.

32 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 32 Esimerkki 4. (jatkoa) Äsken sanotun perusteella voidaan kirjoittaa Howardin yhtälöt: λ r + µm(v m 1 v m ) = 0 (viimeinen tila, ei siirtymiä ylöspäin) r + λ(v n+1 v n ) + µn(v n 1 v n ) = 0, n = 0,..., m 1 Näissä r on keskimääräinen kustannusnopeus. Yhtälöissä voidaan asettaa v 0 = 0, jolloin niistä ratkeavat r ja v 1,..., v m. Etukäteen tosin jo tiedetään että r = λe(m, a). Yhtälöiden mekaaninen ratkaiseminen jätetään harjoitustehtäväksi. Sen sijaan on mielenkiintoista todeta, että tämän tehtävän ratkaisu voidaan johtaa suoraan päättelemällä. Erityisesti johdetaan päättelemällä erotuksen n = v n+1 v n arvo. Aikaisemmin annetun määritelmän mukaan voidaan kirjoittaa n = lim (V n+1 (t) V n (t)) t missä V n (t) = E[estotapahtumien lkm välillä (0, t), kun hetkellä 0 systeemi on tilassa n]

33 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 33 Esimerkki 4. (jatkoa) Tarkastellaan suureita V n (t) ja V n+1 (t) oheisten kuvien avulla. Kun systeemi lähtee tilasta n, kestää jonkin aikaa ennen kuin se ensimmäisen kerran siirtyy tilaan n+1. Merkitään tämän ensimmäisen siirtymisen ajankohtaa t n:llä. Välillä (0, t n ) ei tapahdu estymisiä. Kun systeemi on siirtynyt tilaan n+1, se on samassa asemassa kuin systeemi, joka alunperin lähti tilasta n + 1 (markovisuus!). Kuvissa tummennetut, samankestoiset alueet ovat siten tilastollisesti identtisiä ja niissä tapahtuvien estymisten odotusarvot ovat samat. Päätellään, että V n+1 V n on sama kuin estotapahtumien lukumäärän odotusarvo aikavälissä (t t n, t) järjestelmässä, joka lähti tilasta n n n t n * Kun t, alkutila ei enää vaikuta systeemin käyttäytymiseen välissä (t t n, t), vaan systeemi on tasapainossa ja estotodennäköisyys on E(m, a). Koska kyseisessä välissä tulee keskimäärin λe[t n] kutsua, on n = λe[t n ]E(m, a) t t-t n * t

34 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 34 Esimerkki 4. (jatkoa) Päätellään vielä E[t n ]. Tarkastellaan tätä varten järjestelmää, jonka kapasiteetti on n. Välittömästi eston jälkeen systeemi on tilassa n. Seuraava estyminen tapahtuu hetkellä, jolloin systeemi olisi noussut tilaan n + 1. Estoväli tässä rajoitetun kapasiteetin systeemissä on siten samoinjakautunut kuin t n suuremmassa systeemissä (aika siirtymiseen tilasta n tilaan n + 1). E[t n ] = E[estoväli] = 1 λe(n, a), (λe(n, a) on estofrekvenssi) n x estyneen kutsun saapumishetki x x x Sijoittamalla tämä edelliseen kaavaan saadaan lopulta yksinkertaisuudessaan kaunis tulos n = v n+1 v n = E(m, a) E(n, a) Koska n m, on n 1. Muistutetaan vielä, että tämä suure kertoo, kuinka paljon enemmän estymisiä tapahtuu odotusarvoisesti M/M/m/m-järjestelmässä, joka lähtee alkutilasta n+1, verrattuna järjestelmään, joka lähtee tilasta n. Jos järjestelmä on tilassa n ja siihen otetaan tarjottu kutsu, niin suure n kertoo tästä tulevaisuudessa aiheutuvan haitan odotusarvon. Tulosta käytetään seuraavassa reititystehtävän käsittelyyn.

35 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 35 Dynaaminen tilariippuva reititys piirikytkentäisessä verkossa Tarkastellaan reitityksen perusongelmaa kuvan mukaisessa kolmioverkossa. Kaikkien linkkien kapasiteetit C j, niille tarjotut liikenneintensiteetit a j ja kunkinhetkiset miehitykset n j oletetaan tunnetuiksi. C j = linkin j kapasiteetti n j = linkin j miehitys = linkille j tarjottu liikenneintensiteetti a j A C a 2 a 3 n 2, C 2 n 3, C 3 Peruspolitiikkana on, että tarjottuja kutsuja kuljetetaan vain suoria linkkejä pitkin. Tällöin systeemissä on kolme erillistä menetysjärjestelmää, ja jokaiselle niistä pätevät edellisessä esimerkissä lasketut suhteelliset tilakustannukset. Nyt halutaan ensimmäisen politiikaiteroinnin avulla selvittää, mikä olisi hyvä politiikka kutsujen vaihtoehtoisreititykselle. Tarkastellaan asiaa erityisesti linkille 1 tarjottujen kutsujen kannalta. Ongelma on siis seuraava: Linkkille 1 tarjotaan kutsu tilanteessa, jossa linkkien miehitykset ovat n 1, n 2 ja n 3. Kysymys on, hylätäänkö vai hyväksytäänkö tarjottu kutsu. Jos se hyväksytään, kysytään mitä kautta se kannattaa reitittää suoraa reittiä AB (linkki 1) vaihtoehtoista reittiä ACB (linkki 2 + linkki 3) n 1, C 1 a 1 B

36 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 36 Dynaaminen tilariippuva reititys (jatkoa) Optimoinnin tavoitteena on välitettyjen kutsujen lukumäärän maksimointi eli estyvien kutsujen lukumäärän minimointi (ääretön aikahorisontti). Vaihtoehtoisreitin käyttö kuluttaa enemmän verkon resursseja (varaa johdon kahdelta eri linkiltä) ja voi potentiaalisesti aiheuttaa paljonkin tulevan liikenteen menetystä. Etukäteen ei ole lainkaan selvää, millä edellytyksillä vaihtoehtoisreitin käyttö on kannattavaa. Ensimmäsen politiikkaiteroinnin mukaan toimittaessa jokainen yksittäinen toimenpide tehdään minimoiden tästä yhdestä päätöksestä seuraavat kustannukset sellaisina kuin miltä ne näyttävät toimittaessa tämän päätöksen jälkeen peruspolitiikan mukaisesti. Hyväksyttäessä uusi kutsu linkille j tästä aiheutuu tulevaisuudessa lisäestoa, jonka odotusarvo on E(n j, a j )/E(m j, a j ). Politiikka Koska kutsun hyväksymisestä suoralle linkille 1 aiheutuva haitta on < 1 aina, kun kutsu mahtuu linkille eli m 1 < n 1, kun taas kutsun kuljettamisesta saatava hyöty on 1, kutsu kannattaa aina ottaa suoralle linkille, jos se suinkin on mahdollista. Jos suora linkki on täynnä, on tutkittava vaihtoehtoisreitin eri linkeillä yhteensä syntyvää kustannuslisää. Vaihtoehtoisreitin käyttö kannattaa, jos seuraava ehto on voimassa: E(m 2, a 2 ) E(n 2, a 2 ) + E(m 3, a 3 ) E(n 3, a 3 ) < 1

37 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 37 Dynaaminen tilariippuva reititys (jatkoa) Jos vaihtoehtoisreitin linkit ovat jo melko täynnä, ehdon E(m 2, a 2 ) E(n 2, a 2 ) + E(m 3, a 3 ) E(n 3, a 3 ) < 1 vasemman puolen termit ovat lähellä ykköstä ja summa voi olla ykköstä suurempi. Ehto määrittelee eräänlaisen dynaamisen trunk reservation -periaatteen. Vaihtoehtoisreitille on jätettävä riittävästi tilaa tuoretta suoraa liikennettä varten. Kuvassa nähdään n -funktion käyttäytyminen systeemin kapasiteetin ollessa m = 30. Jos oletetaan, että vaihtoehtoisreitin molemmat 0.6 linkit ovat samanlaisia (m = 30) nähdään, että tyypillisesti vaihtoehtoisreitin linkeillä pitää olla 0.4 a=30 tilaa ( n 0.5) muutama johto, jotta reittiä kannattaa käyttää: a= a= johtoa, jos a = 20, 6 johtoa, jos a = C=30 n

38 J. Virtamo Teleliikenneteoria / Markovin päätösprosessit 38 Huomioita dynaamisesta tilariippuvasta reitityksestä Johdettu politiikka ei ole lopullinen optimi, vaan vasta ensimmäisen politiikkaiteraation tulos. Todellinen optimipoliikka syntyy, kun päätöksiä tehtäessä tulevaisuuden kustannusvaikutuksetkin arvioidaan optimipolitiikkaa (jota ei vielä tunneta) käyttäen. Dynaamisen tilariippuvan reitityksen toteutus on teknisesti vaativa, koska se edellyttää sekä täydellistä tilatietoa että saapumisintensiteettien arvioimista. Käytännössä voidaan soveltaa robustimpaa kapasiteetin varausmenetelmää (trunk reservation), jossa tuoreelle liikenteelle tehdään kiinteä varaus.

Estojärjestelmä (loss system, menetysjärjestelmä)

Estojärjestelmä (loss system, menetysjärjestelmä) J. Virtamo 38.3143 Jonoteoria / Estojärjestelmä 1 Estojärjestelmä (loss system, menetysjärjestelmä) Tarkastellaan perinteistä puhdasta estojärjestelmää, jossa on annettu n = johtojen (varattavien elementtien)

Lisätiedot

Littlen tulos. Littlen lause sanoo. N = λ T. Lause on hyvin käyttökelpoinen yleisyytensä vuoksi

Littlen tulos. Littlen lause sanoo. N = λ T. Lause on hyvin käyttökelpoinen yleisyytensä vuoksi J. Virtamo 38.3143 Jonoteoria / Littlen tulos 1 Littlen tulos Littlen lause Littlen tuloksena tai Littlen lauseena tunnettu tulos on hyvin yksinkertainen relaatio järjestelmään tulevan asiakasvirran, keskimäärin

Lisätiedot

Esimerkki: Tietoliikennekytkin

Esimerkki: Tietoliikennekytkin Esimerkki: Tietoliikennekytkin Tämä Mathematica - notebook sisältää luennolla 2A (2..26) käsitellyn esimerkin laskut. Esimerkin kuvailu Tarkastellaan yksinkertaista mallia tietoliikennekytkimelle. Kytkimeen

Lisätiedot

Liikenneongelmien aikaskaalahierarkia

Liikenneongelmien aikaskaalahierarkia J. Virtamo 38.3141 Teleliikenneteoria / HOL-esto 1 Liikenneongelmien aikaskaalahierarkia AIKASKAALAHIERARKIA Kiinnostavat aikaskaalat kattavat laajan alueen, yli 13 dekadia! Eri aikaskaaloissa esiintyvät

Lisätiedot

Demonstraatiot Luento

Demonstraatiot Luento TEKNILLINEN KORKEAKOULU Tietoliikenne- ja tietoverkkotekniikan laitos S-8.45 Liikenneteorian perusteet, Kevät 8 Demonstraatiot Luento 8..8 D/ Tarkastellaan seuraavaa yksinkertaista piirikytkentäistä (runko)verkkoa.

Lisätiedot

Estynyt puheluyritys menetetään ei johda uusintayritykseen alkaa uusi miettimisaika: aika seuraavaan yritykseen Exp(γ) pitoaika X Exp(µ)

Estynyt puheluyritys menetetään ei johda uusintayritykseen alkaa uusi miettimisaika: aika seuraavaan yritykseen Exp(γ) pitoaika X Exp(µ) J Virtamo 383143 Jonoteoria / Engsetin järjestelmä 1 Äärellinen lähdepopulaatio: M/M/s/s/n-järjestelmä Tarkastellaan estojärjestelmää (ei odotuspaikkoja) tapauksessa, jossa saapumiset tulevat äärellisestä

Lisätiedot

Demonstraatiot Luento 7 D7/1 D7/2 D7/3

Demonstraatiot Luento 7 D7/1 D7/2 D7/3 TEKNILLINEN KORKEAKOULU Tietoliikenne- ja tietoverkkotekniikan laitos S-8.45 Liikenneteorian perusteet, Kevät 2008 Demonstraatiot Luento 7 7.2.2008 D7/ Tarkastellaan piirikytkentäisen järjestelmän n-kanavaista

Lisätiedot

Syntymä-kuolema-prosessit

Syntymä-kuolema-prosessit J. Virtamo 38.343 Jonoteoria / SK-prosessit Syntymä-kuolema-prosessit Yleistä Syntymä-kuolema-prosessiksi (SK-prosessi) kutsutaan Markov-prosessia, jonka - tila-avaruus on iskreetti - tilat voiaan järjestää

Lisätiedot

Numeeriset menetelmät TIEA381. Luento 12. Kirsi Valjus. Jyväskylän yliopisto. Luento 12 () Numeeriset menetelmät / 33

Numeeriset menetelmät TIEA381. Luento 12. Kirsi Valjus. Jyväskylän yliopisto. Luento 12 () Numeeriset menetelmät / 33 Numeeriset menetelmät TIEA381 Luento 12 Kirsi Valjus Jyväskylän yliopisto Luento 12 () Numeeriset menetelmät 25.4.2013 1 / 33 Luennon 2 sisältö Tavallisten differentiaaliyhtälöiden numeriikasta Rungen

Lisätiedot

Syntymä-kuolema-prosessit

Syntymä-kuolema-prosessit J. Virtamo Liikenneteoria ja liikenteenhallinta / SK-prosessit Syntymä-kuolema-prosessit Yleistä Syntymä-kuolema-prosessiksi (SK-prosessi) kutsutaan Markov-prosessia, jonka - tila-avaruus on iskreetti

Lisätiedot

1 + b t (i, j). Olkoon b t (i, j) todennäköisyys, että B t (i, j) = 1. Siis operaation access(j) odotusarvoinen kustannus ajanhetkellä t olisi.

1 + b t (i, j). Olkoon b t (i, j) todennäköisyys, että B t (i, j) = 1. Siis operaation access(j) odotusarvoinen kustannus ajanhetkellä t olisi. Algoritmien DP ja MF vertaileminen tapahtuu suoraviivaisesti kirjoittamalla kummankin leskimääräinen kustannus eksplisiittisesti todennäköisyyksien avulla. Lause T MF ave = 1 + 2 1 i

Lisätiedot

Diskreettiaikainen dynaaminen optimointi

Diskreettiaikainen dynaaminen optimointi Diskreettiaikainen dynaaminen optimointi Usean kauden tapaus 2 kauden yleistys Ääretön loppuaika Optimaalinen pysäytys Optimointiopin seminaari - Syksy 2000 / Ongelma t 0 x 0 t- t T x t- + x t + x T u

Lisätiedot

Markov-kustannusmallit ja kulkuajat

Markov-kustannusmallit ja kulkuajat 2B Markov-kustannusmallit ja kulkuajat Tämän harjoituksen tavoitteena on oppia laskemaan Markov-kustannusmallien kustannuskertymiä ja -vauhteja, ketjujen odotettuja kulkuaikoja sekä todennäköisyyksiä osua

Lisätiedot

Markov-ketjut pitkällä aikavälillä

Markov-ketjut pitkällä aikavälillä 2A Markov-ketjut pitkällä aikavälillä Tämän harjoituksen tavoitteena on oppia lukemaan siirtymämatriisista tai siirtymäkaaviosta, milloin Markov-ketju on yhtenäinen ja jaksoton; oppia tunnistamaan, milloin

Lisätiedot

Mat-2.148 Dynaaminen optimointi, mallivastaukset, kierros 5

Mat-2.148 Dynaaminen optimointi, mallivastaukset, kierros 5 Mat-2.148 Dynaaminen optimointi, mallivastaukset, kierros 5 1. Kotitehtävä. 2. Lasketaan aluksi korkoa korolle. Jos korkoprosentti on r, ja korko maksetaan n kertaa vuodessa t vuoden ajan, niin kokonaisvuosikorko

Lisätiedot

MS-A0004/A0006 Matriisilaskenta

MS-A0004/A0006 Matriisilaskenta 4. MS-A4/A6 Matriisilaskenta 4. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto..25 Tarkastellaan neliömatriiseja. Kun matriisilla kerrotaan vektoria, vektorin

Lisätiedot

J. Virtamo Jonoteoria / Prioriteettijonot 1

J. Virtamo Jonoteoria / Prioriteettijonot 1 J. Virtamo 38.3143 Jonoteoria / Prioriteettijonot 1 Prioriteettijonot Tarkastellaan M/G/1-jonojärjestelmää, jossa asiakkaat on jaettu K:hon prioriteettiluokkaan, k = 1,..., K: - luokalla 1 on korkein prioriteetti

Lisätiedot

Harjoitus Tarkastellaan luentojen Esimerkin mukaista työttömyysmallinnusta. Merkitään. p(t) = hintaindeksi, π(t) = odotettu inflaatio,

Harjoitus Tarkastellaan luentojen Esimerkin mukaista työttömyysmallinnusta. Merkitään. p(t) = hintaindeksi, π(t) = odotettu inflaatio, Differentiaaliyhtälöt, Kesä 06 Harjoitus 3 Kaikissa tehtävissä, joissa pitää tarkastella kriittisten pisteiden stabiliteettia, jos kyseessä on satulapiste, ilmoita myös satulauraratkaisun (tai kriittisessä

Lisätiedot

T Rinnakkaiset ja hajautetut digitaaliset järjestelmät Stokastinen analyysi

T Rinnakkaiset ja hajautetut digitaaliset järjestelmät Stokastinen analyysi T-79.179 Rinnakkaiset ja hajautetut digitaaliset järjestelmät Stokastinen analyysi 12. maaliskuuta 2002 T-79.179: Stokastinen analyysi 8-1 Stokastinen analyysi, miksi? Tavallinen Petri-verkkojen saavutettavuusanalyysi

Lisätiedot

Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus

Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus 1 / 51 Lineaarikombinaatio Johdattelua seuraavaan asiaan (ei tarkkoja määritelmiä): Millaisen kuvan muodostaa joukko {λv λ R, v R 3 }? Millaisen

Lisätiedot

Numeeriset menetelmät TIEA381. Luento 7. Kirsi Valjus. Jyväskylän yliopisto. Luento 7 () Numeeriset menetelmät / 43

Numeeriset menetelmät TIEA381. Luento 7. Kirsi Valjus. Jyväskylän yliopisto. Luento 7 () Numeeriset menetelmät / 43 Numeeriset menetelmät TIEA381 Luento 7 Kirsi Valjus Jyväskylän yliopisto Luento 7 () Numeeriset menetelmät 10.4.2013 1 / 43 Luennon 7 sisältö Interpolointi ja approksimointi Interpolaatiovirheestä Paloittainen

Lisätiedot

Inversio-ongelmien laskennallinen peruskurssi Luento 2

Inversio-ongelmien laskennallinen peruskurssi Luento 2 Inversio-ongelmien laskennallinen peruskurssi Luento 2 Kevät 2012 1 Lineaarinen inversio-ongelma Määritelmä 1.1. Yleinen (reaaliarvoinen) lineaarinen inversio-ongelma voidaan esittää muodossa m = Ax +

Lisätiedot

Yhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.

Yhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5. 2. MS-A4/A6 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 5.9.25 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x + x 2

Lisätiedot

1 Rajoittamaton optimointi

1 Rajoittamaton optimointi Taloustieteen matemaattiset menetelmät 7 materiaali 5 Rajoittamaton optimointi Yhden muuttujan tapaus f R! R Muistutetaan mieleen maksimin määritelmä. Funktiolla f on maksimi pisteessä x jos kaikille y

Lisätiedot

Algoritmit 2. Luento 13 Ti Timo Männikkö

Algoritmit 2. Luento 13 Ti Timo Männikkö Algoritmit 2 Luento 13 Ti 30.4.2019 Timo Männikkö Luento 13 Simuloitu jäähdytys Merkkijonon sovitus Horspoolin algoritmi Ositus ja rekursio Rekursion toteutus Algoritmit 2 Kevät 2019 Luento 13 Ti 30.4.2019

Lisätiedot

Jatkuva-aikaisten Markov-prosessien aikakehitys

Jatkuva-aikaisten Markov-prosessien aikakehitys 5A Jatkuva-aikaisten Markov-prosessien aikakehitys Tämän harjoituksen tavoitteena on harjoitella jatkuva-aikaisiin Markov-prosesseihin liittyviä hetkittäisiä jakaumia ja tutkia niien muutoksia ajassa.

Lisätiedot

Odotusjärjestelmät. Aluksi esitellään allaolevan kuvan mukaisen yhden palvelimen jonoon liittyvät perussuureet.

Odotusjärjestelmät. Aluksi esitellään allaolevan kuvan mukaisen yhden palvelimen jonoon liittyvät perussuureet. J. Virtamo 38.3143 Jonoteoria / M/M/ /-jonot 1 Odotusjärjestelmät Siirrytään tarkastelemaan odotusjärjestelmiä. Nämä ovat aitoja jonojärjestelmiä siinä mielessä, että niissä on odotuspaikkoja ja asiakkat

Lisätiedot

Yhtälöryhmä matriisimuodossa. MS-A0007 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.

Yhtälöryhmä matriisimuodossa. MS-A0007 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5. 2. MS-A000 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2..205 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x x 2 =

Lisätiedot

min x x2 2 x 1 + x 2 1 = 0 (1) 2x1 1, h = f = 4x 2 2x1 + v = 0 4x 2 + v = 0 min x x3 2 x1 = ± v/3 = ±a x 2 = ± v/3 = ±a, a > 0 0 6x 2

min x x2 2 x 1 + x 2 1 = 0 (1) 2x1 1, h = f = 4x 2 2x1 + v = 0 4x 2 + v = 0 min x x3 2 x1 = ± v/3 = ±a x 2 = ± v/3 = ±a, a > 0 0 6x 2 TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-39 Optimointioppi Kimmo Berg 6 harjoitus - ratkaisut min x + x x + x = () x f = 4x, h = x 4x + v = { { x + v = 4x + v = x = v/ x = v/4 () v/ v/4

Lisätiedot

A ja B pelaavat sarjan pelejä. Sarjan voittaja on se, joka ensin voittaa n peliä.

A ja B pelaavat sarjan pelejä. Sarjan voittaja on se, joka ensin voittaa n peliä. Esimerkki otteluvoiton todennäköisyys A ja B pelaavat sarjan pelejä. Sarjan voittaja on se, joka ensin voittaa n peliä. Yksittäisessä pelissä A voittaa todennäköisyydellä p ja B todennäköisyydellä q =

Lisätiedot

y + 4y = 0 (1) λ = 0

y + 4y = 0 (1) λ = 0 Matematiikan ja tilastotieteen osasto/hy Differentiaaliyhtälöt I Laskuharjoitus 6 mallit Kevät 2019 Tehtävä 1. Ratkaise yhtälöt a) y + 4y = x 2, b) y + 4y = 3e x. Ratkaisu: a) Differentiaaliyhtälön yleinen

Lisätiedot

4. Lasketaan transienttivirrat ja -jännitteet kuvan piiristä. Piirielimien arvot ovat C =

4. Lasketaan transienttivirrat ja -jännitteet kuvan piiristä. Piirielimien arvot ovat C = BMA58 Funktiot, lineaarialgebra ja vektorit Harjoitus 6, Syksy 5. Olkoon [ 6 6 A =, B = 4 [ 3 4, C = 4 3 [ 5 Määritä matriisien A ja C ominaisarvot ja ominaisvektorit. Näytä lisäksi että matriisilla B

Lisätiedot

J. Virtamo Jonoteoria / Prioriteettijonot 1

J. Virtamo Jonoteoria / Prioriteettijonot 1 J. Virtamo 38.143 Jonoteoria / Prioriteettijonot 1 Prioriteettijonot TarkastellaanM/G/1-jonojärjestelmää, jossaasiakkaaton jaettu K:hon prioriteettiluokkaan, k =1,...,K: - luokalla 1 on korkein prioriteetti

Lisätiedot

f (28) L(28) = f (27) + f (27)(28 27) = = (28 27) 2 = 1 2 f (x) = x 2

f (28) L(28) = f (27) + f (27)(28 27) = = (28 27) 2 = 1 2 f (x) = x 2 BMA581 - Differentiaalilaskenta ja sovellukset Harjoitus 4, Syksy 15 1. (a) Olisiko virhe likimain.5, ja arvio antaa siis liian suuren arvon. (b) Esim (1,1.5) tai (,.5). Funktion toinen derivaatta saa

Lisätiedot

Investointimahdollisuudet ja investoinnin ajoittaminen

Investointimahdollisuudet ja investoinnin ajoittaminen Investointimahdollisuudet ja investoinnin ajoittaminen Ajoituksen ratkaisu dynaamisella optimoinnilla Optimointiopin seminaari - Syksy 000 / Esitelmän sisältö Investoinnin ajoitusongelman esittely Ongelman

Lisätiedot

Jatkuva-aikaisia Markov-prosesseja

Jatkuva-aikaisia Markov-prosesseja 5B Jatkuva-aikaisia Markov-prosesseja Tämän harjoituksen tavoitteena on harjoitella jatkuva-aikaisiin Markov-prosesseihin liittyviä hetkittäisiä jakaumia ja tasapainojakaumia. Laskuharjoitukseen kannattaa

Lisätiedot

Projektin arvon aleneminen

Projektin arvon aleneminen Projektin arvon aleneminen sivut 99-07 Optimointiopin seminaari - Syksy 000 / Arvon aleneminen Jatketaan projektin arvon tutkimista. Nyt huomioidaan arvon aleneminen. Syitä esimerkiksi: kaluston vanheneminen

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A050 Todennäköisyyslaskennan ja tilastotieteen peruskurssi B Satunnaismuuttujat ja todennäköisyysjakaumat Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto

Lisätiedot

Kun järjestelmää kuvataan operaattorilla T, sisäänmenoa muuttujalla u ja ulostuloa muuttujalla y, voidaan kirjoittaa. y T u.

Kun järjestelmää kuvataan operaattorilla T, sisäänmenoa muuttujalla u ja ulostuloa muuttujalla y, voidaan kirjoittaa. y T u. DEE-00 Lineaariset järjestelmät Harjoitus, ratkaisuehdotukset Järjestelmien lineaarisuus ja aikainvarianttisuus Kun järjestelmää kuvataan operaattorilla T, sisäänmenoa muuttujalla u ja ulostuloa muuttujalla

Lisätiedot

STOKASTISET PROSESSIT Peruskäsitteitä

STOKASTISET PROSESSIT Peruskäsitteitä J. Virtamo 38.3143 Jonoteoria / Stokastiset prosessit 1 STOKASTISET PROSESSIT Peruskäsitteitä Usein tarkasteltava järjestelmä kehittyy ajan mukana ja meitä kiinnostaa sen dynaaminen, yleensä satunnaisuutta

Lisätiedot

Dynaamisten systeemien teoriaa. Systeemianalyysilaboratorio II

Dynaamisten systeemien teoriaa. Systeemianalyysilaboratorio II Dynaamisten systeemien teoriaa Systeemianalyysilaboratorio II 15.11.2017 Vakiot, sisäänmenot, ulostulot ja häiriöt Mallin vakiot Systeemiparametrit annettuja vakioita, joita ei muuteta; esim. painovoiman

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 6 1 Korkolaskentaa Oletetaan, että korkoaste on r Jos esimerkiksi r = 0, 02, niin korko on 2 prosenttia Tätä korkoastetta käytettään diskonttaamaan tulevia tuloja ja

Lisätiedot

Kimppu-suodatus-menetelmä

Kimppu-suodatus-menetelmä Kimppu-suodatus-menetelmä 2. toukokuuta 2016 Kimppu-suodatus-menetelmä on kehitetty epäsileiden optimointitehtävien ratkaisemista varten. Menetelmässä approksimoidaan epäsileitä funktioita aligradienttikimpulla.

Lisätiedot

Dierentiaaliyhtälöistä

Dierentiaaliyhtälöistä Dierentiaaliyhtälöistä Markus Kettunen 4. maaliskuuta 2009 1 SISÄLTÖ 1 Sisältö 1 Dierentiaaliyhtälöistä 2 1.1 Johdanto................................. 2 1.2 Ratkaisun yksikäsitteisyydestä.....................

Lisätiedot

Kannan vektorit siis virittävät aliavaruuden, ja lisäksi kanta on vapaa. Lauseesta 7.6 saadaan seuraava hyvin käyttökelpoinen tulos:

Kannan vektorit siis virittävät aliavaruuden, ja lisäksi kanta on vapaa. Lauseesta 7.6 saadaan seuraava hyvin käyttökelpoinen tulos: 8 Kanta Tässä luvussa tarkastellaan aliavaruuden virittäjävektoreita, jotka muodostavat lineaarisesti riippumattoman jonon. Merkintöjen helpottamiseksi oletetaan luvussa koko ajan, että W on vektoreiden

Lisätiedot

J. Virtamo Jonoteoria / Jonoverkot 1

J. Virtamo Jonoteoria / Jonoverkot 1 J. Virtamo 38.3143 Jonoteoria / Jonoverkot 1 JONOVERKOT Useasta jonosta muodostuva verkko Queueing network Network of queues Esimerkiksi Asiakkaita siirtyy postin, pankin, kaupan jonoista toiseen Datapaketteja

Lisätiedot

Martingaalit ja informaatioprosessit

Martingaalit ja informaatioprosessit 4A Martingaalit ja informaatioprosessit Tämän harjoituksen tavoitteena on tutustua satunnaisvektorin informaation suhteen lasketun ehdollisen odotusarvon käsitteeseen sekä oppia tunnistamaan, milloin annettu

Lisätiedot

Luento 1: Optimointimallin muodostaminen; optimointitehtävien luokittelu

Luento 1: Optimointimallin muodostaminen; optimointitehtävien luokittelu Luento 1: Optimointimallin muodostaminen; optimointitehtävien luokittelu Merkintöjä := vasen puoli määritellään oikean puolen lausekkeella s.e. ehdolla; siten että (engl. subject to, s.t.) on voimassa

Lisätiedot

Yhtälöryhmät 1/6 Sisältö ESITIEDOT: yhtälöt

Yhtälöryhmät 1/6 Sisältö ESITIEDOT: yhtälöt Yhtälöryhmät 1/6 Sisältö Yhtälöryhmä Yhtälöryhmässä on useita yhtälöitä ja yleensä myös useita tuntemattomia. Tavoitteena on löytää tuntemattomille sellaiset arvot, että kaikki yhtälöt toteutuvat samanaikaisesti.

Lisätiedot

Gaussin ja Jordanin eliminointimenetelmä

Gaussin ja Jordanin eliminointimenetelmä 1 / 25 : Se on menetelmä lineaarisen yhtälöryhmän ratkaisemiseksi. Sitä käytetään myöhemmin myös käänteismatriisin määräämisessä. Ideana on tiettyjä rivioperaatioita käyttäen muokata yhtälöryhmää niin,

Lisätiedot

Tampere University of Technology

Tampere University of Technology Tampere University of Technology EDE- Introduction to Finite Element Method. Exercise 3 Autumn 3.. Solve the deflection curve v(x) exactly for the beam shown y,v q v = q z, xxxx x E I z Integroidaan yhtälö

Lisätiedot

Lineaarinen yhtälöryhmä

Lineaarinen yhtälöryhmä Lineaarinen yhtälöryhmä 1 / 39 Lineaarinen yhtälö Määritelmä 1 Lineaarinen yhtälö on muotoa a 1 x 1 + a 2 x 2 + + a n x n = b, missä a i, b R, i = 1,..., n ovat tunnettuja ja x i R, i = 1,..., n ovat tuntemattomia.

Lisätiedot

Insinöörimatematiikka D

Insinöörimatematiikka D Insinöörimatematiikka D M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi A. Lepistö alepisto@utu.fi Matematiikan ja tilastotieteen laitos Turun yliopisto 2016 M. Hirvensalo V. Junnila A. Lepistö

Lisätiedot

Fourier-analyysi, I/19-20, Mallivastaukset, Laskuharjoitus 7

Fourier-analyysi, I/19-20, Mallivastaukset, Laskuharjoitus 7 MS-C14, Fourier-analyysi, I/19- Fourier-analyysi, I/19-, Mallivastaukset, Laskuharjoitus 7 Harjoitustehtävä 7.1. Hetkellä t R olkoon s(t) 1 + cos(4πt) + sin(6πt). Laske tämän 1-periodisen signaalin s Fourier-kertoimet

Lisätiedot

Demo 1: Simplex-menetelmä

Demo 1: Simplex-menetelmä MS-C2105 Optimoinnin perusteet Malliratkaisut 3 Ehtamo Demo 1: Simplex-menetelmä Muodosta lineaarisen tehtävän standardimuoto ja ratkaise tehtävä taulukkomuotoisella Simplex-algoritmilla. max 5x 1 + 4x

Lisätiedot

j n j a b a c a d b c c d m j b a c a d a c b d c c j

j n j a b a c a d b c c d m j b a c a d a c b d c c j TEKNILLINEN KORKEAKOULU Tietoliikenne- ja tietoverkkotekniikan laitos S-38.115 Liikenneteorian perusteet, Kevät 2008 Demonstraatiot Luento 12 29.2.2008 D12/1 Tarkastellaan verkkoa, jossa on solmua ja linkkiä.

Lisätiedot

Jonojen matematiikkaa

Jonojen matematiikkaa Lectio praecursoria Jonojen matematiikkaa Samuli Aalto luento.ppt 1 Sisältö Johdanto Joukkopalveltu jono (batch service queue) Nestevarastomalli (fluid flow storage model) 2 Reaalimaailman ilmiö... ÿþýüûr.u.p.t.

Lisätiedot

Mat Dynaaminen optimointi, mallivastaukset, kierros 1

Mat Dynaaminen optimointi, mallivastaukset, kierros 1 Mat-214 Dynaaminen optimointi, mallivastaukset, kierros 1 1 a) Sekoitussäiliöön A virtaa puhdasta vettä virtauksella v A, säiliöstä A säiliöön B täysin sekoittunutta liuosta virtauksella v AB ja säiliöstä

Lisätiedot

Mat Dynaaminen optimointi, mallivastaukset, kierros Johdetaan välttämättömät ehdot funktionaalin. g(y(t), ẏ(t),...

Mat Dynaaminen optimointi, mallivastaukset, kierros Johdetaan välttämättömät ehdot funktionaalin. g(y(t), ẏ(t),... Mat-2.148 Dynaaminen optimointi, mallivastaukset, kierros 6 1. Johdetaan välttämättömät ehdot funktionaalin J(y) = g(y(t), ẏ(t),..., dr y(t), t) dt dt r ekstremaalille, kun ja t f ovat kiinteitä ja tiedetään

Lisätiedot

ESTON LASKENTA VERKOSSA

ESTON LASKENTA VERKOSSA J. Virtamo 38.3141 Teleliikenneteoria / Esto verkossa 1 ESTON LASKENTA VERKOSSA Erlangin funktion E(C, a) avulla voidaan laskea esto yhdessä linkissä, jonka kapasiteetti on C (johtoa) ja johon tarjotun

Lisätiedot

Batch means -menetelmä

Batch means -menetelmä S-38.148 Tietoverkkojen simulointi / Tulosten keruu ja analyysi 1(9) Batch means -menetelmä Batch means -menetelmää käytetään hyvin yleisesti Simulointi suoritetaan tässä yhtenä pitkänä ajona olkoon simuloinnin

Lisätiedot

Markov-ketjut pitkällä aikavälillä

Markov-ketjut pitkällä aikavälillä MS-C2111 Stokastiset prosessit 2A Markov-ketjut pitkällä aikavälillä Tämän harjoituksen tavoitteena on oppia lukemaan siirtymämatriisista tai siirtymäkaaviosta, milloin Markov-ketju on yhtenäinen ja jaksoton;

Lisätiedot

Numeeriset menetelmät TIEA381. Luento 5. Kirsi Valjus. Jyväskylän yliopisto. Luento 5 () Numeeriset menetelmät / 28

Numeeriset menetelmät TIEA381. Luento 5. Kirsi Valjus. Jyväskylän yliopisto. Luento 5 () Numeeriset menetelmät / 28 Numeeriset menetelmät TIEA381 Luento 5 Kirsi Valjus Jyväskylän yliopisto Luento 5 () Numeeriset menetelmät 3.4.2013 1 / 28 Luennon 5 sisältö Luku 4: Ominaisarvotehtävistä Potenssiinkorotusmenetelmä QR-menetelmä

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 2 Lisää osamurtoja Tutkitaan jälleen rationaalifunktion P(x)/Q(x) integrointia. Aiemmin käsittelimme tapauksen, jossa nimittäjä voidaan esittää muodossa Q(x) = a(x x

Lisätiedot

Oletetaan, että virhetermit eivät korreloi toistensa eikä faktorin f kanssa. Toisin sanoen

Oletetaan, että virhetermit eivät korreloi toistensa eikä faktorin f kanssa. Toisin sanoen Yhden faktorin malli: n kpl sijoituskohteita, joiden tuotot ovat r i, i =, 2,..., n. Olkoon f satunnaismuuttuja ja oletetaan, että tuotot voidaan selittää yhtälön r i = a i + b i f + e i avulla, missä

Lisätiedot

OPTIMAALINEN INVESTOINTIPÄÄTÖS

OPTIMAALINEN INVESTOINTIPÄÄTÖS OPTIMAALINEN INESTOINTIPÄÄTÖS Keskiarvoon palautuvalle prosessille ja Poissonin hyppyprosessille Optimointiopin seminaari - Syksy 000 / 1 I. KESKIAROON PALAUTUA PROSESSI Investoinnin kohde-etuuden arvo

Lisätiedot

Mat-2.3114 Investointiteoria Laskuharjoitus 3/2008, Ratkaisut 05.02.2008

Mat-2.3114 Investointiteoria Laskuharjoitus 3/2008, Ratkaisut 05.02.2008 Korko riippuu usein laina-ajan pituudesta ja pitkille talletuksille maksetaan korkeampaa korkoa. Spot-korko s t on se korko, joka kertyy lainatulle pääomalle hetkeen t (=kokonaisluku) mennessä. Spot-korot

Lisätiedot

Informaation arvo. Ohjelmistotekniikan laitos OHJ-2550 Tekoäly, kevät

Informaation arvo. Ohjelmistotekniikan laitos OHJ-2550 Tekoäly, kevät 259 Informaation arvo Öljykenttään myydään porausoikeuksia, palstoja on n kappaletta, mutta vain yhdessä niistä on C euron edestä öljyä Yhden palstan hinta on C/n euroa Seismologi tarjoaa yritykselle tutkimustietoa

Lisätiedot

ax + y + 2z = 0 2x + y + az = b 2. Kuvassa alla on esitetty nesteen virtaus eräässä putkistossa.

ax + y + 2z = 0 2x + y + az = b 2. Kuvassa alla on esitetty nesteen virtaus eräässä putkistossa. BM20A5800 Funktiot, lineaarialgebra ja vektorit Harjoitus 7, Syksy 206 Tutkitaan yhtälöryhmää x + y + z 0 2x + y + az b ax + y + 2z 0 (a) Jos a 0 ja b 0 niin mikä on yhtälöryhmän ratkaisu? Tulkitse ratkaisu

Lisätiedot

y (0) = 0 y h (x) = C 1 e 2x +C 2 e x e10x e 3 e8x dx + e x 1 3 e9x dx = e 2x 1 3 e8x 1 8 = 1 24 e10x 1 27 e10x = e 10x e10x

y (0) = 0 y h (x) = C 1 e 2x +C 2 e x e10x e 3 e8x dx + e x 1 3 e9x dx = e 2x 1 3 e8x 1 8 = 1 24 e10x 1 27 e10x = e 10x e10x BM0A5830 Differentiaaliyhtälöiden peruskurssi Harjoitus 4, Kevät 017 Päivityksiä: 1. Ratkaise differentiaaliyhtälöt 3y + 4y = 0 ja 3y + 4y = e x.. Ratkaise DY (a) 3y 9y + 6y = e 10x (b) Mikä on edellisen

Lisätiedot

Differentiaali- ja integraalilaskenta 1 Ratkaisut 5. viikolle /

Differentiaali- ja integraalilaskenta 1 Ratkaisut 5. viikolle / MS-A8 Differentiaali- ja integraalilaskenta, V/7 Differentiaali- ja integraalilaskenta Ratkaisut 5. viikolle / 9..5. Integroimismenetelmät Tehtävä : Laske osittaisintegroinnin avulla a) π x sin(x) dx,

Lisätiedot

Dynaamiset regressiomallit

Dynaamiset regressiomallit MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Tilastolliset aikasarjat voidaan jakaa kahteen

Lisätiedot

MS-C1340 Lineaarialgebra ja

MS-C1340 Lineaarialgebra ja MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Matriisinormi Matriisinormi Matriiseille

Lisätiedot

Moniulotteisia todennäköisyysjakaumia

Moniulotteisia todennäköisyysjakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen

Lisätiedot

[xk r k ] T Q[x k r k ] + u T k Ru k. }.

[xk r k ] T Q[x k r k ] + u T k Ru k. }. Mat-2.48 Dynaaminen optimointi Mitri Kitti/Ilkka Leppänen Mallivastaukset, kierros 3. Johdetaan lineaarisen aikainvariantin seurantatehtävän yleinen ratkaisu neliöllisellä kustannuksella. Systeemi: x k+

Lisätiedot

Epäyhtälöt ovat yksi matemaatikon voimakkaimmista

Epäyhtälöt ovat yksi matemaatikon voimakkaimmista 6 Epäyhtälöitä Epäyhtälöt ovat yksi matemaatikon voimakkaimmista työvälineistä. Yhtälö a = b kertoo sen, että kaksi ehkä näennäisesti erilaista asiaa ovat samoja. Epäyhtälö a b saattaa antaa keinon analysoida

Lisätiedot

v AB q(t) = q(t) v AB p(t) v B V B ṗ(t) = q(t) v AB Φ(t, τ) = e A(t τ). e A = I + A + A2 2! + A3 = exp(a D (t τ)) (I + A N (t τ)), A N = =

v AB q(t) = q(t) v AB p(t) v B V B ṗ(t) = q(t) v AB Φ(t, τ) = e A(t τ). e A = I + A + A2 2! + A3 = exp(a D (t τ)) (I + A N (t τ)), A N = = Mat-214 Dynaaminen optimointi Mitri Kitti Mallivastaukset kierros 1 1 a) Sekoitussäiliöön A virtaa puhdasta vettä virtauksella v A säiliöstä A säiliöön B täysin sekoittunutta liuosta virtauksella v AB

Lisätiedot

MAB3 - Harjoitustehtävien ratkaisut:

MAB3 - Harjoitustehtävien ratkaisut: MAB - Harjoitustehtävien ratkaisut: Funktio. Piirretään koordinaatistoakselit ja sijoitetaan pisteet:. a) Funktioiden nollakohdat löydetään etsimällä kuvaajien ja - akselin leikkauspisteitä. Funktiolla

Lisätiedot

J. Virtamo Liikenneteoria ja liikenteenhallinta / Jonoverkot 1

J. Virtamo Liikenneteoria ja liikenteenhallinta / Jonoverkot 1 J. Virtamo Liikenneteoria ja liikenteenhallinta / Jonoverkot JONOVERKOT Useasta jonosta muodostuva verkko Queueing network Network of queues Esimerkiksi Asiakkaita siirtyy postin, pankin, kaupan jonoista

Lisätiedot

5 Differentiaaliyhtälöryhmät

5 Differentiaaliyhtälöryhmät 5 Differentiaaliyhtälöryhmät 5.1 Taustaa ja teoriaa Differentiaaliyhtälöryhmiä tarvitaan useissa sovelluksissa. Toinen motivaatio yhtälöryhmien käytölle: Korkeamman asteen differentiaaliyhtälöt y (n) =

Lisätiedot

2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio

2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio x = x 2 = 5/2 x 3 = 2 eli Ratkaisu on siis x = (x x 2 x 3 ) = ( 5/2 2) (Tarkista sijoittamalla!) 5/2 2 Tämä piste on alkuperäisten tasojen ainoa leikkauspiste Se on myös piste/vektori jonka matriisi A

Lisätiedot

Johdatus diskreettiin matematiikkaan Harjoitus 5, Ratkaise rekursioyhtälö

Johdatus diskreettiin matematiikkaan Harjoitus 5, Ratkaise rekursioyhtälö Johdatus diskreettiin matematiikkaan Harjoitus 5, 14.10.2015 1. Ratkaise rekursioyhtälö x n+4 2x n+2 + x n 16( 1) n, n N, alkuarvoilla x 1 2, x 2 14, x 3 18 ja x 4 42. Ratkaisu. Vastaavan homogeenisen

Lisätiedot

Malliratkaisut Demot

Malliratkaisut Demot Malliratkaisut Demot 3.2.27 Tehtävä. Valmisohjelmistolla voidaan ratkaista tehtävä min c T x s. t. Ax b x, missä x, c ja b R n ja A R m n. Muunnetaan tehtävä max x + 2x 2 + 3x 3 + x s. t. x + 3x 2 + 2x

Lisätiedot

1 Komparatiivinen statiikka ja implisiittifunktiolause

1 Komparatiivinen statiikka ja implisiittifunktiolause Taloustieteen matemaattiset menetelmät 27 materiaali 4 Komparatiivinen statiikka ja implisiittifunktiolause. Johdanto Jo opiskeltu antaa nyt valmiu tutkia taloudellisia malleja Kiinnostava malli voi olla

Lisätiedot

Osa IX. Z muunnos. Johdanto Diskreetit funktiot

Osa IX. Z muunnos. Johdanto Diskreetit funktiot Osa IX Z muunnos A.Rasila, J.v.Pfaler () Mat-.33 Matematiikan peruskurssi KP3-i 9. lokakuuta 2007 298 / 322 A.Rasila, J.v.Pfaler () Mat-.33 Matematiikan peruskurssi KP3-i 9. lokakuuta 2007 299 / 322 Johdanto

Lisätiedot

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Differentiaaliyhtälöt, osa 1 Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 20 R. Kangaslampi Matriisihajotelmista

Lisätiedot

Numeeriset menetelmät

Numeeriset menetelmät Numeeriset menetelmät Luento 8 To 29.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 8 To 29.9.2011 p. 1/36 p. 1/36 Interpolointi kuutiosplinillä Osavälit: I i = [t i 1,t i ], i = 1,2,...,n

Lisätiedot

Numeeriset menetelmät

Numeeriset menetelmät Numeeriset menetelmät Luento 12 To 13.10.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 12 To 13.10.2011 p. 1/38 p. 1/38 Tavalliset differentiaaliyhtälöt Yhtälöissä tuntematon funktio Tavalliset

Lisätiedot

Sekalaiset tehtävät, 11. syyskuuta 2005, sivu 1 / 13. Tehtäviä

Sekalaiset tehtävät, 11. syyskuuta 2005, sivu 1 / 13. Tehtäviä Sekalaiset tehtävät, 11. syyskuuta 005, sivu 1 / 13 Tehtäviä Tehtävä 1. Johda toiseen asteen yhtälön ax + bx + c = 0, a 0 ratkaisukaava. Tehtävä. Määrittele joukon A R pienin yläraja sup A ja suurin alaraja

Lisätiedot

Luento 1: Optimointimallin muodostaminen; optimointitehtävien luokittelu

Luento 1: Optimointimallin muodostaminen; optimointitehtävien luokittelu Luento 1: Optimointimallin muodostaminen; optimointitehtävien luokittelu Merkintöjä := vasen puoli määritellään oikean puolen lausekkeella s.e. ehdolla; siten että (engl. subject to, s.t.) vasemman puolen

Lisätiedot

MS-A010{3,4,5} (ELEC*, ENG*) Differentiaali- ja integraalilaskenta 1 Luento 2: Sarjat

MS-A010{3,4,5} (ELEC*, ENG*) Differentiaali- ja integraalilaskenta 1 Luento 2: Sarjat MS-A010{3,4,5} (ELEC*, ENG*) Differentiaali- ja integraalilaskenta 1 Luento 2: Sarjat Pekka Alestalo, Jarmo Malinen Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos September 13, 2017 Pekka Alestalo,

Lisätiedot

Generoivat funktiot, Poisson- ja eksponenttijakaumat

Generoivat funktiot, Poisson- ja eksponenttijakaumat 4A Generoivat funktiot, Poisson- ja eksponenttijakaumat Tämän harjoituksen tavoitteena on edelleen tutustua generoivien funktioiden sovelluksiin ja lisäksi harjoitella ratkaisemaan Poisson- ja eksponenttijakaumiin

Lisätiedot

Liikenneteorian tehtävä

Liikenneteorian tehtävä J. Virtamo 38.3141Teleliikenneteoria / Johdanto 1 Liikenneteorian tehtävä Määrää kolmen eri tekijän väliset riippuvuudet palvelun laatu järjestelmä liikenne Millainen käyttäjän kokema palvelun laatu on

Lisätiedot

Suorista ja tasoista LaMa 1 syksyllä 2009

Suorista ja tasoista LaMa 1 syksyllä 2009 Viidennen viikon luennot Suorista ja tasoista LaMa 1 syksyllä 2009 Perustuu kirjan Poole: Linear Algebra lukuihin I.3 - I.4 Esko Turunen esko.turunen@tut.fi Aluksi hiukan 2 ja 3 ulotteisen reaaliavaruuden

Lisätiedot

Lineaariavaruudet. Span. Sisätulo. Normi. Matriisinormit. Matriisinormit. aiheita. Aiheet. Reaalinen lineaariavaruus. Span. Sisätulo.

Lineaariavaruudet. Span. Sisätulo. Normi. Matriisinormit. Matriisinormit. aiheita. Aiheet. Reaalinen lineaariavaruus. Span. Sisätulo. Lineaariavaruudet aiheita 1 määritelmä Nelikko (L, R, +, ) on reaalinen (eli reaalinen vektoriavaruus), jos yhteenlasku L L L, ( u, v) a + b ja reaaliluvulla kertominen R L L, (λ, u) λ u toteuttavat seuraavat

Lisätiedot

(c) Kuinka suuri suhteellinen virhe painehäviön laskennassa tehdään, jos virtaus oletetaan laminaariksi?

(c) Kuinka suuri suhteellinen virhe painehäviön laskennassa tehdään, jos virtaus oletetaan laminaariksi? Tehtävä 1 Vettä (10 astetta) virtaa suorassa valurautaisessa (cast iron) putkessa, jonka sisähalkaisija on 100 mm ja pituus 70 m. Tilavuusvirta on 15 litraa minuutissa. (a) Osoita, että virtaus on turbulenttia.

Lisätiedot

763306A JOHDATUS SUHTEELLISUUSTEORIAAN 2 Ratkaisut 1 Kevät y' P. α φ

763306A JOHDATUS SUHTEELLISUUSTEORIAAN 2 Ratkaisut 1 Kevät y' P. α φ 76336A JOHDATUS SUHTEELLISUUSTEORIAAN 2 Ratkaisut 1 Kevät 217 1. Koordinaatiston muunnosmatriisi (a) y' P r α φ ' Tarkastellaan, mitä annettu muunnos = cos φ + y sin φ, y = sin φ + y cos φ, (1a) (1b) tekee

Lisätiedot

7. Olemassaolo ja yksikäsitteisyys Galois n kunta GF(q) = F q, jossa on q alkiota, määriteltiin jäännösluokkarenkaaksi

7. Olemassaolo ja yksikäsitteisyys Galois n kunta GF(q) = F q, jossa on q alkiota, määriteltiin jäännösluokkarenkaaksi 7. Olemassaolo ja yksikäsitteisyys Galois n kunta GF(q) = F q, jossa on q alkiota, määriteltiin jäännösluokkarenkaaksi Z p [x]/(m), missä m on polynomirenkaan Z p [x] jaoton polynomi (ks. määritelmä 3.19).

Lisätiedot

MS-A010{3,4} (ELEC*) Differentiaali- ja integraalilaskenta 1 Luento 2: Sarjat

MS-A010{3,4} (ELEC*) Differentiaali- ja integraalilaskenta 1 Luento 2: Sarjat MS-A010{3,4} (ELEC*) Differentiaali- ja integraalilaskenta 1 Luento 2: Sarjat Pekka Alestalo, Jarmo Malinen Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos 14.9.2016 Pekka Alestalo, Jarmo Malinen

Lisätiedot

Normaaliryhmä. Toisen kertaluvun normaaliryhmä on yleistä muotoa

Normaaliryhmä. Toisen kertaluvun normaaliryhmä on yleistä muotoa Normaaliryhmä Toisen kertaluvun normaaliryhmä on yleistä muotoa x = u(t,x,y), y t I, = v(t,x,y), Funktiot u = u(t,x,y), t I ja v = v(t,x,y), t I ovat tunnettuja Toisen kertaluvun normaaliryhmän ratkaisu

Lisätiedot