Identifiointiprosessi II

Transkriptio

1 Identifiointiprosessi II Kertaus: informaatiokriteerit ja selittäjien testaaminen Mallin validointi Filosofisia mallinnusnäkökulmia

2 Informaatiokriteerit Hyvyyskriteerin optimiarvo vs. parametrien lukumäärä d Tyypillisiä funktionaalisia muotoja W N =V N (1+β(N,d)); β kasvaa kun d kasvaa, lähestyy nollaa kun N kasvaa W N =NlnV N +γ(n,d); γ kasvaa kun d kasvaa Valitse malli, jolle W N on pienin V N =ennustevirheiden minimoitu neliösumma Akaiken (1972) informaatiokriteeri AIC=(1+2d/N)V N kahden tn-jakauman etäisyyttä voidaan mitata Kullbeck-Leibler etäisyydellä (informaatioetäisyys, 1951) AIC:n minimoiva malli minimoi mallin ja systeemin informaatioetäisyyden

3 FPE (Akaike, 1969) Final Prediction Error, FPE=(1+d/N)/(1-d/N)V N /N Pätee: ennustevirheen varianssin odotusarvo on likimäärin V N /N+λ 0 2d/N, missä λ 0 on systeemin kohinan varianssi eli: kullakin parametrilla on kustannus 2λ 0 /N: jos se ei pienennä keskineliövirhettä tämän vertaa, on se haitallinen (tästä johtuu niukkuusperiaate) edelleen pätee: V N /N λ 0 -dλ 0 /N => estimaatti λ 0 :lle => sij. ylle =>FPE

4 Rissasen minimipituuskriteeri MDL (1978) MDL=(1+2d logn/n)v N Yritetään tallentaa mallin sisältämä informaatio (mallin parametrit + ennustevirheet) pienimpään mahdolliseen tilaan Koska myös parametrit on talletettava, kriteeri rankaisee liian paljoista paraemetreista

5 Hankel-matriisin testaus N:nnen kertaluvun järjestelmän impulssivaste h(t) riippuu lineaarisesti n:stä edellisestä arvosta h(t-1),...,h(t-n) Esim. y(t)=-a 1 y(t-1)-a 2 y(t-2)+b 1 u(t-1)+b 2 u(t-2) u(1)=1,u(i)=0 kaikilla i >1; y(0)=y(-1)=y(-2)=0 Vaste h(1)=b1; h(2)=-a 1 h(1)+b2; h(3)=-a 1 h(2)- a 2 h(1);...;a(t)=-a 1 h(t-1)-a 2 h(t-2) kaikilla t>2 Määritellään Hankel-matriisi h( k) h( k + 1) H ( l, k) = M h( k + l 1) h( k h( k h( k + l + 1) + 2) M 2) O... h( k + l 1) h( k + l 2) M h( k + 2l 2)

6 ...Hankel-matriisin testaus Järjestelmän kertaluku n => H(l,k):n rangi = n kaikilla l>n Testaus: det (H(l,k))=0 kun l>n Kohinaa => testataan perättäisten determinanttien suhteita: D l = det(h(l,k)) / det(h,l+1,k)) Determinantit voidaan keskiarvottaa yli k:n l=n maksimoi D l :n

7 Tulomomenttimatriisin testaus Olkoot järjestelmän kertaluku n ja u pe ~n+1 Määr. U( l) = y( l) y( l + 1) M y( N) O... y( N y(1) y(2) M l + 1) u( l + 1) u( N) u(1) u(2) M u( N l + 1) Hae suurin l = l* jolla U(l) vielä täyttä (rivi)rangia => n=l* hae suurin l=l* jolla U(l) T U(l) täyttä rangia Eri osien kertaluvut ja kuollut aika voidaan hakea erikseen u( l) M O...

8 Mallin validointi Koe suunniteltu, data kerätty, parametrit estimoitu, mallirakenne valittu Onko malli hyvä? onko malli käyttötarkoitukseensa tarpeeksi hyvä? (tärkein pointti) onko malli sopusoinnussa havaitun datan kanssa? (validointi keskittyy tähän) kuvaako malli todellista systeemiä? (mahdotonta vastata pitävästi, validoinnilla tukea antavia tuloksia) Validointi = verrataan mallia mahdollisimman suureen todellisesta systeemistä peräisin olevaan tietomäärään

9 Validoinnin motivaatio Usein mahdotonta, kallista tai vaarallista kokeilla tosikäytössä kaikkia mahdollisia malleja Luottamus malliin luotava off-line Tärkeä mittatikku mallin käyttötarkoitus: Voidaanko mallinnusprosessin motivaationa ollut ongelma ratkaista mallin avulla? Näkökulmia: parametriestimaattien ominaisuudet sisäänmeno-ulostulokäyttäytyminen mallin redusoinnin vaikutus simulointi ja ennustaminen residuaalianalyysi

10 Parametriestimaattien ominaisuudet Rakenteelliset mallit: ovatko parametriestimaatit järkeviä? esim. kitkakertoimien merkit oikein Parametrien herkkyysanalyysi: simulointi hieman poikkeutetuin parametriarvoin (esim. luottamusvälin sisällä) suuria poikkeamia => lisäidentifiointi tarpeen Sekä black box että rakenteelliset mallit: parametriestimaattien luottamusvälit estimaatit asymptoottisesti normaalijakautuneet => t- testattavissa jos 0 sisältyy luottamusväliin, parametri turha jos kaikkien estimaattien varianssit ovat suuria, selittäjien kovarianssimatriisi on lähes singulaarinen (liian korkea kertaluku?)

11 Sisäänmeno-ulostulokäyttäytyminen Black box malleilla tärkeä Lineaariset mallit => Boden diagrammi tärkeässä osassa Epälineaariset => simulointi Jos malli ei kuvaa systeemiä, saadaan estimoitaessa approksimaatio, joka riippuu koeolosuhteista esisuodatuksesta mallirakenteesta =>Parametristen mallien Boden diagrammien vertailu erilaisilla datoilla, esisuodatuksilla ja mallirakenteilla datasta estimoituun taajuusvaste-estimaattiin hyvä työkalu

12 Simulointi ja ennustaminen Usein mallin käyttötarkoitus tärkeässä roolissa Simulointi riippumattoman datan ohjauksella ja riippumattoman ulostulon ennustaminen nähdään suoraan millaisia ilmiöitä malli kuvaa, millaisia ei jos kohinan varianssi tunnetaan, voidaan mallivirheen osuus ennustevirheen varianssista arvioida riippumaton estimaatti kohinan varianssille saadaan esim. soveltamalla jaksollista herätettä ja keskiarvottamalla ulostulo usean jakson yli Mallin reduktio: jos kertaluvuiltaan alennettu malli tuottaa oleellisesti saman sisäänmeno-ulostulokäytöksen, malli oli liian monimutkainen

13 Residuaalianalyysi Ennustevirheet kuvaavat sitä osuutta datassa, jota malli ei pysty kuvaamaan ε(t)=y(t)-y^(t,θ^) (tässä ennustevirhe = residuaali) Yksinkertaiset testit: olkoon meillä N arvoa (estimointi- tai validointidataa) 1 N ε 2 ( t) max N ε(t), N i= 1 arvio maksimi- tai keskivirheistä; jos asiat eivät muutu, mallin ei tulisi koskaan tuottaa suurempia poikkeamia

14 Residuaalien valkoisuus Oleellista on, että residuaalit eivät riipu ohjauksesta u(t) ja residuaalit eivät riipu toisistaan => Ristikovarianssit oleellisesti nollia intuitio: jos ennustevirhe riippuu u(t)stä, ulostulo olisi voitu ennustaa paremmin ottamalla riippuvuus huomioon => Autokovarianssit oleellisesti nollia Rˆ Rˆ εu ε ( τ ) ( τ ) = = 1 N 1 N intuitio: jos ennustevirhe riippuu menneistä virheistä, se olisi voitu ennustaa paremmin N i= 1 N i= 1 ε ( t) u( t τ ) ε ( t) ε ( t τ )

15 Tilastollinen testaaminen Jos ohjaukset ja residuaalit ovat riippumattomia, ovat ristikorrelaatiot asymptoottisesti normaalijakautuneita N(0,1/N) Suure x y Rˆ ( τ ) eli saadaan luottamusvälit τ = / (0) εu ε R u m = N x i= 1 2 i (0) yksittäisille ristikorrelaatioille (95%: x τ <=1.96/N 0.5 kaikille ristikorrelaatioille tiettyyn viiveeseen asti kerralla Huom: korrelaatio negatiivisella τ:n arvolla on merkki takaisinkytkennästä, ei väärästä mallirakenteesta R dist χ 2 ( m)

16 ... Tilastollinen testaaminen Vastaavasti autokorrelaatioille x τ = Rˆ u ( τ ) / R u (0) pätee oletuksella että residuaalit ovat valkoista kohinaa: yksittäinen autokorrelaatio asymptoottisesti normaalijakautunut N(0,1/N) ja m 2 dist 2 y = N x i= 1 i χ ( m) Residuaalit eivät ole tarkalleen valkoista kohinaa => todelliset kovarianssit pienempiä eli testit ovat konservatiivisia nyrkkisääntö: 5<=m<=N/4 ristikorrelaatioita ei aina saa laskea viiveestä 1 alkaen: esim. PNSkeinolla estimoitaessa ristikorrelaatiot τ=n b :hen asti ovat nollia määritelmän mukaan!

17 Muita testejä Residuaalien jakauma symmetrinen? H 0 : ε(t) riippumaton ja symmetrisesti jakautunut => X N = ε(t):n etumerkin muutosten lkm sarjassa ε(1),...,ε(n) asymptoottisesti normaalijakautunut N(N/2,N/4) Vinouden (skewness) laskeminen residuaalien histogrammille χ 2 -testi histogrammin vertaamiseksi normaalijakaumaan

18 Filosofisia näkökulmia mallintamiseen Mallin pätevyysalue systeemin ominaisuudet toimintapisteessä identifiointikoe validointi mielekästä pätevyysalueella Mitä tapahtuu pätevyysalueen ulkopuolella? luotettavuus (credibility): toiminta pätevyysalueen ulkopuolella yksinkertaisuus oikeellisuus (validity): toiminta pätevyysalueella Miten luoda luotettavia malleja eikä pelkästään oikeita? laajempi pätevyysalue => luotettavuus vrt. Newtonin vetovoimalaki ja Ptolemaioksen käsitys aurinkokunnasta

19 Kriittisyys mallia kohtaan Malli on oikea ja ehkä luotettava, ei koskaan oikea Pääasia on systeemi (ja ongelma jota mallilla ratkaistaan), ei malli Yhteys olemassaolevaan teoriaan ei kannata keksiä pyörää uudestaan Simulointituloksia tulkittaessa muistettava mallin tarkkuus ja approksimaatioiden taso

20 Myyvä malli Tärkeä käytännön ongelma: miten tilaaja saadaan ymmärtämään malli ja uskomaan sen toiminta? Mallintajan on ymmärrettävä mallin rakenne Mallintajan on pystyttävä kommunikoimaan malli erittäin yksinkertaisella tasolla Tilaajan on ymmärrettävä malli ja miten sen tulokset syntyvät => Monimutkaisuuden oltava aidosti tarpeen oltava ymmärrettävää tuotettava lisäarvoa

21 Viimeinen luento Mallinnus ja identifiointi kokonaisuutena Esimerkki Identifiointi- ja simulointiohjelmistoista (jos ehditään) Kertaus Tenttiinlukuohje