Mittausten virheet Jos havaitaan päivän ylin lämpötila, mittaustuloksissa voi esiintyä seuraavantyyppisiä virheitä: 1. Luemme lämpömittarin vain asteen tarkkuudella. Ehkä kyseessä on digitaalimittari, joka näyttää lämpötilan vain asteen tarkkuudella. Todellinen lämpötila voi tietenkin olla mikä tahansa reaaliluku, mutta laatimassamme taulukossa se on pyöristetty kokonaisluvuksi. 2. Lämpömittarin asteikossa on vain astejaotus, mutta arvioimme kymmenesosat silmämääräisesti. 3. Käyttämämme lämpömittari on viallinen ja antaa aina liian korkean lämpötilan. 4. Mittari on sijoitettu niin, että johonkin vuodenaikaan Aurinko pääsee paistamaan siihen. 5. Lämpötila on niin korkea, ettei mittarin asteikko riitä.
1) Satunnainen virhe, kohina. Vaikutus pienenee, kun otetaan usean mittauksen keskiarvo. Mitattavan suureen ja kohinan suhde (signaalin ja kohinan suhde, signal to noise ratio) n. 2) Systemaattinen virhe, esimerkiksi asteikko luiskahtanut pois oikealta paikaltaan. Ei useinkaan selviä itse havainnoista. Tarvitaan mittalaitteen kalibrointia. 3) Yhdellä mittalaitteella suoritetut mittaukset voivat olla systemaattisesti vääriä, mutta silti vertailukelpoisia keskenään. Verrattaessa eri mittareilla saatuja tuloksia, on jokainen mittari kalibroitava erikseen, esimerkiksi mittaamalla niillä samaa kohdetta. Tähtihavainnoissa oltava standarditähtiä. 4) Olosuhteiden muuttuminen. Esimerkiksi havaittaessa muuttuvaa tähteä eri korkeuksilla horisontista ilmakehä aiheuttaa eri havaintoihin erisuuruisia virheitä. 5) Saturaatio tai kynnysarvon alittuminen. Mittalaitteen herkkyys on valittava niin, että mitatut arvot ovat mahdollisimman suuria, mutta kuitenkin selvästi saturaatiorajaa pienempiä. 6) Poikkeavat arvot (outliers). Mittausvirheitä, ulkopuolisia häiriöitä. Joskus myös todellinen, poikkeava ilmiö.
Datan puhdistaminen Poikkeavat arvot Jos aineistoon on sovitettu jokin funktio f hajontaa kuvaa sovituksen rms-virhe (root-mean-square) R = 1 n n (y i f(x i )) 2, missä alkuperäiset havaintopisteet ovat (x i, y i ), i = 1,... n. Yleisesti käytetty kriteeri on eliminoida sellaiset pisteet, joiden poikkeama sovitetun funktion kuvaamasta arvosta on suurempi kuin 3 R eli y i f(x i ) > 3 R. Jo virheet noudattavat normaaliakaumaa, näin suuri poikkeama esiintyy pelkästään sattumalta vain noin todennäköisyydellä 0.003. Kun vialliset arvot on poistettu, funktion sovitus on syytä tehdä uudestaan käyttämällä puhdistettua aineistoa. Uusi sovitus antaa todennäköisesti aikaisempaa pienemmän rms-virheen. Kysymyksessä on todellakin vain muutaman yksittäisen havainnon poistaminen. Jos poistettavia arvoja alkaa olla kovin paljon, on syytä selvittää, mistä ne johtuvat, ja onko aineisto lainkaan käyttökelpoinen. Poikkeavien arvojen siivoamiseen hyvä apuväline on mediaanisuodin. Se korvaa kunkin datapisteen arvon kyseisen pisteen pienen ympäristön mediaanilla. Esimerkiksi kolmen pisteen mediaanisuodin on g(x i ) = med(f(x i 1 ), f(x i ), f(x i1 )), missä med(x, y, z) tarkoittaa suuruudeltaan keskimmäistä luvuista x, y ja z. Monotonisesti kasvavilla tai vähenevillä osilla mediaanisuodin ei lainkaan muuta havaintoarvoja. Sen sijaan jokaisen aidon paikallisen maksimin ja minimin suodin korvaa sitä lähinnä olevalla naapurinsa arvolla. Suotimella on siten lievästi kohinaa vähentävä vaikutus.
Pienimmän neliösumman sovitus Sovituksen kriteerit Havaintopisteet (x i, y, ), i = 1,..., n. Halutaan esittää pistejoukko käyränä y = f(x). Pisteessä x i käyrän pystysuora poikkeama havaitusta arvosta on y i f(x i ). Koko sovituksen virhe R voidaan määritellä monella tavalla: 1) Virheiden itseisarvojen summa: R 0 = n y i f(x i ) Riippuu lineaarisesti yksittäisistä virheistä; ei ole niille kovin herkkä. 2) Virheiden neliöiden summa: R 2 2 = n y i f(x i ) 2 Edellistä herkempi suurille virheille. 3) Virheiden maksimiarvo: R = max{ y i f(x i ) } Estää suuret poikkeamat datapisteistä. Ei minimoi lainkaan pienempiä virheitä, ja yksittäinenkin kovin virheellinen piste voi vääristää sovitusta tuntuvasti. Etäisyydet tunnetaan L 0 -, L 2 - ja L -normeina, jotka ovat erikoistapauksia L p -normista: R p = n p y i f(x i ) p Periaatteessa sovitus voidaan tehdä minimoimalla mitä tahansa normia. Usein pienimmän neliösumman menetelmä antaa parhaan tuloksen.
Sovitettava funktio f sisältää muuttujan lisäksi joukon vakioita (parametreja) a k, k = 1,..., K. Residuaali R on sovitettavan funktion parametrien funktio: R = R(a 1,..., a K ). Etsitään sellaiset parametrien arvot, joilla R tulee mahdollisimman pieneksi. Oletetaan, että f on derivoituva parametrien suhteen. Residuaalin R minimissä on R R = 0,..., = 0. a 1 a K Tästä saadaan yhtälöryhmä sovitettavassa funktiossa esiintyville parametreille. Jos funktio f voidaan esittää joidenkin kantafunktioiden f i lineaarikombinaationa n f(x) = a i f i (x), saadaan lineaarinen yhtälöryhmä riippumatta siitä, mitä muotoa kantafunktiot f i ovat. Esimerkiksi f(x) = a 0 a 1 x a 2 x 2, f(x) = a 1 sin x a 2 cos x, f(x) = a 0 a 1 e x a 2 e 3x.
Suoran sovitus Johdetaan esimerkin vuoksi ratkaisu, kun sovitettava funktio on muotoa f(x) = a bx, eli kantafunktiot ovat 1 ja x. Minimoitava suure on R = (y i a bx i ) 2. Osittaisderivaatat ovat R N a = 2 (y i a bx i ), R N b = 2 (y i a bx i )x i. Saadaan normaaliyhtälöt: an b x i = y i, a x i b x 2 i = x i y i. eli missä an bs x = S y, as x bs xx = S xy, S x = S y = S xx = S xy = x i, y i, x 2 i, x i y i.
Datapisteiden koordinaatit ovat yleensä mittaustuloksia, joilla kullakin on oma virheensä. Kirjoitetaan minimoitavan suure muotoon n ( ) 2 R 2 yi f(x i ) =, missä σ i on havainnon y i virhe. Jos kaikki virheett σ i ovat samoja, tämä poikkeaa aikaisemmasta versiosta vain vakiokertoimella, jolloin normaaliyhtälöiden ratkaisut eivät muutu. Kun y:n virheet otetaan huomioon, pienimmän neliösumman suoran normaaliyhtälöt ovat: missä σ i as bs x = S y, as x bs xx = S xy, S = S x = S y = S xx = S xy = Normaaliyhtälöiden ratkaisu on 1 σ 2 i x i σ 2 i y i σ 2 i x 2 i σ 2 i,,,, x i y i σi 2. missä a = S xxs y S x S xy, D b = SS xy S x S y, D D = SS xx (S x ) 2. Yleisessä tapauksessa normaaliyhtälöt ovat y i f(x i ) σ i f(x i ) a k = 0, k = 1,..., K.
Parametrien virhearviot Virheen kasaantumislain mukaisesti on σ 2 a k = σ 2 i ( ) 2 ak. y i Sovelletaan tätä suoran tapaukseen: a = S xx S x x i y i σi 2D, b = Sx i S x y i σi 2D, josta ( Sx x S x x i ) 2 σa 2 = σi 2 σi 2D = 1 [ S 2 xx D 2 σi 2 Sxx 2 2 i σi 2 2 ] SxS xx x i σi 2 = 1 [ SS 2 D 2 xx SxS 2 xx 2SxS 2 ] xx = 1 D 2 [ Sxx (SS xx S 2 x) ] = S xx D σ 2 b = σ 2 i ( ) 2 Sxi S x σi 2D = 1 D 2 [ S 2 x 2 i σ 2 i S 2 x σ 2 i = 1 [ S 2 D 2 S xx SSx 2 2SSx 2 ] = 1 D 2 [ S(SSxx S 2 x) ] = S D. 2 ] Sx i S x σ 2 i Suoran parametrien hajonnat ovat Sxx σ a = D, S σ b = D.
Matriisiformalismi Olkoot kantafunktiot φ 1,..., φ K, jolloin sovitettava funktio on y(x) = a 1 φ 1 (x) a K φ K (x). Selitettävän muuttujan y arvoista muodostetaan pystyvektori y = y 1 y 2. y n. Muuttujan x arvojen x i avulla lasketaan matriisi A = φ 1 (x 1 ) φ 2 (x 1 ) φ K (x 1 ) φ 1 (x 2 ) φ 2 (x 2 ) φ K (x 2 )... φ 1 (x n ) φ 2 (x n ) φ K (x n ). Ratkaistavat kertoimet muodostavat pystyvektorin a = a 1 a 2. a K. Jotta sovitettava funktio kuvaisi dataa, täytyy olla Aa = y. Tämä yhtälö voidaan ratkaista täsmällisesti vain, jos A on neliömatriisi, eli havaintoja on yhtä monta kuin kantafunktioita. Yleisessä tapauksessa voidaan etsiä vektori a, joka antaa minimiarvon normille Aa y.
Residuaalin neliö on R 2 = ( 2 K y i a k φ k (x i )). k=1 Residuaalin minimissä on R 2 = 2 ( φ l (x i ) y i a l i k a k φ k (x i ) ) = 0, l = 1,..., K, eli φ l (x i ) i k a k φ k (x i ) = i josta summausjärjestystä vaihtamalla ( ) φ k (x i )φ l (x i ) a k = i i k y i φ l (x i ), l = 1,..., K, φ l (x i )y i. Vasemman puolen sulkulauseke on matriisin A T A alkio kl ja oikea puoli on matriisin A T y alkio l: (A T A) kl a k = (A T y) l k eli [(A T A)a] l = (A T y) l, l = 1,..., K. Tämä vastaa yhtälöä eli (A T A)a = A T y Ca = d, missä C = A T A ja d = A T y. Tämä K:n yhtälön ryhmä on normaaliyhtälöiden matriisimuoto.
Edellä ei otettu huomioon mittausten hajontoja. Yleisessä tapauksessa niitä kuvaa kovarianssimatriisi σ 11 σ 12 σ 1n σ Σ = 21 σ 22 σ 2n......, σ n1 σ n2 σ nn missä σ ii = σi 2. Normaaliyhtälöt ovat missä Ca = d, C = A T Σ 1 A, d = A T Σ 1 y, ja Σ 1 on kovarianssimatriisin käänteismatriisi. Jos mittaukset ovat riippumattomia, kovarianssimatriisi on σ1 2 0 0 0 σ2 2 0 Σ =.......... 0 0 σn 2 Tämän käänteismatriisi on 1/σ1 2 0 0 0 1/σ Σ 1 2 2 0 =....... 0 0 1/σn 2 Oletetaan jatkossa, että mittaukset ovat riippumattomia. Matriisi C on symmetrinen. Jos mittaukset ovat riippumattomia, on C ij = d i = n l=1 n l=1 φ i (x l )φ j (x l ) σl 2. φ i (x l )y l σl 2. Käänteismatriisi C 1 on kovarianssimatriisi, jonka lävistäjältä löytyvät kertoimien varianssit: σ ai = C 1 ii. Jos C 1 on lävistäjämatriisi, parametrit ovat riippumattomia.
Esimerkki: Alkuperäinen aineisto (x, y, σ): 1 1 0.5 3 1 1.0 4 3 0.5 6 4 0.5 Sovitetaan tähtän suora, jolloin φ 1 (x) = 1, φ 2 (x) = x. Σ = 1 1 1 1 3 1 A =, b = 1 4 3 1 6 4 0.25 0 0 0 0 1 0 0, Σ 1 = 0 0 0.25 0 0 0 0 0.25 C = A T Σ 1 A = d = A T Σ 1 y = ( 13 ) 47 47 221 ( ) 33 151 4 0 0 0 0 1 0 0, 0 0 4 0 0 0 0 4
Saadaan yhtälöryhmä ( 13 47 47 221 jonka ratkaisu on a = 0.295, b = 0.620 ) ( ) ( ) a 33 =, b 151 Kerroinmatriisin käänteismatriisi on C 1 = ( 0.333 0.071 0.071 0.020 ), josta σ a = 0.333 = 0.577, σ b = 0.020 = 0.140.
Tasojen ja pintojen sovitus Samalla menetelmällä voidaan sovittaa useamman muuttujan funktioita. Mitään oleellisia muutoksia tästä ei aiheudu; ainoa ero on, että kantafunktiot voivat riippua useammista muuttujista. Esimerkki: kolmiulotteinen pistejoukko, johon sovitetaan taso. Olkoot pisteiden koordinaatit (x i, y i, z i ), i = 1,..., n. Tason yhtälö voidaan esittää esimerkiksi muodossa jolloin minimoitava residuaali on z = a bx cy, R = n (z i a bx i cy i ) 2. Kyseessä on tavallinen lineaarinen pienimmän neliösumman ongelma, jossa etsitään vakiot a, b ja c.
Kantafunktiot Jos kyseessä on aineiston empiirinen kuvailu, kantafunktiot voidaan valita aineistoon mahdollisimman hyvin sopivalla tavalla. Usein kantafunktiot kuitenkin ovat peräisin jostakin teoriasta, jolloin niitä ei tietenkään voi muuttaa. Matriisi C on tavallisesti täysi. Ihanteellinen tapaus olisi, jos C olisi diagonaalimatriisi, jolloin kukin parametreista a i voidaan ratkaista täysin muista riippumatta. Näin käy, jos kantafunktiot φ j ovat ortogonaalisia. Funktiot f ja g ovat ortogonaalisia, jos niiden skalaaritulo L f(x)g(x) dx on nolla. Integrointiväli L riippuu käytetystä funktioluokasta. Esimerkiksi sini ja kosini ovat ortogonaalisia välillä [0, 2π]. Kun tarkastellaan funktioita vain tietyissä pisteissä x i, i = 1,..., n, funktioiden f ja g skalaaritulo korvataan summalla n f(x i )g(x i ). Kertoimen C ij lauseke on juuri kantafunktioiden φ i ja φ j skalaaritulo, joten se häviää, jos nämä funktiot ovat ortogonaalisia. Diskreetissä tapauksessa skalaaritulon arvo riippuu paitsi funktioista myös käytetystä pistejoukosta. Esimerkiksi sini ja kosini ovat ortogonaalisia äärellisessä pistejoukossa edellyttäen, että pisteet ovat tasavälisiä. Sen sijaan mielivaltaiselle pistejoukolle summa sin x i cos x i ei yleensä häviä.
Polynomit Kantafunktioina muuttujan x potenssien joukko, jolloin sovitettava funktio kokonaisuudessaan on polynomi f(x) = a 0 a 1 x a 2 x 2... a n x n. Polynomi voi käyttäytyä huonosti havaintopisteiden ulkopuolella. Kun astelukua lisätään, polynomi saadaan kulkemaan kaikkien haluttujen pisteiden kautta, mutta niiden välillä se voi heilahdella voimakkaasti. Usein korkein järkevä asteluku on noin 4 5. Jos aineistossa on pitkiä aukkoja, sovitettuun käyrään saattaa ilmaantua asiaankuulumattomia mutkia. Polynomisovituksen kerroinmatriisi 1 x 1 x 2 1 x K 1 1 x 2 x 2 2 x K 2. 1 x n x 2 n x K n on ns. Vandermonden matriisi. Suurilla K:n arvoilla sen häiriöalttius tulee hyvin suureksi. Regularisointimenetelmät jäykistävät sovitettavaa funktiota ja estävät sen liialliset heilahtelut. Esimerkiksi voidaan rajoittaa korkeimmanasteisten termien kertoimia, mikä merkitsee korkeampien derivaattojen pitämistä pieninä. Regularisointi voidaan toteuttaa esimerkiksi korvaamalla minimoitava residuaali lausekkeella (y i P (x i )) 2 λ i i P (x i ) 2, missä λ on jokin vakio. Tämän lausekkeen minimointi johtaa ratkaisuun, jossa polynomien toiset derivaatat ovat pieniä, joten käyrässä ei esiinny jyrkkiä mutkia.
Kuvataan Rungen funktiota 9 pisteellä ja sovitetaan niihin eri asteisia polynomeja: K= 2 K= 4 K= 10 1 0-2 -1 0 1 2
Fourier n sarjat Mikäli havaittu ilmiö on jaksollinen, tulokset on usein kätevää esittää Fourier n sarjana: f(x) = A 0 k=1 A k cos 2πkx P k=1 B k sin 2πkx P, missä P on jakson pituus. Jos aineisto ei ole tasavälistä, kertoimien laskeminen on hankalaa. Helpoin tapa on ratkaista ongelma pienimmän neliösumman sovituksena. Kantafunktiona ovat sin kx ja cos kx. Mahdollisia ongelmia: 1) Lineaarisessa sovituksessa jakso on tunnettava etukäteen. Mikäli sekin halutaan sovittaa samanaikaisesti, joudutaan ratkaisemaan epälineaarinen tehtävä. 2) Jos aineisto ei ole tasavälinen, kantafunktiot eivät ole ortogonaalisia. Myös sarjan alkupään kertoimet muuttuvat, jos sarjaan lisätään uusia termejä. Jos sarjalle käytetään aineistosta riippuvaa katkaisukriteeriä (esimerkiksi lisätään termejä, kunnes R ei enää oleellisesti pienene), eri aineistoja ei enää voi luotettavasti vertailla keskenään. Mikäli eri aineistoja halutaan verrata, on jokainen aineisto esitettävä yhtä monella termillä. 3) Aineiston tulisi kattaa ainakin yksi kokonainen jakso, eikä siinä saisi olla pitkiä katkoja. Muuten kertoimien virheet voivat tulla hyvin suuriksi. 4) Jos mitattavassa suureessa esiintyy Nyquistin taajuutta korkeampia taajuuksia, ne voivat aiheuttaa mitattuihin arvoihin matalia taajuuksia, joita todellisuudessa ei ole olemassakaan. 5) Jos aineistossa esiintyy jyrkkiä hyppäyksiä, sarja suppenee niiden lähellä varsin hitaasti.
Epälineaariset sovitukset Joissakin erikoistapauksissa tehtävä voidaan muuntaa lineaariseen muotoon. f(x) = ae bx, Sovitetaankin funktion f logaritmi ln f(x) = a bx, missä a = ln a. Tuloksena on lineaarinen tehtävä. Mikäli sovitettavan funktion derivaatat parametrien suhteen pystytään laskemaan, voidaan parametreille johtaa yhtälöryhmä, kuten lineaarisessakin tapauksessa. Yhtälöryhmä on kuitenkin epälineaarinen. Jos derivaattoja ei pystytä laskemaan analyyttisesti, tai jos tuloksena on kovin mutkikas yhtälöryhmä, on helpompaa käyttää jotakin minimointiohjelmaa.
Julkaistaviksi tarkoitetuissa kuvissa oltava - sovitettu funktio ja alkuperäiset datapisteet - havaintojen virheet
Valitse asteikot niin, että kuva on luettava. Ohjelmien automaattiset skaalaukset eivät sovi lopulliseen julkaisuun. Jos useita kuvia samasta aiheesta, pyri käyttämään samoja asteikkoja, jotta kuvat vertailukelpoisia. Tähtitieteessä usein logaritmisia tai log-log -asteikkoja, jolloin monet kuvaajat (lähes) suoria; saattavat vähätellä sovituksen virheitä. 0.35 0.29 0.23 0.17 1.2 1.5 1.8 2.1 2.4 2.7 3.0
Ohjelmat usein mustia laatikoita: saadaan kyllä sovitus, mutta onko se mielekäs?
Yksikin hyvin poikkeava havainto voi vääristää sovitusta. Standardipoikkeama iso, joten yli 3σ poikkeavien havaintojen poistaminen ei muuta tulosta. - Onko poikkeava havainto luotettava? Löytyykö sen tueksi muita havaintoja? - Onko sovitettavan funktion muoto järkevä?