802360A Inversio-ongelmien peruskurssi (Syksy 20) Sari Lasanen 0. lokakuuta 20
2
Inversio-ongelmien peruskurssi (4 op) Osaamistavoitteet: Kurssin onnistuneen suorittamisen jälkeen opiskelija tunnistaa useat inversio-ongelmat tietää inversio-ongelmien tyypilliset ominaisuudet osaa ratkaista yksinkertaisia inversio-ongelmia eksakteilla ja epätarkoilla arvoilla. Kirjallisuus:. Jari Kaipio, Erkki Somersalo: Statistical and computational inverse problems. Springer-Verlag (Applied Mathematical Sciences, Vol. 60). 2. Daniela Calvetti, Erkki Somersalo: Introduction to Bayesian scientific computing. Ten lectures on subjective computing Springer (Surveys and Tutorials in the Applied Mathematical Sciences, Vol. 2) i
ii
Sisältö Suorat ongelmat ja inversio-ongelmat. Mitä inversio-ongelmat ovat?.....................2 Esimerkkejä inversio-ongelmista ja niiden tyypillisistä ominaisuuksista.................................. 2.3 Inversio-ongelmien luokittelua.................... 5.4 Yhteenveto.............................. 5 2 Hyvin ja huonosti asetetut inversio-ongelmat 7 2. Normiavaruudet........................... 7 2.2 Inversio-ongelman ratkaiseminen.................. 8 2.3 Hyvin asetetut inversio-ongelmat.................. 2 2.4 Yhteenveto.............................. 22 3 Äärellisulotteiset lineaariset inversio-ongelmat 23 3. Hyvin ja huonosti asetetut lineaariset inversio-ongelmat..... 25 3.2 Ratkaisun häiriöalttius........................ 26 3.3 Yhteenveto.............................. 35 3.4 Liite: Pienin mahdollinen ehtoluku on.............. 36 4 Likimääräisratkaisut ja regularisaatio 37 4. Pienimmän neliösumman menetelmä................ 37 4.. Typistetty singulaariarvohajotelma............. 43 4.2 Tikhonovin regularisaatio...................... 44 4.3 Yhteenveto.............................. 49 4.4 Liite: Projektiot............................ 52 5 Tilastolliset inversio-ongelmat 53 5. Lyhyesti todennäköisyyslaskennasta................ 53 5.. Todennäköisyysmitta..................... 53 5..2 Todennäköisyyslaskennan tulkinnat............ 54 5..3 Satunnaismuuttujista.................... 54 5..4 Tiheysfunktiot........................ 56 5..5 Odotusarvot......................... 58 5..6 Gaussiset jakaumat...................... 59 5..7 Ehdolliset jakaumat..................... 6 5.2 Tilastollinen inversio-ongelma.................... 63 5.2. Bayesian kaava. Priori- ja posteriorijakaumat....... 64 5.2.2 Uskottavuusfunktio f Y (y X = x).............. 66 iii
5.3 Posteriorijakauman tutkiminen................... 66 5.4 Yhteenveto.............................. 68 iv
Luku Suorat ongelmat ja inversio-ongelmat Inversio-ongelmat ovat osa sovellettua matematiikkaa, mutta matka puhtaaseen matematiikkaan on lyhyt sillä matemaattiset inversio-ongelmat ovat sangen abstrakteja. Jopa matematiikan alan arvostetuimmassa lehdessä Annals of Mathematics on julkaisuja inversio-ongelmista. Erityisesti inversio-ongelmiin erikoistuneita tieteellisiä lehtiä ovat: Inverse Problems (IP), Inverse Problems and Imaging (IPI), Journal of Inverse and Ill-posed Problems ja Inverse Problems in Science and Engineering. Näitä lehtiä voi lukea Oulun yliopiston kirjaston Nelliportaalin kautta (myös etäkäytöllä).. Mitä inversio-ongelmat ovat? Inversio-ongelmissa pyritään saamaan tietoa tuntemattomista kohteista epäsuorien ja usein epätarkkojen havaintojen avulla. Esimerkkejä tutuista inversioongelmista ovat lääketietelliset kuvantamismenetelmät (ultraäänikuvaus, tietokonekerroskuvaus), kuvan terävöittäminen kuvankäsittelyssä ja sateen havainnointi säätutkalla. Tällä kurssilla tutustutaan matemaattisiin inversio-ongelmiin sekä yksinkertaisten inversio-ongelmien käytännön ratkaisumenetelmiin. Inversio-ongelman eli käänteisongelman nimitys tulee siitä että ensin on tunnettava suora ongelma, joka kertoo kuinka data y riippuu kiinnostuksen kohteena olevasta suureesta x. Usein data saadaan hyödyntämällä jotakin fysikaalista ilmiötä ja suora ongelma on kyseistä ilmiötä selittävä fysikaalinen teoria: sanotaan vaikka kuvaus x F(x) = y. Inversio-ongelmassa kysytään, mikä suure x on tuottanut datan y. Maallikkotermein asian voi selittää seuraavasti: Suora ongelma: Syistä seurauksiin. Inversio-ongelma: Seurauksista syihin. Yksinkertaistettuna kysymys on käänteiskuvauksen F määräämisestä, mutta tulemme näkemään että ratkaisu ei ole aivan niin mutkatonta.
.2 Esimerkkejä inversio-ongelmista ja niiden tyypillisistä ominaisuuksista Esimerkki Suora ongelma: Laske yhteen luvut, jotka ovat samalla rivillä, samalla sarakkeella tai samaa väriä.?????? 5 7?? 4 3 8?? 6 2 9? Inversio-ongelma: Määrää luvut, joiden rivi-, sarake- ja värisummat on annettut. 3 0 24 0 3??? 3 5??? 9 7??? 0 Inversio-ongelmat ovat usein vaikeanpia kuin suorat ongelmat. Esimerkki 2 Suora ongelma: Määrää funktio f C (0, ), kun sen derivaatta f (t) = 3t 2 ja alkuarvo f(0) = 0 on annettu. Inversio-ongelma: Määrää funktion f C (0, ) derivaatta f kun f(t) = t 3. Tämä on helppoa, mutta vaikeuksia syntyy jos annettu integraalifunktio tunnetaan epätarkasti. Esim. jos annettu data ei ole t 3 vaan niin sen derivaatta onkin g(t) = t 3 + 00 sin(00t), g (t) = 3t 2 cos(00t). Inversio-ongelmien ratkaisut ovat usein herkkiä datassa esiintyville pienille häiriöille. 2
.2 tarkka data epätarkka data 4 3.5 3 tarkka ratkaisu epätarkka ratkaisu 0.8 2.5 0.6 2.5 0.4 0.2 0.5 0 0 0.5 0.2 0 0. 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 0 0. 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 Kuva.: Häiriöinen data g ei paljon eroa tarkasta datasta f... mutta vastaavat ratkaisut eroavat! Esimerkki 3 Kuvan terävöittämisessä pyritään muodostamaan sumeasta valokuvasta yksityiskohtaisempi valokuva. Suora ongelma: Tee terävästä valokuvasta sumeampi valokuva. Inversio-ongelma: Tee sumeasta valokuvasta terävämpi valokuva Suora ongelma Inversio-ongelma Mustavalkoinen digitaalinen valokuva voidaan esittää matriisina M R n m, jonka elementit M ij kuvaavat pikseleiden väriä: mitä suurempi luku on sitä vaaleampi pikselin väri on (katso kuvat.2 ja.3). 3
Kuva.2: Mustavalkoinen valokuva koostuu pikseleista : suorakaiteen muotoisista yksiva risista kuvaelementeista. 0 9 8 7 6 5 4 3 2 0 Kuva.3: Esimerkki 9 9-matriisin kuvapikseleista ja harmaasa vyja vastaavista lukuarvoista. Kuvan sumentamista voidaan mallintaa normitetulla Gaussisella konvoluutiolla (valitaan n = m yksinkertaisuuden vuoksi) fkl = Ckl M n X e ( k i 2 /n2 + l j 2 /n2 )/2σ2 Mij, i,j= missa k, l =,..., n ja normitusvakio Ckl = n X i,j= e ( k i 2 /n2 + l j 2 /n2 )/2σ2. fkl. Jokaisen pikselin arvo Mkl kuvautuu pikselien painotetuksi keskiarvoksi M Eniten painoa on kyseisen pikselin ja sen viereisten pikselien arvoilla. 4
Suora ongelma: Määrää M kun M tunnetaan. Inversio-ongelma: Määrää M kun M tunnetaan. Pienessä kuvassa n, m = 256, mutta korkealaatuisissa kuvissa n ja m ovat useita tuhansia, jolloin matriisissa on miljoonia elementtejä. Inversio-ongelmissa tuntemattomat ovat usein korkeaulotteisten avaruuksien vektoreita. Esimerkki 4 Säätutka lähettää sähkömagneettisia pulsseja mikroaaltotaajudella (5600-5650 MHz, aallonpituus n. 5.3 cm). Pulssit heijastuvat takaisin esteistä, esimerkiksi sadepisaroista ja lumihiutaleista. Säätutka vastaanottaa heijastuneet pulssit, joiden matka-ajoissta saadaan selville sadepisaroiden etäisyys. Heijastuneen pulssin voimakkuudesta (tehosta) saadaan selville sateen voimakkuus. Dopplertutka kertoo myös sadepisaroiden nopeuden taajuudessa tapahtuvan Dopplersiirtymän avulla. Sadepisaroista saadaan kaikuja aina 250 km päästä. Mittauksia tehdään eri suunnissa antennia liikuttamalla. Suora ongelma: Määrää heijastunut kaiku kun sadepisaroiden jakauma (ja nopeus) tunnetaan. Inversio-ongelma: Määrää sadepisaroiden jakauma (ja nopeus), kun niistä heijastunut kaiku tunnetaan. Lähetetty signaali on funktio φ(t) = Pe(t)sin(ω 0 t), 5
missä ω 0 on kantotaajuus, P on lähetetyn pulssin teho ja e(t) kuvaa pulssin muotoa. Sadepisaran liikettä kuvaa yhtälö r(t) = x 2 + x 3 t + 2 x 4t 2, missä x 2 on kappaleen etäisyys tutkasta, x 3 on kappaleen nopeus ja x 4 on kappaleen kiihtyvyys. Sadepisarasta takaisinpäin heijastunutta signaalia kuvaa yhtälö ( z(t) = x φ t 2 ) ( c x 2 exp i2 ω 0 c (x 3t + ) 2 x 4t 2 ), missä x on heijastuneen signaalin teho ja c on valonnopeus. Heijastuneen signaalin teho toteuttaa tutka-yhtälön (eng. radar equation) x = CPσ (4π) 2 x 4, 2 missä C on tutkasta riippuva vakio ja takaisinsirontapinta-ala (eng. radar cross section) σ riippuu kappaleen koosta ja heijastavuudesta. Kuva.4: Ilmatieteen laitoksen kuva säätutkahavainnoista. Inversio-ongelmissa käytetään usein epäsuoraa tietoa tuntemattomista kohteista. Muita tutkasovelluksia: Avaruusromun kartoitus (maanpinnalta lähetetty sähkömagneettinen pulssi heijastuu hukatuista työkaluista, pirstoutuneista satelliiteista ja rakettiromusta, joka putoaa hitaaaasti kohti maata). Esimerkiksi kansainvälinen avaruusasema ISS joutuu väistämään putoavaa romua pari kertaa vuodessa. 6
Kuun kaukokartoitus (maanpinnalta lähetetty sähkömagneettinen pulssi heijastuu kuusta). Ionosfäärin tutkimus (revontulet, aurinkomyrskyn vaikutukset). Hyödynnetään epäkoherenttia sirontaa: tutkasignaali saa ionosfäärin plasman värähtelemään, jolloin syntyy heikko sähkömagneettinen signaali, joka voidaan vastaanotttaa maanpinnalla. Taajuus satoja megahertsejä. Maaperätutka. Toimii mikroaaltotaajuuksilla. Esimerkki 5 Lääketieteellisessä tietokonetomografiakuvauksessa(tietokonekerroskuvaus) muodostetaan röntgenkuvien avulla kuva, rekonstruktio, potilaan sisäosista. Eri kudokset vaimentavat röntgensäteilyä eri voimakkuudella. Kun vaimenemisen suuruus mitataan useasta eri suunnasta, saadaan muodostettua poikkieikkauskuva kehon sisärakenteesta tarkemmin sanottuna massa-absorptiokertoimien vaihtaluista. Kuva.5: Tietokonekerroskuvauslaite (kuva: Siemens Press Picture). Olkoon f = f(x, y) 0 paloittain jatkuva funktio, joka esittää massaabsorptiokerrointa pisteessä (x, y) R 2. Oletetaan, että f(x, y) = 0 kun (x, y) / D ja D sisältyy tason r säteiseen origokeskiseen palloon B(0, r). Suoraa y = ax + b pitkin kulkevan röntgensäteen absorptiota vastaa funktion f viivaintegraali pitkin suoraa y = ax + b eli tarkemmin ln ( I0 I ) = + a 2 r f(x, ax + b)dx, r missä I 0 on lähetetyn röntgensäteilyn intensiteetti ja I on vastaanotettu intensiteetti (Beerin ja Lambertin laki). Suora ongelma: Kun funktio f tunnetaan, laske integraalit r r f(x, ax + b)dx ja r r f(b, x)dx 7
pitkin eri suoria. Inversio-ongelma: Määrää funktio f kun sen integraalit r pitkin eri suoria tunnetaan. f(x, ax + b)dx ja r r r f(b, x)dx y r Suora y = x -r r x D -r Kuva.6: Tomografiakuvaus: funktion f viivaintegraalit lasketaan pitkin eri suoria. Käytännössä mittauksia ei voi tehdä jokaista suoraa pitkin, vaan mittaussuuntia on rajallinen määrä. Mitä vähemmän mittaussuuntia on käytössä, sitä vähemmän tietoa on saatavilla tuntemattomasta funktiosta. Ongelmana on, että useilla eri funktioilla voi olla samat integraalit. Esim. jos f(x, y) = x 2 +y 2 ja g(x, y) = 3 kun (x, y) B(0, ) ja f(x, y) = g(x, y) = 0 muulloin, niin funktion f integraali pitkin suoraa y = 0 on x 2 dx = 2 3 joka on sama kuin funktion g(x, y) integraali pitkin samaa suoraa. Funktioiden f ja g rotaatiosymmetrian takia niiden integraalit yhtyvät pitkin mitä tahansa origon kautta kulkevaa suoraa. Tomografiakuvauksessa datan rajallisuutta kompensoidaan rajoittamalla ratkaisun muotoa: Oletetaan esimerkiksi, että n f(x, y) = a i φ i (x, y), i= missä n on kiinnitetty luku, funktiot φ i ovat tunnettuja ja kertoimet a i R ovat tuntemattomia. Funktiot φ i (x, y), i =,..., n voivat olla esimerkiksi pistevieraiden neliöiden karakteristisia funktioita (kuvan pikseleitä) { kun (x, y) I i φ i (x, y) = 0 muulloin. 8
Kuva.7: Neliö I i. 0 9 8 7 6 5 4 3 2 0 Kuva.8: Esimerkki harmaasävykuvasta ja värillisestä kuvasta. Kuva.9: Tietokonekerroskuva: eri harmaasävyt vastaavat funktion f eri arvoja. (kuva: Siemens Press Picture). Käytännön inversio-ongelmissa rekonstruktio (eli kuvan muodostaminen tuntemattomasta kohteesta) on tehtävä jollakin tapaa rajal- 9
lisesta määrästä dataa. Käytännön inversio-ongelmissa approksimoidaan tuntemattomia usein äärellisulotteisten vektoreiden avulla. Esimerkki 6 Impedanssitomografiassa (eng. electrical impedance tomography, EIT) sähköiset mittaukset kappaleen pinnalla antavat tietoa kappaleen sisärakenteesta (materian sähkönjohtavuudesta). Kappaleeseen voidaan syöttää jännite ja mitata virtaa tai syöttää virtaa ja mitata jännitettä. Virta Jännite D Kuva.0: Jännite-virta mittaukset kappaleesta D. Olkoon u jännite kappaleessa D ja oletetaan, että pinnalle on asetettu jännite f. Olkoon kappaleen D sähkönjohtavuus σ C ( D). Silloin funktio u C 2 (D) C ( D) toteuttaa yhtälöt (σ u)(x) = 0, x D u(x) = f(x), x D Pinnalla mitattava virta g(x) saadaan jännitteestä u kaavalla g(x) = σ(x)n(x) u(x), x D, missä n(x) on kappaleen D pinnan (ulospäin suunnattu) normaalivektori. Suora ongelma: Määrää g kun σ ja f on annettu. Inversio-ongelma: Määrää σ kun g tunnetaan jokaisella f C ( D). Mihin soveltuu: Lääketieteellinen kuvantaminen (sydämen ja keuhkojen toiminta). 0
Ainetta rikkomaton testaus (esim. vauvanruokapurkkien eheyden tarkistus, lentokoneen siipien korroosiovaurioiden tarkistus, siltojen betoniraudoitusten tutkiminen). Teollisuuden prosessien valvonta (esim. säiliön sisällä olevan seoksen tasaisuuden tarkkailu). Tällä ongelmalla on olemassa myös karkea versio jota hyödynnetään kaupallisesti sähköinen kehonkoostumusmittaus (eng. bioelectrical impedance analysis). Siinä mittausperiaate on sama: kehoon johdetaan vähäistä virtaa ja mitataan sen aikaansaama jännite. Erona EIT:hen on, että tarkan suoran teorian sijaan käytetään tiettyjen parametrien sovituksia karkeisiin yhtälöihin. Tärkein näistä parametreistä on kehossa olevan veden määrä. Esitietona tarvitaan henkilön pituus (henkilöä approksimoidaan sen jälkeen samanpituisena sylinterinä, jonka tilavuus kertoo kehossa olevan veden määrän...). Mitatusta jännitteestä lasketaan sylinterin sisältämä veden määrä. Käytettyjä yhtälöitä on pyritty tarkentamaan ottamalla lisää parametreja huomioon, kuten henkilön iän, sukupuolen ja painon sekä käyttämällä eritaajuisia sähkövirtoja. Inversio-ongelmien avulla on mahdollista saada tietoa sellaisistakin kohteista jotka eivät muutoin ole näkyvissä tai tavoitettavissa. Esimerkki 7 Lääketieteellisessä ultraäänikuvauksessa muodostetaan kuva potilaan sisäosista ääniaaltojen avulla. Periaate on seuraava: potilaan sisälle lähetetään kapea äänipulssi (taajuus 2-5 MHz), joka heijastuu osittain takaisinpäin kehon eri kudosten rajapinnoista. Takaisinsironnut pulssi vastaanotetaan ja muunnetaan kirkkausarvoiksi. Tämä toistetaan eri mittaussuoria pitkin. Eräs ultraääniku- Kuva.: Ultraäänikuvauksen periaate. Pulssi heijastuu rajapinnoista. Tässä samanväriset alueet ovat täysin homogeenisia. vauksen yksinkertaistuksista on olettaa, että ääni kulkee vakionopeudella kehossa, vaikka eri kudoksilla on erilaiset äänennopeudet. Tästä johtuen ultraäänikuvissa olevien kohteiden koko on vääristynyt. Lisäksi malli ei ota huomioon
0.5 0 0.5.5 0 0.2 0.4 0.6 0.8 Kuva.2: Ultraäänikuvauksen periaate 2. Taaksepäin sironnut pulssi (kuvassa sininen käyrä) vastaanotetaan ja muunnetaan alla oleviksi kirkkausarvoiksi verhokäyrän (eng. envelope, kuvassa punainen käyrä) avulla. monitie-etenemistä eikä aaltojen taittumista, jolloin kuvassa oleva kohde ei välttämättä ole todellisella paikallaan. Hyvin epätasaiset rajapinnat tekevät kuvasta lisäksi täplikkään. Ultraäänikuvauksen tarkempi matemaattinen malli on ääniaaltojen eli akustisten aaltojen etenemistä väliaineessa kuvaava malli. Aika-harmonista akustista aaltoa kappaleessa D R n voidaan kuvata yhtälöllä u(x) + ω2 c 2 u(x) = 0, x D, (x) missä ω on taajuus ja c(x) on äänen nopeus väliaineessa. Lähetettävää ääntä kuvataan yhtälöllä n u(x) = f(x), x D, missä n on pinnan D normaalivektori. Pinnalla vastaanotettua ääntä kuvataan yhtälöllä g(x) = u(x), x D. Funktion u(x) yhteys ajasta riippuvaan fysikaaliseen äänen paineeseen p(x, t) saadaan kaavasta p(x, t) = Re u(x)e iωt. Suora ongelma: Määrää u kun funktiot c ja f on annettu. Inversio-ongelma: Määrää c kun g tunnetaan eri funktioilla f. Inversio-ongelmissa käytetään matematiikkaa erilaisten kuvantamismenetelmien parantamiseen. Samaa akustista yhtälöä voidaan käyttää seismisten eli maan tärinää kuvaavien aaltojen etenemisen kuvaamiseen. Maankuoren rakennetta voidaan kartoittaa täristämällä maanpintaa koneellisesti (tai räjäytyksien avulla) ja mittaamalla maankuoren epähomogeenisuuksista heijastunutta aaltoa maan pinnalla. 2
Ääniaallot kulkevat hyvin myös vedessä, jolloin puhutaan kaikuluotaimista eli sonareista. Esimerkki 8 Käänteisessä sirontaongelmassa (eng. inverse scattering problem) lähetetetään sähkömagneettinen tai akustinen aalto joka edetessään kohtaa tuntemattoman kappaleen tai väliaineen. Tuntematon poikkeama muuttaa lähetettyä aaltoa, jolloin syntyy sironnut aalto. Sironnutta aaltoa havainnoidaan etäällä tuntemattomasta poikkeamasta. Kuva.3: Sironnan periaate. Tuleva aalto on u i. Sirottaja saa aikaan sironneen aallon u s. Koko aalto u = u i + u s. Sirontaa yksinkertaistetaan usein olettamalla, että aaltojen aikariippuvuus on harmoninen eli u(x, t) = e iωt u(x). Matemaattisessa sironnassa funktiota u(x) kutsutaan kentäksi (eng. field, tarkoittaa usean muuttujan funktiota). Aikaharmonista akustista sirontaongelmaa (eng. time-harmonic acoustic scattering), missä sirottaja on epähomogeeninen väliaine kuvaavat yhtälöt u(x) = u i (x) + u s (x) u(x) + ω2 c 2 (x) u(x) = 0, x Rn, missä ω on tulevan aallon taajuus. Lisäksi vaaditaan säteilyehto ( x lim x x x us (x) i ω ) c us (x) = 0 tasaisesti joka suuntaan x x Funktio c(x) kuvaa äänen nopeutta väliaineessa. Äänen nopeus on fysikaalinen suure, joka riippuu mm. väliaineen rakenteesta (esim. molekyylitiheydestä). Yllä oletetaan että c on positiivinen sileä funktio, joka on vakio kaukana sirottavasta poikkeamasta. 3
Suorassa sirontaongelmassa pyritään määräämään sironnut kenttä u s kun u i ja c tunnetaan. Tuleva kenttä oletetaan usein tasoaalloksi u i (x) = e ia x, missä a on suuntavektori. Käänteisessä akustisessa sirontaongelmassa pyritään määräämään funktio c kun sironnut kenttä u s tunnetaan kaukana tuntemattomasta sirottajasta ja tuleva kenttä u i on tunnettu. Funktio c kuvaa tuntamattoman kohteen rakennetta. Sähkömagneettinen sironta: Väliaineesta tapahtuvaa sähkömagneettista sirontaa voidaan kuvata seuraavasti. Olkoon E = E(x, t) C 2 (R 2 R + ;R 3 ) ja H = H(x, t) C 2 (R 2 R + ;R 3 ) sähkömagneettisen aallon sähkökenttä ja magneettikenttä. Isotrooppisessa väliaineessa nämä kentät toteuttavat Maxwellin yhtälöt Aikaharmonisessa tapauksessa H E(x, t) + µ 0 (x, t) = 0 t H(x, t) ǫ(x) E (x, t) = σ(x)e (x, t). t E(x, t) = ǫ 2 0 E(x)e iωt, H(x, t) = µ 2 0 H(x)e iωt, missä ω on aallon taajuus ja ǫ 0 ja µ 0 tyhjiön permittiivisyys ja permeabiliteetti. Aikaharmoniset Maxwellin yhtälöt ovat E(x) ikh(x) = 0 (.) H(x) + ikn(x)e(x) = 0 (.2) missä heijastuskerroin n(x) = ( ǫ(x) + i σ(x) ) ǫ 0 ω riippuu väliaineesta ja k = ω ǫ 0 µ 0. Olkoon E i ja H i aikaharmonsen Maxwellin yhtälöiden ratkaisu tyhjiössä (jolloin ǫ ǫ 0 ja σ 0). Kun tuleva aalto (E i, H i ) kohtaa epähomogeenisen väliaineen, se siroaa. Tulevan aallon ja sironneen aallon summa E = E i + E s, H = H i + H s toteuttaa epähomogeenisen aineen Maxwellin yhtälöt (.) ja (.2). Lisäksi vaaditaan säteilyehto: tasaisesti joka suuntaan x x. lim x (Hs x x E s ) = 0 Suora ongelma: Määrää E s ja H s kun E i ja H i sekä n(x) on annettu. Inversio-ongelma: Määrää n(x) kun H s ja E s tunnetaan kaukana sirottavasta väliaineesta annetuilla E i ja H i. Käänteiset sironta-ongelmat (eng. inverse scattering problem) ovat matematiikaltaan haastavia. 4
.3 Inversio-ongelmien luokittelua (A) Matemaattiset inversio-ongelmat. Esimerkiksi. Sirontaongelmat (esim. sironta väliaineesta, data yhdellä tai usealla tulevan aallon taajuudella tai tulosuunnalla) Käänteiset reuna-arvo-ongelmat (esim. impedanssitomografia) Matemaattinen tomografia (myös matka-aikatomografia) Alkuarvojen määrääminen Käänteiset ominaisarvo-ongelmat (B) Käytännönläheiset ja laskennalliset inversio-ongelmat. Esimerkiksi Kuvankäsittely Kaukokartoitus (=etäällä olevien kohteiden kuvantaminen epäsuorien menetelmien avulla) Lääketieteellinen kuvantaminen Ainetta rikkomaton testaus Retrospektiiviset eli menneisyyteen liittyvät ongelmat (esim. mistä saastehiukkaset ovat kulkeutuneet) Biologiset inversio-onglmat (esim. fylogeneettinen ongelma: Määrää DNA-erojen perusteella missä järjestyksessä nykyiset lajit ovat eriytyneet toisistaan eli piirrä lajien evoluutiopuu) Inversio-ongelmian sovellusalueita ovat mm. Geologinen tutkimus (malmi- ja öljyvarojen kartoitus, maankuoren tutkimus, maanjäristysten analysointi) Lääketiede (kuvantaminen, metabolisten prosessien parametrien kääntäminen verinäytteistä, etc.) Maapallon tilan seuraaminen (otsonimittaus, epäsuorat lämpötilamittaukset, etc.) Tähtitiede ja astronomia (epäsuorat havainnot planeetoista, asteroideista, auringosta, galakseista etc.). Taloustiede (mallien parametrien määrääminen). Teollisuuden laadunvalvonta.4 Yhteenveto Inversio-ongelmissa pyritään saamaan tietoa tuntemattomista kohteista epäsuorien havaintojen avulla. Inversio-ongelmat voidaan jakaa matemaattisiin ja käytännönläheisiin ongelmiin ja niitä tavataan useilla eri aloilla. Tyypilliset ominaisuudet: vaikeampia kuin suorat ongelmat. herkkiä datan häiriöille käytännön inversio-ongelmissa datan määrä on rajallinen 5
6
Luku 2 Hyvin ja huonosti asetetut inversio-ongelmat Inversio-ongelmissa tuntematon ja data ovat usein funktioita. Tässä luvussa käsitellään inversio-ongelmia normiavaruuksissa. 2. Normiavaruudet Palautetaan mieleen, että V on reaalinen vektoriavaruus, jos operaatiot V V (v, v 2 ) v + v 2 V ja R V (a, v) av V on määritelty siten, että. v + (v 2 + v 3 ) = (v + v 2 ) + v 3 kun v, v 2, v 3 V, 2. v + v 2 = v 2 + v kun v, v 2 V, 3.! 0 V siten että v + 0 = v kaikilla v V, 4. Jokaisella v V! v V siten että v + ( v) = 0 (u v := u + ( v)), 5. a(v + v 2 ) = av + av 2 kun a R ja v, v 2 V, 6. (a + a 2 )v = a v + a 2 v kun a, a 2 R ja v V, 7. a (a 2 v) = (a a 2 )v kun a, a 2 R ja v V, 8. v = v kun v V. Kun V on reaalinen vektoriavaruus, niin kuvaus : V [0, ) on normi, jos. av = a v kun a R ja v V, 2. v = 0 v = 0 ja 3. v + v 2 v + v 2 v, v 2 V. 7
Vektoriavaruutta V varustettuna normilla kutsutaan normiavaruudeksi. Normiavaruuden joukkoa B(v 0, r) = {v V : v v 0 < r}, missä v 0 V ja r > 0, kutsutaan v 0 -keskiseksi r-säteiseksi avoimeksi palloksi. Normiavaruuden tavanomainen topologia voidaan määritellä avoimien pallojen avulla (joukko U on avoin, jos jokaisella v U löytyy r > 0, jolla B(v, r) U). Olkoot (V, ) ja (V 2, 2 ) kaksi reaalista normiavaruutta. Kuvaus f : V V 2 on jatkuva pisteessä v 0 V, jos jokaisella ǫ > 0 löytyy sellainen δ > 0, että f(v 0 ) f(v) 2 < ǫ kun v 0 v < δ. Jos f on jatkuva jokaisessa pisteessä v V, niin f on jatkuva. 2.2 Inversio-ongelman ratkaiseminen Olkoot V ja V 2 kaksi reaalikertoimista (tai kompleksikertoimista) vektoriavaruutta, jotka on varustettu normeilla ja 2. Määritelmä. Olkoon R : V V 2 annettu kuvaus. Suora ongelma on määrätä g = R(f) kun f V on annettu. Inversio-ongelma on määrätä f V kun g = R(f) on annettu. Kuvausta R : V V 2 joka vie tuntemattoman f V sitä vastaavaksi dataksi R(f) = g kutsutaan suoraksi teoriaksi (eng. direect theory). Inversio-ongelman ratkaiseminen voidaan jakaa seuraaviin osaongelmiin.. Identifioitavuus. Ratkaisun yksikäsitteisyyden näyttäminen eli kuvauksen R injektiivisyys (eli jos g = g 2, niin onko f = f 2?). Vastaa kysymykseen: Onko data periaatteessa riittävä inversio-ongelman ratkaisun määräämiseksi? Yleensä ensimmäinen askel matemaattisessa inversio-ongelmassa. Myös käytännön kannalta erittäin tärkeää! Esimerkiksi lääketieteellisessä kuvantamisongelmassa epäyksikäsitteisyys lisää virhediagnoosin vaaraa: ei ole suotavaa, että patologinen muutos tuottaisi samat mittaustulokset (ja siis saman rekonstruoidun kuvan) kuin terve kudos. Esimerkki. Oletetaan, että kappaleeseen, jonka massa on m, vaikuttaa ajasta riippuva voima F(t) = (F (t), F 2 (t), F 3 (t)), missä reaalifunktiot F i ovat jatkuvia. Kun F sekä kappaleen paikka ja nopeus ajanhetkellä t = 0 tunnetaan, niin kappaleen rata g(t) = (g (t), g 2 (t), g 3 (t)) noudattaa yhtälöitä Olkoon F(t) = m d2 g (t), t (0, ) dt2 (2.) dg dt (0) = (v, v 2, v 3 ) (2.2) g(0) = (x, x 2, x 3 ). (2.3) V = C([0, ];R 3 ) = {F = (F, F 2, F 3 ) : F i : [0, ] on jatkuva, i =, 2, 3} 8
varustettuna normilla F = sup t [0,] F(t) ja V 2 = C 2 ([0, ];R 3 ) = {g = (g, g 2, g 3 ) : g i C([0, ]) on kahdesti jatkuvasti derivoituva välillä (0, ) ja derivaatat ovat jatkuvia välin päätepisteisiin asti, i =, 2, 3} varustettuna normilla g 2 = sup t [0,],k=0,,2 d k g dt k (t) Inversio-ongelma: Määrää F V, kun kappale liikkuu pitkin polkua g(t) = (g (t), g 2 (t), g 3 (t)), g V 2. Näytetään inversio-ongelman ratkaisun yksikäsitteisyys. Olkoon g(t) ja g(t) kaksi polkua, jotka toteuttavat yhtälöt ja F(t) = m d2 g dt 2 (t) dg dt (0) = (v, v 2, v 3 ) g(0) = (x, x 2, x 3 ) Oletetaan, että g(t) = g(t) kun t [0, ]. Silloin F(t) = m d2 g (t) dt2 (2.4) d g dt (0) = (v, v 2, v 3 ) (2.5) g(0) = (x, x 2, x 3 ). (2.6) F(t) = m d2 g dt 2 (t) = g md2 (t) = F(t), t (0, ), dt2 Tällaisen inversio-ongelman avulla löydettiin 800-luvulla planeetta Neptunus. Datana käytettiin tunnetun planeetan, Uranuksen, radasta tehtyjä havaintoja. Sen radassa näkyi poikkeamia jotka selittyivät vain kun yhtälöihin otettiin mukaan tuntemattoman planeeten painovoimakenttä. Planeetta löytyi kuin löytyikin laskujen ennustamasta paikasta! 2. Karakterisointi. Mikä on kuvauksen R kuvajoukko? Millaiset datavektorit g vastaavat tuntemattomia f? 3. Stabiilisuus. Miten pienet häiriöt datassa vaikuttavat ratkaisuun? Onko R jatkuva? Suurimmassa osaa käytännön inversio-ongelmista pätee seuraava nyrkkisääntö: annettu data ei ole koskaan täsmälleen sellaista kuin suorassa teoriassa on esitetty. Mittalaitteilla on rajallinen tarkkuus. 9
Elektronisissa mittalaitteissa esiintyy häiriöitä esim. lämpökohinaa. Suora teoria ei välttämättä ole täysin tarkka, vaan voi sisältää approksimaatioita. Mittauksessa voi esiintyä ulkoisia häiriöitä. Lisäksi numeerisessa laskennasssa tapahtuu pyöristysvirheitä, jotka johtuvat tietokoneen rajallisesta laskentatarkkuudesta (reaaliluvut on korvattu liukuluvuilla). 4. Rekonstruktio. Kuinka f saadaan annetusta g Im(R) matemaattisesti selville? Tämä on toinen tärkeä askel matemaattisen inversio-ongelman ratkaisemisessa. Esimerkki 2. Olkoon V = V 2 = C([0, ]) = {f : [0, ] R : f jatkuva} varustettuna normilla f = sup t [0,] f(t). Tarkastellaan suoraa teoriaa Rf(t) = 0 f(ts)ds. Oletetaan, että g C([0, ]) toteuttaa ehdon Rf = g eräällä f C([0, ]). Huomaa, että Rf(0) = f(0), joten voimme olettaa että t 0. Muuttujanvaihdolla ts = r saamme Erityisesti t g(t) = Rf(t) = t f(r)dr. t 0 0 f(r)dr = tg(t), josta derivoimalla (analyysin peruslause!) saamme 5. Numeerinen rekonstruktio. f(r) = d tg(t) t=r, 0 < r. dt Tarkka tai approksimatiivinen menetelmä ratkaisun numeeriseen määräämiseen saatavilla olevasta datasta. Kun haetaan numeerista ratkaisua, tuntematonta funktiota f(t), t R m joudutaan usein approksimoimaan joillakin yksinkertaisemmilla funktioilla f n (t) = n a n φ n (t), i= missä funktiot φ n ovat tunnettuja, mutta kertoimet a n R ovat tuntemattomia. Tuntemattoman approksimaatio saadaan selville, mikäli onnistutaan määräämään vektori x = (a,..., a n ) R n. Approksimaatioissa päädytään yleensä vektoriarvoisten tuntemattomien inversio-ongelmaan. Numeerinen rekonstruktio on usein lähes uusi ongelma. Vaikka matemaattisen inversio-ongelman ratkaisu osoittaa, että ongelma on järkevästi asetettu ja ratkaisuperiaate tunnetaan, niiin käytännössä datan rajallisuus 20
ja epätarkkuus voivat tehdä matemaattisen ratkaisuperiaatteen suoraviivaisen soveltamisen mahdottomaksi. Erityisesti tämä pätee kun ratkaisu ei ole stabiili. Tällöin käytetään approksimatiivisia ratkaisumenetelmiä, joihin tutustutaan myöhemmin tällä kurssilla. Jo kohdat. ja 4. osoittavat, että ongelma on matemaattisesti ratkaistavissa jolloin on mahdollista edetä suoraan kohtaan 5. 2.3 Hyvin asetetut inversio-ongelmat Seuraava määritelmä on inversio-ongelmien kannalta tärkeä. Määritelmä 2 (Jacques Hadamard, 865-963). Ongelma on hyvin asetettu (eng. well-posed), jos. Ongelmalla on ratkaisu. 2. Ratkaisu on yksikäsitteinen. 3. Ratkaisu riippuu annetusta datasta jatkuvasti. Määritelmä 3. Jos ongelma ei ole hyvin asetettu, se on huonosti asetettu (eng. ill-posed). Tarkastellaan muutamaa vaihtoehtoa:. Ratkaisua ei ole olemassa. Tähän tilanteeseen voidaan päätyä, jos annettu data sisältää häiriöitä. Ts. jos esimerkiksi on annettu g = R(f)+e, missä e on tuntematon pieni häiriö ja g / Im(R). Siitä huolimatta haluttaisiin saada tietoa tuntemattomasta f. Esimerkki 3. Tarkastellaan Fredholmin. kertaluvun integraaliyhtälöä g(x) = 0 R(x, y)f(y)dy, y [0.]. siinä tapauksessa, että R : [0, ] [0, ] R on C -funktio. Inversioongelma: Määrää jatkuva funktio f : [0, ] R kun jatkuva funktio g : [0, ] R on annettu. Jos g on jatkuva funktio, joka ei ole derivoituva, niin ratkaisua ei ole olemassa. Yhtälön oikea puoli on aina derivoituva, sillä d dx 0 R(x, y)f(y)dy = koska erotusosamäärälle pätee 0 0 R(x, y)f(y)dy x R(x + h, y) R(x, y) x+h x R(x, y)dx f(y)dy = f(y)dy, h 0 h missä integrointijärjestystä voidaan vaihtaa. 2
2. Ratkaisu on olemassa, mutta on epäyksikäsitteinen. Useampi kuin yksi tuntematon tuottaa saman datan eli g = R(f ) = R(f 2 ) joillakin tuntemattomilla f f 2. Tällöin on järkevää kysyä minkälaisesta epäyksikäsitteisyydestä on kysyä sekä mahdollisuutta rajoittaa mahdollisten tuntemattomien joukkoa jollakin tapaa. Epäyksikäsitteisyys on erityisesti käytännön inversio-ongelmien rasite saatavilla olevan datan rajallisuuden vuoksi. Tyypillisesti matemaattisen inversioongelman ratkaisu edellyttää jonkin funktion tuntemista, mutta käytännössä funktion (approksimatiivisia) arvoja kyetään rekisteröimään vain joissakin pisteissä. Esimerkki 4. Tarkastellaan esimerkiksi yksinkertaista ongelmaa, jossa pyydetään määräämään funktion g C (0, ) derivaatta g = f. Jos g tunnetaan, niin ratkaisu on yksikäsitteinen. Jos g tunnetaan vain pisteissä g(t i ), t,..., t n [0, ], niin g voi olla mikä tahansa pisteiden g(t i ), i =,..., n kautta kulkeva C -funktio. Jokaista dataan sopivaa eri funktiota g vastaa eri derivaatta f. 3. Ratkaisu ei riipu jatkuvasti datasta. Jos suora teoria R : V V 2 on bijektio, niin käänteiskuvaus R : V 2 V on olemassa, mutta se ei ole kaikissa tapauksissa jatkuva vaikka R olisi jatkuva. Silloin pienimmätkin häiriöt datassa voivat saada aikaan suuria muutoksia inversio-ongelman ratkaisuun. 2.4 Yhteenveto Hyvin asetetulla ongelmalla on yksikäsitteinen ratkaisu, joka riippuu jatkuvasti annetusta datasta. Huonosti asetetulla ongelmalla ei ole ratkaisua lainkaan ja/tai ratkaisuja on monta ja/tai ratkaisu ei riipu jatkuvasti annetusta datasta. Osattava; Hyvin asetetun ja huonosti asetetun ongelman määritelmät. Käsitteet: suora teoria ja rekonstruktio. Ymmärrettävä: mitä haittaa on siitä, että inversio-ongelma on huonosti asetettu. miksi niukka tai häiriöinen data voi muuttaa ongelman huonosti asetetuksi Tiedettävä: että inversio-ongelmat voivat olla huonosti asetettuja. että matemaattisessa inversio-ongelmassa pyritään näyttämään ratkaisun yksikäsitteisyys, olemassaolo, stabiilisuus sekä löytämään matemaattinen rekonstruktio. 22
Luku 3 Äärellisulotteiset lineaariset inversio-ongelmat Määritelmä 4. Inversio-ongelmaa sanotaan äärellisulotteiseksi, jos sekä tuntematon että data ovat äärellisulotteisten vektoriavaruuksien alkioita. Inversioongelmaa sanotaan lineaariseksi, jos sitä vastaava suora teoria on lineaarinen. Ryhdytään tarkastelemaan inversio-ongelmia vektoriavaruuksissar n, n. Vektoriavaruus R n soveltuu hyvin tuntemattomien kuvailuun käytännön inversioongelmissa, sillä usein tavoitteena on muodostaa kuva tuntemattomasta kohteesta. Jos kuvassa on m m pikseliä, niin tuntematon voidaan kuvata vektorina, jonka dimensio on n = m 2. Kerrataan lyhyesti lineaarialgebraa: Joukko V R n on vektoriavaruuden R n aliavaruus, jos ax + bx 2 V jokaisella a, b R ja x, x 2 V. Olkoon V R n aliavaruus. Kuvaus F : V R n on lineaarinen, jos F(ax + bx 2 ) = af(x ) + bf(x 2 ) aina kun a, b R ja x, x 2 V. Olkoot V R n ja W R m aliavaruuksia. Jos lineaarinen kuvaus F : V W on bijektio, niin myös sen käänteiskuvaus on lineaarinen. Aliavaruuden V R n kanta on lineaarisesti riippumattomien vektorien joukko {e,.., e k } jolle pätee V = {x R n : x = k a i e i, a i R, i =,.., k}. i= Kanta on ortonormaali avaruuden R n sisätulon (x, y) = n i= x iy i suhteen, jos (e i, e j ) = δ ij kun i, j =,..., n. Lineaarinen vektoriavaruus R n varustetaan tavanomaisella topologialla, jossa a-keskinen r-säteinen avoin pallo on muotoa B(a, r) = {x R n : x a < r}, 23
missä a = (a,..., a n ) R n ja r > 0. Vektorin x = (x,.., x n ) R n euklidinen normi x on sen pituus x = n x i 2. i= Normille ja sisätulolle pätee x 2 = (x, x). Olkoon D R n. Palautetaan euklidisesta topologiasta mieleen, että funktio F : D R m on jatkuva pisteessä x D jos jokaisella ǫ > 0 on olemassa sellainen δ = δ(ǫ, x ) > 0 että ehdoista x 2 D ja x x 2 < δ seuraa F(x ) F(x 2 ) < ǫ. Lause. Olkoon V R n aliavaruus. Lineaarinen kuvaus F : V R m on jatkuva. Todistus. Näytetään ensin, että väite on totta kun V = R n. Korvataan lineaarinen kuvaus F sen matriisilla (F(e j )) i = M ij, i =,.., m, j =,..., n missä {e,..., e n } on avaruuden R n luonnollinen kanta eli e = (, 0, 0,..., 0), e 2 = (0,, 0,..., 0),..., e n = (0, 0,..., 0, ). Lineaarisuuden ja Cauchy-Schwartzin epäyhtälön nojalla m n F(x) F(y) 2 = F(x y) 2 = M ij (x j y j ) m n i= j= M 2 ij i= j= n (x j y j ) 2 = C x y 2. Täten F : R n R m on jatkuva. Oletetaan nyt, että V on aito aliavaruus ja {ẽ,..., ẽ k } sen ortonormaali kanta avaruuden R n sisätulon suhteen (erityisesti jokainen kantavektori ẽ i R n ). Kun x = k j= x jẽ j ja y = k j= ỹjẽ j, niin yllä olevan nojalla (valitaan n=k) on olemassa vakio C 0 siten, että F(x) F(y) 2 C j= k ( x j ỹ j ) 2. j= 2 Lisäksi k k k ( x j ỹ j ) 2 = x j ẽ j ỹ j ẽ j, x j ẽ j ỹ j ẽ j = x y 2. j= j= j= Täten F : V R m on jatkuva. Korollaari. Olkoot V R n ja W R m lineaarisia aliavaruuksia. Jos F : V W on lineaarinen bijektio, niin F : W R n on jatkuva lineaarikuvaus. 24
3. Hyvin ja huonosti asetetut lineaariset inversioongelmat Olkoot V R n ja W R m lineaarisia aliavaruuksia sekä F : V W linearinen kuvaus. Ryhdytään tarkastelemaan lineaarista äärellisulotteista inversioongelmaa: (*) Määrää sellainen x V että y = F(x) kun (vapaasti valittu) y W on annettu. Milloin tämä inversio-ongelma on hyvin asetettu? Kohdat ja 2 edellyttävät, että inversio-ongelma on yksikäsitteisesti ratkeava; kuvauksen F : V W on oltava sekä surjektio että injektio. Tällöin käänteiskuvaus F : W R n on olemassa. Kohta 3 käänteiskuvauksen jatkuvuus seuraa automaattisesti bijektion F lineaarisuudesta Korollaarin perusteella. Lineaarialgebrasta tiedämme, että lineaarinen kuvaus on injektio jos ja vain jos Ker(F) = {x V : F(x) = 0} = {0}. Inversio-ongelma (*) on hyvin asetettu, jos Im(F) = W ja Ker (F) = {0}. Inversio-ongelma (*) on huonosti asetettu, jos edes yksi seuraavista väitteistä on totta: löytyy sellainen x V jolle. x 0 ja F(x) = 0 (eli Ker (F) {0} löytyy sellainen y W, jolle y / Im(F). Seuraavaksi tarkastellaan tapauksia, joissa lineaarinen kuvaus F on määritelty matriisin avulla eli F(x) = Mx, missä M R m n. (**) Määrää sellainen x V että y = Mx kun (vapaasti valittu) y W on annettu. Inversio-ongelma ( ) on hyvin asetettu, jos ja vain jos matriisiyhtälöllä y = Mx W on ratkaisu x V ja matriisiyhtälöllä 0 = M x on vain triviaaliratkaisu x = 0 aliavaruudessa V. Esimerkki 5. Käytännön inversio-ongelmissa tuntematon on usein korkeaulotteisempi vektori kuin annettu datavektori. Yksinkertainen esimerkki epäyksikäsitteisyydestä on matriisiyhtälö y i = n M ij x j, j= missä i =,..., m, y = (y,..., y m ) W = R m, x = (x,..., x n ) V = R n ja m < n. Tällöin tuntemattiomia on n kappaleita ja niitä sitovia yhtälöitä vain m < n kappaletta. Esimerkiksi, jos ( ) 0 M =, 0 0 25
niin Mx = 0 jos ja vain jos x + x 2 = 0 ja x 3 = 0. Toisin sanoen Ker(M) = {(x, x, 0) : x R} {0}. Tässä tapauksessa inversio-ongelma on huonosti asetettu, koska ratkaisu on epäyksikäsitteinen. Esimerkki 6. Olkoot V = W = R n ja M R n n neliömatriisi. Milloin inversio-ongelma (**) on huonosti asetettu? Inversio-ongelma on huonosti asetettu jos ja vain jos det(m) = 0, sillä kuvaus F : Rn x Mx R n on bijektio jos ja vain jos det(m) 0. (Tod: Jos kuvaus F : R n R n on biektio, niin Lauseen nojalla on olemassa jatkuva käänteiskuvaus F, jonka matriisiesitys on M. Toisaalta, jos käänteismatriisi M on olemassa, niin yhtälöllä y = Mx on yksikäsitteinen ratkaisu jokaisella y R n, siis kuvaus F : R n R n on bijektio. Käänteismatriisi M on olemassa jos ja vain jos det(m) 0). Esimerkki 7. Olkoon 0 0 M = 0 2 0 0 Olkoon V = R 3 ja W = {y = (y, y 2, y 3, y 4 ) R 4 : y 4 = 2y }. Onko inversioongelma Määrää sellainen x V että y = Mx kun y W on annettu hyvin asetettu? Tutkitaan onko yhtälöryhmällä M x = y W ratkaisua x V eli asetetaan 0 0 0 x y x 2 = y 2 y x 3 2 0 0 3 2y Silloin y = x, y 2 = x +x 2 ja y 3 = x +x 2 +x 3 eli x 2 = y 2 y ja x 3 = y 3 y 2 eli matriisiyhtälöllä on ratkaisu x = (y, y 2 y, y 3 y 2 ). Jos (y, y 2, y 3, 2y ) = 0, niin 0 = x = x 2 = x 3. Inversio-ongelma on siis hyvin asetettu, koska yhtälöllä y = M x on yksikäsitteinen ratkaisu, joka riippuu jatkuvasti annetusta datasta Korollaarin nojalla (=bijektiivisen lineaarikuvauksen käänteiskuvaus on jatkuva). 3.2 Ratkaisun häiriöalttius Huonosti asetetun ongelman ratkaisu voi olla altis häiriöille, mutta myös hyvin asetetuilla ongelmilla voi olla erilainen häiriöalttius. Löysästi puhuen voidaan sanoa että ongelma A on huonommin asetettu tai häiriöalttiimpi (more ill-posed/ill-conditioned) kuin ongelma B, jos samansuuruinen häiriö datassa muuttaa ongelman A ratkaisua voimakkaammin kuin ongelman B ratkaisua. Esimerkki 8. Olkoot y, ỹ R 8 muotoa y = Mx + ε ja ỹ = Mx + ε, missä x = (,,,,,,, ), ε = (0, 0, 0, 0, 0, 0, 0, 0.02) ja M, M ovat reaalisia 8 8- matriiseja, joiden elementit ovat M ij = i δ ij ja M ij = 2 i δ ij. Tässä δ ij on 26
Kroneckerin delta: δ ij = 0 jos i j ja δ ij = jos i = j. Matriisit M ja M ovat säännöllisiä, mutta M y = x + M ε = (,,,,,,,,.6) ja M ỹ = x + M ε = (,,,,,,, + 2 8 0.02) Viimeiseen elementtiin summautuu 2 8 0.02 = 5.2. Vaikka ongelma on Hadamardin mielessä hyvin asetettu, ei häiriöisellä datalla saatua ratkaisua voi pitää hyvänä. Hyvin asetettu ongelma, jolla on hyvin suuri häiriöalttius, on ominaisuuksiltaan samankaltainen kuin huonosti asetettu ongelma, jonka ratkaisu ei riipu jatkuvasti datasta. Häiriöalttius on vakava asia. sillä käytännön inversio-ongelmissa data on häiriöistä. Matriisien kvantitatiivisessa vertailussa käytetään ehtolukuja (eng. condition numbers). Palautetaan mieleen, että matriisin M C m n Hermiten liittomatriisi on M = M T. Määritelmä 5. Matriisin M C m n singulaariarvot σ i (M) ovat matriisin M M ominaisarvojen λ i nelijöjuuria eli σ i (M) = λ i i =,..., n. Huomaa, että matriisin M M ominaisarvot ovat ei-negatiivisa, koska sen ominaisarvoon λ i liittyvälle ominaisvektorille e i pätee 0 (Me i, Me i ) = (M Me i, e i ) = λ i (e i, e i ) = λ i e i 2. Määritelmä 6. Säännöllisen matriisin M = M n n C n n ehtoluku κ(m) on luku κ(m) = M M, missä matriisinormi M = σ max (M) on matriisin M suurin singulaariarvo. Erilaisia ehtolukuja voidaan määritellä käyttämällä toisia matriisinormeja. Lause 2. Olkoon M C n n säännöllinen matriisi. Matriisin M suurin singulaariarvo σ max (M ) = σ min (M), missä σ min (M) on matriisin M pienin singulaariarvo. Todistuksessa käytämme seuraavia lemmoja. Lemma. Olkoon A, B C n n säännöllisiä matriiseja. Silloin matriiseilla AB ja BA on samat ominaisarvot. Todistus. Matriisin ominaisarvot löytyvät karakteristisen polynomin nollakohdista. Mutta p(λ) = det(ab λi) det(ab λi) = det(a(b λa )) = det(a)det(b λa ) = det(b λa )det(a) = det((b λa )A) = det(ba λi), jolloin matriiseilla AB ja BA on samat ominaisarvot. 27
Lemma 2. Olkoon A C n n säännöllinen matriisi. Matriisin A ominaisarvot ovat matriisin A ominaisarvojen käänteislukuja. Todistus. Ominaisarvot löytyvät karakteristisen polynomin nollakohdista. Nyt p(λ) = det(a λi) det(a λi) = det(a(λ A )λ) = λ n det(a)det(λ A ). Koska A on säänöllinen, niin nolla ei ole sen ominaisarvo. Luku λ on matriisin A ominaisarvo silloin ja vain silloin kun λ on matriisin A ominaisarvo. Todistus: Lause 2. Määrätään matriisin M suurin singulaariarvo. Nyt (M ) M = (M ) M = (MM ). Matriisin (M ) M ominaisarvot ovat matriisin MM ominaisarvojen käänteislukuja lemman 2 nojalla. Matriisilla MM on samat ominaisarvot kuin matriisilla M M lemman nojalla. Matriisin M singulaariarvot ovat λi (M M), i =,.., n missä λ i (M M) on matriisin M M ominaisarvo. Siis σ max (M ) = σ min (M). Korollaari 2. Olkoon M C n n säännöllinen matriisi. Silloin matriisin M ehtoluku κ(m) = σ max(m) σ min (M). Huomaa, että normin ja sisätulon välisen yhteyden nojalla Mx = n (Mx, Mx) = M ij x i M ik x k = (M Mx, x) (3.) j,i,k= jokaisella x C n. Koska M M on Hermiten matriisi, niin neliömuoto (3.) voidaan kirjoittaa muodossa (M Mx, x) = (Λx, x ) = n λ i x i 2, missä Λ on diagonaalimatriisi, joka sisältää matriisin M M ominaisarvot λ i ja x on vektorin x esitys matriisin M M ominaiskannassa. Arvioimalla ominaisarvoja ylöspäin suurimmalla ominaisarvolla saadaan epäyhtälö Mx max λi x. (3.2) i n 28 i=
Sama pätee myös käänteismatriisille M muodossa M y min i n λi y. (3.3) Jos y = y + δy, missä δy R n edustaa datan häiriötä, niin häiritystä yhtälöstä y + δy = M(x + δx), saadaan häiriölle yhtälö δy = M(δx). Epäyhtälön (3.2) nojalla x ( λ max ) y. Toisaalta δx = M δy. Epäyhtälön (3.3) nojalla δx δy. Tarkan ratkaisun suhteellinen virheelle pätee λmin(m) δx x = M δy λmax δy x λ min y = κ(m) δy y. Ehtoluku antaa suhteelliselle virheelle ylärajan. Kun ehtoluku on hyvin suuri (luokkaa > 0 5 ), niin pelkät pyöristysvirheet alkavat haitata yhtälön numeerista ratkaisua. Esimerkki 9. Identtisen matriisin ehtoluku on. Esimerkissä 8 matriisien ehtoluvut ovat κ(m) = 8 ja κ( M) = 2 28 = 28. Esimerkki 0. Lasketaan matriisin 0 4 M = 2 3 4 3 66 ehtoluku. Lasketaan ensin 0 4 M T M = 2 3 4 3 66 0 4 46 424 926 2 3 = 424 390 86. 4 3 66 926 86 472 T Tämän matriisin ominaisarvot löytyvät karakteristisen polynomin 46 λ 424 926 p(λ) = det 424 390 λ 86 926 86 472 λ nollakohdista eli p(λ) = (46 λ) ((390 λ) (472 λ) 86 2) 424 (424 (472 λ) 86 926) = 0 926 (424 ( 86) (390 λ) ( 926)) Nollakohtia on kolme: λ, λ 2 ja λ 3. Nollakohtien neliöjuuret ovat ( λ, λ 2, λ 3 ) (0.0006, 2.8, 7.4). 29
Tällöin ehtoluku on κ(m) 7.4 0.0006 05. Olkoon y = Mx + ε annettu. Jos ε /5, niin mitä saadaan selville vektorista x? Tarkastellaan tilannetta, jossa tuntematon x = (0, 0, ) ja ǫ = (0., 0., 0.). Silloin Mx = ( 4 3 66 ) T ja y = Mx + ε = ( 4. 3. 65.9 ) T. Koska matriisin M determinantti det(m) = ( ( 66) ( 3) 3) 0 (2 ( 66) ( 3) 4)+4 (2 3 4) =, niin sen käänteismatriisi on M = = ( 66) ( 3) 3) (2 ( 66) ( 3) 4)) 2 3 4 (0 ( 66) 4 3) ( 66) 4 4 ( 3 0 4) 0 ( 3) 4 ( ( 3) 4 2) 0 2 557 842 284 60 922 3 2 3 Käyttämällä matriisin M käänteismatriisia saadaan T M (Mx + ǫ) = x + ( 68 3 0 84 3 0 6 0) T, mikä on sangen kaukana vektorista x. Esimerkki. Työstetään vielä inversio-ongelmien kannalta hiukan patologisempi esimerkki dekonvoluutiosta. Lähdetään tarkastelemaan konvoluutiota g( θ) = π π R( θ θ)f(θ)dθ, missä θ [ π, π] ja funktiot R ja f ovat kahdesti jatkuvasti derivoituvia 2πperiodisia funktioita eli R(θ + n2π) = R(θ) ja f(θ + n2π) = f(θ) jokaisella n Z. Oletetaan lisäksi, että R on symmetrinen ja ei-negatiivinen funktio eli R(θ) = R( θ) ja R(θ) 0, t [0, π]. Oletetaan, että meille on annettu data g(θ ),..., g(θ n ), missä θ j = hj π, j =,.., n ja h = 2π n, n = 2m jollakin m > 3 ja funktio R tunnetaan. Mitä silloin tiedetään funktiosta f? Tiedämme, että Riemannin integraali g( θ) saadaan raja-arvona Riemannin summista S n ( θ) = n j= R( θ θ (n) j )f(θ (n) j )h n, 30
kun välin jakoa tihennetään (erityisesti kun n = 2 m ja m ). Kirjoitetaan nyt annetut arvot muodossa ( π ) g(θ k ) = R(θ k θ)f(θ)dθ S n (θ k ) + S n (θ k ) π n = R(θ k θ j )f(θ j )h + e k, missä Merkitään sekä j= e k = π π R(θ k θ)f(θ)dθ S n (θ k ). M kj = R(θ k θ j )h x k = f(θ k ) ja y k = g(θ k ) kun k, j =,..., n. Voimme korvata alkuperäisen ongelman matriisiyhtälöllä, y = Mx + e. jossa annettu data y on epätarkka. Ryhdytään arvioimaan matriisin M ehtolukua. Matriisi M on R(0) R( h) R( 2h) R( (n 2)h R( (n )h) R(h) R(0) R( h) R( (n 3)h) R( (n 2)h) M = h R(2h) R(h) R(0) R( (n 4)h) R( (n 2)h)..... R((n )h) R((n 2)h) R((n 3)h) R(h) R(0) Funktion R jaksollisuuden ansiosta matriisi M on ns. sirkulantti matriisi. Yleisesti matriisia M R n n kutsutaan sirkulantiksi (eng. circulant matrix), jos se on muotoa m m n m n m 3 m 2 m 2 m m n m 4 m 3 M = m 3 m 2 m m 5 m 4..... m n m n m n 2 m 2 m jollakin vektorilla (m,..., m n ) R n. 3
Lemma 3. Sirkulantin matriisin M R n n ominaisarvot ovat n λ k = m j exp( 2πi(j )(k )/n), k =,.., n. j= ja sirkulantti matriisi M on unitaarisesti similaarinen diagonaalimatriisin kanssa (eli on olemassa unitaarinen matriisi U, jolle U MU on diagonaalimatriisi). Todistus. Näytetään ensin, että on olemassa ei-triviaali vektori F (k) R n, jolle MF (k) = λ k F (k) jokaisella k =,..., n. Valitaan Lasketaan mitä on n (MF (k) ) j = M jl F (k) l = = F (k) j = exp(2πi(j )(k )/n), k, j =,..., n. l= n m (j l+)mod n exp(2πi(l )(k )/n) l= n m L exp(2πi(j L)(k )/n) = λ k exp(2π(j )(k )) L= = λ k F (k) j. Selvästi F (k) 0, joten λ k on ominaisarvo. Osoitetaan seuraavaksi, että ominaisvektorit ovat ortogonaalisia. Jos k l, niin ominaisvektoreiden F (k) ja F (l) sisätulo n (F (k), F (l) ) = exp(2πi(j )(k )/n)exp( 2πi(j )(l )/n) = = j= n exp(2πi(j )(k l)/n) j= n z j = j= n j =0 z j exp(2πi(k l)) = exp(2πi(k l)/n) = 0, = zn z missä käytimme geometrisen sarjan osasummaa luvulle z = exp(2πi(k l)/n). Lisäksi jos k = l, niin sisätulo n (F (k), F (k) ) = exp(2πi(j )(k )/n)exp( 2πi(j )(k )/n) = n. j= Asetetaan U = n (F () F (2) F (n) ). Tällöin U U = F ()T. n. F (n)t (F (),..., F (n) ) = I n n. Siis U on unitaarinen. Lisäksi MU = Udiag(λ,..., λ n ), josta similaarisuus seuraa. 32
Sirkulantin matriisin M ominaisarvojen modulit ovat sen singulaariarvoja, sillä matriisi M M = Udiag( λ,..., λ n )U Udiag(λ,..., λ n )U = Udiag( λ 2,..., λ n 2 )U on similaarinen matriisin diag( λ 2,..., λ n 2 ) kanssa ja similaarisilla matriiseilla on samat ominaisarvot. Olkoon nyt m j = R(h(j ))h, j =,..., n. Vastaavan sirkulantin matriisin M ominaisarvot ovat λ k = n hr(h(j ))exp( 2πi(j )(k )/n). j= Oletetaan, että matriisi M on säännöllinen. Jos k =, niin n λ = hr(h(j )) j= Jos k = n/2 + (n on parillinen), niin n λ n/2+ = ( ) j hr(h(j )). j= Matriisin ehtoluvulle saadaan arvio κ(m) λ λ n/2+. Sievennetään summalauseketta käyttäen hyväksi funktion R jaksollisuutta ja symmetriaa. Kirjoitetaan aluksi λ n/2+ = = = n ( ) j hr(h(j )) j= n/2 h R(h(2J + )) + R(h(2J)) J=0 n/2 h (2J+)h dr (2J)h dθ (θ)dθ. J=0 Jaetaan summalauseke kahteen osaa: integraaleihin välin [0, π] osavälien yli ja 33
integraaleihin välin [π, 2π] osavälien yli : n/4 λ n/2+ = h (2J+)h dr J=0 (2J)h dθ (θ)dθ + h n/4 = h (2J+)h dr J=0 (2J)h dθ (θ)dθ h n/4 = h (2J+)h dr J=0 (2J)h dθ (θ)dθ h n/4 = h (2J+)h dr (2J)h dθ (θ)dθ h J=0 Tehdään muuttujan vaihto θ = θ n/4 λ n/2+ = h J=0 n/4 = h J=0 (2J+)h dr (2J)h dθ (θ)dθ h (2J+)h dr (2J)h dθ (θ)dθ + h n/2 J=n/4 n/4 J=0 n/4 J=0 n/4 J=0 n/4 J=0 n/4 J=0 (2J+)h dr (2J)h (2(J+n/4)+)h (2(J+n/4))h (2J+)h+π (2J)h+π (2J+)h π (2J)h π π (2J)h Vaihdetaan vielä summausindeksiksi J = n/4 J n/4 λ n/2+ = h (2J+)h n/4 dr J=0 (2J)h dθ (θ)dθ + h J = n/4 = h (2J+)h n/4 dr J=0 (2J)h dθ (θ)dθ + h J =0 n/4 = h (2J+)h dr dr (θ) + (θ + h)dθ (2J)h dθ dθ. J=0 π (2J+)h 2(n/4 J)h (2(n/4 J) )h (2J )h (2J )h (2J )h (2J )h Käytetään analyysin peruslausetta vielä uudestaan n/4 λ n/2+ = h (2J+)h dr dr (θ) + (θ + h)dθ J=0 (2J)h dθ dθ n/4 = h (2J+)h θ+h d 2 R (2J)h θ dθ 2 (θ )dθ dθ. J=0 Viemällä itseisarvomerkit integraalien sisälle saamme arvion π θ+h λ n/2+ h sup d 2 R 0 θ θ dθ 2 (θ ) dθ dθ h 2 π sup d 2 R θ dθ 2 (θ ), 34 dθ (θ)dθ dr dθ (θ)dθ dr dθ (θ)dθ dr dθ (θ)dθ. dr dθ ( θ )dθ dr dθ (θ)dθ dr dθ (θ)dθ dr (θ + 2h)dθ dθ
jolloin κ(m n n ) hr(0) h 2 π sup θ R (θ) = R(0) 2π 2 sup θ R (θ) O(n). Mitä suurempi n on sitä epästabiilimpaa on matriisin M n n kääntäminen. Tämä on tyypillistä käytöstä silottavien konvoluutioiden äärellisulotteisille approksimaatioille. 3.3 Yhteenveto Hyvin asetetulla ongelmalla on yksikäsitteinen ratkaisu, joka riippuu jatkuvasti annetusta datasta. Huonosti asetetulla ongelmalla ei ole ratkaisua lainkaan ja/tai ratkaisuja on monta ja/tai ratkaisu ei riipu jatkuvasti annetusta datasta. Jos datassa on liikaa häiriöitä, voi hyvin asetetun ongelman ratkaisu olla huonosti asetetetun ongelman ratkaisun kaltainen. Käytännön inversio-ongelmat ovat usein huonosti asetettuja/häiriöherkkiä. Osattava; tunnistaa ja antaa esimerkkejä äärellisulotteisista lineaarisista huonosti asetetuista ongelmista. määritellä matriisin ehtoluku laskea annetun matriisin ehtoluku Ymmärrettävä: miten ehtoluku liittyy yhtälöryhmien ratkaisemiseen. mitä matriisiyhtälölle Mx = y tapahtuu, jos annetut arvot y tunnetaan epätarkasti. mitä eroa on häiriöherkällä ja huonosti asetetulla ongelmalla Tiedettävä: että funktioita approksimoidaan numeerisessa laskennassa äärellisulotteisilla vektoreilla. että huonosti asetettua inversio-ongelmaa approksimoivan hyvin asetetun inversio-ongelman häiriöalttius voi kasvaa kun approksimaatiota pyritään tarkentamaan. 35
3.4 Liite: Pienin mahdollinen ehtoluku on Lause 3. Olkoon M R n n säännöllinen. Silloin κ(m). Todistus. Sijoitetaan I = MM neliömuotoon missä x 0. Saamme yhtälön x 2 = (x, x) = (Ix, Ix), x 2 = (MM x, MM x) = ((M T M)M x, M x). Koska matriisi M T M on Hermiten matriisi, niin se voidaan esittää muodossa M T M = UDU, missä U on unitaarinen ja diagonaalimatriisin D diagonaalilla ovat matriisin M T M ominaisarvot. Saamme arvion Edelleen x 2 λ max (M T M) U M x 2. (3.4) U M x 2 = (U M x, U M x) = ((M ) T M x, x). Myös matriisi (M ) T M on symmetrinen, joten saamme vastaavasti arvion ((M ) T M x, x) λ max ((M ) T M ) x 2 (3.5) Yhdistämällä epäyhtälöt (3.4) ja (3.5) saamme arvion x 2 λ max (M T M)λ max ((M ) T M ) x 2 = κ(m) 2 x 2.. Koska x > 0, se voidaan supistaa epäyhtälöstä. Täten κ(m) tai κ(m). Ehtoluvun määritelmästä seuraa, että κ(m) on positiivinen. 36