9.3 Lineaarinen alipäästösuodatus (3.6.)........ 7 Digitaalinen kuvankäsittely T-6.247 (3 ov) L Luento #3 24.9.24 9.4 Kuvan terävöittäminen ylipäästösuodatuksella (3.7). 75. Fourier-muunnoksen perusteet................ 84. Fourier-muunnospari jatkuvassa tapauksessa (4.2.). 85.2 Diskreetti Fourier-muunnos, DFT (4.2.)...... 86 Syksy 24 Luennot: Laskuharjoitukset: OPETUSMONISTE Jorma Laaksonen Jukka Iivarinen Luento #4..24.3 Kaksiulotteinen diskreetti Fourier-muunnos (4.2.2). 88.4 Taajuustasossa suodattaminen (4.2.3)........ 92. Kuvien ehostaminen taajuustasossa............. 95. Alipäästösuodatus (4.3)............... 95.2 Ylipäästösuodatus (4.4)............... 4 Luento #5 8..24.3 Homomorfinen suodatus (4.5)............ 8 2. Lisää Fourier-muunnoksesta................. 5 Luento # 5.9.24 2. Yleistä kurssista........................ Kurssin suorittaminen.................2 Ilmoittautuminen...................3 Tiedotukset......................4 Luennot....................... 2.5 Laskuharjoitukset.................. 2.6 Poikkeuksia luento- ja harjoitusajoista....... 3.7 Kirja......................... 4.8 Monisteet...................... 5.9 Harjoitustehtävä................... 5. Tentti........................ 6. Suhde vanhaan Tik-6.47-kurssiin......... 6 2. Johdanto........................... 7 2. Päämäärät ja osa-alueet (.)............ 7 2.2 Historiaa (.2).................... 9 2.3 Yhteydet muihin aloihin (.2)............ 2 2.4 Sovelluksia (.3)................... 2 2.5 Kuvantamismenetelmiä (.3)............. 22 2. Jaksollisuus ja laajennetut sekvenssit (4.6.3)..... 6 3. Kuvien entistäminen..................... 2 3. Yleistä entistämisestä (5).............. 2 3.2 Huonontumismalli (5.)............... 2 3.3 Kohinamalleja (5.2.2)................ 22 Luento #6 5..24 3.4 Spatiaalitasossa entistäminen (5.3)......... 26 3.5 Adaptiivinen suodatus (5.3.3)............ 3 3.6 Jaksollisen kohinan poisto taajuustasossa (5.4)... 33 3.7 Lineaarinen paikkainvariantti huonontumisprosessi (5.5)39 3.8 Huononnusfunktion estimointi (5.6)......... 42 3.9 Käänteissuodatus (5.7)................ 47 3. Wiener-suodatus (5.8)................ 49 Luento #7 2..24 3. Pakotettu pienimmän neliövirheen entistys (5.9).. 52 3.2 Yhteenveto entistyksestä taajuusalueessa (5.7 ). 54 6 3 2.6 Kuvankäsittelyn vaiheet (.4)............ 23 2.7 Kuvankäsittelyjärjestelmän osat (.5)........ 24 3. Ihmisen näköjärjestelmän perusteita............. 25 3. Ihmissilmän rakenne (2.).............. 25 3.2 Verkkokalvon reseptorit (2..)............ 26 3.3 Kuvanmuodostus (2..2)............... 27 3.4 Kirkkauden erottelu (2..3)............. 28 3.5 Adaptoituminen valaistukseen (2..3)........ 29 3.6 Machin nauhat (2..3)................ 3 3.7 Valo fysikaalisena suureena (2.2)........... 3 4. Kuvanmuodostus....................... 32 4. Kuvanmuodostusvälineitä (2.3)........... 32 4.2 Yksittäissensori (2.3.)................ 33 4.3 Viivasensorit (2.3.2)................. 34 4.4 Matriisisensori (2.3.3)................ 35 4.5 Kuvamalli (2.3.4)................... 36 5. Digitaalisen kuvan esitysmuoto............... 37 5. Koordinaatit (2.4.2)................. 37 5.2 Näytteenotto ja kvantisointi (2.4.2)......... 38 3.3 Geometriset muunnokset (5.)........... 55 4. Morfologiaa......................... 6 4. Käsitteitä ja operaatioita (9..)........... 6 4.2 Dilaatio (täyttö, kasvatus) (9.2.)........ 62 4.3 Eroosio (pienennys) (9.2.2)............ 64 4.4 Avaus ja sulkeminen (9.3)............ 66 4.5 Reunan erottaminen (9.5.)............. 69 Luento #8 29..24 4.6 Alueen täyttäminen (9.5.2).............. 7 4.7 Yhtenäisten komponenttien erottaminen (9.5.3)... 7 4.8 Osuma-tai-huti (hit-or-miss) (9.4)........ 72 4.9 Ohennus (9.5.5).................. 72 4. Paksunnus (9.5.6)................. 73 4. Golay-aakkosia (9.5.5-6)............... 74 5. Aallokkeet ja moniresoluutiokäsittely............ 77 5. Käsitteitä ja apuvälineitä (7.)............ 77 5.2 Moniresoluutiokäsittely (7.2)............. 89 7 5.3 Kuvan subjektiivinen laatu (2.4.3).......... 4 5.4 Digitaalikuvien suurentaminen ja pienentäminen (2.4.5) 42 6. Kuva-alkioiden yhteyksiä................... 43 6. Naapuruus (2.5.).................. 43 6.2 Liitännäisyys (2.5.2)................. 45 6.3 Polut (2.5.2)..................... 47 6.4 Etäisyysmitat (2.5.3)................. 48 Luento #2 7.9.24 4 6.5 Lineaariset operaatiot ja operaattorit (2.6)..... 5 7. Kuvien ehostaminen pisteoperaatioin............ 5 7. Spatiaalialuemenetelmät ehostuksessa (3.)..... 52 7.2 Harmaataso-operaatiot (3.2)............. 53 7.3 Harmaa-arvohistogrammioperaatiot (3.3)...... 56 8. Kokonaisiin kuviin kohdistuva ehostus............ 64 8. Aritmeettiset ja loogiset operaatiot (3.4)...... 64 9. Kuvien ehostaminen spatiaalisuodatuksella......... 67 9. Spatiaaliset ympäristöoperaatiot (3.5)........ 67 9.2 Spatiaalinen pehmennys ehostuksessa (3.6)..... 69 Luento #9 5..24 5.3 Yksiulotteinen aallokemuunnos (7.3)......... 97 5.4 Kaksiulotteinen aallokemuunnos (7.5)........ 2 Luento # 2..24 6. Kuvien tiivistäminen..................... 25 6. Tiivistyksen taustaa (8)............... 25 6.2 Kuvantiivistyksen perusteita (8.).......... 27 6.3 Kuvantiivistysmalli (8.2)............... 28 6.4 Informaatioteorian käsitteitä (8.3).......... 22 Luento # 9..24 6.5 Virheetön tiivistys (8.4)............... 235 7. Virhettä tuottava tiivistys.................. 25 7. Muunnoskoodaus tiivistysmenetelmänä (8.5.2)... 26 7.2 Tärkeimpiä kuvantiivistysstandardeja (8.6)..... 268 Luento #2 26..24 8
8. Kuvien segmentointi..................... 269 8. Epäjatkuvuuksien havaitseminen (.)....... 27 8.2 Reunapisteiden yhdistäminen ja rajaviiva (.2)... 279 8.3 Hough-muunnos (.2.2)............... 28 8.4 Kynnystys (.3)................... 285 8.5 Aluelähtöinen segmentointi (.4).......... 295 8.6 Liikkeen käyttö segmentoinnissa (.6)....... 299 Luento #3.2.24 9 9. Värin käyttö kuvankäsittelyssä................ 3 9. Värienkäytön perusteita (6)............. 3 9.2 Väriteorian perusteita (6.)............. 32 9.3 Värimallit (6.2).................... 39 9.4 Väärävärikuvat (6.3)................. 37 9.5 Värimuunnokset (6.5)................ 322 9.6 Värikuvien pehmennys ja terävöitys (6.6. 2).... 326 9.7 Värisegmentointi HSI-avaruudessa (6.7.)...... 327 9.8 Reunanetsintä värikuvissa (6.7.3).......... 329 9.9 Kohina värikuvissa (6.8)............... 332 2. Tenttivaatimukset...................... 333.6 Poikkeuksia luento- ja harjoitusajoista Normaaleista luento- ja harjoitusajoista saattaa tulla syksyn kuluessa poikkeuksia. Nyt jo on tiedossa neljä poikkeusta ja aikataulu näyttää tältä: viikko ke 2 4 pe 2 38 5.9. L 7.9. L2 39 22.9. H 24.9. L3 4.. L4 4 6.. H2 8.. L5 42 3.. H3-4 5.. L6 43 2.. L7 44 27.. H4-5 29.. L8 45 3.. H6 5.. L9 46.. H7 2.. L 47 7.. H8 9.. L 48 24.. H9 26.. L2 49.2. L3 3.2. H Muutokset ovat mahdollisia, seuratkaa ilmoittelua!.7 Kirja 3 Rafael C. Gonzalez & Richard E. Woods, Digital Image Processing, Second Edition, Prentice-Hall, 22, ISBN 28758, http://www.imageprocessingbook.com. Kirjasta luetaan kappaleet. Tutustumiskappale luvuista 3 on nähtävillä Informaatiotekniikan laboratorion sihteerin Tarja Pihamaan huoneen B326 harmaassa peltisessä vetolaatikostossa. Huomatkaa myös verkossa olevat luvut 2 sekä korjaukset: http://www.imageprocessingbook.com/dip2e/dip2e downloads/sample book material downloads.htm http://www.imageprocessingbook.com/dip2e/book updates/book updates.htm Kirjasta on jo olemassa ainakin viisi eri versiota, numerot 5. Oman kirjansa painosnumeron saa selville sivulta iv, tässä esim. :. Yleistä kurssista.8 Monisteet 4. Kurssin suorittaminen Kurssin suorittamiseen kuuluu pakollinen harjoitustehtävä ja tentti..2 Ilmoittautuminen Ilmoittautuminen osoitteessa https://webtopi.hut.fi/wwwtopi/coursepage.po?oid=68545..3 Tiedotukset Kurssiin liittyvistä asioista tiedotetaan osoitteessa http://www.cis.hut.fi/opinnot/t-6.247/, ryhmässä news://nntp.tky.hut.fi/opinnot.tik.informaatiotekniikka sekä Informaatiotekniikan laboratorion ilmoitustaululla kolmannen kerroksen aulassa B-käytävän suulla..4 Luennot Luennot (3 kappaletta) pidetään perjantaisin kello 2 salissa T. Luennot pitää dosentti Jorma Laaksonen (mailto:jorma.laaksonen@hut.fi), vastaanotto luennon jälkeen perjantaisin kello 2 3 huoneessa B34. Luentokalvot ovat viimeistään luennon jälkeen esillä verkossa, http://www.cis.hut.fi/opinnot/t-6.247/dkk-kalvot.pdf. Ennen luentoa voi jo tutustua syksyn 23 luentokalvoihin osoitteessa http://www.cis.hut.fi/opinnot/t-6.247/dkk-kalvot23.pdf..5 Laskuharjoitukset Laskuharjoitukset ( kappaletta) pidetään keskiviikkoisin kello 4 6 salissa T alkaen 22.9.24. Harjoitukset pitää TkT Jukka Iivarinen (mailto:jukka.iivarinen@hut.fi). Harjoitustehtävät ovat ennakkoon nähtävillä http://www.cis.hut.fi/opinnot/t-6.247/laskarit/. Harjoitustehtävät ovat suomeksi ja englanniksi, vastaukset englanniksi. 2 Sekä luentokalvot että laskuharjoitukset ratkaisuineen ovat saatavissa verkosta. Lisäksi ne toimitetaan myös Editan opetusmonisteina. Kurssitoimittajaa ei tarvita..9 Harjoitustehtävä Kurssin suoritukseen kuuluu pakollinen harjoitustehtävä, joka arvostellaan hyväksytty/hylätty-periaatteella. Palautus paperitulosteena Informaatiotekniikan laboratorion postilaatikkoon T-talon 3. kerroksen aulaan. Harjoitustehtävä on palautettava 4..25 mennessä! Myöhempiin tentteihin ei saa osallistua, ellei harjoitustehtävä ole hyväksytysti suoritettu. Harjoitustehtävä tulee lokakuun aikana esille osoitteeseen http://www.cis.hut.fi/opinnot/t-6.247/project/.. Tentti Tenttejä järjestetään kolme: ensimmäinen maanantaina 2.2.,toinen kevään luentokauden alkupuolella ja viimeinen syksyn 25 tenttikaudella tai luentokauden alussa. Tentissä neljä tehtävää à 6 pistettä eli maksimi 24 pistettä, 9 pisteellä läpi. Käyttää saa paperia, kynää, kumia ja ei-ohjelmoitavaa funktiolaskinta. Kaavakokoelmia ei saa käyttää eikä niitä jaeta.. Suhde vanhaan Tik-6.47-kurssiin Kurssi korvaa vanhan samannimisen kurssin Tik-6.47, jonka laajuus oli 2,5 ov ja joka ei sisältänyt pakollista harjoitustyötä, sekä vanhan Tik-6.74 Digitaalisen kuvankäsittelyn ohjelmatyö -kurssin (ov). Vanhoja kursseja ei enää voi suorittaa. 2 6 5
2. Johdanto Vanha klisee: Yksi kuva kertoo enemmän kuin tuhat sanaa. Arvioilta 75% ihmisen saamasta informaatiosta perustuu näköhavaintoihin. Kuvainformaation automaattisen käsittelyn tarve on suuri. Digitaalisen kuvankäsittelyn yleistymistä on perinteisesti hidastanut se, että käytettävien datamäärien suurudesta on seurannut tarvittavien laitteiden kalleus ja käsittelyn hitaus. Tästä perinteestä on nyt päästy eroon ja yhä useammat sovellukset ovat tulleet käytännössä toteuttamiskelpoisiksi. 2. Päämäärät ja osa-alueet (.) Päämääriltään digitaalinen kuvankäsittely jakautuu päähaaroihin: Kuvainformaation parantaminen ihmisen tulkintaa varten. 2.4 Sovelluksia (.3) sotilassovellukset graafinen ala kaukokartoitus lääketiede teollinen laaduntarkastus robottinäkö kuvansiirto ja -arkistointi arkeologia, fysiikka, tähtitiede, biologia, rikostutkinta,... 7 kuvankäsittely: kuva kuva pisteoperaatiot 2 suodatus entistäminen geometrian korjaus viivojen ja reunojen vahvistus kuvien kohdistus muutosanalyysi Kuvainformaation käsittely koneellista tulkintaa varten. kuva-analyysi / konenäkö: kuva jotain muuta kohteentunnistus kuvasta kuvan selittäminen, näkymäanalyysi robottinäkö, aktiivinen konenäkö Kuvien tiivistäminen Rekonstruktio projektioista 2.5 Kuvantamismenetelmiä (.3) gammakuvaus ( 5 ev): lääketiede, PET, astronomia röntgenkuvaus ( 3 ev): lääketiede, varjoaine, CAT, ultraviolettikuvaus ( ev): mikroskopia, astronomia näkyvä valo ( ev): satelliittikuvat, sormenjäljet infrapunakuvaus ( ev): satelliittikuvat mikroaaltokuvaus ( 4 ev): tutkakuvat radioaaltokuvaus ( 8 ev): lääketiede, MRI, astronomia seismografinen kuvaus ( Hz): maaperän luonnonvarat kaikuluotaus: merenpohja ultraäänikuvaus (5 MHz): lääketiede elektronimikroskopia (. ): TEM, SEM fraktaalit ja muut laskennalliset kuvat Käytettävät menetelmät riippuvat paljon sovelluksesta. 8 22 2.2 Historiaa (.2) Lehtikuvien siirto merikaapelilla Lontoon ja New Yorkin välillä 92-luvulla. 2.6 Kuvankäsittelyn vaiheet (.4) kuvanmuodostus esikäsittely: kuvan ehostus tai entistäminen segmentointi jälkikäsittely, morfologia 92 922 (5 harmaasävyä) Avaruusluotainten lähettämien kuvien parantelu 96-luvulla Yhdysvalloissa. 96- ja 7-lukujen taitteesta alkaen satelliittikuvien käsittely, lääketieteelliset kuvantamis- ja analyysimenetelmät, astronomiset kuvat, hiukkasfysiikka, teollinen laadunvalvonta. representaatio, kuvatiedon esittäminen luokittelu, tunnistus 9 23 2.3 Yhteydet muihin aloihin (.2) 2.7 Kuvankäsittelyjärjestelmän osat (.5) verkkoyhteys Hahmontunnistus Signaalinkäsittely Tekoäly näyttölaite tietokone massamuisti Digitaalinen kuvankäsittely Optiikka Graafinen tekniikka Havaintopsykologia tulostuslaite kuvankäsittelylaitteisto kuvankäsittelyohjelmisto kuvasensorit 2 "reaalimaailma" 3 24
.4.2.8.6.4.2.2.4 2 3 4 5 6.5.4.3.2...2 2 3 4 5 6.4.2.8.6.4.2.2.4 2 3 4 5 6 3. Ihmisen näköjärjestelmän perusteita 3. Ihmissilmän rakenne (2.) linssi tarkan näön alue verkkokalvo fovea optinen akseli näköhermo iiris 3.5 Adaptoituminen valaistukseen (2..3) Silmän adaptaatiokyky valtava: tasoa hämäräkynnykseltä häikäisyrajalle. Samanaikaisesti silmä voi kuitenkin adaptoitua vain tietylle kirkkausalueelle. Silmä ei siten voi adaptoitua kirkkaudeltaan erilaisiin yksityiskohtiin vaan ainoastaan keskimääräiseen kirkkauteen. Mielivaltaissa kuvapisteympäristössä havaitaan 2 intensiteettitasoa. Kuvan eri osissa adaptaatio muuttuu ja havaitaan eri intensiteettejä ja siten suurempi kokonaiserottelualue. Tasaisissa kuvissa vaaditaan yleensä yli intensiteettitasoa. sokea täplä 25 3.2 Verkkokalvon reseptorit (2..) Tapit (cones) kirkasnäkö (photopic vision) 6 7 miljoonaa keskellä verkkokalvoa (5 ) herkkiä väreille: tappeja kolmea eri lajia yksityiskohtien näkeminen oma hermo jokaisella Sauvat (rods) hämäränäkö (scotopic vision) 75 5 miljoonaa jakautuneena verkkokalvolle (6 ) ei värinäköä yleiskuvan muodostaminen useita samassa hermossa herkkiä muutoksille näkymässä 26 3.3 Kuvanmuodostus (2..2) 29 3.6 Machin nauhat (2..3) Vakiointensiteetti näyttää viereisen muutoksen vuoksi vaihtelevalta. = Kynnykset korostuvat entisestään. Selitys: meksikolainen hattu -funktio, jolla kuva konvoloituu verkkokalvolla. * 3 3.7 Valo fysikaalisena suureena (2.2) = Taajuus ν 5 m 2.55 mm m 7 mm Erona optisiin linsseihin on silmän mukautumiskyky ja joustavuus. Aallonpituus λ = c ν Fotonin energia E = hν akromaattinen (achromatic), valoa karakterisoi vain sen intensiteetti eli määrä. Esim. musta-valko-tv. kromaattinen (chromatic), huomioi energian jakautumisen sähkömagneettisen säteilyn kaistalla 4 7 nm. radianssi (radiance) valolähteen kokonaisenergia, mittayksikkö watti (W). luminanssi (luminance) mittaa havainnoijan havaitsemaa energiamäärää, esimerkiksi infrapunalähteen luminanssi on lähes nolla, mittayksikkö lumen (lm). kirkkaus (brightness) subjektiivinen mitta. 27 3.4 Kirkkauden erottelu (2..3) 4. Kuvanmuodostus 3 I I + I 4. Kuvanmuodostusvälineitä (2.3) hopeafilmi puolijohdesensorit I taustan intensiteetti I intensiteetin muutos keskellä I c pienin muutos, joka havaittavissa 5% kokeista I c /I Weberin suhde I c /I pieni: pienet suhteelliset muutokset havaitaan, hyvä erottelu I c /I suuri: vain suuret muutokset havaitaan, huono erottelu Kirkkaassa valaistuksessa Weberin suhde on pienempi ja siten silmän suhteellinen erottelukyky parempi kuin hämärässä. 28 yksittäissensorit viivasensorit matriisisensorit 4 32
4.2 Yksittäissensori (2.3.) 5. Digitaalisen kuvan esitysmuoto 5. Koordinaatit (2.4.2) Digitaalinen kuva esitetään yleensä x- ja y-koordinaattien funktiona. Koordinaattijärjestelmän asettaminen vaihtelee. x y y y x x matemaattinen perinteinen Gonzalez&Woods 33 37 4.3 Viivasensorit (2.3.2) 5.2 Näytteenotto ja kvantisointi (2.4.2) Digitointi xy-koordinaattien suhteen vastaa kaksiulotteista näytteenottoa, jota kutsutaan myös spatiaaliseksi kvantisoinniksi. Valaistusamplitudin digitointia kutsutaan harmaataso- eli intensiteettikvantisoinniksi. Digitaalinen kuva esitetään N N matriisina: f(, ) f(, ) f(, N ) f(, ) f(, ) f(, N ) f(x, y)... f(n, ) f(n, ) f(n, N ) Valittava spatiaaliresoluutio N ja harmaatasoresoluutio G. Yleensä kahden potensseja: N = 2 n, G = 2 m. Täten kuvan tallettamiseen tarvitaan bittejä: b = N N m. 34 4.4 Matriisisensori (2.3.3) Televisiokuvan tasoon päästään, kun N = 52 ja m = 7. Digitaalinen kuva näytteenoton ja kvantisoinnin jälkeen (2.4.) 38 35 4.5 Kuvamalli (2.3.4) f(x, y) vastaa valoenergiaa 92 28 96 64 48 32 39 < f(x, y) < Havaittu kuva jaetaan valaistuskomponenttiin i(x, y) ja heijastuskomponenttiin r(x, y): f(x, y) = i(x, y) r(x, y) joille pätee: < i(x, y) < < r(x, y) < Digitoidun monokromaattisen kuvan harmaataso l on usein kokonaisluku, l [, L ] 256 64 b = 9668 b = 4952 b = 2288 b = 47456 b = 36864 b = 926 36 l = vastaa mustaa l = L vastaa valkoista 6 b = 9834 b = 24576 b = 644 5 4
5.3 Kuvan subjektiivinen laatu (2.4.3) Resoluutioluvut ja bittimäärät eivät suoraan vastaa ihmisen kokemusta kuvan laadusta. Subjektiivisia arvioita voidaan tutkia isopreferenssikäyrillä. 6.2 Liitännäisyys (2.5.2) Pikseleiden liitännäisyys eli yhtenevyys eli konnektiivisuus (connectivity) on tärkeä käsite kuvan kohteiden reunaviivojen määrittelyssä ja alueiden määräämisessä. Kaksi kuva-alkiota ovat liitännäisiä, jos ne ovat jossakin mielessä naapureita ja lisäksi harmaatasoarvoiltaan riittävän samankaltaisia. Harmaatasojen samankaltaisuus voidaan määritellä joukolla V. Esimerkiksi, jos vain kuva-alkiot, joiden intensiteetit ovat 59, 6 tai 6, ovat kiinnostavia, niin määritellään V = {59, 6, 6}. Määritellään pikseleille p ja q kolme eri liitännäisyystyyppiä: Tasaisia alueita (eli alhaisia taajuuksia) sisältävissä kuvissa ihmissilmä haluaa paljon intensiteettikvantisointitasoja. Sen sijaan paljon yksityiskohtia (eli korkeita taajuuksia) sisältävissä kuvissa tarvitaan hyvää spatiaalista resoluutiota. 4-liitännäisyys: p V q V q N 4 (p) 8-liitännäisyys: p V q V q N 8 (p) m-liitännäisyys eli sekaliitännäisyys: p V q V (q N 4 (p) q N D (p) N 4 (p) N 4 (q) = ) 4 5.4 Digitaalikuvien suurentaminen ja pienentäminen (2.4.5) Kuvia suurennettaessa, so. niiden spatiaaliresoluutiota parannettaessa tehdään interpolaatiota uusien harmaa-arvojen laskemiseksi olemassaolevista. Yksinkertaisin interpolaation muoto on ns. nollannen kertaluvun eli lähimmän naapurin irterpolointi. Jos suurennuskerroin on jokin kokonaisluku, interpolointi yksinkertaistuu entisestään pikseleiden monistamiseksi. Yleisempi ja vääristymien kannalta parempi vaihtoehto on bilineaarinen interpolaatio: v(x, y ) = ax + by + cx y + d Se on anti-aliasoiva suodatus, joka poistaa joskus kuvaa suurennettaessa syntyviä häiritseviä pykäliä. Sekaliitännäisyys eliminoi 8-liitännäisyydestä usein seuraavat monikäsitteiset polut. 4 8 m Kaksi kuva-aluetta S ja S 2 ovat vierekkäisiä (adjacent), joss p, q : p S q S 2 p ja q liitännäisiä 45 Kuvia pienennettäessä voidaan käyttää analogisesti samoja menetelmiä kuin interpolointiin myös desimointiin. 42 46 6. Kuva-alkioiden yhteyksiä 6. Naapuruus (2.5.) Kuva-alkiolla eli pikselillä p, jolla on koordinaatit (x, y), on neljä naapuria vaaka- ja pystysuunnissa pisteissä (x+, y), (x, y), (x, y+) ja (x, y ). Niitä kutsutaan p:n 4-naapureiksi ja merkitään N 4 (p). p:n neljä diagonaalinaapuria ovat (x+, y +), (x, y +), (x+, y ) ja (x, y ) ja niitä merkitään N D (p). p:n 8-naapurusto muodostuu N 4 (p):n ja N D (p):n yhdisteenä: N 8 (p) = N 4 (p) N D (p). Kuvan reunoilla naapurustot ovat vajaita. 43 6.3 Polut (2.5.2) Polku kuva-alkiosta p, jonka koordinaatit ovat (x, y), kuva-alkioon q, jonka koordinaatit ovat (s, t), on pikselijono: (x, y) = (x, y ), (x, y ),, (x n, y n ) = (s, t) Jonossa jokainen (x i+, y i+ ), i =,..., n, on liitännäinen (x i, y i ):n kanssa. n on polun pituus. Jono voidaan määritellä 4-, 8- ja m-liitännäisyyden mukaan. Kuvan osajoukkoon S kuuluvat alkiot p ja q ovat S:ssä liitännäisiä, joss on olemassa p:stä q:hun polku, jonka kaikki kuva-alkiot kuuluvat S:ään. Jos p on S:n kuva-alkio, p:n kanssa liitännäiset S:n alkiot muodostavat S:n yhtenäisen komponentin (connected component). Kaikki yhtenäisen komponentin pikselit ovat toisiinsa nähden liitännäisiä. Erilliset yhtenäiset komponentit ovat toisiinsa nähden pistevieraita, so. niillä ei ole yhteisiä jäseniä, so. niiden leikkaus on tyhjä. 47 (x-,y-) (x,y-) (x+,y-) 6.4 Etäisyysmitat (2.5.3) Olkoon p, q, ja z kuva-alkioita, joiden koordinaatit ovat vastaavasti (x, y), (s, t) ja (u, v). (x-,y) p (x,y) (x+,y) Etäisyysfunktio (metriikka) D toteuttaa seuraavat ehdot: D(p, q) ja D(p, q) = p = q (x-,y+) (x,y+) (x+,y+) D(p, q) = D(q, p) D(p, z) D(p, q) + D(q, z) Yleisesti käytettyjä etäisyysmäärittelyjä: D e (p, q) = (x s) 2 + (y t) 2 D 4 (p, q) = x s + y t D 8 (p, q) = max( x s, y t ) euklidinen etäisyys D 4 -etäisyys (city-block/manhattan) D 8 -etäisyys (šakkilauta) 44 6 48
e 8 7.2 Harmaataso-operaatiot (3.2) 4 Harmaataso-operaatioiksi kutsutaan pisteoperaatioita, joissa lähdekuvasta f(x, y) muodostetaan tuloskuva g(x, y) käyttäen muunnosfunktiota s = T (r), missä Kahden pisteen välinen D 4 -etäisyys on lyhimmän niiden välisen 4-polun pituus. Vastaavasti D 8 -etäisyys ja 8-polku. Pisteestä etäisyydellä D 4 = olevat kuva-alkiot ovat kyseisen pisteen 4- naapurit. Vastaavasti D 8 = ja 8-naapurit. m-liitännäisyyttä vastaava etäisyys on polun pituus ja riippuu polun varrella olevien kuva-alkioiden arvoista ja niiden naapureista. Etäisyyttä kahden pikselin välillä voidaan tarkastella myös riippumatta niiden liitännäisyydestä. r = f(x, y) on harmaa-arvo lähdekuvan tietyssä pisteessä ja s = g(x, y) harmaa-arvo vastaavassa tuloskuvan pikselissä. Harmaataso-operaatioita ovat esim. kontrastin muuttaminen s = T (r) s binarisointi s = T (r) r r t r 49 53 6.5 Lineaariset operaatiot ja operaattorit (2.6) Keskeinen käsite myöhemmissä vaiheissa on jonkin operaation tai operaattorin lineaarisuus. Operaattorin H sanotaan olevan lineaarinen, joss H(af + bg) = ah(f) + bh(g) Operaatio, joka ei ole lineaarinen, on määritelmällisesti epälineaarinen. kuvan negatointi s = T (r) r logaritmointi s = c log( + r) s = T (r) dynamiikan kompressointi s = T (r) r gammakorjaus s = cr γ s = T (r) r r 5 7. Kuvien ehostaminen pisteoperaatioin Kuvan ehostamisen (enhancement) päämääränä on käsitellä kuvaa siten, että lopputulos on alkuperäistä kuvaa parempi tietyssä mielessä tai sovelluksessa. Esimerkiksi voidaan kiinnittää huomiota kuvan visuaaliseen miellyttävyyteen, kuten terävyyteen tai kohinattomuuteen. harmaatasoviipalointi s = T (r) s = T (r) 54 Ehostamiskeinot ovat yleisesti sovelluskohtaisia. Tekniikat ovat myös hyvin heuristisia, koska on vaikea määritellä matemaattisesti, millainen olisi esim. ihmissilmin tarkastellen hyvä kuva. Ehostusmenetelmät voidaan jakaa kahteen kolmeen pääluokkaan: r bittitasoviipalointi s = T (r) s = T (r) r s = T (r) s = T (r) taajuusaluemenetelmät spatiaalialuemenetelmät pisteoperaatiot koko kuvan operaatiot maskioperaatiot r r r r Käytännön sovelluksessa voidaan yhdistää kaikkien lajien menetelmiä. 5 55 7. Spatiaalialuemenetelmät ehostuksessa (3.) Käsitellään pikseleitä kuvatasossa g(x, y) = T [f(x, y)] f(x, y) on alkuperäinen kuva g(x, y) on käsitelty kuva T [ ] on kuvaan f kohdistuva operaattori pisteen (x, y) ympäristössä T -operaattori voidaan kohdistaa myös joukkoon keskinäisesti riippuvia ja kohdistettuja syötekuvia pikseleittäin. Tällöin pitäisikin kirjoittaa skalaarin f(x, y):n sijaan vektori f(x, y). Jos T :n vaikutusalue on vain itse (x, y)-pikseli yksin, kyseessä on pisteoperaatio, muutoin maskioperaatio. Ensinmainitut voidaan tulkita myös viimemainittujen yhdeksi erikoistapaukseksi. Toisaaltapisteoperaatioina voidaan toteuttaa menetelmiä, joille ei löydy suoraa vastinetta tai yleistystä maskioperaationa. 52 7.3 Harmaa-arvohistogrammioperaatiot (3.3) Histogrammioperaatiot ovat merkittävä pisteoperaatioiden ryhmä. Kuvan histogrammi muodostetaan laskemalla, kuinka monta kerta kukin harmaataso esiintyy kuvassa: p(r k ) = r k :n esiintymistod.näk.estim. = n k n r k [, L ] on k:s diskreetti harmaataso n k on k:nnen harmatason lukumäärä kuvassa n on pikselien lukumäärä koko kuvassa Histogrammin muodosta voidaan päätellä kuvan ominaisuuksia ja mahdollisesti tarvittavia ehostustoimenpiteitä. 7 56
Esimerkkejä harmaa-arvohistogrammin muodosta (3.3) Esimerkki: Marsin kuu Phobos (3.3.2) p(rk) p(rk) p(rk) p(rk) Ongelmana liian voimakas kontrasti, keskivaiheen harmaa-arvot puuttuvat lähes kokonaan. tumma kuva rk vaalea kuva rk rk heikko kontrasti rk voimakas kontrasti Usein on helpointa ajatella r:n saavan reaalilukuarvoja välillä [, ], missä vastaa mustaa ja valkoista. alkuperäinen tasoitettu määrätty 57 6 Harmaa-arvohistogrammin muuntaminen (3.3) Histogrammin muuntamisessa käytettävät harmaa-arvo-operaatiotovat yleensä muotoa s = T (r), missä T (r) on yksikäsitteinen ja monotonisesti kasvava välillä r, jolloin harmaa-arvojen järjestys säilyy T (r), kun r, jolloin harmaa-arvot säilyvät sallituissa rajoissa Samat ominaisuudet on myös käänteismuunnoksella r = T (s). Jatkuvassa tapauksessa voidaan tutkia differentiaaleja: [ p s (s) = p r (r) dr ] ds r=t (s) Siten muunnetun kuvan harmaa-arvohistogrammi p s (s) voidaan saada halutuksi sopivalla T (r):n valinnalla. 58 Harmaa-arvohistogrammin tasoitus (3.3.) Tarkastellaan muunnosfunktiota: s = T (r) = r p r (w) dw, r Yhtälön oikea puoli esittää r:n kumulatiivista jakautumafunktiota (CDF). CDF kasvaa kasvaa monotonisesti :sta :een. s:n derivaatta r:n suhteen: ds dr = p r(r) Sijoitetaan dr aiempaan lausekkeeseen: ds [ p s (s) = p r (r) dr ] [ ] = p r (r) ds r=t (s) p r (r) =, s r=t (s) Joten muunnos s = T (r) tuottaa tasaisen histogrammin p s (s). 59 Harmaa-arvohistogrammin määräys (3.3.2) Histogrammin määräys (specification) tarkoittaa, että kuvan harmaa-arvojakauma muunnetaan halutunlaiseksi. Histogrammin määrääminen voidaan toteuttaa analogisesti histogrammin tasoituksen kanssa. Tasoitushan tehtiin käyttämällä alkuperäisen kuvan harmaaarvojen kertymäfunktiota s = T (r) = r p r(w)dw. Mielivaltaisesta harmaaarvojakaumasta p z (w) päästään samoin tasajakaumaan käyttäen muunnosta v = G(z) = z p z(w)dw. Tämän muunnoksen käänteismuunnoksella z = G (v) voidaan taas muuntaa tasajakauma halutuksi jakaumaksi p z (w). Histogrammi voidaan siis määrätä mieleiseksi muunnoksella: z = G (s) = G (T (r)) missä T (r) alkuperäinen ja G(s) haluttu todennäisyystiheyden kertymäfunktio. Käytännössä kuitenkin toimitaan diskreeteillä jakaumilla. Se onkin itse asiassa helpompaa, koska jatkuvassa tapauksessa G (s):n analyyttinen muodostaminen on useimmiten hankalaa. Diskreetissä tapauksessa sen sijaan voidaan taulukoida muunnosarvot kaikille harmaa-arvoille. 6 Paikallinen ehostaminen histogrammin tasoituksella (3.3.3) Edellä esitellyt menetelmät ovat kohdistuneet koko kuva-alan harmaa-arvojakaumaan. Usein on kuitenkin tarpeen parannella yksityiskohtia kuvan pienehköissä osa-alueissa. Koska jokaisen pienehkön kuva-alueen pikseleillä on vain pieni vaikutus kokonaisharmaatasojakaumaan, ei globaali muunnos välttämättäkykene huomioimaan paikallisia parannustarpeita. Sekä histogrammin tasoitus että histogrammin määräys voidaan toteuttaa paikallisesti M N-ikkunassa, jossa keskipisteen uusi harmaa-arvo lasketaan käyttäen ympäröiviä pikseleitä harmaatasohistogrammin estimointiin. Muita paikallisen ehostuksen tilastollisia menetelmiä (3.3.4) Paitsi histogrammeihin, paikalliset ehostusmenetelmät voivat perustua myös paikalliseen harmaatasojen keskiarvoon ja varianssiin. Siten saadaan kuvassa kirkkaus ja kontrasti vakioitua paikallisesti. Tyypillisesti muunnos voi olla: g(x, y) = km ( ) f(x, y) m(x, y) + m(x, y), missä σ(x, y) g(x, y) = alkion (x, y) uusi harmaatasoarvo f(x, y) = alkion (x, y) vanha harmaatasoarvo m(x, y) = alkion (x, y) tietyn ympäristön paikallinen harmaatasokeskiarvo σ(x, y) = alkion (x, y) saman ympäristön paikallinen harmaatasovarianssi M = alkuperäisen kuvan f(x, y) kokonaisharmaatasokeskiarvo k = vakio, < k < Muunnos voimistaa paikallisia vaihteluita. Keskihajonta nimittäjässä saa aikaan, että alhaisen kontrastin eli pienen varianssin alueita kuvassa muutetaan eniten. 63 8. Kokonaisiin kuviin kohdistuva ehostus 8. Aritmeettiset ja loogiset operaatiot (3.4) Kuvien välillä voidaan määritellä tavanomaiset aritmeettiset (+,,*,/) ja loogiset (,, ) operaatiot. Kuvien täytyy tällöin useimmiten olla keskenään saman kokoisia ja jotkut määrittelyt ovat mielekkäitä vain binaarisille kuville. Esimerkki: 62 Kuvan osa voidaan erottaa ympäristöstään joko loogisella JA-operaatiolla (yllä) tai TAI-operaatiolla (alla). 8 64
Erotuskuvat (3.4.) Kuvien f(x, y) ja h(x, y) erotus saadaan vähentämällä vastaavat kuvapisteiden harmaasävyt toisistaan: g(x, y) = f(x, y) h(x, y) Erotuskuvissa voidaan havaita muutokset tai liike. Sovellutuksia: ) ehostus, 2) segmentointi Esimerkki: Liikennevirran havainnointi: vähennetään peräkkäiset kuvat toisistaan ja otetaan itseisarvo. Tällöin paikoillan pysyvä ja siksi arvoiltaan vakio tausta muuttuu mustaksi. 65 Keskiarvo useista kuvista (3.4.2) Varjoaineen etenemisen seuraaminen verenkierrossa: vähennetään varjoaineen ruiskuttamisen jälkeen otetut röntgen- tms. kuvat ennen varjoaineen antoa otetusta kuvasta. Jos on mahdollista ottaa useita identtisiä kuvia samasta kohteesta, voidaan kuvassa esiintyvää kohinaa ratkaisevasti vähentää. Oletetaan kohinamalli g(x, y) = f(x, y) + η(x, y) missä kohina η(x, y) on korreloimatonta ja nollakeskiarvoista. Lasketaan pisteittäinen keskiarvokuva K:stä kuvasta {g i (x, y); i =, 2,..., K}: g(x, y) = K K g i (x, y) Nyt E{g(x, y)} = f(x, y) ja σg(x,y) 2 = K σ2 η(x,y). K:n kasvaessa pikseliarvojen varianssi pienenee ja g(x, y) lähestyy f(x, y):tä. Käytännössä kaikissa sovelluksissa ei voida saadaan peräkkäisiä identtisiä otoksia. Myös kuvien täsmällinen kohdistaminen päällekäin on vaikeaa, jos tapahtuu pientäkin liikettä kuvien välillä. Keskiarvoistusta voidaan kuitenkin soveltaa valo- ja elektronimikroskopiassa sekä astronomiassa. 66 9. Kuvien ehostaminen spatiaalisuodatuksella 9. Spatiaaliset ympäristöoperaatiot (3.5) Suuri osa digitaalisen kuvankäsittelyn menetelmistä perustuu aritmeettisten (tai loogisten) operaatioiden suorittamiseen kunkin kuva-alkion määrätyssä ympäristössä. Operaatioita kutsutaan eri nimillä: maskioperaatiot, templaattioperaatiot, ikkunaoperaatiot, suodatusoperaatiot, konvoluutio-operaatiot,... Aritmeettiset ympäristöoperaatiotvoidaan lausua pikseleiden harmaa-arvojen z i ja maskin kertoimien w i avulla. 67 z z 2 z 3 z 4 z 5 z 6 z 7 z 8 z 9 w w 2 w 3 w 4 w 5 w 6 w 7 w 8 w 9 i= Esimerkiksi 3 3-kokoinen maski, jolla lasketaan ympäristön keskiarvo: z = 9 (z + z 2 + + z 9 ) = 9 Yleisemmässä tapauksessa voidaan maskin avulla laskea painotettu summa: 9 i= z i 9.2 Spatiaalinen pehmennys ehostuksessa (3.6) Jo aiemmin esitellyt menetelmät ovat olleet spatiaalisia, mutta niissä käsittely on kohdistunut kuvaan pikseli kerrallaan. Spatiaalimenetelmien yleisessä tapauksessa pikselin uusi harmaa-arvo määräytyy pikselin ja sen tietyn spatiaalisen ympäristön alkuperäisistä harmaa-arvoista. Spatiaalisuodatuksen tärkein alaluokka on lineaariset suotimet. siirtofunktio on impulssivasteen (pisteen leviämisfunktion) Fouriermuunnos alipäästösuodin vaimentaa korkeataajuisia komponentteja ja päästää lävitse matalat taajuudet ylipäästösuodin vaimentaa matalataajuisia komponentteja ja päästää lävitse korkeat taajuudet kaistanpäästösuodin vaimentaa sekä matala- että korkeataajuisia komponentteja ja päästää lävitse tietyllä kaistalla olevat taajuudet Yleensä lineaariset suotimet ovat ympyräsymmetrisiä sekä spatiaali- että taajuustasossa. Impulssivasteen poikkileikkausmuoto spatiaalitasossa antaa käsityksen suotimen taajuustaso-ominaisuuksista. taajuustaso spatiaalitaso alipäästö ylipäästö 9.3 Lineaarinen alipäästösuodatus (3.6.) kaistanpäästö Kohinaa voidaan siis tehokkaasti poistaa kuvista, mikäli olemassa on kuvasarja samasta kohteesta. Koska näin ei useimmiten ole, tarvitaan muita keinoja kohinan poistamiseksi. Kuvaa voidaan pehmentää spatiaalisella suotimella, joka keskiarvoistaa tietyn kokoisen maskin alalla, jolloin korreloimaton additiivinen kohina vaimenee. Samalla valitettavastikuvanyksityiskohdathämärtyvät, tapahtuualipäästösuodatus. Mitä suurempaa maskia käytetään, sitä voimakkaampaa on sumentuminen. Sumeutumista voidaan rajoittaa käyttämällä epälineaarista kynnystystä: { M (m,n) S g(x, y) = f(m, n), f(x, y) M (m,n) S f(m, n) < T f(x, y), muulloin Pisteet, joiden poikkeama ympäristönsä keskiarvosta on positiivista kynnysarvoa T suurempi, jäävät muuttumatta. Voimaakkaat muutokset, esim. reunat ja nurkat, eivät muutu. Siten sumentumiselle herkät yksityiskohdat säilyvät paremmin kuin puhtaasti lineaarisella suodatuksella. Esimerkki lineaarisesta pehmennyksestä (3.6.) 69 7 7 z = 9 w i z i i= Operaatio vastaa vektorimuotoista sisä- eli pistetuloa: z = w T z, missä w ja z ovat painokertoimista ja kuva-alkion ympäristöstä muodostetut vektorit. Sisätulomuotoiset ympäristöoperaatiot ovat lineaarisia. (5x5) 5x5 3x3 9x9 5x5 35x35 68 9 72
Järjestysfunktioon perustuvat suotimet (3.6.2) Epälineaariset suotimet toimivat kuten lineaariset, mutta maskin keskipisteen uusi harmaa-arvo ei ole lineaarikombinaatio maskin pikseliarvoista. Yleisimpiä epälineaarisia operaatioita ovat järjestysfunktioon perustuvat operaatiot: mediaani maksimi minimi Epälineaarisilla menetelmillä kuten mediaanisuodatuksella ei ole määriteltyä impulssivastettaeikä myöskään siirtofunktiota. Siten esim. mediaanisuodatus on jokaiselle kuvalle omanlaisensa. 73 Kohinanpoisto mediaanisuodatuksella (3.6.2) Naapurikeskiarvoistuksen huono puoli on reunojen ja muiden terävien yksityiskohtien sumeneminen. Mediaanisuodatuksella pyritään välttämään tätä ongelmaa. Myös mediaanisuodatus hävittää yksityiskohtia, mutta useinkaan ei niin paljon kuin vastaavankokoinen lineaarinen suodatus. Mediaanisuodatusta käytetään kohinan poistoon pitkälti samoinkuin alipäästösuodatustakin. Mediaanisuodatus on optimaalinen menetelmä voimakkaan pisteittäisen impulssikohinan, ns. suola ja pippuri -kohinan, poistamiseksi. Laplace-operaattorilla derivointi (3.7.2) Jatkuvalle kaksidimensioiselle funktiolle Laplace-operaattori määritellään: f(x, y) = 2 f(x, y) = 2 f x 2 + 2 f y 2 Havaitaan, että Laplace-operaattori on lineaarinen. Diskreettinä approksimointina käytettiin jo aiemmin: 2 f = f(x +, y) + f(x, y) 2f(x, y) x2 2 f = f(x, y + ) + f(x, y ) 2f(x, y) y2 2 f(x, y) = f(x +, y) + f(x, y) + f(x, y + ) + f(x, y ) 4f(x, y) Maskimuodossa: -4 tai -8 Laplace-suodatus ehostuksessa (3.7.2) Laplace-suodatus korostaa pieniä yksityiskohtia ja on nolla tasaisille ja tasaisesti muuttuville alueille. Laplace-suodatettu kuva voidaan sellaisenaan lisätä alkuperäiseen: g(x, y) = f(x, y) 2 f(x, y) = 5f(x, y) f(x +, y) f(x, y) f(x, y + ) f(x, y ) - -4 = - 5 - - tai: - - - -8 = - 9 - - - - 77 74 9.4 Kuvan terävöittäminen ylipäästösuodatuksella (3.7) Laplace-suodatus ehostuksessa, esimerkki (3.7.2) 78 Kuvan terävöittämisellä pyritään korostamaan kuvan yksityiskohtiatai ehostamaan sumentuneita detaljeja. Terävöittäminen voidaan tulkita myös keskiarvoistamisen käänteisoperaatioksi. Terävöittäminen perustuu pikseleiden välisten erojen korostamiseen. Derivaatat (tai paremminkin differenssit) sopivathavainnoimaan pikseleiden välisiä muutoksia. Ensimmäinen differenssi yksiulotteisessa tapauksessa: f = f(x + ) f(x) x Toinen differenssi yksiulotteisessa tapauksessa: 2 f = f(x + ) + f(x ) 2f(x) x2 75 79 Esimerkki yksityiskohdista kuvassa (3.7.) Epäterävä maskaus (3.7.2) Epäterävä maskaus on vanha filmivalokuvien terävöintikikka. Alkuperäistä kuvaa terävämpi ylipäästösuodatettu kuva voidaan muodostaa vähentämällä alkuperäisestä kuvasta alipäästösuodatettu kuva: f s (x, y) = f(x, y) f(x, y) Korkeiden taajuuksien korostus (3.7.2) Yleisemmässä tapauksessa voidaan kirjoittaa korkeiden taajuuksien korostus eli High-boost-suodatus kertoimella A: f hb (x, y) = Af(x, y) f(x, y) = (A )f(x, y) + f s (x, y) 76 - - - - Sijoittamalla f s (x, y) = f(x, y) 2 - A+4 - tai - A+8 - f(x, y) : - - - - 8
Korkeiden taajuuksien korostus, esimerkki (3.7.2) Sopivalla A:n arvolla saadaan aikaan haluttu korkeiden taajuuksien korostus:. Fourier-muunnospari jatkuvassa tapauksessa (4.2.) F{f(x)} = F (u) = F {F (u)} = f(x) = F{f(x, y)} = F (u, v) = F {F (u, v)} = f(x, y) = f(x) e j2πux dx F (u) e j2πux du f(x, y) e j2π(ux+vy) dx dy F (u, v) e j2π(ux+vy) du dv 8 A = A =.7 85 Gradienttioperaattori reunojen vahvistajana (3.7.3) Gradienttivektorin yleinen määritelmä: [ ] Gx f = = G y Gradienttivektorin pituutta kutsutan usein gradientiksi ja se voidaan laskea: f x f y f = f = [G 2 x + G 2 y] 2 G x + G y Robertsin ristigradientti, G x = z 9 z 5, G y = z 8 z 6 : - ja -.2 Diskreetti Fourier-muunnos, DFT (4.2.) Lukusekvenssille {f(), f(), f(2),..., f(m )} määritellään diskreetti Fourier-muunnos- ja -käänteismuunnospari: F (u) = M f(x) e j2πux/m, u =,,..., M M x= M f(x) = F (u) e j2πux/m, x =,,..., M u= Taajuustason ominaisuuksia (4.2.) F (u) on kompleksinen: F (u) = R(u) + ji(u) = F (u) e jφ(u). F (u) = R 2 (u) + I 2 (u) Fourier-spektri, magnitudispektri Sobel-operaattorit: 82 - -2 - - G x = ja G y = -2 2 2 - I(u) φ(u) = tan R(u) P (u) = F (u) 2 = R 2 (u) + I 2 (u) vaihekulma, vaihespektri tehospektri, spektritiheys 86 Spatiaalisten ehostusten yhdistely (3.8) Hyvää ehostustulosta ei useinkaan voida saavuttaa vain yhtä operaatiota käyttämälllä. Kirja esittää kuvissa 3.46a h, kuinka: ) röntgenkuvaa terävöitetään Laplace-operaattorilla 2) alkuperäisen kuvan reunoja vahvistetaan Sobel-operaattoreilla 3) gradienttikuvaa pehmennetään ja se kerrotaan terävöitetyllä kuvalla 4) tuloskuva lisätään alkuperäiseen 5) kuvan dynamiikkaa parannetaan gammakorjauksella Diskreetin lukusekvenssin muodostaminen (4.2.) Diskreetin lukusekvenssin muodostamista jatkuvasta funktiosta kutsutaan näytteistämiseksi. Jatkuva-argumenttinen funktio f(x) voidaan diskretoida tasaväliseksi sekvenssiksi: {f(x ), f(x + x), f(x + 2 x),..., f(x + (M ) x)} Merkinnät saadaan yksinkertaisemmiksi sopimalla, että diskreettiä funktiota voidaan merkitä kuten aiemmin merkittiin jatkuvaa: f(x) f(x + x x), x =,,..., M Diskretointiväleille pätee tällöin: F (u) F (u u) u = M x 83. Fourier-muunnoksen perusteet Fourier-muunnokset digitaalisen kuvankäsittelyn kannalta tärkein 2-dimensioisten kuvamuunnosten laji. Muita esim. kosini-, Walsh-, Hadamard-, Haar-, Slantja Hotelling- eli Karhunen-Loève-muunnokset. Kuvamuunnoksia tarvitaan: ehostuksessa entistämisessä koodauksessa sisällön kuvailussa.3 Kaksiulotteinen diskreetti Fourier-muunnos (4.2.2) Kaksiulotteisessa tapauksessa: F (u, v) = MN f(x, y) e j2π(ux/m+vy/n), M N x= y= u =,,..., M, v =,,..., N M N f(x, y) = F (u, v) e j2π(ux/m+vy/n), u= v= x =,,..., M, y =,,..., N Huomattava, että muunnospari on vakiokertoimien osalta epäsymmetrinen. Joskus muunnospari esitetään myös symmetrisenä, jolloin molemmissa on kerroin /MN. Toisaalta, jos kyseessä on neliömuotoinen kuva, so. M = N, voidaan kaavat kirjoittaa symmetrisiksi kertoimilla /N. 87 84 88
2-dimensioisen Fourier-muunnoksen ominaisuuksia (4.2.2) Esimerkki ali- ja ylipäästösuodatuksista (4.2.3) F (u, v) on kompleksinen: F (u, v) = R(u, v) + ji(u, v) = F (u, v) e jφ(u,v) F (u, v) = R 2 (u, v) + I 2 (u, v) I(u,v) φ(u, v) = tan R(u,v) Fourier-spektri vaihekulma P (u, v) = F (u, v) 2 = R 2 (u, v) + I 2 (u, v) tehospektri F (, ) = M N MN x= y= f(x, y) keskiarvo F (u, v) = F ( u, v) konjugaattisymmetria F (u, v) = F ( u, v) spektrin symmetria 89 93 2-dimensioisen kuvan Fourier-muunnos, esimerkki (4.2.2) Konvoluutio (4.2.4) Lineaariset suodatusoperaatiot voidaan tulkita konvoluutioina. Konvoluution määritelmä: f(x, y) h(x, y) = MN Konvoluutio on vaihdannainen: f(m, n)h(x m, y n) M N m= n= f(x, y) h(x, y) = h(x, y) f(x, y) Konvoluutioteoreema: Fourier-muunnoksen origo on visualisoinnin vuoksi siirretty keskelle kuvaa. Suurin osa muunnoksen energiasta keskittynyt origoon ja akseleille. sin bx sin cy Muunnos on muotoa a. Palikan muoto on kiertynyt 9. x y 9 2-dimensioisen maskin Fourier-muunnos, esimerkki Olkoon alipäästösuodin muotoa h(x, y) = 5 h(x, y) = ( ) δ(x, y) + δ(x, y) + δ(x +, y) + δ(x, y ) + δ(x, y + ) 5 H(u, v) = M N h(x, y) e j2π(ux/m+vy/n), MN = 5MN = 5MN x= y= u =,,..., M, v =,,..., N ( + e j2πu/m + e j2πu/m + e j2πv/n + e j2πv/n) ( + 2 cos 2πu ) 2πv + 2 cos M N Analyyttinen, reaalinen, lähellä origoa positiivinen, (u, v)-rajoittamaton,... 9.4 Taajuustasossa suodattaminen (4.2.3) Taajuusalueessa suodattaminen perustuu konvoluutioteoreemaan: kuvan ja maskin spatiaalista konvoluutiota vastaa taajuusaluessa Fourier-muunnosten tulo. g(x, y) = h(x, y) f(x, y) G(u, v) = H(u, v) F (u, v) lasketaan kuvan f(x, y) Fourier-muunnos F (u, v) valitaan siirtofunktio H(u, v), jolla F (u, v) kerrotaan muodostetaanehostettu kuva g(x, y) käänteisellä Fourier-muunnoksella Kohinan väheneminen, sumeneminen korkeiden taajuuksien redusointi. Yksityiskohtien korostus, terävöitys korkeiden taajuuksien korostus. f(x, y) h(x, y) F (u, v) H(u, v) f(x, y) h(x, y) F (u, v) H(u, v). Kuvien ehostaminen taajuustasossa Kaikki taajuustason suodattaminen perustuu taajuustasossa tehtävään kuvan Fourier-muunnoksen kertomiseen suodatuksen siirtofunktiolla: G(u, v) = H(u, v) F (u, v). Alipäästösuodatus (4.3) Alipäästösuodatuksella vaimennetaan korkeita taajuuksia, mikä sumentaa kuvaa, koska korkeat taajuudet vastaavat harmaatasojen nopeita muutoksia kuten ääriviivoja ja kohinaa. Ideaalinen alipäästösuodin (ILPF) (4.3.) Ideaalisen alipäästösuotimen vaste on yksi D -säteisen taajuustason ympyrän sisällä ja nolla sen ulkopuolella, D on rajataajuus: {, D(u, v) D H(u, v) =, D(u, v) > D D(u, v) = ( u 2 + v 2) 2 H(u, v) on ympyräsymmetrinen origon suhteen. Alipäästösuotimen aiheuttamaa sumentumaa voidaan tutkia tarkastelemalla suotimen siirtofunktion käänteis-fourier-muunnosta, so. suotimen impulssivastetta eli pisteenleviämisfunktiota. Ideaalisen alipäästösuotimen impulssivaste on muodoltaan: 94 95 92 2 96
Jokainen alkuperäinen piste leviää ja sekoittuu ympäröivien pikseleiden kanssa. On huomattava ideaaliselle alipäästösuotimelle ominaiset renkaat, jotka aiheuttavat kuvassa rengastumista. Rengastumisen vuoksi voimakkaat pikselit saavat ympärilleen renkaita ja vastaavasti voimakkaat rajat kuvassa monistuvat tai toistuvat heikompina kaikuina. h(x, y):n samankeskisten renkaiden säteet ovat kääntäen verrannolliset rajataajuuteen D. Voimakas suodatus eli pieni D aiheuttaa voimakkaan rengastumisen. Esimerkki ideaalisesta alipäästösuodatuksesta (4.3.) Gaussinen alipäästösuodin (4.3.3) Alipäästösuodin voidaan toteuttaa myös Gaussin kellokäyrän mukaisesti: H(u, v) = e D2 (u,v)/2d 2 D = rajataajuus D 2 (u, v) = u 2 + v 2 Rajataajuudella: H(u, v) = e.5.67 Gaussisen suotimen erityisominaisuus on, että sen impulssivaste on myös gaussinen: h(x, y) = 2πD e 2π2 D 2 (x2 +y 2 ) 97 D : 5 5 3 8 23 P %: -8-5.4-3.6-2 -.5 Siksi taajuustasossa gaussinen suodin ei voi tuottaa lainkaan rengastumisilmiötä spatiaalitasossa. Verrataessa H(u, v):tä ja h(x, y):tä huomataan, että D :n luonne on niissä käänteinen. Siten leveää taajuusvastetta vastaa kapea impulssivaste ja päinvastoin, kuten kaikilla alipäästörakenteilla aina onkin. Esimerkki gaussisesta alipäästösuodatuksesta (4.3.3) alkuperäinen 5 5 D = 5, -8% alkuperäinen 5 5 D = 5, -8% D = 5, -5.4% D = 3, -3.6% D = 5, -5.4% D = 3, -3.6% D = 8, -2% D = 23, -.5% D = 8, -2% D = 23, -.5% 98 2 Butterworth-alipäästösuodin (4.3.2) Alipäästösuodatuksen sovelluskohteita (4.3.4) Erilaisista alipäästösuodatuksista tärkeimpiä on Butterworth-suodin: Rajataajuudella: H(u, v) =.5 H(u, v).5 99 2 3 H(u, v) = + ( ) 2n D(u, v)/d n = suotimen asteluku D = rajataajuus D(u, v) = ( u 2 + v 2) 2 D(u,v) D Butterworth-suodin sumentaakuvaa vähemmän kuin ideaalinen suodin, koska suuritaajuiset komponentit pääsevät vaimennettuina vaikuttamaan tulokseen. Lisäksi renkaita ei muodostu yhtä helposti kuin ideaalisella suotimella. Esimerkki Butterworth-alipäästösuodatuksesta (4.3.2) Alipäästösuodatus on lähinnä kosmeettinen prosessi, jolla voidaan poistaa tai ainakin vähentää kohinaa tai joitakin muita kuvan vääristymiä kuvan terävyyden kustannuksella. Esim. tekstin digitoimisen jälkeen voidaan kirjainten epäpuhtauksia vähentää alipäästösuodatuksella. Kuvanmuodostuksessa syntyneitä esim. vaakasuuntaisia viivoja voidaan samoin vähentää taajuustason suodatuksella. Alipäästösuodatustatarvitaanmyös, kun halutaan vähentää käsiteltävän datan määrää esim. osana kuva-analyysin piirreirrotusta..2 Ylipäästösuodatus (4.4) 3 alkuperäinen 5 5 D = 5, -5.4% D = 5, -8% D = 3, -3.6% Korkeiden taajuuksien korostaminen vahvistaa ääriviivoja ja pieniä yksityiskohtia. Yleisesti: H hp (u, v) = H lp (u, v) Ideaalinen ylipäästösuodin (4.4.) Ideaalinen ylipäästösuodin on ideaalisen alipäästösuotimen komplementti: {, D(u, v) D H(u, v) =, D(u, v) > D D = 8, -2% D = 23, -.5% Butterworth-ylipäästösuodin (4.4.2) Myös ylipäästösuodin voidaan toteuttaa Butterworth-rakenteella. Tällöin: H(u, v) = + ( D /D(u, v) ) 2n 3 4
Gaussinen ylipäästösuodin (4.4.3) H(u, v) = e D2 (u,v)/2d 2 Gaussisia ylipäästösuotimia voidaan myös toteuttaa myös kahden gaussisen alipäästösuotimen erotuksena: Linearisoitu kuva palautetaan tässä tapauksessa eksponentioimalla takaisin alkuperäiseen esitysmuotoon. Koko prosessointi voidaan esittää kaaviolla: f(x, y) ln FFT H(u, v) FFT exp g(x, y) H(u, v) = e D2 (u,v)/2d 2 e D 2 (u,v)/2d 2 2 Laplace-operaattori taajuustasossa (4.4.4) Reunanetsinnässä usein käytettävä Laplace-operaattori voidaan jatkuvana lausua kaksidimensioisen Fourier-muunnoksen avulla: 2 f(x, y) = 2 f x 2 + 2 f y 2 F{ 2 f(x, y)} = 4π 2 (u 2 + v 2 )F (u, v) Kyseessä on siis ilmeinen ylipäästösuodin, jonka vaste origossa on nolla. 4π 2 (u 2 +v 2 ):n käänteis-fourier-muunnoksesta saadaan likipitäen tuttu spatiaalinen Laplace-maski. 5 9 Kirjan kuvassa 4.23 virhe? (4.4) Ilmeisesti kirjan kuvassa 4.23 on virhe, koska gaussisen ylipäästösuotimen impulssivaste eli pisteenleviämisfunktio näyttää impulssifunktiolta. Kyseessä lienee virhe kuvan kaikkien ei-positiivisten lukuarvojen esittämisessä mustana. 2. Lisää Fourier-muunnoksesta Siirto eli translaatio (4.6.) f(x, y)e j2π(ux/m+vy/n) F (u u, v v ) f(x x, y y ) F (u, v)e j2π(ux/m+vy/n) Siirto toisessa tasossa vastaa vaihekulman muutosta toisessa tasossa. Translaatio ei vaikuta Fourier- eikä tehospektriin, koska eksponenttitermin itseisarvo on aina yksi. Visualisointitarkoituksessa usein siirretään Fourier-tason origo muunnoskuvan vasemmasta yläkulmasta keskelle, u = M/2, v = N/2: e j2π(ux/m+vy/n) = e jπ(x+y) = ( ) (x+y) f(x, y)( ) (x+y) F (u M/2, v N/2) 6 (Kuva ( ) (x+y) itse asiassa vastaa kaksiulotteista Nyquist-taajuutta.) Muita ylipäästösuodatuksen muotoja (4.4.5) Puhdasta ylipäästösuodatusta tarvitaan kuva-analyysisovelluksissa, joissa etsitään kuvista reunoja ja pyritään segmentoimaan kuvassa olevat kohteet kuvan taustasta. Ihmisen katsottavaksi tarkoitetuissa kuvissa käytetään enemmänkin korkeiden taajuuksien korostusta. Tällöin esim. ylipäästösuotimen ulostulo lisätään vakiolla kerrottuna alkuperäiseen kuvaan. Tämä vastaa aiemmin esiteltyä High-boost-suodatusta: H hp (u, v) = H lp (u, v) H hb (u, v) = (A ) + H hp (u, v) Voidaan myös toteuttaa ns. korkeiden taajuuksien korostus (high-frequency emphasis): H hfe (u, v) = a + bh hp (u, v) 7.3 Homomorfinen suodatus (4.5) Lineaarisuus (4.6.) Homomorfiseksi suodatukseksi kutsutaan menetelmiä, joissa kuvanmuodostuksessa vaikuttavat epälineaariset tekijät ensin linearisoidaan, sitten käsitellään kuva lineaarisesti ja lopuksi palautetaan kuva alkuperäiseen epälineaariseen esitysmuotoon. Jo aiemmin esitettiin, kuinka kuva f(x, y) voidaan ajatella muodostuneeksi valaistuskomponentista i(x, y) ja heijastuskomponentista r(x, y): f(x, y) = i(x, y) r(x, y) Kuvanmuodostus linearisoidaan logaritmoimalla yhtälön molemmat puolet: ln f(x, y) = ln i(x, y) + ln r(x, y) Kuvanmuodostuksessa on luontevaa ajatella, että valaistuksen i(x, y) vaihtelut ovat hitaita verrattuna heijastuksen r(x, y) vaihteluihin. Siten haitallisia valaistusvaihteluja voidaan vähentää ylipäästösuodattamalla linearisoitua kuvaa high-boost-suotimella. 8 Fourier-muunnosoperaattori F{ } on lineaarinen, mikä on seurausta siitä, että se on sekä distributiivinen F{f (x, y) + f 2 (x, y)} = F{f (x, y)} + F{f 2 (x, y)} että skaalausinvariantti joten F{af(x, y)} = af{f(x, y)} F{af (x, y) + bf 2 (x, y)} = af{f (x, y)} + bf{f 2 (x, y)} Kokoskaalaus (4.6.) Kokoskaalaukselle pätee f(ax, by) F (u/a, v/b) ab 4 2
Kierto eli rotaatio (4.6.) Napakoordinaatistoesityksessä x = r cos θ, y = r sin θ, u = ω cos φ, x = ω sin φ voidaan osoittaa, että kaksidimensioinen Fourier-muunnos toteuttaa: f(r, θ + θ ) F (ω, φ + θ ) Jaksollisuus eli periodisuus (4.6.) F (u, v) = F (u + M, v) = F (u, v + N) = F (u + M, v + N) f(x, y) = f(x + M, y) = f(x, y + N) = f(x + M, y + N) Muunnos on siis toisen koordinaattiakselin suuntaan jaksollinen periodilla M ja toisen akselin suuntaan periodilla N. Sama (useimmiten epätosi) oletus koskee myös alkuperäistä kuvaa. 3 Konjugaattisymmetria (4.6.) Separoituvuus (4.6.) F (u, v) = MN = M M N F (u, v) = F ( u, v) F (u, v) = F ( u, v) f(x, y) e j2π(ux/m+vy/n) x= y= M x= ( N e j2πux/m N y= f(x, y) e j2πvy/n ) = M e j2πux/m F y {f(x, y)} = M F (x, v) e j2πux/m M M x= = F x {F y {f(x, y)}} 2D-muunnos voidaan siis hajottaa kahdeksi peräkkäiseksi D-muunnokseksi. Tarvittavien operaatioiden määrän muutos on luokkaa O(N 4 ) O(2N 3 ). 4 Käänteismuunnoksen laskeminen (4.6.2) Joskus on edullista, että käänteis-fourier-muunnos voitaisiin laskea käyttäen samaa kaavaa kuin eteenpäinmuunnos. Ottamalla kompleksikonjugaatti ja jakamalla MN:llä käänteismuunnoksesta tulee: x= M N f(x, y) = F (u, v) e j2π(ux/m+vy/n) u= v= MN f (x, y) = MN F (u, v) e j2π(ux/m+vy/n) M N u= v= Kuva f(x, y) on normaalisti reaalinen, joten kompleksikonjugointi ei muuta sitä. Lisäksi normaali käytäntö on jättää käänteismuunnoksen tuottamat usein virheelliset pienet imaginaariosat huomiotta. Jäljelle jää siis F (u, v):n kompleksikonjugointi (tai kääntö origon suhteen) ja vakiolla MN kertominen, minkä jälkeen taaksepäinmuunnos voidaan toteuttaa eteenpäinmuunnoksella. 5 2. Jaksollisuus ja laajennetut sekvenssit (4.6.3) Fourier-muunnoksen määritelmään sisältyy olettamus sekvenssien jaksollisuudesta2d-jaksolla (M, N). Koska todellisetkuvateivätole jaksollisia, Fouriermuunnosta käytettässä tapahtuu kuvien reunoille virheellistä päällekkäistymistä. Päällekkäistyminen voidaan estää käyttämällä laajennettuja sekvenssejä f e (x, y) ja h e (x, y), jotka muodostetaan jatkamalla alkuperäisiä A B:n ja C D:n pituisia sekvenssejä f(x, y) ja h(x, y) nollilla siten, että muodostuu P Q- kokoiset kuvat, joille P A + C ja Q B + D. 6 { f(x, y) (x, y) [, A ] [, B ] f e (x, y) = A x P B y Q { h(x, y) (x, y) [, C ] [, D ] h e (x, y) = C x P D y Q Konvoluutio ja korrelaatio (4.6.4) f(x, y) h(x, y) = MN f(x, y) h(x, y) = MN f(m, n) h(x m, y n) M N m= n= M N f (m, n) h(x + m, y + n) m= n= Konvoluutioteoreema kertoi siis, että: f(x, y) h(x, y) F (u, v) H(u, v) f(x, y) h(x, y) F (u, v) H(u, v) Muutoin vastaava mutta epäsymmetrinen tulos pätee myös korrelaatiolle: f(x, y) h(x, y) F (u, v) H(u, v) f (x, y) h(x, y) F (u, v) H(u, v) Jos suodatusmaski on symmetrinen ja reaalinen, konvoluutio ja korrelaatio yhtyvät ja korrelaatiokin on symmetrinen. 7 Nopea Fourier-muunnos, FFT (4.6.6) 2D-Fourier-muunnos voidaan siis suorittaa tehokkaammin peräkkäisinä Dmuunnoksina. Lisäksi diskreetti Fourier-muunnos voidaan yksidimensioisessa tapauksessa järjestää niin, että laskennan määrä vähenee M 2 M log 2 M. Laskentajaetaan rekursiivisesti osiin ja osia jälleen yhdistettäessä huomioidaan, että samaa laskentaa ei tarvitse suorittaa kahdesti. Perus-FFT toimii, kun M = 2 n. FFT:n havainnollistamiseen käytetään usein perhoskaaviota : F m (p) F m (q) w r N - F m+ (p) F m+ (q) FFT-muunnoksen jälkeen tulosarvot ovat bittikäänteisessä järjestyksessä: 8 Spatiaalimaskin muodostus taajuusvasteesta (4.6.7) Pienten spatiaalimaskien käyttö on nopeampaa ja helpompaa kuin taajuusalueessa prosessointi. Kuitenkin suodatus on usein intuitiivisempaa määritellä taajuustasossa. Taajuustason suodatuksen H(u, v) toteuttamiseksi spatiaalitasossa tarvitaan periaatteessa koko kuvan kokoinen M N-maski h(x, y): M N h(x, y) = H(u, v) e j2π(ux/m+vy/n) u= v= Muodostetaan m n-kokoinen ĥ(x, y), joka approksimoi H(u, v):ta Ĥ(u, v):llä. M N ĥ(x, y) = Ĥ(u, v) e j2π(ux/m+vy/n) u= v= m n Ĥ(u, v) = ĥ(x, y) e j2π(ux/m+vy/n) x= y= Tehtäväksi jää sovittaa H(u, v) ja Ĥ(u, v) toisiinsa, mikä tehdään neliövirheen mielessä optimaalisesti vektori-matriisi-laskennalla ja pseudoinverssillä. 9 3. Kuvien entistäminen 3. Yleistä entistämisestä (5) Kuvien entistämisessä eli restauroinnissa (restoration) pyritään parantamaan kuvia mallittamalla virhettä eli huonontumisprosessia, joka on pilannut kuvan. Huonontumisprosessin käänteisprosessilla voidaan periaatteessa tuottaa lähes alkuperäisen veroinen kuva. Entistämismenetelmät voivat toimia sekä kuva- että taajuustasossa. Optimoidaan jotain matemaattista estimointikriteeriä. Entistysmenetelmät ovat usein laskennallisesti raskaita. Kirjassa esitellyissä tapauksissa lähtökohtana on digitoitu kuva. Voitaisiin korjailla myös kuvanottoa, digitointia ja näytteistystä. Kirjassa tarkastellaan enimmäkseen additiivistakohinaa. Entistämistekniikoita on myös monimutkaisemmille kohinoille. 5 2
3.2 Huonontumismalli (5.) Oletetaan seuraavanlainen huonontumismalli (degradation model): f(x, y) alkuperäinen kuva H η(x, y) kohinalähde g(x, y) huonontunut kuva R huononnus- prosessi entistämisprosessi ˆf(x, y) entistetty kuva Prosessi H oletetaan lineaariseksi ja paikkainvariantiksi, kohina η puolestaan korreloimattomaksi ja additiiviseksi. Tällöin: g(x, y) = h(x, y) f(x, y) + η(x, y) G(u, v) = H(u, v)f (u, v) + N(u, v) Kohinaparametrien estimointi (5.2.4) Joskus kohinan malli ja parametrit tunnetaan ennalta, esimerkiksi kuvanmuodostuslaitteen spesifikaatioista. Kohinan ominaisuuksia voidaan tutkia myös empiirisesti kuvia analysoimalla. Parasta olisi, jos analysointia varten voitaisiin tuottaa kuvia tasaisesta ja tasaisesti valaistusta pinnasta. Jos se ei ole mahdollista, kohinan jakaumaa voidaan parhaiten analysoida mahdollisimman tasaharmaista kuva-alueista. Havaittua kohinan harmaa-arvohistogrammia voidaan sovittaa malleihin esim. suurimman uskottavuuden menetelmällä tai momenttimenetelmällä kohinaparametrejä estimoiden. Jatkossa oletetaan aluksi, että H = ja tutkitaan vain pelkän additiivisen kohinan vaikutusta. Myöhemmin tutkitaan myös huononnusprosessin siirtofunktion approksimoimista ja kompensointia. 2 25 3.3 Kohinamalleja (5.2.2) normaalijakauma p(z) = 2πσ e (z µ)2 2σ 2 Erlang-jakauma { a b z b (b )! p(z) = e az 22 tasajakauma { p(z) = b a Esimerkki erilaisista kohinoista (5.2.2) Rayleigh-jakauma { 2(z a) p(z) = b e (z a) b eksponenttijakauma { ae az p(z) = impulssikohina P a p(z) = P b 2 3.4 Spatiaalitasossa entistäminen (5.3) Jos kuvan huonontuminen johtuu pelkästä additiivisesta kohinasta, entistys on helpointa spatiaalitasossa. Jos kohina on jaksollista tai huonontumismalli sisältää aidon huonontumisprosessin, entistys on helpointa taajuustasossa. Kohinaa voidaan spatiaalitasossa poistaa keskiarvoistamalla. Paitsi aritmeettista (so. lineaarista) keskiarvoa voidaan käyttää myös muita muotoiluja: aritmeettinen keskiarvo ˆf(x, y) = g(s, t) mn (s,t) Sxy geometrinen keskiarvo ˆf(x, y) = g(s, t) (s,t) Sxy harmoninen keskiarvo ˆf(x, mn y) = kontraharmoninen keskiarvo ˆf(x, y) = Keskiarvoistaminen, esimerkkejä (5.3.) g(s,t) mn (s,t) Sxy g(s, t)q+ (s,t) Sxy g(s, t)q (s,t) Sxy alkuperäinen gaussista kohinaa pippurikohinaa suolakohinaa 26 Voidaan havaita, että vain impulssi- eli suola ja pippuri -kohina eroaa visuaalisesti muista kohinamalleista. Myös eksponenttijakautunut kohina poikkeaa muista hieman tuloskuvan yleisen tummuuden vuoksi. 23 Jaksollinen kohina (5.2.3) aritmeettinen ka. geometrinen ka. Q =.5 Q =.5 Järjestysfunktioon perustuvat entistykset (5.3.2) 27 Kuvanotossa tai kun kuvia siirretään analogisia siirtokanavia pitkin, niihin voi muodostua interferenssin aiheuttamaa jaksollista kohinaa. Jaksollisen kohinan olemassaolo on helpointa havaita ja sen ominaisuuksia tutkia taajuustasossa. Esimerkkikuvaan on lisätty neljää sinimuotoista häiriötä, jotka näkyvät konjugaattisymmetrisinä pisteinä Fourier-spektrissä. Myöhemmin esitetään, kuinka tämänkaltainen kohina poistetaan. Epälineaarisista kohinanpoistoista tärkeimpiä ovat erilaiset järjestysfunktioon perustuvat suodatukset. mediaani ˆf(x, y) = median g(s, t) (s,t) Sxy maksimiarvo ˆf(x, y) = max g(s, t) (s,t) Sxy minimiarvo ˆf(x, y) = min g(s, t) (s,t) Sxy keskipiste ˆf(x, y) = [ ] max g(s, t) + min g(s, t) 2 (s,t) Sxy (s,t) Sxy alfa-säädetty keskiarvo ˆf(x, y) = g r (s, t) mn d (s,t) Sxy 24 6 28
Järjestysfunktio entistyksessä, esimerkkejä (5.3.2) 3.6 Jaksollisen kohinan poisto taajuustasossa (5.4) suolaa ja pippuria mediaanisuodatus Aiemmin todettiin, että kuviin saattaa esim. interferenssin vaikutuksesta syntyä jaksollista kohinaa. Jos kohinan aiheuttamat piikit sijaitsevat taajuustasossa origokeskisellä ympyräkehällä, kohina voidaan poistaa kaistanestosuotimella. jos D(u, v) < D W 2 ideaalinen H(u, v) = jos D(u, v) D W 2 jos D(u, v) > D + W 2 Butterworth H(u, v) = + [ D(u,v)W D 2 (u,v) D 2 ] 2n gaussinen H(u, v) = e 2» D 2 (u,v) D 2 2 D(u,v)W 2. mediaanisuodatus 3. mediaanisuodatus 29 33 3.5 Adaptiivinen suodatus (5.3.3) Jaksollisen kohinan poisto,esimerkki (5.4) Kohinaa voidaan poistaa tehokkaasti adaptiivisella suodatuksella, joka mukautuu kuvan paikallisiin ominaisuuksiin. Siten voidaan saavuttaa hyvä kohinanvaimennus tasaisilla pinnoilla ilman, että yksityiskohdat sumenevat vaihtelevilla alueilla. Paikallinen kohinanpoistosuodatin (5.3.3) jaksollista kohinaa lisätty taajuusspektri Säädetään lineaarista keskiarvosuodatustasiten, että tulosarvo onalkuperäisen pikseliarvon ja sen ympäristökeskiarvon väliltä. Säätö perustuu koko kuvan ja paikallisen alueen kohinavarianssien suhteeseen, mikä suosii vaihtelevilla alueilla alkuperäistä ja tasaisilla keskiarvoistettua arvoa. ˆf(x, y) = ( σ2 η )g(x, y) + σ2 η m σl 2 σl 2 L 3 = g(x, y) σ2 η [g(x, y) m σl 2 L ] kaistanestosuodin suodatustulos 34 Paikallinen kohinanpoistosuodatin, esimerkki (5.3.3) Kaistanpäästösuodatus (5.4.2) gaussinen kohina aritmeettinen keskikarvo Kutakin kaistanestosuodinta vastaava kaistanpäästösuodin saadaan kaavasta: H bp (u, v) = H br (u, v) Kaistanpäästöä tarvitaan harvoin. Notch-suotimet (5.4.3) geometrinen keskiarvo 3 adaptiivinen kohinanpoisto Ideaalisesta, Butterworth- jagaussisesta suotimesta voidaan kustakin muokana ns. notch-suotimia, joilla voidaan estää tai päästää tietty taajuusalue, jonka ei tarvitse sijaita Fourier-tason origossa. Notch-suotimet ovat aina origosymmetrisiä. Notch-päästö- ja estosuotimien välillä vallitsee yhteys: H np (u, v) = H nr (u, v) 35 Adaptiivinen mediaanisuodatus (5.3.3) Notch-suotimet, esimerkki (5.4.3) Mediaanisuodatusmaskin kokoa säädetään riippuen maskin alle jäävän kuvanosan ominaisuuksista. Maskia kasvatetaan, jos z med = z min tai z med = z max, jotta z med :ksi saadaan impulssikohinasta vapaa arvo. Jos lopuksi z xy = z min tai z xy = z max, käytetään z med tulosarvona, muutoin z xy. taajuusspektri notch-suodin impulssikohinaa 7 7-mediaani adaptiivinen, S max = 7. päästetty kohina estetty kohina 32 7 36
Optimaalinen notch-suodatus (5.4.4) Usein interferenssi ei kuitenkaan ole niin säännöllistä, että se voitaisiin poistaa kerralla koko kuvasta. Tällöin voidaan käyttää mallia, jossa painotusfunktiolla w(x, y) säädellään, kuinka paljon estimoitua interferenssikuvaa kussakin pikselissä vähennetään huonontuneesta kuvasta: ˆf(x, y) = g(x, y) w(x, y)η(x, y) η(x, y) on taajuustason kohinahuipuista notch-päästösuotimella estimoitu interferenssikuvio. w(x, y) valitaanpisteittäin siten, että (x, y)-pisteiden määrätyssä ympäristössä ˆf(x, y):n varianssi minimoituu. g(x, y)η(x, y) g(x, y)η(x, y) w(x, y) = η 2 (x, y) η 2 (x, y) Kerroin w(x, y) voidaan ratkaistakullekin pisteelle erikseen tai pitääsevakiona toisiaan peittämättömissä alueissa. 37 Optimaalinen notch-suodatus, esimerkki (5.4.4) Kyseessä on todellinen kuva eikä keinotekoisesti lisätty jaksollinen kohina kuten aiemmin. Merkitsemällä impulssivastetta eli pisteenleviämisfunktiota h(x, α, y, β) = H[δ(x α, y β)] saadaan: g(x, y) = = f(α, β)h(x, α, y, β) dαdβ f(α, β)h(x α, y β) dαdβ Ensimmäinen integraali on ns. superpositio- eli Fredholm-integraali. H:n paikkainvarianssin H[δ(x α, y β)] = h(x α, y β) perusteella on saatu jälkimmäinen konvoluutiointegraali. Additiivinen kohina η(x, y) voidaan lisätä mukaan: g(x, y) = H[f(x, y)] + η(x, y) = = h(x, y) f(x, y) + η(x, y) G(u, v) = H(u, v)f (u, v) + N(u, v) f(α, β)h(x α, y β) dαdβ + η(x, y) 3.8 Huononnusfunktion estimointi (5.6) Huononnusfunktio H[ ] voidaan estimoida g(x, y):n dekonvoluutiota varten: havainnoista 4 kokeilemalla matemaattisesta mallista Huononnusfunktion estimointi havainnoista (5.6.) alkutilanne taajuusspektri entistystulos Otetaan kuvasta voimakkaan signaalin alueelta pala g s (x, y), jonka ideaalista muotoa mallitetaan ˆf s (x, y):llä. Tällöin: H s (u, v) = G s(u, v) ˆF s (u, v) 38 H s (u, v):tä käytetään sitten H(u, v):n estimaattina. 42 3.7 Lineaarinen paikkainvariantti huonontumisprosessi (5.5) Tutkitaan huonontumismallia lähemmin. g(x, y) = H[f(x, y)] + η(x, y) Oletetaan nyt ensiksi, että kohinaa η(x, y) ei ole. Mikäli H[ ] on lineaarinen, niin H[af (x, y) + bf 2 (x, y)] = ah[f (x, y)] + bh[f 2 (x, y)] Lineaarinen operaattori on siis ensiksikin additiivinen: Huononnusfunktion estimointi kokeilemalla (5.6.2) Kuvataan mahdollisimman pientä kirkasta pistettä, jolloin kuvassa nähdään pisteenleviämisfunktio g(x, y) suoraan ja H(u, v) = G(u, v) A Huononnusfunktion estimointi mallista (5.6.3) Esim. ilmakehän turbulenssin tuottamaa huonontumista voidaan mallittaa: H(u, v) = e k(u2 +v 2 ) 5/6 ja lisäksi homogeeninen: H[f (x, y) + f 2 (x, y)] = H[f (x, y)] + H[f 2 (x, y)] 39 H[af (x, y)] = ah[f (x, y)] k k =.25 k =. k =.25 43 Operaattori H, jolle H[f(x, y)] = g(x, y) on paikka- eli avaruusinvariantti, jos H[f(x α, y β)] = g(x α, y β) kaikille kuville f(x, y) ja siirtymille (α, β). Tällöin mielivaltaisen kuvapisteen vaste riippuu vain kuvapisteiden arvoista, ei pisteen paikasta. Jatkuva-arvoinen f(x, y) voidaan lausua impulssifunktion integraalin avulla: f(x, y) = Siten kohinattomassa tilanteessa: [ g(x, y) = H[f(x, y)] = H 4 = = f(α, β)δ(x α, y β) dαdβ ] f(α, β)δ(x α, y β) dαdβ H[f(α, β)δ(x α, y β)] dαdβ f(α, β)h[δ(x α, y β)] dαdβ Tasaisen lineaarisen liikevirheen korjaaminen (5.6.3) Yleisesti tärähtäneen kuvan g(x, y) syntyminen puhtaasta kuvasta f(x, y) voidaan mallintaa, kun tunnetaan aikariippuvat x- ja y-suuntaiset liikekomponentit x (t) ja y (t) ja valotusaika T: g(x, y) = T f [ x x (t), y y (t) ] dt Sen Fourier-muunnos on: G(u, v) = g(x, y)e j2π(ux+vy) dx dy [ T = f [ x x (t), y y (t) ] ] dt e j2π(ux+vy) dx dy = T f [ x x (t), y y (t) ] e j2π(ux+vy) dx dy dt 8 44
Ja edelleen: kun merkitään niin T G(u, v) = H(u, v) = = F (u, v) T F (u, v) e j2π [ux(t)+vy(t)] dt T e j2π [ux(t)+vy(t)] dt e j2π [ux(t)+vy(t)] dt G(u, v) = H(u, v)f (u, v) Joten, jos liikefunktiot x (t) ja y (t) tunnetaan, siirtofunktio H(u, v) voidaan määrätä. 45 Liikevirheen korjaaminen, esimerkki (5.6.3) Tasainen lineaarinen liike vain x-suunnassa: x (t) = at/t, y (t) =. 3. Wiener-suodatus (5.8) Wiener-suodatus on tyyppiesimerkki ns. pakotetusta kuvanentistyksestä. Se pyrkii minimoimaan f:n ja ˆf:n välistä neliöllistä virhettä e 2 = E[(f ˆf) 2 ]. Wiener-suodatus lausutaan Fourier-tasossa: H ˆF (u, v) (u, v) = G(u, v) H(u, v) 2 + γs η (u, v)/s f (u, v) H(u, v) 2 = G(u, v) H(u, v) H(u, v) 2 + γs η (u, v)/s f (u, v) S η (u, v) ja S f (u, v) ovat kohinan ja kuvan tehospektrit, vakio γ Wienersuodatuksen parametri, jolla voidaan vaikuttaa entistystulokseen. Wienersuodatus redusoituu käänteissuodatukseksi kohinattomassa tapauksessa tai kun γ =. Arvolla γ = Wiener-suodatus on e 2 :n mielessä optimaalinen. Jos S f (u, v) ja S η (u, v) ei tunneta tarkasti, Wiener-suodatus voi olla käyttökelpoinen, kun γ ja tehospektrien suhde korvataan vakiolla K: H(u, v) ˆF 2 (u, v) = H(u, v) H(u, v) 2 + K G(u, v) 49 Wiener-suodatus, esimerkki (5.7) käänteissuodatus rajoitettu käänt.suod. Wiener-suodatus H(u, v) = T e j2πuat/t dt = T sin(πua) e jπua πua Nähdään, että H(u, v) häviää, kun u = n/a, missä n on kokonaisluku. 46 5 3.9 Käänteissuodatus (5.7) Käänteissuodatus (inverse filtering) on tyyppiesimerkki ns. pakottamattomasta kuvanentistyksestä. Wiener-suodatus, toinen esimerkki (5.7) kohinainen kuva käänteissuod. Wiener-suodatettu Käänteissuodatus kirjoitetaan Fourier-tasossa: ˆF (u, v) = Sijoittamalla G(u, v):hen saadaan: ˆF (u, v) = G(u, v) H(u, v) G(u, v) H(u, v)f (u, v) + N(u, v) N(u, v) = = F (u, v) + H(u, v) H(u, v) H(u, v) Lähellä H(u, v):n nollakohtia kohina vahvistuu huomattavasti ja N(u,v) H(u,v) -termi dominoi entistystuloksessa. Käytännössä H(u, v) vaimenee nopeammin kuin N(u, v) etäisyyden kasvaessa (u, v)-tason origosta. Siten järkeviä tuloksia saadaan käänteissuotimella vain rajoitetulla alueella lähellä origoa. 47 Käänteissuodatus, esimerkki (5.7) koko H r = 4 48 r = 7 r = 85 3. Pakotettu pienimmän neliövirheen entistys (5.9) Wiener-suodatus perustuu kohinan korrelaatiomatriisiin ja on optimaalinen vain keskiarvon mielessä. Nyt esitettävä entistysmenetelmä on optimaalinen annetulle kuvalle, kun kohinan keskiarvo ja varianssi oletetaan tunnetuiksi. Optimoitava kriteeri on kuvan tasaisuus, koska additiivinen kohina yleisesti tekee kuvan epätasaiseksi tai rakeiseksi. Kuvan tasaisuutta mallitetaan kuvafunktion toisen derivaatan, so. diskreetin Laplace-operaattorin, neliöllisellä minimoinnilla. Merkitään: M N ] 2 min! C = [ 2 ˆf(x, y) ja x= y= p(x, y) = 4 Optimoinnin ratkaisu on tällöin: H ˆF (u, v) (u, v) = G(u, v) H(u, v) 2 + γ P (u, v) 2 9 52 5
Lagrangen kertoimelle γ valitaan arvo joko visuaalisesti tai iteraatiolla, joka löytää pakotteen g H f 2 = η 2 toteuttavan arvon. 2 on euklidinen normi. g, f ja η ovat MN -kokoisia kuvavektoreita, H on MN MN-kokoinen huononnusmatriisi, joille voidaan aiempia merkintöjä vastaavasti lausua: G(u, v) = H(u, v)f (u, v) + N(u, v) g(x, y) = h(x, y) f(x, y) + η(x, y) g = Hf + η Jos sovitus perustuu neljän kiintopisteen käyttöön, muodostuu neljäsamanaikaista yhtälöä, joista voidaan ratkaista neljä tuntematonta ˆx:n parametria ja yhtä monta ŷ:n parametria. Tyypillisesti käytetään bilineaarista yhtälömuotoa: ˆx = r(x, y) = c x + c 2 y + c 3 xy + c 4 ŷ = s(x, y) = c 5 x + c 6 y + c 7 xy + c 8 Muunnos kuvaa kiintopisteet f-kuvasta g-kuvaan ja interpoloi bilineaarisesti kiintopisteiden välisessä alueessa. Muunnos ratkaistaan erikseen kaikille kiintopistenelikoille. Jokaiselle f:n diskreetille (x, y)-pisteelle löydetään g-kuvassa (ˆx, ŷ)-vastinpiste, missä ˆx ja ŷ eivät ole kokonaislukuja. 53 3.2 Yhteenveto entistyksestä taajuusalueessa (5.7 ) Pakottamattomassa entistyksessä (unconstrained restoration) ei tunneta g:n ja H:n lisäksi muita muuttujia. Estimoidaan ˆf:ää siten, että tuloksena saatava kohinan η varianssi minimoituu. Pakotetussa entistyksessä (constrained restoration) ei tyydytä vain minimoimaan kohinatermin normia vaan lisäksi minimoidaan tunnetun lineaarisen operaattorin määräämää virhekriteeriä. Valitsemalla virhekriteeri eri tavoin saadaan erilaisia huonontumismallin kanssa yhteensopivia ratkaisuja. Kaikki esitetyt ratkaisut olivat muotoa: 54 ˆF (u, v) = käänteissuodatuksessa X(u, v) =. H (u, v) G(u, v) H(u, v) 2 + X(u, v) Wiener-suodatuksessa X(u, v) = γs η (u, v)/s f (u, v) tai K. pienimmän neliövirheen entistyksessä X(u, v) = γ P (u, v) 2. 3.3 Geometriset muunnokset (5.) Geometriset muunnokset eroavat perusteiltaan aiemmista entistämisongelmista. Kun aiemmissa tapauksissa vääristymä oli tullut kuvan pikseleiden harmaaarvoihin, geometrisia muunnoksia tarvitaan tilanteissa, joissa vääristymä on vaikuttanut kuvapikseleiden xy-koordinaatteihin. Geometrisista muunnoksista kutsutaan joskus nimellä kumiarkkimuunnokset. Muunnos toteutetaan normaalisti kahdessa vaiheessa: spatiaalimuunnos koordinaattiparien välillä harmaa-arvomuunnos pikseleiden välillä Geometrinen harmaa-arvomuunnos (5..2) Geometrisella harmaa-arvomuunnoksella tuotetaan f:n jokaiselle diskreetille (x, y)-pisteelle harmaa-arvo sen (ˆx, ŷ)-vastinpisteen avulla g-kuvasta. (ˆx, ŷ) sijaitsee aina g-kuvan neljän diskreetin pikselin välillä. Koska näiden neljän pikselin harmaa-arvot tunnetaan, voidaan (ˆx, ŷ):n ja siten edelleen entisöitävän f-kuvan (x, y)-pisteen harmaa-arvo jollakin tavoin approksimoida. Yksinkertaisin menetelmä on nollannen asteen interpolointi eli pyöristäminen lähimpään kokonaislukupikseliin. Se on laskennallisesti kevyt, mutta johtaa helposti ruudukkoisuuteen ja muihin vääristymiin tuloskuvassa. Jos halutaan käyttää kaikkien neljän naapuripikselin sisältämä informaatio hyväksi, päädytään taas bilineaariseen interpolaatioon: v(ˆx, ŷ) = aˆx + bŷ + cˆxŷ + d missä v(ˆx, ŷ) on (ˆx, ŷ):n harmaa-arvo. Kertoimet a, b, c ja d voidaan ratkaista neljästä samanaikaisesta yhtälöstä sijoittamalla neljän naapuripikselin tunnetut koordinaatit ja harmaa-arvot. 58 Vastaavasta menetelmästä resoluutiomuutoksessa käytetään usein nimitystä anti-aliasing-suodatus. Paitsi neljää naapuripikseliä,voitaisiin käyttää myös esim. 6 naapuria. Laskenta on tällöin luonnollisesti raskaampaa, mutta harmaa-arvojen jatkuvuus kuvapikselien välillä vastaavasti parempi. Muita sovelluskohteita geometriselle muunnokselle: kuvien rekisteröinti: sovitetaan yhteen samaa näkymää eri kuvakulmista esittäviä kuvia, esim. satelliittikuvat. karttaprojektiot ym. kaukokartoitukseen liittyvät sovellukset. 57 Voidaan kuvitella tilanne, jossa geometrinen muunnos voitaisiin määritellä analyyttisesti koko kuva-alalle. Käytännössä kuitenkin muunnos toteutetaan joidenkin kuvasta löydettävien tunnettujen solmu- eli kiintopisteiden (tiepoint) rajaamissa kolmi- tai nelikulmioissa. 55 Geometrinen spatiaalimuunnos (5..) 4. Morfologiaa binaarikuvien loogista käsittelyä, yleistyksiä harmaasävykuviin kuvaa käsitellään pistejoukkona Morfologian käyttökohteita: 59 f g Olkoon alkuperäisen kuvan f koordinaatit (x, y) ja vastaavat vääristyneen kuvan g koordinaatit (ˆx, ŷ). Geometrinen vääristymä lausutaan: ˆx = r(x, y) ŷ = s(x, y) r(x, y):n ja s(x, y):n parametrinen muoto täytyy valita siten, että tarvittavat parametrit voidaan estimoida havaittavista kiintopisteistä. 56 esikäsittely: kohinanpoisto muodon korostaminen kohteiden kvalitatiivinen kuvaaminen Morfologisia operaatioita: dilaatio & eroosio avaus & sulkeminen hit-or-miss ohennus & paksunnus ehdolliset operaatiot 2 6