Digitaalinen kuvankäsittely T-61.5100 (5 op) L Syksy 2005 Luennot: Laskuharjoitukset: Jorma Laaksonen Jukka Iivarinen OPETUSMONISTE 2005
Luento #1 14.9.2005 2 1. Yleistä kurssista....................... 11 1.1 Kurssin suorittaminen................ 11 1.2 Ilmoittautuminen.................. 11 1.3 Tiedotukset..................... 11 1.4 Luennot....................... 12 1.5 Laskuharjoitukset.................. 12 1.6 Poikkeuksia luento- ja harjoitusajoista....... 13 1.7 Kirja......................... 14 1.8 Monisteet...................... 15 1.9 Harjoitustehtävä................... 15 1.10 Tentti........................ 16 1.11 Suhde vanhaan T-61.247-kurssiin.......... 16 1.12 Kurssi eri tutkinto-ohjelmien moduuleissa..... 17 1.13 Kurssipalaute.................... 17 2. Johdanto........................... 18 2.1 Päämäärät ja osa-alueet (1.1)............ 18 2.2 Historiaa (1.2).................... 20 2.3 Yhteydet muihin aloihin (1.2)............ 21
3 2.4 Sovelluksia (1.3)................... 22 2.5 Kuvantamismenetelmiä (1.3)............. 23 2.6 Kuvankäsittelyn vaiheet (1.4)............ 24 2.7 Kuvankäsittelyjärjestelmän osat (1.5)........ 25 3. Ihmisen näköjärjestelmän perusteita............. 26 3.1 Ihmissilmän rakenne (2.1).............. 26 3.2 Verkkokalvon reseptorit (2.1.1)............ 27 3.3 Kuvanmuodostus (2.1.2)............... 28 3.4 Kirkkauden erottelu (2.1.3)............. 29 3.5 Adaptoituminen valaistukseen (2.1.3)........ 30 3.6 Machin nauhat (2.1.3)................ 31 3.7 Valo fysikaalisena suureena (2.2)........... 32 4. Kuvanmuodostus....................... 33 4.1 Kuvanmuodostusvälineitä (2.3)........... 33 4.2 Yksittäissensori (2.3.1)................ 34 4.3 Viivasensorit (2.3.2)................. 35 4.4 Matriisisensori (2.3.3)................ 36 4.5 Kuvamalli (2.3.4)................... 37 5. Digitaalisen kuvan esitysmuoto............... 38
5.1 Koordinaatit (2.4.2)................. 38 5.2 Näytteenotto ja kvantisointi (2.4.2)......... 39 5.3 Kuvan subjektiivinen laatu (2.4.3).......... 42 5.4 Digitaalikuvien suurentaminen ja pienentäminen (2.4.5) 43 6. Kuva-alkioiden yhteyksiä................... 44 6.1 Naapuruus (2.5.1).................. 44 6.2 Liitännäisyys (2.5.2)................. 46 6.3 Polut (2.5.2)..................... 48 6.4 Etäisyysmitat (2.5.3)................. 49 Luento #2 16.9.2005 4 6.5 Lineaariset operaatiot ja operaattorit (2.6)..... 51 7. Kuvien ehostaminen pisteoperaatioin............ 52 7.1 Spatiaalialuemenetelmät ehostuksessa (3.1)..... 53 7.2 Harmaataso-operaatiot (3.2)............. 54 7.3 Harmaa-arvohistogrammioperaatiot (3.3)...... 57 8. Kokonaisiin kuviin kohdistuva ehostus............ 65 8.1 Aritmeettiset ja loogiset operaatiot (3.4)...... 65 9. Kuvien ehostaminen spatiaalisuodatuksella......... 68
9.1 Spatiaaliset ympäristöoperaatiot (3.5)........ 68 9.2 Spatiaalinen pehmennys ehostuksessa (3.6)..... 70 9.3 Lineaarinen alipäästösuodatus (3.6.1)........ 72 9.4 Kuvan terävöittäminen ylipäästösuodatuksella (3.7). 76 Luento #3 23.9.2005 10. Fourier-muunnoksen perusteet................ 85 10.1 Fourier-muunnospari jatkuvassa tapauksessa (4.2.1). 86 10.2 Diskreetti Fourier-muunnos, DFT (4.2.1)...... 87 10.3 Kaksiulotteinen diskreetti Fourier-muunnos (4.2.2). 89 Luento #4 30.9.2005 10.4 Taajuustasossa suodattaminen (4.2.3)........ 93 11. Kuvien ehostaminen taajuustasossa............. 96 11.1 Alipäästösuodatus (4.3)............... 96 11.2 Ylipäästösuodatus (4.4)............... 105 11.3 Homomorfinen suodatus (4.5)............ 109 Luento #5 7.10.2005 5
13.10 Wiener-suodatus (5.8)................ 153 13.11 Pakotettu pienimmän neliövirheen entistys (5.9).. 156 6 12. Lisää Fourier-muunnoksesta................. 111 12.1 Jaksollisuus ja laajennetut sekvenssit (4.6.3)..... 117 13. Kuvien entistäminen..................... 124 13.1 Yleistä entistämisestä (5).............. 124 13.2 Huonontumismalli (5.1)............... 125 13.3 Kohinamalleja (5.2.2)................ 126 13.4 Spatiaalitasossa entistäminen (5.3)......... 130 Luento #6 14.10.2005 13.5 Adaptiivinen suodatus (5.3.3)............ 134 13.6 Jaksollisen kohinan poisto taajuustasossa (5.4)... 137 13.7 Lineaarinen paikkainvariantti huonontumisprosessi (5.5)143 13.8 Huononnusfunktion estimointi (5.6)......... 146 13.9 Käänteissuodatus (5.7)................ 151 Luento #7 21.10.2005
7 13.12 Yhteenveto entistyksestä taajuusalueessa (5.7 11). 158 13.13 Geometriset muunnokset (5.11)........... 159 14. Morfologiaa......................... 164 14.1 Käsitteitä ja operaatioita (9.1.1)........... 165 14.2 Dilaatio (täyttö, kasvatus) (9.2.1)........ 166 14.3 Eroosio (pienennys) (9.2.2)............ 168 14.4 Avaus ja sulkeminen (9.3)............ 170 Luento #8 2.11.2005 14.5 Reunan erottaminen (9.5.1)............. 173 14.6 Alueen täyttäminen (9.5.2).............. 174 14.7 Yhtenäisten komponenttien erottaminen (9.5.3)... 175 14.8 Osuma-tai-huti (hit-or-miss) (9.4)........ 176 14.9 Ohennus (9.5.5).................. 176 14.10 Paksunnus (9.5.6)................. 177 14.11 Golay-aakkosia (9.5.5-6)............... 178 15. Aallokkeet ja moniresoluutiokäsittely............ 181 15.1 Käsitteitä ja apuvälineitä (7.1)............ 181
17. Virhettä tuottava tiivistys.................. 250 17.1 Muunnoskoodaus tiivistysmenetelmänä (8.5.2)... 260 17.2 Tärkeimpiä kuvantiivistysstandardeja (8.6)..... 268 1 8 Luento #9 4.11.2005 15.2 Moniresoluutiokäsittely (7.2)............. 193 15.3 Yksiulotteinen aallokemuunnos (7.3)......... 201 15.4 Kaksiulotteinen aallokemuunnos (7.5)........ 205 16. Kuvien tiivistäminen..................... 209 16.1 Tiivistyksen taustaa (8)............... 209 16.2 Kuvantiivistyksen perusteita (8.1).......... 211 Luento #10 18.11.2005 16.3 Kuvantiivistysmalli (8.2)............... 222 16.4 Informaatioteorian käsitteitä (8.3).......... 225 16.5 Virheetön tiivistys (8.4)............... 235 Luento #11 25.11.2005
18. Kuvien segmentointi..................... 269 18.1 Epäjatkuvuuksien havaitseminen (10.1)....... 270 18.2 Reunapisteiden yhdistäminen ja rajaviiva (10.2)... 279 18.3 Hough-muunnos (10.2.2)............... 281 Luento #12 2.12.2005 9 18.4 Kynnystys (10.3)................... 285 18.5 Aluelähtöinen segmentointi (10.4).......... 295 18.6 Liikkeen käyttö segmentoinnissa (10.6)....... 299 19. Värin käyttö kuvankäsittelyssä................ 300 19.1 Värienkäytön perusteita (6)............. 300 19.2 Väriteorian perusteita (6.1)............. 302 19.3 Värimallit (6.2).................... 309 19.4 Väärävärikuvat (6.3)................. 317 19.5 Värimuunnokset (6.5)................ 322 19.6 Värikuvien pehmennys ja terävöitys (6.6.1 2).... 326 19.7 Värisegmentointi HSI-avaruudessa (6.7.1)...... 327 19.8 Reunanetsintä värikuvissa (6.7.3).......... 329 19.9 Kohina värikuvissa (6.8)............... 332
10 20. Tenttivaatimukset...................... 333
1. Yleistä kurssista 11 1.1 Kurssin suorittaminen Kurssin suorittamiseen kuuluu pakollinen harjoitustehtävä ja tentti. 1.2 Ilmoittautuminen Ilmoittautuminen kurssille ja tentteihin osoitteessa https://webtopi.hut.fi/. 1.3 Tiedotukset Kurssiin liittyvistä asioista tiedotetaan osoitteessa http://www.cis.hut.fi/opinnot/t-61.5100/, ryhmässä news://nntp.tky.hut.fi/opinnot.tik.informaatiotekniikka sekä Informaatiotekniikan laboratorion ilmoitustaululla kolmannen kerroksen aulassa B-käytävän suulla.
Harjoitustehtävät ovat ennakkoon nähtävillä http://www.cis.hut.fi/opinnot/t-61.5100/laskarit/. Harjoitustehtävät ovat suomeksi ja englanniksi, vastaukset englanniksi. 12 1.4 Luennot Luennot (12 kappaletta) pidetään perjantaisin kello 10 12 salissa T1. Luennot pitää dosentti Jorma Laaksonen (mailto:jorma.laaksonen@hut.fi), vastaanotto luennon jälkeen perjantaisin kello 12 13 huoneessa B304. Luentokalvot ovat viimeistään luennon jälkeen esillä verkossa, http://www.cis.hut.fi/opinnot/t-61.5100/dkk-kalvot.pdf. Ennen luentoa voi jo tutustua syksyn 2004 luentokalvoihin osoitteessa http://www.cis.hut.fi/opinnot/t-61.5100/dkk-kalvot2004.pdf. 1.5 Laskuharjoitukset Laskuharjoitukset (10 11 kappaletta) pidetään keskiviikkoisin salissa T1 I-periodilla kello 10 12 ja II-periodilla kello 14 16 alkaen 21.9.2005. Harjoitukset pitää TkT Jukka Iivarinen (mailto:jukka.iivarinen@hut.fi).
1.6 Poikkeuksia luento- ja harjoitusajoista Normaaleista luento- ja harjoitusajoista saattaa tulla syksyn kuluessa poikkeuksia. Nyt aikataulu näyttää tältä: viikko ke 10 12 pe 10 12 37 14.9. L1 16.9. L2 38 21.9. H1 23.9. L3 39 28.9. H2 30.9. L4 40 5.10. H3 7.10. L5 41 12.10. H4 14.10. L6 42 19.10. H5 21.10. L7 viikko ke 14 16 pe 10 12 44 2.11. L8 4.11. L9 45 9.11. H6-7 11.11.??? 46 16.11. H8 18.11. L10 47 23.11. H9 25.11. L11 48 30.11. H10 2.12. L12 49 7.12. H11 Muutokset ovat mahdollisia, seuratkaa ilmoittelua! 13
14 1.7 Kirja Rafael C. Gonzalez & Richard E. Woods, Digital Image Processing, Second Edition, Prentice-Hall, 2002, ISBN 0201180758, http://www.imageprocessingplace.com. Kirjasta luetaan kappaleet 1 10. Tutustumiskappale luvuista 3 10 on nähtävillä Informaatiotekniikan laboratorion sihteerin Tarja Pihamaan huoneen B326 harmaassa peltisessä vetolaatikostossa. Huomatkaa myös verkossa olevat luvut 1 2 sekä korjaukset: http://www.imageprocessingplace.com/dip/dip sample book material/sample book material.htm http://www.imageprocessingplace.com/dip/dip book updates/book updates.htm Kirjasta on jo olemassa ainakin kymmenen eri painosta, numerot 1 10. Oman kirjansa painosnumeron saa selville sivulta iv, tässä esim. painos #1:
15 1.8 Monisteet Sekä luentokalvot että laskuharjoitukset ratkaisuineen ovat saatavissa verkosta. Lisäksi ne toimitetaan myös Editan opetusmonisteina. Kurssitoimittajaa ei tarvita. 1.9 Harjoitustehtävä Kurssin suoritukseen kuuluu pakollinen harjoitustehtävä, joka arvostellaan hyväksytty/hylätty-periaatteella. Palautus paperitulosteena Informaatiotekniikan laboratorion postilaatikkoon T-talon 3. kerroksen aulaan. Harjoitustehtävä on palautettava 16.1.2006 mennessä! Myöhempiin tentteihin ei saa osallistua, ellei harjoitustehtävä ole hyväksytysti suoritettu. Harjoitustehtävä tulee lokakuun aikana esille osoitteeseen http://www.cis.hut.fi/opinnot/t-61.5100/project/.
2 16 1.10 Tentti Tenttejä järjestetään kolme: ensimmäinen maanantaina 19.12., toinen kevään luentokauden alkupuolella ja viimeinen syksyn 2006 tenttikaudella tai luentokauden alussa. Tentissä neljä tehtävää à 6 pistettä eli maksimi 24 pistettä, 9 pisteellä läpi. Käyttää saa paperia, kynää, kumia ja ei-ohjelmoitavaa funktiolaskinta. Kaavakokoelmia ei saa käyttää eikä niitä jaeta. 1.11 Suhde vanhaan T-61.247-kurssiin Kurssi korvaa vanhan samannimisen kurssin T-61.247, jonka laajuus oli 3 ov.
17 1.12 Kurssi eri tutkinto-ohjelmien moduuleissa T270-2 Informaatiotekniikka A2 ja A3 T272-3 Bioinformatiikka A3 AS310-3 Visuaalinen media syventävä moduuli S290-C Mikroelektroniikkasuunnittelun erikoismoduuli 1.13 Kurssipalaute Palautetta kurssista voi antaa verkossa osoitteessa http://www.cs.hut.fi/opinnot/palaute/kurssipalaute.html.
2. Johdanto Vanha klisee: Yksi kuva kertoo enemmän kuin tuhat sanaa. Arvioilta 75% ihmisen saamasta informaatiosta perustuu näköhavaintoihin. Kuvainformaation automaattisen käsittelyn tarve on suuri. Digitaalisen kuvankäsittelyn yleistymistä on perinteisesti hidastanut se, että käytettävien datamäärien suurudesta on seurannut tarvittavien laitteiden kalleus ja käsittelyn hitaus. Tästä perinteestä on nyt päästy eroon ja yhä useammat sovellukset ovat tulleet käytännössä toteuttamiskelpoisiksi. 2.1 Päämäärät ja osa-alueet (1.1) Päämääriltään digitaalinen kuvankäsittely jakautuu päähaaroihin: Kuvainformaation parantaminen ihmisen tulkintaa varten. 18 kuvankäsittely: kuva kuva pisteoperaatiot
Käytettävät menetelmät riippuvat paljon sovelluksesta. 19 suodatus entistäminen geometrian korjaus viivojen ja reunojen vahvistus kuvien kohdistus muutosanalyysi Kuvainformaation käsittely koneellista tulkintaa varten. kuva-analyysi / konenäkö: kuva jotain muuta kohteentunnistus kuvasta kuvan selittäminen, näkymäanalyysi robottinäkö, aktiivinen konenäkö Kuvien tiivistäminen Rekonstruktio projektioista
20 2.2 Historiaa (1.2) Lehtikuvien siirto merikaapelilla Lontoon ja New Yorkin välillä 1920-luvulla. 1921 1922 (5 harmaasävyä) Avaruusluotainten lähettämien kuvien parantelu 1960-luvulla Yhdysvalloissa. 1960- ja 70-lukujen taitteesta alkaen satelliittikuvien käsittely, lääketieteelliset kuvantamis- ja analyysimenetelmät, astronomiset kuvat, hiukkasfysiikka, teollinen laadunvalvonta.
21 2.3 Yhteydet muihin aloihin (1.2) Hahmontunnistus Signaalinkäsittely Tekoäly Digitaalinen kuvankäsittely Optiikka Havaintopsykologia Graafinen tekniikka
22 2.4 Sovelluksia (1.3) sotilassovellukset graafinen ala kaukokartoitus lääketiede teollinen laaduntarkastus robottinäkö kuvansiirto ja -arkistointi arkeologia, fysiikka, tähtitiede, biologia, rikostutkinta,...
23 2.5 Kuvantamismenetelmiä (1.3) gammakuvaus (10 5 ev): lääketiede, PET, astronomia röntgenkuvaus (10 3 ev): lääketiede, varjoaine, CAT, ultraviolettikuvaus (10 1 ev): mikroskopia, astronomia näkyvä valo (10 0 ev): satelliittikuvat, sormenjäljet infrapunakuvaus (10 1 ev): satelliittikuvat mikroaaltokuvaus (10 4 ev): tutkakuvat radioaaltokuvaus (10 8 ev): lääketiede, MRI, astronomia seismografinen kuvaus (100 Hz): maaperän luonnonvarat kaikuluotaus: merenpohja ultraäänikuvaus (5 MHz): lääketiede elektronimikroskopia (10.000 ): TEM, SEM fraktaalit ja muut laskennalliset kuvat
3 24 2.6 Kuvankäsittelyn vaiheet (1.4) kuvanmuodostus esikäsittely: kuvan ehostus tai entistäminen segmentointi jälkikäsittely, morfologia representaatio, kuvatiedon esittäminen luokittelu, tunnistus
2.7 Kuvankäsittelyjärjestelmän osat (1.5) verkkoyhteys näyttölaite tietokone massamuisti tulostuslaite kuvankäsittelylaitteisto kuvankäsittelyohjelmisto kuvasensorit 25 "reaalimaailma"
3. Ihmisen näköjärjestelmän perusteita 26 3.1 Ihmissilmän rakenne (2.1) linssi verkkokalvo tarkan näön alue fovea iiris optinen akseli näköhermo sokea täplä
27 3.2 Verkkokalvon reseptorit (2.1.1) Tapit (cones) kirkasnäkö (photopic vision) 6 7 miljoonaa keskellä verkkokalvoa (5 ) herkkiä väreille: tappeja kolmea eri lajia yksityiskohtien näkeminen oma hermo jokaisella Sauvat (rods) hämäränäkö (scotopic vision) 75 150 miljoonaa jakautuneena verkkokalvolle (160 ) ei värinäköä yleiskuvan muodostaminen useita samassa hermossa herkkiä muutoksille näkymässä
28 3.3 Kuvanmuodostus (2.1.2) 15 m 2.55 mm 100 m 17 mm Erona optisiin linsseihin on silmän mukautumiskyky ja joustavuus.
Kirkkaassa valaistuksessa Weberin suhde on pienempi ja siten silmän suhteellinen erottelukyky parempi kuin hämärässä. 29 3.4 Kirkkauden erottelu (2.1.3) I + I I I taustan intensiteetti I intensiteetin muutos keskellä I c pienin muutos, joka havaittavissa 50% kokeista I c /I Weberin suhde I c /I pieni: pienet suhteelliset muutokset havaitaan, hyvä erottelu I c /I suuri: vain suuret muutokset havaitaan, huono erottelu
30 3.5 Adaptoituminen valaistukseen (2.1.3) Silmän adaptaatiokyky valtava: 10 10 tasoa hämäräkynnykseltä häikäisyrajalle. Samanaikaisesti silmä voi kuitenkin adaptoitua vain tietylle kirkkausalueelle. Silmä ei siten voi adaptoitua kirkkaudeltaan erilaisiin yksityiskohtiin vaan ainoastaan keskimääräiseen kirkkauteen. Mielivaltaissa kuvapisteympäristössä havaitaan 10 20 intensiteettitasoa. Kuvan eri osissa adaptaatio muuttuu ja havaitaan eri intensiteettejä ja siten suurempi kokonaiserottelualue. Tasaisissa kuvissa vaaditaan yleensä yli 100 intensiteettitasoa.
31 3.6 Machin nauhat (2.1.3) Vakiointensiteetti näyttää viereisen muutoksen vuoksi vaihtelevalta. = Kynnykset korostuvat entisestään. Selitys: meksikolainen hattu -funktio, jolla kuva konvoloituu verkkokalvolla. 1.4 0.5 1.4 1.2 0.4 1.2 1 1 0.8 0.6 0.4 * 0.3 0.2 0.1 = 0.8 0.6 0.4 0.2 0.2 0 0 0 0.2 0.1 0.2 0.4 0 100 200 300 400 500 600 0.2 0 10 20 30 40 50 60 0.4 0 100 200 300 400 500 600
4 32 3.7 Valo fysikaalisena suureena (2.2) Taajuus ν Aallonpituus λ = c ν Fotonin energia E = hν akromaattinen (achromatic), valoa karakterisoi vain sen intensiteetti eli määrä. Esim. musta-valko-tv. kromaattinen (chromatic), huomioi energian jakautumisen sähkömagneettisen säteilyn kaistalla 400 700 nm. radianssi (radiance) valolähteen kokonaisenergia, mittayksikkö watti (W). luminanssi (luminance) mittaa havainnoijan havaitsemaa energiamäärää, esimerkiksi infrapunalähteen luminanssi on lähes nolla, mittayksikkö lumen (lm). kirkkaus (brightness) subjektiivinen mitta.
4. Kuvanmuodostus 33 4.1 Kuvanmuodostusvälineitä (2.3) hopeafilmi puolijohdesensorit yksittäissensorit viivasensorit matriisisensorit
4.2 Yksittäissensori (2.3.1) 34
4.3 Viivasensorit (2.3.2) 35
4.4 Matriisisensori (2.3.3) 36
37 4.5 Kuvamalli (2.3.4) f(x, y) vastaa valoenergiaa 0 < f(x, y) < Havaittu kuva jaetaan valaistuskomponenttiin i(x, y) ja heijastuskomponenttiin r(x, y): f(x, y) = i(x, y) r(x, y) joille pätee: 0 < i(x, y) < 0 < r(x, y) < 1 Digitoidun monokromaattisen kuvan harmaataso l on usein kokonaisluku, l = 0 vastaa mustaa l = L 1 vastaa valkoista l [0, L 1]
5. Digitaalisen kuvan esitysmuoto 38 5.1 Koordinaatit (2.4.2) Digitaalinen kuva esitetään yleensä x- ja y-koordinaattien funktiona. Koordinaattijärjestelmän asettaminen vaihtelee. x y y y x x matemaattinen perinteinen Gonzalez&Woods
5.2 Näytteenotto ja kvantisointi (2.4.2) Digitointi xy-koordinaattien suhteen vastaa kaksiulotteista näytteenottoa, jota kutsutaan myös spatiaaliseksi kvantisoinniksi. Valaistusamplitudin digitointia kutsutaan harmaataso- eli intensiteettikvantisoinniksi. Digitaalinen kuva esitetään N N matriisina: f(0, 0) f(0, 1) f(0, N 1) f(1, 0) f(1, 1) f(1, N 1) f(x, y)... f(n 1, 0) f(n 1, 1) f(n 1, N 1) Valittava spatiaaliresoluutio N ja harmaatasoresoluutio G. Yleensä kahden potensseja: N = 2 n, G = 2 m. Täten kuvan tallettamiseen tarvitaan bittejä: b = N N m. Televisiokuvan tasoon päästään, kun N = 512 ja m = 7. 39
Digitaalinen kuva näytteenoton ja kvantisoinnin jälkeen (2.4.1) 5 40
41 192 128 96 64 48 32 256 b = 196608 b = 49152 b = 12288 64 b = 147456 b = 36864 b = 9216 16 b = 98304 b = 24576 b = 6144
42 5.3 Kuvan subjektiivinen laatu (2.4.3) Resoluutioluvut ja bittimäärät eivät suoraan vastaa ihmisen kokemusta kuvan laadusta. Subjektiivisia arvioita voidaan tutkia isopreferenssikäyrillä. Tasaisia alueita (eli alhaisia taajuuksia) sisältävissä kuvissa ihmissilmä haluaa paljon intensiteettikvantisointitasoja. Sen sijaan paljon yksityiskohtia (eli korkeita taajuuksia) sisältävissä kuvissa tarvitaan hyvää spatiaalista resoluutiota.
43 5.4 Digitaalikuvien suurentaminen ja pienentäminen (2.4.5) Kuvia suurennettaessa, so. niiden spatiaaliresoluutiota parannettaessa tehdään interpolaatiota uusien harmaa-arvojen laskemiseksi olemassaolevista. Yksinkertaisin interpolaation muoto on ns. nollannen kertaluvun eli lähimmän naapurin irterpolointi. Jos suurennuskerroin on jokin kokonaisluku, interpolointi yksinkertaistuu entisestään pikseleiden monistamiseksi. Yleisempi ja vääristymien kannalta parempi vaihtoehto on bilineaarinen interpolaatio: v(x, y ) = ax + by + cx y + d Se on anti-aliasoiva suodatus, joka poistaa joskus kuvaa suurennettaessa syntyviä häiritseviä pykäliä. Kuvia pienennettäessä voidaan käyttää analogisesti samoja menetelmiä kuin interpolointiin myös desimointiin.
6. Kuva-alkioiden yhteyksiä 44 6.1 Naapuruus (2.5.1) Kuva-alkiolla eli pikselillä p, jolla on koordinaatit (x, y), on neljä naapuria vaaka- ja pystysuunnissa pisteissä (x+1, y), (x 1, y), (x, y+1) ja (x, y 1). Niitä kutsutaan p:n 4-naapureiksi ja merkitään N 4 (p). p:n neljä diagonaalinaapuria ovat (x+1, y +1), (x 1, y +1), (x+1, y 1) ja (x 1, y 1) ja niitä merkitään N D (p). p:n 8-naapurusto muodostuu N 4 (p):n ja N D (p):n yhdisteenä: N 8 (p) = N 4 (p) N D (p). Kuvan reunoilla naapurustot ovat vajaita.
(x-1,y-1) (x,y-1) (x+1,y-1) (x-1,y) p (x,y) (x+1,y) (x-1,y+1) (x,y+1) (x+1,y+1) 45
46 6.2 Liitännäisyys (2.5.2) Pikseleiden liitännäisyys eli yhtenevyys eli konnektiivisuus (connectivity) on tärkeä käsite kuvan kohteiden reunaviivojen määrittelyssä ja alueiden määräämisessä. Kaksi kuva-alkiota ovat liitännäisiä, jos ne ovat jossakin mielessä naapureita ja lisäksi harmaatasoarvoiltaan riittävän samankaltaisia. Harmaatasojen samankaltaisuus voidaan määritellä joukolla V. Esimerkiksi, jos vain kuva-alkiot, joiden intensiteetit ovat 59, 60 tai 61, ovat kiinnostavia, niin määritellään V = {59, 60, 61}. Määritellään pikseleille p ja q kolme eri liitännäisyystyyppiä: 4-liitännäisyys: p V q V q N 4 (p) 8-liitännäisyys: p V q V q N 8 (p) m-liitännäisyys eli sekaliitännäisyys: p V q V (q N 4 (p) q N D (p) N 4 (p) N 4 (q) = )
47 Sekaliitännäisyys eliminoi 8-liitännäisyydestä usein seuraavat monikäsitteiset polut. 0 1 1 0 1 1 0 1 1 0 1 0 0 1 0 0 1 0 0 0 1 0 0 1 0 0 1 4 8 m Kaksi kuva-aluetta S 1 ja S 2 ovat vierekkäisiä (adjacent), joss p, q : p S 1 q S 2 p ja q liitännäisiä
Erilliset yhtenäiset komponentit ovat toisiinsa nähden pistevieraita, so. niillä ei ole yhteisiä jäseniä, so. niiden leikkaus on tyhjä. 6 48 6.3 Polut (2.5.2) Polku kuva-alkiosta p, jonka koordinaatit ovat (x, y), kuva-alkioon q, jonka koordinaatit ovat (s, t), on pikselijono: (x, y) = (x 0, y 0 ), (x 1, y 1 ),, (x n, y n ) = (s, t) Jonossa jokainen (x i+1, y i+1 ), i = 1,..., n, on liitännäinen (x i, y i ):n kanssa. n on polun pituus. Jono voidaan määritellä 4-, 8- ja m-liitännäisyyden mukaan. Kuvan osajoukkoon S kuuluvat alkiot p ja q ovat S:ssä liitännäisiä, joss on olemassa p:stä q:hun polku, jonka kaikki kuva-alkiot kuuluvat S:ään. Jos p on S:n kuva-alkio, p:n kanssa liitännäiset S:n alkiot muodostavat S:n yhtenäisen komponentin (connected component). Kaikki yhtenäisen komponentin pikselit ovat toisiinsa nähden liitännäisiä.
49 6.4 Etäisyysmitat (2.5.3) Olkoon p, q, ja z kuva-alkioita, joiden koordinaatit ovat vastaavasti (x, y), (s, t) ja (u, v). Etäisyysfunktio (metriikka) D toteuttaa seuraavat ehdot: D(p, q) 0 ja D(p, q) = 0 p = q D(p, q) = D(q, p) D(p, z) D(p, q) + D(q, z) Yleisesti käytettyjä etäisyysmäärittelyjä: D e (p, q) = (x s) 2 + (y t) 2 D 4 (p, q) = x s + y t D 8 (p, q) = max( x s, y t ) euklidinen etäisyys D 4 -etäisyys (city-block/manhattan) D 8 -etäisyys (šakkilauta)
50 e 8 4 Kahden pisteen välinen D 4 -etäisyys on lyhimmän niiden välisen 4-polun pituus. Vastaavasti D 8 -etäisyys ja 8-polku. Pisteestä etäisyydellä D 4 = 1 olevat kuva-alkiot ovat kyseisen pisteen 4- naapurit. Vastaavasti D 8 = 1 ja 8-naapurit. m-liitännäisyyttä vastaava etäisyys on polun pituus ja riippuu polun varrella olevien kuva-alkioiden arvoista ja niiden naapureista. Etäisyyttä kahden pikselin välillä voidaan tarkastella myös riippumatta niiden liitännäisyydestä.
51 6.5 Lineaariset operaatiot ja operaattorit (2.6) Keskeinen käsite myöhemmissä vaiheissa on jonkin operaation tai operaattorin lineaarisuus. Operaattorin H sanotaan olevan lineaarinen, joss H(af + bg) = ah(f) + bh(g) Operaatio, joka ei ole lineaarinen, on määritelmällisesti epälineaarinen.
7. Kuvien ehostaminen pisteoperaatioin Käytännön sovelluksessa voidaan yhdistää kaikkien lajien menetelmiä. 52 Kuvan ehostamisen (enhancement) päämääränä on käsitellä kuvaa siten, että lopputulos on alkuperäistä kuvaa parempi tietyssä mielessä tai sovelluksessa. Esimerkiksi voidaan kiinnittää huomiota kuvan visuaaliseen miellyttävyyteen, kuten terävyyteen tai kohinattomuuteen. Ehostamiskeinot ovat yleisesti sovelluskohtaisia. Tekniikat ovat myös hyvin heuristisia, koska on vaikea määritellä matemaattisesti, millainen olisi esim. ihmissilmin tarkastellen hyvä kuva. Ehostusmenetelmät voidaan jakaa kahteen kolmeen pääluokkaan: taajuusaluemenetelmät spatiaalialuemenetelmät pisteoperaatiot koko kuvan operaatiot maskioperaatiot
7.1 Spatiaalialuemenetelmät ehostuksessa (3.1) Käsitellään pikseleitä kuvatasossa g(x, y) = T [f(x, y)] f(x, y) on alkuperäinen kuva g(x, y) on käsitelty kuva T [ ] on kuvaan f kohdistuva operaattori pisteen (x, y) ympäristössä T -operaattori voidaan kohdistaa myös joukkoon keskinäisesti riippuvia ja kohdistettuja syötekuvia pikseleittäin. Tällöin pitäisikin kirjoittaa skalaarin f(x, y):n sijaan vektori f(x, y). Jos T :n vaikutusalue on vain itse (x, y)-pikseli yksin, kyseessä on pisteoperaatio, muutoin maskioperaatio. Ensinmainitut voidaan tulkita myös viimemainittujen yhdeksi erikoistapaukseksi. Toisaalta pisteoperaatioina voidaan toteuttaa menetelmiä, joille ei löydy suoraa vastinetta tai yleistystä maskioperaationa. 53
54 7.2 Harmaataso-operaatiot (3.2) Harmaataso-operaatioiksi kutsutaan pisteoperaatioita, joissa lähdekuvasta f(x, y) muodostetaan tuloskuva g(x, y) käyttäen muunnosfunktiota s = T (r), missä r = f(x, y) on harmaa-arvo lähdekuvan tietyssä pisteessä ja s = g(x, y) harmaa-arvo vastaavassa tuloskuvan pikselissä. Harmaataso-operaatioita ovat esim. kontrastin muuttaminen s = T (r) binarisointi s = T (r) s r r t r
55 kuvan negatointi s = T (r) dynamiikan kompressointi s = T (r) r logaritmointi s = c log(1 + r) s = T (r) r gammakorjaus s = cr γ s = T (r) r r
7 56 harmaatasoviipalointi s = T (r) s = T (r) bittitasoviipalointi s = T (r) r s = T (r) r s = T (r) s = T (r) r r r r
7.3 Harmaa-arvohistogrammioperaatiot (3.3) Histogrammioperaatiot ovat merkittävä pisteoperaatioiden ryhmä. Kuvan histogrammi muodostetaan laskemalla, kuinka monta kerta kukin harmaataso esiintyy kuvassa: p(r k ) = r k :n esiintymistod.näk.estim. = n k n r k [0, L 1] on k:s diskreetti harmaataso n k on k:nnen harmatason lukumäärä kuvassa n on pikselien lukumäärä koko kuvassa Histogrammin muodosta voidaan päätellä kuvan ominaisuuksia ja mahdollisesti tarvittavia ehostustoimenpiteitä. 57
58 Esimerkkejä harmaa-arvohistogrammin muodosta (3.3) p(r k ) p(r k ) p(r k ) p(r k ) tumma kuva r k vaalea kuva r k heikko kontrasti r k r k voimakas kontrasti Usein on helpointa ajatella r:n saavan reaalilukuarvoja välillä [0, 1], missä 0 vastaa mustaa ja 1 valkoista.
Harmaa-arvohistogrammin muuntaminen (3.3) Histogrammin muuntamisessa käytettävät harmaa-arvo-operaatiot ovat yleensä muotoa s = T (r), missä T (r) on yksikäsitteinen ja monotonisesti kasvava välillä 0 r 1, jolloin harmaa-arvojen järjestys säilyy 0 T (r) 1, kun 0 r 1, jolloin harmaa-arvot säilyvät sallituissa rajoissa Samat ominaisuudet on myös käänteismuunnoksella r = T 1 (s). Jatkuvassa tapauksessa voidaan tutkia differentiaaleja: [ p s (s) = p r (r) dr ] ds r=t 1 (s) Siten muunnetun kuvan harmaa-arvohistogrammi p s (s) voidaan saada halutuksi sopivalla T (r):n valinnalla. 59
Harmaa-arvohistogrammin tasoitus (3.3.1) Tarkastellaan muunnosfunktiota: s = T (r) = r 0 p r (w) dw, 0 r 1 Yhtälön oikea puoli esittää r:n kumulatiivista jakautumafunktiota (CDF). CDF kasvaa kasvaa monotonisesti 0:sta 1:een. s:n derivaatta r:n suhteen: ds dr = p r(r) Sijoitetaan dr aiempaan lausekkeeseen: ds [ p s (s) = p r (r) dr ] [ ] 1 = p r (r) ds r=t 1 (s) p r (r) = 1, 0 s 1 r=t 1 (s) Joten muunnos s = T (r) tuottaa tasaisen histogrammin p s (s). 60
Käytännössä kuitenkin toimitaan diskreeteillä jakaumilla. Se onkin itse asiassa helpompaa, koska jatkuvassa tapauksessa G 1 (s):n analyyttinen muodostaminen on useimmiten hankalaa. Diskreetissä tapauksessa sen sijaan voidaan taulukoida muunnosarvot kaikille harmaa-arvoille. 61 Harmaa-arvohistogrammin määräys (3.3.2) Histogrammin määräys (specification) tarkoittaa, että kuvan harmaa-arvojakauma muunnetaan halutunlaiseksi. Histogrammin määrääminen voidaan toteuttaa analogisesti histogrammin tasoituksen kanssa. Tasoitushan tehtiin käyttämällä alkuperäisen kuvan harmaaarvojen kertymäfunktiota s = T (r) = r 0 p r(w)dw. Mielivaltaisesta harmaaarvojakaumasta p z (w) päästään samoin tasajakaumaan käyttäen muunnosta v = G(z) = z 0 p z(w)dw. Tämän muunnoksen käänteismuunnoksella z = G 1 (v) voidaan taas muuntaa tasajakauma halutuksi jakaumaksi p z (w). Histogrammi voidaan siis määrätä mieleiseksi muunnoksella: z = G 1 (s) = G 1 (T (r)) missä T (r) alkuperäinen ja G(s) haluttu todennäisyystiheyden kertymäfunktio.
62 Esimerkki: Marsin kuu Phobos (3.3.2) Ongelmana liian voimakas kontrasti, keskivaiheen harmaa-arvot puuttuvat lähes kokonaan. alkuperäinen tasoitettu määrätty
63 Paikallinen ehostaminen histogrammin tasoituksella (3.3.3) Edellä esitellyt menetelmät ovat kohdistuneet koko kuva-alan harmaa-arvojakaumaan. Usein on kuitenkin tarpeen parannella yksityiskohtia kuvan pienehköissä osa-alueissa. Koska jokaisen pienehkön kuva-alueen pikseleillä on vain pieni vaikutus kokonaisharmaatasojakaumaan, ei globaali muunnos välttämättä kykene huomioimaan paikallisia parannustarpeita. Sekä histogrammin tasoitus että histogrammin määräys voidaan toteuttaa paikallisesti M N-ikkunassa, jossa keskipisteen uusi harmaa-arvo lasketaan käyttäen ympäröiviä pikseleitä harmaatasohistogrammin estimointiin.
Muunnos voimistaa paikallisia vaihteluita. Keskihajonta nimittäjässä saa aikaan, että alhaisen kontrastin eli pienen varianssin alueita kuvassa muutetaan eniten. 8 64 Muita paikallisen ehostuksen tilastollisia menetelmiä (3.3.4) Paitsi histogrammeihin, paikalliset ehostusmenetelmät voivat perustua myös paikalliseen harmaatasojen keskiarvoon ja varianssiin. Siten saadaan kuvassa kirkkaus ja kontrasti vakioitua paikallisesti. Tyypillisesti muunnos voi olla: g(x, y) = km ( ) f(x, y) m(x, y) + m(x, y), missä σ(x, y) g(x, y) = alkion (x, y) uusi harmaatasoarvo f(x, y) = alkion (x, y) vanha harmaatasoarvo m(x, y) = alkion (x, y) tietyn ympäristön paikallinen harmaatasokeskiarvo σ(x, y) = alkion (x, y) saman ympäristön paikallinen harmaatasovarianssi M = alkuperäisen kuvan f(x, y) kokonaisharmaatasokeskiarvo k = vakio, 0 < k < 1
8. Kokonaisiin kuviin kohdistuva ehostus 65 8.1 Aritmeettiset ja loogiset operaatiot (3.4) Kuvien välillä voidaan määritellä tavanomaiset aritmeettiset (+,,*,/) ja loogiset (,, ) operaatiot. Kuvien täytyy tällöin useimmiten olla keskenään saman kokoisia ja jotkut määrittelyt ovat mielekkäitä vain binaarisille kuville. Esimerkki: Kuvan osa voidaan erottaa ympäristöstään joko loogisella JA-operaatiolla (yllä) tai TAI-operaatiolla (alla).
66 Erotuskuvat (3.4.1) Kuvien f(x, y) ja h(x, y) erotus saadaan vähentämällä vastaavat kuvapisteiden harmaasävyt toisistaan: g(x, y) = f(x, y) h(x, y) Erotuskuvissa voidaan havaita muutokset tai liike. Sovellutuksia: 1) ehostus, 2) segmentointi Esimerkki: Liikennevirran havainnointi: vähennetään peräkkäiset kuvat toisistaan ja otetaan itseisarvo. Tällöin paikoillan pysyvä ja siksi arvoiltaan vakio tausta muuttuu mustaksi. Varjoaineen etenemisen seuraaminen verenkierrossa: vähennetään varjoaineen ruiskuttamisen jälkeen otetut röntgen- tms. kuvat ennen varjoaineen antoa otetusta kuvasta.
Käytännössä kaikissa sovelluksissa ei voida saadaan peräkkäisiä identtisiä otoksia. Myös kuvien täsmällinen kohdistaminen päällekäin on vaikeaa, jos tapahtuu pientäkin liikettä kuvien välillä. Keskiarvoistusta voidaan kuitenkin soveltaa valo- ja elektronimikroskopiassa sekä astronomiassa. 67 Keskiarvo useista kuvista (3.4.2) Jos on mahdollista ottaa useita identtisiä kuvia samasta kohteesta, voidaan kuvassa esiintyvää kohinaa ratkaisevasti vähentää. Oletetaan kohinamalli g(x, y) = f(x, y) + η(x, y) missä kohina η(x, y) on korreloimatonta ja nollakeskiarvoista. Lasketaan pisteittäinen keskiarvokuva K:stä kuvasta {g i (x, y); i = 1, 2,..., K}: g(x, y) = 1 K K g i (x, y) Nyt E{g(x, y)} = f(x, y) ja σg(x,y) 2 = 1 K σ2 η(x,y). K:n kasvaessa pikseliarvojen varianssi pienenee ja g(x, y) lähestyy f(x, y):tä. i=1
9. Kuvien ehostaminen spatiaalisuodatuksella 68 9.1 Spatiaaliset ympäristöoperaatiot (3.5) Suuri osa digitaalisen kuvankäsittelyn menetelmistä perustuu aritmeettisten (tai loogisten) operaatioiden suorittamiseen kunkin kuva-alkion määrätyssä ympäristössä. Operaatioita kutsutaan eri nimillä: maskioperaatiot, templaattioperaatiot, ikkunaoperaatiot, suodatusoperaatiot, konvoluutio-operaatiot,... Aritmeettiset ympäristöoperaatiot voidaan lausua pikseleiden harmaa-arvojen z i ja maskin kertoimien w i avulla. z 1 z 2 z 3 z 4 z 5 z 6 z 7 z 8 z 9 w 1 w 2 w 3 w 4 w 5 w 6 w 7 w 8 w 9 Esimerkiksi 3 3-kokoinen maski, jolla lasketaan ympäristön keskiarvo: z = 1 9 (z 1 + z 2 + + z 9 ) = 1 9 9 i=1 z i
69 Yleisemmässä tapauksessa voidaan maskin avulla laskea painotettu summa: z = 9 w i z i i=1 Operaatio vastaa vektorimuotoista sisä- eli pistetuloa: z = w T z, missä w ja z ovat painokertoimista ja kuva-alkion ympäristöstä muodostetut vektorit. Sisätulomuotoiset ympäristöoperaatiot ovat lineaarisia.
70 9.2 Spatiaalinen pehmennys ehostuksessa (3.6) Jo aiemmin esitellyt menetelmät ovat olleet spatiaalisia, mutta niissä käsittely on kohdistunut kuvaan pikseli kerrallaan. Spatiaalimenetelmien yleisessä tapauksessa pikselin uusi harmaa-arvo määräytyy pikselin ja sen tietyn spatiaalisen ympäristön alkuperäisistä harmaa-arvoista. Spatiaalisuodatuksen tärkein alaluokka on lineaariset suotimet. siirtofunktio on impulssivasteen (pisteen leviämisfunktion) Fouriermuunnos alipäästösuodin vaimentaa korkeataajuisia komponentteja ja päästää lävitse matalat taajuudet ylipäästösuodin vaimentaa matalataajuisia komponentteja ja päästää lävitse korkeat taajuudet kaistanpäästösuodin vaimentaa sekä matala- että korkeataajuisia komponentteja ja päästää lävitse tietyllä kaistalla olevat taajuudet
71 Yleensä lineaariset suotimet ovat ympyräsymmetrisiä sekä spatiaali- että taajuustasossa. Impulssivasteen poikkileikkausmuoto spatiaalitasossa antaa käsityksen suotimen taajuustaso-ominaisuuksista. 1 1 1 taajuustaso alipäästö ylipäästö kaistanpäästö spatiaalitaso 0 0 0
Pisteet, joiden poikkeama ympäristönsä keskiarvosta on positiivista kynnysarvoa T suurempi, jäävät muuttumatta. Voimaakkaat muutokset, esim. reunat ja nurkat, eivät muutu. Siten sumentumiselle herkät yksityiskohdat säilyvät paremmin kuin puhtaasti lineaarisella suodatuksella. 9 72 9.3 Lineaarinen alipäästösuodatus (3.6.1) Kohinaa voidaan siis tehokkaasti poistaa kuvista, mikäli olemassa on kuvasarja samasta kohteesta. Koska näin ei useimmiten ole, tarvitaan muita keinoja kohinan poistamiseksi. Kuvaa voidaan pehmentää spatiaalisella suotimella, joka keskiarvoistaa tietyn kokoisen maskin alalla, jolloin korreloimaton additiivinen kohina vaimenee. Samalla valitettavasti kuvan yksityiskohdat hämärtyvät, tapahtuu alipäästösuodatus. Mitä suurempaa maskia käytetään, sitä voimakkaampaa on sumentuminen. Sumeutumista voidaan rajoittaa käyttämällä epälineaarista kynnystystä: { 1 M (m,n) S g(x, y) = f(m, n), f(x, y) 1 M (m,n) S f(m, n) < T f(x, y), muulloin
73 Esimerkki lineaarisesta pehmennyksestä (3.6.1) (500x500) 3x3 5x5 9x9 15x15 35x35
74 Järjestysfunktioon perustuvat suotimet (3.6.2) Epälineaariset suotimet toimivat kuten lineaariset, mutta maskin keskipisteen uusi harmaa-arvo ei ole lineaarikombinaatio maskin pikseliarvoista. Yleisimpiä epälineaarisia operaatioita ovat järjestysfunktioon perustuvat operaatiot: mediaani maksimi minimi Epälineaarisilla menetelmillä kuten mediaanisuodatuksella ei ole määriteltyä impulssivastetta eikä myöskään siirtofunktiota. Siten esim. mediaanisuodatus on jokaiselle kuvalle omanlaisensa.
75 Kohinanpoisto mediaanisuodatuksella (3.6.2) Naapurikeskiarvoistuksen huono puoli on reunojen ja muiden terävien yksityiskohtien sumeneminen. Mediaanisuodatuksella pyritään välttämään tätä ongelmaa. Myös mediaanisuodatus hävittää yksityiskohtia, mutta useinkaan ei niin paljon kuin vastaavankokoinen lineaarinen suodatus. Mediaanisuodatusta käytetään kohinan poistoon pitkälti samoin kuin alipäästösuodatustakin. Mediaanisuodatus on optimaalinen menetelmä voimakkaan pisteittäisen impulssikohinan, ns. suola ja pippuri -kohinan, poistamiseksi.
76 9.4 Kuvan terävöittäminen ylipäästösuodatuksella (3.7) Kuvan terävöittämisellä pyritään korostamaan kuvan yksityiskohtia tai ehostamaan sumentuneita detaljeja. Terävöittäminen voidaan tulkita myös keskiarvoistamisen käänteisoperaatioksi. Terävöittäminen perustuu pikseleiden välisten erojen korostamiseen. Derivaatat (tai paremminkin differenssit) sopivat havainnoimaan pikseleiden välisiä muutoksia. Ensimmäinen differenssi yksiulotteisessa tapauksessa: f x = f(x + 1) f(x) Toinen differenssi yksiulotteisessa tapauksessa: 2 f = f(x + 1) + f(x 1) 2f(x) x2
Esimerkki yksityiskohdista kuvassa (3.7.1) 77
Laplace-operaattorilla derivointi (3.7.2) Jatkuvalle kaksidimensioiselle funktiolle Laplace-operaattori määritellään: f(x, y) = 2 f(x, y) = 2 f x 2 + 2 f y 2 Havaitaan, että Laplace-operaattori on lineaarinen. Diskreettinä approksimointina käytettiin jo aiemmin: 2 f = f(x + 1, y) + f(x 1, y) 2f(x, y) x2 2 f = f(x, y + 1) + f(x, y 1) 2f(x, y) y2 2 f(x, y) = f(x + 1, y) + f(x 1, y) + f(x, y + 1) + f(x, y 1) 4f(x, y) Maskimuodossa: 0 1 0 1 1 1 1-4 1 tai 1-8 1 0 1 0 1 1 1 78
Laplace-suodatus ehostuksessa (3.7.2) Laplace-suodatus korostaa pieniä yksityiskohtia ja on nolla tasaisille ja tasaisesti muuttuville alueille. Laplace-suodatettu kuva voidaan sellaisenaan lisätä alkuperäiseen: g(x, y) = f(x, y) 2 f(x, y) = 5f(x, y) f(x + 1, y) f(x 1, y) f(x, y + 1) f(x, y 1) 0 0 0 0 1 0 0-1 0 0 1 0 1-4 1 = -1 5-1 0 0 0 0 1 0 0-1 0 tai: 0 0 0 1 1 1-1 -1-1 0 1 0 1-8 1 = -1 9-1 0 0 0 1 1 1-1 -1-1 79
Laplace-suodatus ehostuksessa, esimerkki (3.7.2) 10 80
Epäterävä maskaus (3.7.2) Epäterävä maskaus on vanha filmivalokuvien terävöintikikka. Alkuperäistä kuvaa terävämpi ylipäästösuodatettu kuva voidaan muodostaa vähentämällä alkuperäisestä kuvasta alipäästösuodatettu kuva: f s (x, y) = f(x, y) f(x, y) Korkeiden taajuuksien korostus (3.7.2) Yleisemmässä tapauksessa voidaan kirjoittaa korkeiden taajuuksien korostus eli High-boost-suodatus kertoimella A: f hb (x, y) = Af(x, y) f(x, y) = (A 1)f(x, y) + f s (x, y) Sijoittamalla f s (x, y) = f(x, y) 2 f(x, y) : 81 0-1 0-1 -1-1 -1 A+4-1 tai -1 A+8-1 0-1 0-1 -1-1
Korkeiden taajuuksien korostus, esimerkki (3.7.2) Sopivalla A:n arvolla saadaan aikaan haluttu korkeiden taajuuksien korostus: 82 A = 1 A = 1.7
Gradienttioperaattori reunojen vahvistajana (3.7.3) Gradienttivektorin yleinen määritelmä: [ ] Gx f = = G y Gradienttivektorin pituutta kutsutan usein gradientiksi ja se voidaan laskea: f x f y f = f = [G 2 x + G 2 y] 1 2 G x + G y Robertsin ristigradientti, G x = z 9 z 5, G y = z 8 z 6 : -1 0 ja 0-1 0 1 1 0 Sobel-operaattorit: 83-1 -2-1 -1 0 1 G x = 0 0 0 ja G y = -2 0 2 1 2 1-1 0 1
84 Spatiaalisten ehostusten yhdistely (3.8) Hyvää ehostustulosta ei useinkaan voida saavuttaa vain yhtä operaatiota käyttämälllä. Kirja esittää kuvissa 3.46a h, kuinka: 1) röntgenkuvaa terävöitetään Laplace-operaattorilla 2) alkuperäisen kuvan reunoja vahvistetaan Sobel-operaattoreilla 3) gradienttikuvaa pehmennetään ja se kerrotaan terävöitetyllä kuvalla 4) tuloskuva lisätään alkuperäiseen 5) kuvan dynamiikkaa parannetaan gammakorjauksella
10. Fourier-muunnoksen perusteet 85 Fourier-muunnokset digitaalisen kuvankäsittelyn kannalta tärkein 2-dimensioisten kuvamuunnosten laji. Muita esim. kosini-, Walsh-, Hadamard-, Haar-, Slantja Hotelling- eli Karhunen-Loève-muunnokset. Kuvamuunnoksia tarvitaan: ehostuksessa entistämisessä koodauksessa sisällön kuvailussa
86 10.1 Fourier-muunnospari jatkuvassa tapauksessa (4.2.1) F{f(x)} = F (u) = F 1 {F (u)} = f(x) = F{f(x, y)} = F (u, v) = F 1 {F (u, v)} = f(x, y) = f(x) e j2πux dx F (u) e j2πux du f(x, y) e j2π(ux+vy) dx dy F (u, v) e j2π(ux+vy) du dv
10.2 Diskreetti Fourier-muunnos, DFT (4.2.1) Lukusekvenssille {f(0), f(1), f(2),..., f(m 1)} määritellään diskreetti Fourier-muunnos- ja -käänteismuunnospari: F (u) = 1 M M 1 x=0 f(x) e j2πux/m, u = 0, 1,..., M 1 M 1 f(x) = F (u) e j2πux/m, x = 0, 1,..., M 1 u=0 Taajuustason ominaisuuksia (4.2.1) F (u) on kompleksinen: F (u) = R(u) + ji(u) = F (u) e jφ(u). F (u) = R 2 (u) + I 2 (u) φ(u) = tan 1 I(u) R(u) P (u) = F (u) 2 = R 2 (u) + I 2 (u) Fourier-spektri, magnitudispektri vaihekulma, vaihespektri tehospektri, spektritiheys 87
Diskreetin lukusekvenssin muodostaminen (4.2.1) Diskreetin lukusekvenssin muodostamista jatkuvasta funktiosta kutsutaan näytteistämiseksi. Jatkuva-argumenttinen funktio f(x) voidaan diskretoida tasaväliseksi sekvenssiksi: {f(x 0 ), f(x 0 + x), f(x 0 + 2 x),..., f(x 0 + (M 1) x)} Merkinnät saadaan yksinkertaisemmiksi sopimalla, että diskreettiä funktiota voidaan merkitä kuten aiemmin merkittiin jatkuvaa: f(x) f(x 0 + x x), x = 0, 1,..., M 1 Diskretointiväleille pätee tällöin: F (u) F (u u) u = 1 M x 11 88
89 10.3 Kaksiulotteinen diskreetti Fourier-muunnos (4.2.2) Kaksiulotteisessa tapauksessa: F (u, v) = 1 MN f(x, y) = M 1 x=0 N 1 y=0 f(x, y) e j2π(ux/m+vy/n), u = 0, 1,..., M 1, v = 0, 1,..., N 1 M 1 N 1 u=0 v=0 F (u, v) e j2π(ux/m+vy/n), x = 0, 1,..., M 1, y = 0, 1,..., N 1 Huomattava, että muunnospari on vakiokertoimien osalta epäsymmetrinen. Joskus muunnospari esitetään myös symmetrisenä, jolloin molemmissa on kerroin 1/MN. Toisaalta, jos kyseessä on neliömuotoinen kuva, so. M = N, voidaan kaavat kirjoittaa symmetrisiksi kertoimilla 1/N.
90 2-dimensioisen Fourier-muunnoksen ominaisuuksia (4.2.2) F (u, v) on kompleksinen: F (u, v) = R(u, v) + ji(u, v) = F (u, v) e jφ(u,v) F (u, v) = R 2 (u, v) + I 2 (u, v) φ(u, v) = tan 1 I(u,v) R(u,v) Fourier-spektri vaihekulma P (u, v) = F (u, v) 2 = R 2 (u, v) + I 2 (u, v) tehospektri F (0, 0) = 1 M 1 N 1 MN x=0 y=0 f(x, y) keskiarvo F (u, v) = F ( u, v) konjugaattisymmetria F (u, v) = F ( u, v) spektrin symmetria
2-dimensioisen kuvan Fourier-muunnos, esimerkki (4.2.2) Fourier-muunnoksen origo on visualisoinnin vuoksi siirretty keskelle kuvaa. Suurin osa muunnoksen energiasta keskittynyt origoon ja akseleille. sin bu sin cv Muunnos on muotoa a. Palikan muoto on kiertynyt 90. u v 91
Analyyttinen, reaalinen, lähellä origoa positiivinen, (u, v)-rajoittamaton,... 92 2-dimensioisen maskin Fourier-muunnos, esimerkki Olkoon alipäästösuodin muotoa 0 1 0 h(x, y) = 1 5 1 1 1 0 1 0 h(x, y) = 1 5 H(u, v) = 1 MN ( δ(x, y) + δ(x 1, y) + δ(x + 1, y) + δ(x, y 1) + δ(x, y + 1) ) = 1 5MN = 1 5MN M 1 x=0 N 1 y=0 h(x, y) e j2π(ux/m+vy/n), u = 0, 1,..., M 1, v = 0, 1,..., N 1 ( 1 + e j2πu/m + e j2πu/m + e j2πv/n + e j2πv/n) ( 1 + 2 cos 2πu ) 2πv + 2 cos M N
10.4 Taajuustasossa suodattaminen (4.2.3) Taajuusalueessa suodattaminen perustuu konvoluutioteoreemaan: kuvan ja maskin spatiaalista konvoluutiota vastaa taajuusaluessa Fourier-muunnosten tulo. g(x, y) = h(x, y) f(x, y) G(u, v) = H(u, v) F (u, v) lasketaan kuvan f(x, y) Fourier-muunnos F (u, v) valitaan siirtofunktio H(u, v), jolla F (u, v) kerrotaan muodostetaan ehostettu kuva g(x, y) käänteisellä Fourier-muunnoksella Kohinan väheneminen, sumeneminen korkeiden taajuuksien redusointi. Yksityiskohtien korostus, terävöitys korkeiden taajuuksien korostus. 93
Esimerkki ali- ja ylipäästösuodatuksista (4.2.3) 94
Konvoluutio (4.2.4) Lineaariset suodatusoperaatiot voidaan tulkita konvoluutioina. Konvoluution määritelmä: f(x, y) h(x, y) = 1 MN M 1 N 1 m=0 n=0 f(m, n)h(x m, y n) Konvoluutio on vaihdannainen: f(x, y) h(x, y) = h(x, y) f(x, y) Konvoluutioteoreema: f(x, y) h(x, y) F (u, v) H(u, v) f(x, y) h(x, y) F (u, v) H(u, v) 95
11. Kuvien ehostaminen taajuustasossa 12 96 Kaikki taajuustason suodattaminen perustuu taajuustasossa tehtävään kuvan Fourier-muunnoksen kertomiseen suodatuksen siirtofunktiolla: G(u, v) = H(u, v) F (u, v) 11.1 Alipäästösuodatus (4.3) Alipäästösuodatuksella vaimennetaan korkeita taajuuksia, mikä sumentaa kuvaa, koska korkeat taajuudet vastaavat harmaatasojen nopeita muutoksia kuten ääriviivoja ja kohinaa.
97 Ideaalinen alipäästösuodin (ILPF) (4.3.1) Ideaalisen alipäästösuotimen vaste on yksi D 0 -säteisen taajuustason ympyrän sisällä ja nolla sen ulkopuolella, D 0 on rajataajuus: { 1, D(u, v) D 0 H(u, v) = 0, D(u, v) > D 0 D(u, v) = ( u 2 + v 2) 1 2 H(u, v) on ympyräsymmetrinen origon suhteen. Alipäästösuotimen aiheuttamaa sumentumaa voidaan tutkia tarkastelemalla suotimen siirtofunktion käänteis-fourier-muunnosta, so. suotimen impulssivastetta eli pisteenleviämisfunktiota. Ideaalisen alipäästösuotimen impulssivaste on muodoltaan:
Jokainen alkuperäinen piste leviää ja sekoittuu ympäröivien pikseleiden kanssa. On huomattava ideaaliselle alipäästösuotimelle ominaiset renkaat, jotka aiheuttavat kuvassa rengastumista. Rengastumisen vuoksi voimakkaat pikselit saavat ympärilleen renkaita ja vastaavasti voimakkaat rajat kuvassa monistuvat tai toistuvat heikompina kaikuina. h(x, y):n samankeskisten renkaiden säteet ovat kääntäen verrannolliset rajataajuuteen D 0. Voimakas suodatus eli pieni D 0 aiheuttaa voimakkaan rengastumisen. Esimerkki ideaalisesta alipäästösuodatuksesta (4.3.1) 98 D 0 : 5 15 30 80 230 P %: -8-5.4-3.6-2 -0.5
99 alkuperäinen 500 500 D 0 = 5, -8% D 0 = 15, -5.4% D 0 = 30, -3.6% D 0 = 80, -2% D 0 = 230, -0.5%
Butterworth-alipäästösuodin (4.3.2) Erilaisista alipäästösuodatuksista tärkeimpiä on Butterworth-suodin: 1 H(u, v) = 1 + ( ) 2n D(u, v)/d 0 n = suotimen asteluku D 0 = rajataajuus D(u, v) = ( u 2 + v 2) 1 2 Rajataajuudella: H(u, v) = 0.5 H(u, v) 1 0.5 100 1 2 3 D(u,v) D 0 Butterworth-suodin sumentaa kuvaa vähemmän kuin ideaalinen suodin, koska suuritaajuiset komponentit pääsevät vaimennettuina vaikuttamaan tulokseen. Lisäksi renkaita ei muodostu yhtä helposti kuin ideaalisella suotimella.
101 Esimerkki Butterworth-alipäästösuodatuksesta (4.3.2) alkuperäinen 500 500 D 0 = 5, -8% D 0 = 15, -5.4% D 0 = 30, -3.6% D 0 = 80, -2% D 0 = 230, -0.5%
Gaussinen alipäästösuodin (4.3.3) Alipäästösuodin voidaan toteuttaa myös Gaussin kellokäyrän mukaisesti: H(u, v) = e D2 (u,v)/2d 2 0 D 0 = rajataajuus D 2 (u, v) = u 2 + v 2 Rajataajuudella: H(u, v) = e 0.5 0.607 Gaussisen suotimen erityisominaisuus on, että sen impulssivaste on myös gaussinen: h(x, y) = 2πD 0 e 2π2 D 2 0 (x2 +y 2 ) Siksi taajuustasossa gaussinen suodin ei voi tuottaa lainkaan rengastumisilmiötä spatiaalitasossa. Verrataessa H(u, v):tä ja h(x, y):tä huomataan, että D 0 :n luonne on niissä käänteinen. Siten leveää taajuusvastetta vastaa kapea impulssivaste ja päinvastoin, kuten kaikilla alipäästörakenteilla aina onkin. 102
103 Esimerkki gaussisesta alipäästösuodatuksesta (4.3.3) alkuperäinen 500 500 D 0 = 5, -8% D 0 = 15, -5.4% D 0 = 30, -3.6% D 0 = 80, -2% D 0 = 230, -0.5%
13 104 Alipäästösuodatuksen sovelluskohteita (4.3.4) Alipäästösuodatus on lähinnä kosmeettinen prosessi, jolla voidaan poistaa tai ainakin vähentää kohinaa tai joitakin muita kuvan vääristymiä kuvan terävyyden kustannuksella. Esim. tekstin digitoimisen jälkeen voidaan kirjainten epäpuhtauksia vähentää alipäästösuodatuksella. Kuvanmuodostuksessa syntyneitä esim. vaakasuuntaisia viivoja voidaan samoin vähentää taajuustason suodatuksella. Alipäästösuodatusta tarvitaan myös, kun halutaan vähentää käsiteltävän datan määrää esim. osana kuva-analyysin piirreirrotusta.
105 11.2 Ylipäästösuodatus (4.4) Korkeiden taajuuksien korostaminen vahvistaa ääriviivoja ja pieniä yksityiskohtia. Yleisesti: H hp (u, v) = 1 H lp (u, v) Ideaalinen ylipäästösuodin (4.4.1) Ideaalinen ylipäästösuodin on ideaalisen alipäästösuotimen komplementti: { 0, D(u, v) D 0 H(u, v) = 1, D(u, v) > D 0 Butterworth-ylipäästösuodin (4.4.2) Myös ylipäästösuodin voidaan toteuttaa Butterworth-rakenteella. Tällöin: H(u, v) = 1 1 + ( D 0 /D(u, v) ) 2n
Kyseessä on siis ilmeinen ylipäästösuodin, jonka vaste origossa on nolla. 4π 2 (u 2 +v 2 ):n käänteis-fourier-muunnoksesta saadaan likipitäen tuttu spatiaalinen Laplace-maski. 106 Gaussinen ylipäästösuodin (4.4.3) H(u, v) = 1 e D2 (u,v)/2d 2 0 Gaussisia ylipäästösuotimia voidaan myös toteuttaa myös kahden gaussisen alipäästösuotimen erotuksena: H(u, v) = e D2 (u,v)/2d 2 1 e D 2 (u,v)/2d 2 2 Laplace-operaattori taajuustasossa (4.4.4) Reunanetsinnässä usein käytettävä Laplace-operaattori voidaan jatkuvana lausua kaksidimensioisen Fourier-muunnoksen avulla: 2 f(x, y) = 2 f x 2 + 2 f y 2 F{ 2 f(x, y)} = 4π 2 (u 2 + v 2 )F (u, v)
107 Kirjan kuvassa 4.23 virhe? (4.4) Ilmeisesti kirjan kuvassa 4.23 on virhe, koska gaussisen ylipäästösuotimen impulssivaste eli pisteenleviämisfunktio näyttää impulssifunktiolta. Kyseessä lienee virhe kuvan kaikkien ei-positiivisten lukuarvojen esittämisessä mustana.
Muita ylipäästösuodatuksen muotoja (4.4.5) Puhdasta ylipäästösuodatusta tarvitaan kuva-analyysisovelluksissa, joissa etsitään kuvista reunoja ja pyritään segmentoimaan kuvassa olevat kohteet kuvan taustasta. Ihmisen katsottavaksi tarkoitetuissa kuvissa käytetään enemmänkin korkeiden taajuuksien korostusta. Tällöin esim. ylipäästösuotimen ulostulo lisätään vakiolla kerrottuna alkuperäiseen kuvaan. Tämä vastaa aiemmin esiteltyä High-boost-suodatusta: H hp (u, v) = 1 H lp (u, v) H hb (u, v) = (A 1) + H hp (u, v) Voidaan myös toteuttaa ns. korkeiden taajuuksien korostus (high-frequency emphasis): H hfe (u, v) = a + bh hp (u, v) 108
Kuvanmuodostuksessa on luontevaa ajatella, että valaistuksen i(x, y) vaihtelut ovat hitaita verrattuna heijastuksen r(x, y) vaihteluihin. Siten haitallisia valaistusvaihteluja voidaan vähentää ylipäästösuodattamalla linearisoitua kuvaa high-boost-suotimella. 109 11.3 Homomorfinen suodatus (4.5) Homomorfiseksi suodatukseksi kutsutaan menetelmiä, joissa kuvanmuodostuksessa vaikuttavat epälineaariset tekijät ensin linearisoidaan, sitten käsitellään kuva lineaarisesti ja lopuksi palautetaan kuva alkuperäiseen epälineaariseen esitysmuotoon. Jo aiemmin esitettiin, kuinka kuva f(x, y) voidaan ajatella muodostuneeksi valaistuskomponentista i(x, y) ja heijastuskomponentista r(x, y): f(x, y) = i(x, y) r(x, y) Kuvanmuodostus linearisoidaan logaritmoimalla yhtälön molemmat puolet: ln f(x, y) = ln i(x, y) + ln r(x, y)
110 Linearisoitu kuva palautetaan tässä tapauksessa eksponentioimalla takaisin alkuperäiseen esitysmuotoon. Koko prosessointi voidaan esittää kaaviolla: f(x, y) ln FFT H(u, v) FFT 1 exp g(x, y)
12. Lisää Fourier-muunnoksesta Siirto eli translaatio (4.6.1) f(x, y)e j2π(u 0x/M+v 0 y/n) F (u u 0, v v 0 ) f(x x 0, y y 0 ) F (u, v)e j2π(ux 0/M+vy 0 /N) Siirto toisessa tasossa vastaa vaihekulman muutosta toisessa tasossa. Translaatio ei vaikuta Fourier- eikä tehospektriin, koska eksponenttitermin itseisarvo on aina yksi. Visualisointitarkoituksessa usein siirretään Fourier-tason origo muunnoskuvan vasemmasta yläkulmasta keskelle, u 0 = M/2, v 0 = N/2: e j2π(u 0x/M+v 0 y/n) = e jπ(x+y) = ( 1) (x+y) f(x, y)( 1) (x+y) F (u M/2, v N/2) (Kuva ( 1) (x+y) itse asiassa vastaa kaksiulotteista Nyquist-taajuutta.) 111