Digitaalinen kuvankäsittely T (3 ov) L. Syksy 2002

Transkriptio

1 Digitaalinen kuvankäsittely T (3 ov) L Syksy 2002 Luennot: Laskuharjoitukset: Jorma Laaksonen Jukka Iivarinen Syksyn 2002 kalvokopio 16. syyskuuta 2003

2 Luento # Yleistä kurssista Kurssin suorittaminen Ilmoittautuminen Tiedotukset Luennot Laskuharjoitukset Kirja Monisteet ja kurssitoimittaja Harjoitustehtävä Tentti Suhde vanhaan Tik kurssiin Johdanto Päämäärät ja osa-alueet (1.1) Historiaa (1.2) Yhteydet muihin aloihin (1.2) Sovelluksia (1.3) Kuvantamismenetelmiä (1.3) / Kuvankäsittelyn vaiheet (1.4)

3 2.7 Kuvankäsittelyjärjestelmän osat (1.5) Ihmisen näköjärjestelmän perusteita Ihmissilmän rakenne (2.1) Verkkokalvon reseptorit (2.1.1) Kuvanmuodostus (2.1.2) Kirkkauden erottelu (2.1.3) Adaptoituminen valaistukseen (2.1.3) Machin nauhat (2.1.3) Valo fysikaalisena suureena (2.2) Kuvanmuodostus Kuvanmuodostusvälineitä (2.3) Yksittäissensori (2.3.1) Viivasensorit (2.3.2) Matriisisensori (2.3.3) Kuvamalli (2.3.4) Digitaalisen kuvan esitysmuoto Koordinaatit (2.4.2) Näytteenotto ja kvantisointi (2.4.2) Kuvan subjektiivinen laatu (2.4.3) /2002

4 7. Kuvien ehostaminen pisteoperaatioin Spatiaalialuemenetelmät ehostuksessa (3.1) Harmaataso-operaatiot (3.2) Harmaa-arvohistogrammioperaatiot (3.3) Kokonaisiin kuviin kohdistuva ehostus Aritmeettiset ja loogiset operaatiot (3.4) Kuvien ehostaminen spatiaalisuodatuksella Spatiaaliset ympäristöoperaatiot (3.5) Spatiaalinen pehmennys ehostuksessa (3.6) / Lineaarinen alipäästösuodatus (3.6.1) Digitaalikuvien suurentaminen ja pienentäminen (2.4.5) Kuva-alkioiden yhteyksiä Naapuruus (2.5.1) Liitännäisyys (2.5.2) Polut (2.5.2) Etäisyysmitat (2.5.3) Lineaariset operaatiot ja operaattorit (2.6) Luento #

5 Luento # Kuvan terävöittäminen ylipäästösuodatuksella (3.7) Fourier-muunnoksen perusteet Fourier-muunnospari jatkuvassa tapauksessa (4.2.1) Diskreetti Fourier-muunnos, DFT (4.2.1) Kaksiulotteinen diskreetti Fourier-muunnos (4.2.2) Taajuustasossa suodattaminen (4.2.3) Luento # Kuvien ehostaminen taajuustasossa Alipäästösuodatus (4.3) Ylipäästösuodatus (4.4) Homomorfinen suodatus (4.5) Lisää Fourier-muunnoksesta Luento # Jaksollisuus ja laajennetut sekvenssit (4.6.3) /2002

6 14. Morfologiaa / Kuvien entistäminen Yleistä entistämisestä (5) Huonontumismalli (5.1) Kohinamalleja (5.2.2) Spatiaalitasossa entistäminen (5.3) Luento # Adaptiivinen suodatus (5.3.3) Jaksollisen kohinan poisto taajuustasossa (5.4) Lineaarinen paikkainvariantti huonontumisprosessi (5.5) Huononnusfunktion estimointi (5.6) Käänteissuodatus (5.7) Wiener-suodatus (5.8) Pakotettu pienimmän neliövirheen entistys (5.9) Yhteenveto entistyksestä taajuusalueessa (5.7 11) Geometriset muunnokset (5.11) Luento #

7 7/ Käsitteitä ja operaatioita (9.1.1) Dilaatio (täyttö, kasvatus) (9.2.1) Eroosio (pienennys) (9.2.2) Avaus ja sulkeminen (9.3) Reunan erottaminen (9.5.1) Alueen täyttäminen (9.5.2) Yhtenäisten komponenttien erottaminen (9.5.3) Osuma-tai-huti (hit-or-miss) (9.4) Ohennus (9.5.5) Paksunnus (9.5.6) Golay-aakkosia ( ) Luento # Aallokkeet ja moniresoluutiokäsittely Käsitteitä ja apuvälineitä (7.1) Moniresoluutiokäsittely (7.2) Yksiulotteinen aallokemuunnos (7.3) Kaksiulotteinen aallokemuunnos (7.5)

8 17.1 Muunnoskoodaus tiivistysmenetelmänä (8.5.2) Tärkeimpiä kuvantiivistysstandardeja (8.6) Kuvien segmentointi Epäjatkuvuuksien havaitseminen (10.1) Reunapisteiden yhdistäminen ja rajaviiva (10.2) /2002 8/2002 Luento # Kuvien tiivistäminen Tiivistyksen taustaa (8) Kuvantiivistyksen perusteita (8.1) Kuvantiivistysmalli (8.2) Informaatioteorian käsitteitä (8.3) Luento # Virheetön tiivistys (8.4) Virhettä tuottava tiivistys Luento #

9 19.3 Värimallit (6.2) Väärävärikuvat (6.3) Värimuunnokset (6.5) Värikuvien pehmennys ja terävöitys ( ) Värisegmentointi HSI-avaruudessa (6.7.1) Reunanetsintä värikuvissa (6.7.3) Kohina värikuvissa (6.8) Tenttivaatimukset /2002 Luento # Hough-muunnos (10.2.2) Kynnystys (10.3) Aluelähtöinen segmentointi (10.4) Liikkeen käyttö segmentoinnissa (10.6) Värin käyttö kuvankäsittelyssä Värienkäytön perusteita (6) Väriteorian perusteita (6.1) Luento #

10 1. Yleistä kurssista 10/ Kurssin suorittaminen Kurssin suorittamiseen kuuluu pakollinen harjoitustehtävä ja tentti. 1.2 Ilmoittautuminen Ilmoittautuminen osoitteessa Tiedotukset Kurssiin liittyvistä asioista tiedotetaan osoitteessa ryhmässä news://nntp.tky.hut.fi/opinnot.tik.informaatiotekniikka sekä Informaatiotekniikan laboratorion ilmoitustaululla kolmannen kerroksen aulassa B-käytävän suulla.

11 11/ Luennot Luennot pidetään tiistaisin kello salissa T2 alkaen Luennot pitää dosentti Jorma Laaksonen vastaanotto luennon jälkeen tiistaisin kello huoneessa B304. Luentokalvot ovat viimeistään luennon jälkeen esillä verkossa, Laskuharjoitukset Laskuharjoitukset keskiviikkoisin kello salissa T3 alkaen Harjoitukset pitää TkT Jukka Iivarinen Harjoitustehtävät ovat ennakkoon nähtävillä Harjoitustehtävät ovat suomeksi ja englanniksi, vastaukset englanniksi.

12 12/ Kirja Rafael C. Gonzalez & Richard E. Woods, Digital Image Processing, Second Edition, Prentice-Hall, 2002, ISBN , Kirjasta luetaan kappaleet Tutustumiskappale on nähtävillä Informaatiotekniikan laboratorion sihteerin Tarja Pihamaan huoneessa B326 olevassa harmaassa peltisessä vetolaatikostossa. 1.7 Monisteet ja kurssitoimittaja Sekä luentokalvot että laskuharjoitukset ratkaisuineen ovat saatavissa verkosta. Lisäksi ne voidaan myös toimittaa Editan opetusmonisteina, mikäli vapaaehtoinen kurssitoimittaja ilmoittautuu. Kurssitoimittaja: N.N. (mailto:n.n@hut.fi)

13 13/ Harjoitustehtävä Kurssin suoritukseen kuuluu pakollinen harjoitustehtävä, joka arvostellaan hyväksytty/hylätty-periaatteella. Palautus paperitulosteena Informaatiotekniikan laboratorion postilaatikkoon T-talon 3. kerroksen aulaan. Harjoitustehtävä on palautettava mennessä! Myöhempiin tentteihin ei saa osallistua, ellei harjoitustehtävä ole hyväksytysti suoritettu. Harjoitustehtävä tulee lokakuun aikana esille osoitteeseen Tentti Tenttejä järjestetään kolme: ensimmäinen 19. joulukuuta, toinen kevään luentokauden alkupuolella ja viimeinen syksyn 2002 luentokauden alkupuolella. Tentissä neljä tehtävää à 6 pistettä eli maksimi 24 pistettä, 9 pisteellä läpi. Käyttää saa paperia, kynää, kumia ja ei-ohjelmoitavaa funktiolaskinta.

14 14/ Suhde vanhaan Tik kurssiin Kurssi korvaa vanhan samannimisen kurssin Tik , jonka laajuus oli 2,5 ov ja joka ei sisältänyt pakollista harjoitustyötä, sekä vanhan Tik Digitaalisen kuvankäsittelyn ohjelmatyö -kurssin (1ov). Vanhoja kursseja ei enää voi suorittaa.

15 2. Johdanto Vanha klisee: Yksi kuva kertoo enemmän kuin tuhat sanaa. Arvioilta 75% ihmisen saamasta informaatiosta perustuu näköhavaintoihin. Kuvainformaation automaattisen käsittelyn tarve on suuri. Digitaalisen kuvankäsittelyn yleistymistä on perinteisesti hidastanut se, että käytettävien datamäärien suurudesta on seurannut tarvittavien laitteiden kalleus ja käsittelyn hitaus. Tästä perinteestä on nyt päästy eroon ja yhä useammat sovellukset ovat tulleet käytännössä toteuttamiskelpoisiksi. 2.1 Päämäärät ja osa-alueet (1.1) Päämääriltään digitaalinen kuvankäsittely jakautuu päähaaroihin: Kuvainformaation parantaminen ihmisen tulkintaa varten. kuvankäsittely: kuva kuva pisteoperaatiot 15/2002

16 Käytettävät menetelmät riippuvat paljon sovelluksesta. 2/ /2002 suodatus entistäminen geometrian korjaus viivojen ja reunojen vahvistus kuvien kohdistus muutosanalyysi Kuvainformaation käsittely koneellista tulkintaa varten. kuva-analyysi / konenäkö: kuva jotain muuta kohteentunnistus kuvasta kuvan selittäminen, näkymäanalyysi robottinäkö, aktiivinen konenäkö Kuvien tiivistäminen Rekonstruktio projektioista

17 17/ Historiaa (1.2) Lehtikuvien siirto merikaapelilla Lontoon ja New Yorkin välillä 1920-luvulla (5 harmaasävyä) Avaruusluotainten lähettämien kuvien parantelu 1960-luvulla Yhdysvalloissa ja 70-lukujen taitteesta alkaen satelliittikuvien käsittely, lääketieteelliset kuvantamis ja analyysimenetelmät, astronomiset kuvat, hiukkasfysiikka, teollinen laadunvalvonta.

18 18/ Yhteydet muihin aloihin (1.2) Hahmontunnistus Signaalinkäsittely Tekoäly Digitaalinen kuvankäsittely Optiikka Havaintopsykologia Graafinen tekniikka

19 19/ Sovelluksia (1.3) sotilassovellukset graafinen ala kaukokartoitus lääketiede teollinen laaduntarkastus robottinäkö kuvansiirto ja -arkistointi arkeologia, fysiikka, tähtitiede, biologia, rikostutkinta,...

20 20/ Kuvantamismenetelmiä (1.3) gammakuvaus (10 5 ev): lääketiede, PET, astronomia röntgenkuvaus (10 3 ev): lääketiede, varjoaine, CAT, ultraviolettikuvaus (10 1 ev): mikroskopia, astronomia näkyvä valo (10 0 ev): satelliittikuvat, sormenjäljet infrapunakuvaus (10 1 ev): satelliittikuvat mikroaaltokuvaus (10 4 ev): tutkakuvat radioaaltokuvaus (10 8 ev): lääketiede, MRI, astronomia seismografinen kuvaus (100 Hz): maaperän luonnonvarat kaikuluotaus: merenpohja ultraäänikuvaus (5 MHz): lääketiede elektronimikroskopia ( ): TEM, SEM fraktaalit ja muut laskennalliset kuvat

21 21/ Kuvankäsittelyn vaiheet (1.4) kuvanmuodostus esikäsittely: kuvan ehostus tai entistäminen segmentointi jälkikäsittely, morfologia representaatio, kuvatiedon esittäminen luokittelu, tunnistus

22 2.7 Kuvankäsittelyjärjestelmän osat (1.5) verkkoyhteys näyttölaite tietokone massamuisti tulostuslaite kuvankäsittelylaitteisto kuvankäsittelyohjelmisto kuvasensorit "reaalimaailma" 22/2002

23 3. Ihmisen näköjärjestelmän perusteita 23/ Ihmissilmän rakenne (2.1) linssi verkkokalvo tarkan näön alue fovea iiris optinen akseli näköhermo sokea täplä

24 3/ / Verkkokalvon reseptorit (2.1.1) Tapit (cones) kirkasnäkö (photopic vision) 6 7 miljoonaa keskellä verkkokalvoa (5 ) herkkiä väreille yksityiskohtien näkeminen oma hermo jokaisella Sauvat (rods) hämäränäkö (scotopic vision) miljoonaa jakautuneena verkkokalvolle (160 ) ei värinäköä yleiskuvan muodostaminen useita samassa hermossa

25 25/ Kuvanmuodostus (2.1.2) 15 m 2.55 mm 100 m 17 mm Erona optisiin linsseihin on silmän mukautumiskyky ja joustavuus.

26 Kirkkaassa valaistuksessa Weberin suhde on pienempi ja siten silmän suhteellinen erottelukyky parempi kuin hämärässä. 26/ Kirkkauden erottelu (2.1.3) I + I I I taustan intensiteetti I intensiteetin muutos keskellä I c pienin muutos, joka havaittavissa 50% kokeista I c /I Weberin suhde I c /I pieni: pienet suhteelliset muutokset havaitaan, hyvä erottelu I c /I suuri: vain suuret muutokset havaitaan, huono erottelu

27 27/ Adaptoituminen valaistukseen (2.1.3) Silmän adaptaatiokyky valtava: tasoa hämäräkynnykseltä häikäisyrajalle. Samanaikaisesti silmä voi kuitenkin adaptoitua vain tietylle kirkkausalueelle. Silmä ei siten voi adaptoitua kirkkaudeltaan erilaisiin yksityiskohtiin vaan ainoastaan keskimääräiseen kirkkauteen. Mielivaltaissa kuvapisteympäristössä havaitaan intensiteettitasoa. Kuvan eri osissa adaptaatio muuttuu ja havaitaan eri intensiteettejä ja siten suurempi kokonaiserottelualue. Tasaisissa kuvissa vaaditaan yleensä yli 100 intensiteettitasoa.

28 28/ Machin nauhat (2.1.3) Vakiointensiteetti näyttää viereisen muutoksen vuoksi vaihtelevalta. = Kynnykset korostuvat entisestään.

29 29/ Valo fysikaalisena suureena (2.2) Taajuus ν Aallonpituus λ = c ν Fotonin energia E = hν akromaattinen (achromatic), valoa karakterisoi vain sen intensiteetti eli määrä. Esim. musta-valko-tv. kromaattinen (chromatic), huomioi energian jakautumisen sähkömagneettisen säteilyn kaistalla nm. radianssi (radiance) valolähteen kokonaisenergia, mittayksikkö watti (W). luminanssi (luminance) mittaa havainnoijan havaitsemaa energiamäärää, esimerkiksi infrapunalähteen luminanssi on lähes nolla, mittayksikkö lumen (lm). kirkkaus (brightness) subjektiivinen mitta.

30 4. Kuvanmuodostus 30/ Kuvanmuodostusvälineitä (2.3) hopeafilmi puolijohdesensorit yksittäissensorit viivasensorit matriisisensorit

31 4.2 Yksittäissensori (2.3.1) 31/2002

32 4.3 Viivasensorit (2.3.2) 4/ /2002

33 4.4 Matriisisensori (2.3.3) 33/2002

34 34/ Kuvamalli (2.3.4) f(x, y) vastaa valoenergiaa 0 < f(x, y) < Havaittu kuva jaetaan valaistuskomponenttiin i(x, y) ja heijastuskomponenttiin r(x, y): f(x, y) = i(x, y) r(x, y) joille pätee: 0 < i(x, y) < 0 < r(x, y) < 1 Digitoidun monokromaattisen kuvan harmaataso l on usein kokonaisluku, l = 0 vastaa mustaa l = L 1 vastaa valkoista l [0, L 1]

35 5. Digitaalisen kuvan esitysmuoto 35/ Koordinaatit (2.4.2) Digitaalinen kuva esitetään yleensä x- ja y-koordinaattien funktiona. Koordinaattijärjestelmän asettaminen vaihtelee. x y y y x x matemaattinen perinteinen Gonzalez&Woods

36 5.2 Näytteenotto ja kvantisointi (2.4.2) Digitointi xy-koordinaattien suhteen vastaa kaksiulotteista näytteenottoa, jota kutsutaan myös spatiaaliseksi kvantisoinniksi. Valaistusamplitudin digitointia kutsutaan harmaataso- eli intensiteettikvantisoinniksi. Digitaalinen kuva esitetään N N matriisina: f(0, 0) f(0, 1) f(0, N 1) f(1, 0) f(1, 1) f(1, N 1) f(x, y)... f(n 1, 0) f(n 1, 1) f(n 1, N 1) Valittava spatiaaliresoluutio N ja harmaatasoresoluutio G. Yleensä kahden potensseja: N = 2 n, G = 2 m. Täten kuvan tallettamiseen tarvitaan bittejä: b = N N m. Televisiokuvan tasoon päästään, kun N = 512 ja m = 7. 36/2002

37 Digitaalinen kuva näytteenoton ja kvantisoinnin jälkeen (2.4.1) 37/2002

38 38/ b = b = b = b = b = b = b = b = b = 6144

39 39/ Kuvan subjektiivinen laatu (2.4.3) Resoluutioluvut ja bittimäärät eivät suoraan vastaa ihmisen kokemusta kuvan laadusta. Subjektiivisia arvioita voidaan tutkia isopreferenssikäyrillä. Tasaisia alueita (eli alhaisia taajuuksia) sisältävissä kuvissa ihmissilmä haluaa paljon intensiteettikvantisointitasoja. Sen sijaan paljon yksityiskohtia (eli korkeita taajuuksia) sisältävissä kuvissa tarvitaan hyvää spatiaalista resoluutiota.

40 5/ / Digitaalikuvien suurentaminen ja pienentäminen (2.4.5) Kuvia suurennettaessa, so. niiden spatiaaliresoluutiota parannettaessa tehdään interpolaatiota uusien harmaa-arvojen laskemiseksi olemassaolevista. Yksinkertaisin interpolaation muoto on ns. nollannen kertaluvun eli lähimmän naapurin irterpolointi. Jos suurennuskerroin on jokin kokonaisluku, interpolointi yksinkertaistuu entisestään pikseleiden monistamiseksi. Yleisempi ja vääristymien kannalta parempi vaihtoehto on bilineaarinen interpolaatio: v(x, y ) = ax + by + cx y + d Se on anti-aliasoiva suodatus, joka poistaa joskus kuvaa suurennettaessa syntyviä häiritseviä pykäliä. Kuvia pienennettäessä voidaan käyttää analogisesti samoja menetelmiä kuin interpolointiin myös desimointiin.

41 6. Kuva-alkioiden yhteyksiä 41/ Naapuruus (2.5.1) Kuva-alkiolla eli pikselillä p, jolla on koordinaatit (x, y), on neljä naapuria vaaka- ja pystysuunnissa pisteissä (x+1, y), (x 1, y), (x, y+1) ja (x, y 1). Niitä kutsutaan p:n 4-naapureiksi ja merkitään N 4 (p). p:n neljä diagonaalinaapuria ovat (x+1, y +1), (x 1, y +1), (x+1, y 1) ja (x 1, y 1) ja niitä merkitään N D (p). p:n 8-naapurusto muodostuu N 4 (p):n ja N D (p):n yhdisteenä: N 8 (p) = N 4 (p) N D (p). Kuvan reunoilla naapurustot ovat vajaita.

42 (x-1,y-1) (x,y-1) (x+1,y-1) (x-1,y) p (x,y) (x+1,y) (x-1,y+1) (x,y+1) (x+1,y+1) 42/2002

43 43/ Liitännäisyys (2.5.2) Pikseleiden liitännäisyys eli yhtenevyys eli konnektiivisuus (connectivity) on tärkeä käsite kuvan kohteiden reunaviivojen määrittelyssä ja alueiden määräämisessä. Kaksi kuva-alkiota ovat liitännäisiä, jos ne ovat jossakin mielessä naapureita ja lisäksi harmaatasoarvoiltaan riittävän samankaltaisia. Harmaatasojen samankaltaisuus voidaan määritellä joukolla V. Esimerkiksi, jos vain kuva-alkiot, joiden intensiteetit ovat 59, 60 tai 61, ovat kiinnostavia, niin määritellään V = {59, 60, 61}. Määritellään pikseleille p ja q kolme eri liitännäisyystyyppiä: 4-liitännäisyys: p V q V q N 4 (p) 8-liitännäisyys: p V q V q N 8 (p) m-liitännäisyys eli sekaliitännäisyys: p V q V (q N 4 (p) q N D (p) N 4 (p) N 4 (q) = )

44 44/2002 Sekaliitännäisyys eliminoi 8-liitännäisyydestä usein seuraavat monikäsitteiset polut m Kaksi kuva-aluetta S 1 ja S 2 ovat vierekkäisiä (adjacent), joss p, q : p S 1 q S 2 p ja q liitännäisiä

45 Erilliset yhtenäiset komponentit ovat toisiinsa nähden pistevieraita, so. niillä ei ole yhteisiä jäseniä, so. niiden leikkaus on tyhjä. 45/ Polut (2.5.2) Polku kuva-alkiosta p, jonka koordinaatit ovat (x, y), kuva-alkioon q, jonka koordinaatit ovat (s, t), on pikselijono: (x, y) = (x 0, y 0 ), (x 1, y 1 ),, (x n, y n ) = (s, t) Jonossa jokainen (x i+1, y i+1 ), i = 1,..., n, on liitännäinen (x i, y i ):n kanssa. n on polun pituus. Jono voidaan määritellä 4-, 8- ja m-liitännäisyyden mukaan. Kuvan osajoukkoon S kuuluvat alkiot p ja q ovat S:ssä liitännäisiä, joss on olemassa p:stä q:hun polku, jonka kaikki kuva-alkiot kuuluvat S:ään. Jos p on S:n kuva-alkio, p:n kanssa liitännäiset S:n alkiot muodostavat S:n yhtenäisen komponentin (connected component). Kaikki yhtenäisen komponentin pikselit ovat toisiinsa nähden liitännäisiä.

46 46/ Etäisyysmitat (2.5.3) Olkoon p, q, ja z kuva-alkioita, joiden koordinaatit ovat vastaavasti (x, y), (s, t) ja (u, v). Etäisyysfunktio (metriikka) D toteuttaa seuraavat ehdot: D(p, q) 0 ja D(p, q) = 0 p = q D(p, q) = D(q, p) D(p, z) D(p, q) + D(q, z) Yleisesti käytettyjä etäisyysmäärittelyjä: D e (p, q) = (x s) 2 + (y t) 2 D 4 (p, q) = x s + y t D 8 (p, q) = max( x s, y t ) euklidinen etäisyys D 4 -etäisyys (city-block/manhattan) D 8 -etäisyys (šakkilauta)

47 47/2002 e 8 4 Kahden pisteen välinen D 4 -etäisyys on lyhimmän niiden välisen 4-polun pituus. Vastaavasti D 8 -etäisyys ja 8-polku. Pisteestä etäisyydellä D 4 = 1 olevat kuva-alkiot ovat kyseisen pisteen 4- naapurit. Vastaavasti D 8 = 1 ja 8-naapurit. m-liitännäisyyttä vastaava etäisyys on polun pituus ja riippuu polun varrella olevien kuva-alkioiden arvoista ja niiden naapureista. Etäisyyttä kahden pikselin välillä voidaan tarkastella myös riippumatta niiden liitännäisyydestä.

48 6/ / Lineaariset operaatiot ja operaattorit (2.6) Keskeinen käsite myöhemmissä vaiheissa on jonkin operaation tai operaattorin lineaarisuus. Operaattorin H sanotaan olevan lineaarinen, joss H(af + bg) = ah(f) + bh(g) Operaatio, joka ei ole lineaarinen, on määritelmällisesti epälineaarinen.

49 7. Kuvien ehostaminen pisteoperaatioin Käytännön sovelluksessa voidaan yhdistää kaikkien lajien menetelmiä. 49/2002 Kuvan ehostamisen (enhancement) päämääränä on käsitellä kuvaa siten, että lopputulos on alkuperäistä kuvaa parempi tietyssä mielessä tai sovelluksessa. Esimerkiksi voidaan kiinnittää huomiota kuvan visuaaliseen miellyttävyyteen, kuten terävyyteen tai kohinattomuuteen. Ehostamiskeinot ovat yleisesti sovelluskohtaisia. Tekniikat ovat myös hyvin heuristisia, koska on vaikea määritellä matemaattisesti, millainen olisi esim. ihmissilmin tarkastellen hyvä kuva. Ehostusmenetelmät voidaan jakaa kahteen kolmeen pääluokkaan: taajuusaluemenetelmät spatiaalialuemenetelmät pisteoperaatiot koko kuvan operaatiot maskioperaatiot

50 7.1 Spatiaalialuemenetelmät ehostuksessa (3.1) Käsitellään pikseleitä kuvatasossa g(x, y) = T [f(x, y)] f(x, y) on alkuperäinen kuva g(x, y) on käsitelty kuva T [ ] on kuvaan f kohdistuva operaattori pisteen (x, y) ympäristössä T -operaattori voidaan kohdistaa myös joukkoon keskinäisesti riippuvia ja kohdistettuja syötekuvia pikseleittäin. Tällöin pitäisikin kirjoittaa skalaarin f(x, y):n sijaan vektori f(x, y). Jos T :n vaikutusalue on vain itse (x, y)-pikseli yksin, kyseessä on pisteoperaatio, muutoin maskioperaatio. Ensinmainitut voidaan tulkita myös viimemainittujen yhdeksi erikoistapaukseksi. Toisaalta pisteoperaatioina voidaan toteuttaa menetelmiä, joille ei löydy suoraa vastinetta tai yleistystä maskioperaationa. 50/2002

51 51/ Harmaataso-operaatiot (3.2) Harmaataso-operaatioiksi kutsutaan pisteoperaatioita, joissa lähdekuvasta f(x, y) muodostetaan tuloskuva g(x, y) käyttäen muunnosfunktiota s = T (r), missä r = f(x, y) on harmaa-arvo lähdekuvan tietyssä pisteessä ja s = g(x, y) harmaa-arvo vastaavassa tuloskuvan pikselissä. Harmaataso-operaatioita ovat esim. kontrastin muuttaminen s = T (r) binarisointi s = T (r) s r r t r

52 52/2002 kuvan negatointi s = T (r) dynamiikan kompressointi s = T (r) r logaritmointi s = c log(1 + r) s = T (r) r gammakorjaus s = cr γ s = T (r) r r

53 53/2002 harmaatasoviipalointi s = T (r) s = T (r) bittitasoviipalointi s = T (r) r s = T (r) r s = T (r) s = T (r) r r r r

54 7.3 Harmaa-arvohistogrammioperaatiot (3.3) Histogrammioperaatiot ovat merkittävä pisteoperaatioiden ryhmä. Kuvan histogrammi muodostetaan laskemalla, kuinka monta kerta kukin harmaataso esiintyy kuvassa: p(r k ) = r k :n esiintymistod.näk.estim. = n k n r k [0, L 1] on k:s diskreetti harmaataso n k on k:nnen harmatason lukumäärä kuvassa n on pikselien lukumäärä koko kuvassa Histogrammin muodosta voidaan päätellä kuvan ominaisuuksia ja mahdollisesti tarvittavia ehostustoimenpiteitä. 54/2002

55 55/2002 Esimerkkejä harmaa-arvohistogrammin muodosta (3.3) p(r k ) p(r k ) p(r k ) p(r k ) tumma kuva r k vaalea kuva r k heikko kontrasti r k r k voimakas kontrasti Usein on helpointa ajatella r:n saavan reaalilukuarvoja välillä [0, 1], missä 0 vastaa mustaa ja 1 valkoista.

56 Siten muunnetun kuvan harmaa-arvohistogrammi p s (s) voidaan saada halutuksi sopivalla T (r):n valinnalla. 7/ /2002 Harmaa-arvohistogrammin muuntaminen (3.3) Histogrammin muuntamisessa käytettävät harmaa-arvo-operaatiot ovat yleensä muotoa s = T (r), missä T (r) on yksikäsitteinen ja monotonisesti kasvava välillä 0 r 1, jolloin harmaa-arvojen järjestys säilyy 0 T (r) 1, kun 0 r 1, jolloin harmaa-arvot säilyvät sallituissa rajoissa Samat ominaisuudet on myös käänteismuunnoksella r = T 1 (s). Jatkuvassa tapauksessa voidaan tutkia differentiaaleja: [ p s (s) = p r (r) dr ] ds r=t 1 (s)

57 Harmaa-arvohistogrammin tasoitus (3.3.1) Tarkastellaan muunnosfunktiota: s = T (r) = r 0 p r (w) dw, 0 r 1 Yhtälön oikea puoli esittää r:n kumulatiivista jakautumafunktiota (CDF). CDF kasvaa kasvaa monotonisesti 0:sta 1:een. s:n derivaatta r:n suhteen: ds dr = p r(r) Sijoitetaan dr aiempaan lausekkeeseen: ds [ p s (s) = p r (r) dr ] [ ] 1 = p r (r) ds r=t 1 (s) p r (r) = 1, 0 s 1 r=t 1 (s) Joten muunnos s = T (r) tuottaa tasaisen histogrammin p s (s). 57/2002

58 Käytännössä kuitenkin toimitaan diskreeteillä jakaumilla. Se onkin itse asiassa helpompaa, koska jatkuvassa tapauksessa G 1 (s):n analyyttinen muodostaminen on useimmiten hankalaa. Diskreetissä tapauksessa sen sijaan voidaan taulukoida muunnosarvot kaikille harmaa-arvoille. 58/2002 Harmaa-arvohistogrammin määräys (3.3.2) Histogrammin määräys (specification) tarkoittaa, että kuvan harmaa-arvojakauma muunnetaan halutunlaiseksi. Histogrammin määrääminen voidaan toteuttaa analogisesti histogrammin tasoituksen kanssa. Tasoitushan tehtiin käyttämällä alkuperäisen kuvan harmaaarvojen kertymäfunktiota s = T (r) = r 0 p r(w)dw. Mielivaltaisesta harmaaarvojakaumasta p z (w) päästään samoin tasajakaumaan käyttäen muunnosta v = G(z) = z 0 p z(w)dw. Tämän muunnoksen käänteismuunnoksella z = G 1 (v) voidaan taas muuntaa tasajakauma halutuksi jakaumaksi p z (w). Histogrammi voidaan siis määrätä mieleiseksi muunnoksella: z = G 1 (s) = G 1 (T (r)) missä T (r) on alkuperäinen ja G(s) haluttu todennäisyystiheyden kertymäfunktio.

59 59/2002 Esimerkki: Marsin kuu Phobos (3.3.2) Ongelmana liian voimakas kontrasti, keskivaiheen harmaa-arvot puuttuvat lähes kokonaan. alkuperäinen tasoitettu määrätty

60 60/2002 Paikallinen ehostaminen histogrammin tasoituksella (3.3.3) Edellä esitellyt menetelmät ovat kohdistuneet koko kuva-alan harmaa-arvojakaumaan. Usein on kuitenkin tarpeen parannella yksityiskohtia kuvan pienehköissä osa-alueissa. Koska jokaisen pienehkön kuva-alueen pikseleillä on vain pieni vaikutus kokonaisharmaatasojakaumaan, ei globaali muunnos välttämättä kykene huomioimaan paikallisia parannustarpeita. Sekä histogrammin tasoitus että histogrammin määräys voidaan toteuttaa paikallisesti M N-ikkunassa, jossa keskipisteen uusi harmaa-arvo lasketaan käyttäen ympäröiviä pikseleitä harmaatasohistogrammin estimointiin.

61 Muunnos voimistaa paikallisia vaihteluita. Keskihajonta nimittäjässä saa aikaan, että alhaisen kontrastin eli pienen varianssin alueita kuvassa muutetaan eniten. 61/2002 Muita paikallisen ehostuksen tilastollisia menetelmiä (3.3.4) Paitsi histogrammeihin, paikalliset ehostusmenetelmät voivat perustua myös paikalliseen harmaatasojen keskiarvoon ja varianssiin. Siten saadaan kuvassa kirkkaus ja kontrasti vakioitua paikallisesti. Tyypillisesti muunnos voi olla: g(x, y) = km ( ) f(x, y) m(x, y) + m(x, y), missä σ(x, y) g(x, y) = alkion (x, y) uusi harmaatasoarvo f(x, y) = alkion (x, y) vanha harmaatasoarvo m(x, y) = alkion (x, y) tietyn ympäristön paikallinen harmaatasokeskiarvo σ(x, y) = alkion (x, y) saman ympäristön paikallinen harmaatasovarianssi M = alkuperäisen kuvan f(x, y) kokonaisharmaatasokeskiarvo k = vakio, 0 < k < 1

62 8. Kokonaisiin kuviin kohdistuva ehostus 62/ Aritmeettiset ja loogiset operaatiot (3.4) Kuvien välillä voidaan määritellä tavanomaiset aritmeettiset (+,,*,/) ja loogiset (,, ) operaatiot. Kuvien täytyy tällöin useimmiten olla keskenään saman kokoisia ja jotkut määrittelyt ovat mielekkäitä vain binaarisille kuville. Esimerkki: Kuvan osa voidaan erottaa ympäristöstään joko loogisella JA-operaatiolla (yllä) tai TAI-operaatiolla (alla).

63 63/2002 Erotuskuvat (3.4.1) Kuvien f(x, y) ja h(x, y) erotus saadaan vähentämällä vastaavat kuvapisteiden harmaasävyt toisistaan: g(x, y) = f(x, y) h(x, y) Erotuskuvissa voidaan havaita muutokset tai liike. Sovellutuksia: 1) ehostus, 2) segmentointi Esimerkki: Liikennevirran havainnointi: vähennetään peräkkäiset kuvat toisistaan ja otetaan itseisarvo. Tällöin paikoillan pysyvä ja siksi arvoiltaan vakio tausta muuttuu mustaksi. Varjoaineen etenemisen seuraaminen verenkierrossa: vähennetään varjoaineen ruiskuttamisen jälkeen otetut röntgen- tms. kuvat ennen varjoaineen antoa otetusta kuvasta.

64 Käytännössä kaikissa sovelluksissa ei voida saadaan peräkkäisiä identtisiä otoksia. Myös kuvien täsmällinen kohdistaminen päällekäin on vaikeaa, jos tapahtuu pientäkin liikettä kuvien välillä. Keskiarvoistusta voidaan kuitenkin soveltaa valo- ja elektronimikroskopiassa sekä astronomiassa. 8/ /2002 Keskiarvo useista kuvista (3.4.2) Jos on mahdollista ottaa useita identtisiä kuvia samasta kohteesta, voidaan kuvassa esiintyvää kohinaa ratkaisevasti vähentää. Oletetaan kohinamalli g(x, y) = f(x, y) + η(x, y) missä kohina η(x, y) on korreloimatonta ja nollakeskiarvoista. Lasketaan pisteittäinen keskiarvokuva K:stä kuvasta {g i (x, y); i = 1, 2,..., K}: g(x, y) = 1 K K g i (x, y) Nyt E{g(x, y)} = f(x, y) ja σg(x,y) 2 = 1 K σ2 η(x,y). K:n kasvaessa pikseliarvojen varianssi pienenee ja g(x, y) lähestyy f(x, y):tä. i=1

65 9. Kuvien ehostaminen spatiaalisuodatuksella 65/ Spatiaaliset ympäristöoperaatiot (3.5) Suuri osa digitaalisen kuvankäsittelyn menetelmistä perustuu aritmeettisten (tai loogisten) operaatioiden suorittamiseen kunkin kuva-alkion määrätyssä ympäristössä. Operaatioita kutsutaan eri nimillä: maskioperaatiot, templaattioperaatiot, ikkunaoperaatiot, suodatusoperaatiot, konvoluutio-operaatiot,... Aritmeettiset ympäristöoperaatiot voidaan lausua pikseleiden harmaa-arvojen z i ja maskin kertoimien w i avulla. z 1 z 2 z 3 z 4 z 5 z 6 z 7 z 8 z 9 w 1 w 2 w 3 w 4 w 5 w 6 w 7 w 8 w 9 Esimerkiksi 3 3-kokoinen maski, jolla lasketaan ympäristön keskiarvo: z = 1 9 (z 1 + z z 9 ) = i=1 z i

66 66/2002 Yleisemmässä tapauksessa voidaan maskin avulla laskea painotettu summa: z = 9 w i z i i=1 Operaatio vastaa vektorimuotoista sisä- eli pistetuloa: z = w T z, missä w ja z ovat painokertoimista ja kuva-alkion ympäristöstä muodostetut vektorit.

67 67/ Spatiaalinen pehmennys ehostuksessa (3.6) Jo aiemmin esitellyt menetelmät ovat olleet spatiaalisia, mutta niissä käsittely on kohdistunut kuvaan pikseli kerrallaan. Spatiaalimenetelmien yleisessä tapauksessa pikselin uusi harmaa-arvo määräytyy pikselin ja sen tietyn spatiaalisen ympäristön alkuperäisistä harmaa-arvoista. Spatiaalisuodatuksen tärkein alaluokka on lineaariset suotimet. siirtofunktio on impulssivasteen (pisteen leviämisfunktion) Fouriermuunnos alipäästösuodin vaimentaa korkeataajuisia komponentteja ja päästää lävitse matalat taajuudet ylipäästösuodin vaimentaa matalataajuisia komponentteja ja päästää lävitse korkeat taajuudet kaistanpäästösuodin vaimentaa sekä matala- että korkeataajuisia komponentteja ja päästää lävitse tietyllä kaistalla olevat taajuudet

68 68/2002 Yleensä lineaariset suotimet ovat ympyräsymmetrisiä sekä spatiaali- että taajuustasossa. Impulssivasteen poikkileikkausmuoto spatiaalitasossa antaa käsityksen suotimen taajuustaso-ominaisuuksista taajuustaso alipäästö ylipäästö kaistanpäästö spatiaalitaso 0 0 0

69 Pisteet, joiden poikkeama ympäristönsä keskiarvosta on positiivista kynnysarvoa T suurempi, jäävät muuttumatta. Voimaakkaat muutokset, esim. reunat ja nurkat, eivät muutu. Siten sumentumiselle herkät yksityiskohdat säilyvät paremmin kuin puhtaasti lineaarisella suodatuksella. 69/ Lineaarinen alipäästösuodatus (3.6.1) Kohinaa voidaan siis tehokkaasti poistaa kuvista, mikäli olemassa on kuvasarja samasta kohteesta. Koska näin ei useimmiten ole, tarvitaan muita keinoja kohinan poistamiseksi. Kuvaa voidaan pehmentää spatiaalisella suotimella, joka keskiarvoistaa tietyn kokoisen maskin alalla, jolloin korreloimaton additiivinen kohina vaimenee. Samalla valitettavasti kuvan yksityiskohdat hämärtyvät, tapahtuu alipäästösuodatus. Mitä suurempaa maskia käytetään, sitä voimakkaampaa on sumentuminen. Sumeutumista voidaan rajoittaa käyttämällä epälineaarista kynnystystä: { 1 M (m,n) S g(x, y) = f(m, n), f(x, y) 1 M (m,n) S f(m, n) < T f(x, y), muulloin

70 Esimerkki lineaarisesta pehmennyksestä (3.6.1) 70/2002

71 71/2002 Järjestysfunktioon perustuvat suotimet (3.6.2) Epälineaariset suotimet toimivat kuten lineaariset, mutta maskin keskipisteen uusi harmaa-arvo ei ole lineaarikombinaatio maskin pikseliarvoista. Yleisimpiä epälineaarisia operaatioita ovat järjestysfunktioon perustuvat operaatiot: mediaani maksimi minimi Epälineaarisilla menetelmillä kuten mediaanisuodatuksella ei ole määriteltyä impulssivastetta eikä myöskään siirtofunktiota. Siten esim. mediaanisuodatus on jokaiselle kuvalle omanlaisensa.

72 9/ /2002 Kohinanpoisto mediaanisuodatuksella (3.6.2) Naapurikeskiarvoistuksen huono puoli on reunojen ja muiden terävien yksityiskohtien sumeneminen. Mediaanisuodatuksella pyritään välttämään tätä ongelmaa. Myös mediaanisuodatus hävittää yksityiskohtia, mutta useinkaan ei niin paljon kuin vastaavankokoinen lineaarinen suodatus. Mediaanisuodatusta käytetään kohinan poistoon pitkälti samoin kuin alipäästösuodatustakin. Mediaanisuodatus on optimaalinen menetelmä voimakkaan pisteittäisen impulssikohinan, ns. suola ja pippuri -kohinan, poistamiseksi.

73 73/ Kuvan terävöittäminen ylipäästösuodatuksella (3.7) Kuvan terävöittämisellä pyritään korostamaan kuvan yksityiskohtia tai ehostamaan sumentuneita detaljeja. Terävöittäminen voidaan tulkita myös keskiarvoistamisen käänteisoperaatioksi. Terävöittäminen perustuu pikseleiden välisten erojen korostamiseen. Derivaatat (tai paremminkin differenssit) sopivat havainnoimaan pikseleiden välisiä muutoksia. Ensimmäinen differenssi yksiulotteisessa tapauksessa: f x = f(x + 1) f(x) Toinen differenssi yksiulotteisessa tapauksessa: 2 f = f(x + 1) + f(x 1) 2f(x) x2

74 Esimerkki yksityiskohdista kuvassa (3.7.1) 74/2002

75 Laplace-operaattorilla derivointi (3.7.2) Jatkuvalle kaksidimensioiselle funktiolle Laplace-operaattori määritellään: f(x, y) = 2 f(x, y) = 2 f x f y 2 Havaitaan, että Laplace-operaattori on lineaarinen. Diskreettinä approksimointina käytettiin jo aiemmin: 2 f = f(x + 1, y) + f(x 1, y) 2f(x, y) x2 2 f = f(x, y + 1) + f(x, y 1) 2f(x, y) y2 2 f(x, y) = f(x + 1, y) + f(x 1, y) + f(x, y + 1) + f(x, y 1) 4f(x, y) Maskimuodossa: 75/ tai

76 Laplace-suodatus ehostuksessa (3.7.2) Laplace-suodatus korostaa pieniä yksityiskohtia ja on nolla tasaisille ja tasaisesti muuttuville alueille. Laplace-suodatettu kuva voidaan sellaisenaan lisätä alkuperäiseen: g(x, y) = f(x, y) 2 f(x, y) = 5f(x, y) f(x + 1, y) f(x 1, y) f(x, y + 1) f(x, y 1) = tai: = /2002

77 Laplace-suodatus ehostuksessa, esimerkki (3.7.2) 77/2002

78 Epäterävä maskaus (3.7.2) Epäterävä maskaus on vanha filmivalokuvien terävöintikikka. Alkuperäistä kuvaa terävämpi ylipäästösuodatettu kuva voidaan muodostaa vähentämällä alkuperäisestä kuvasta alipäästösuodatettu kuva: f s (x, y) = f(x, y) f(x, y) Korkeiden taajuuksien korostus (3.7.2) Yleisemmässä tapauksessa voidaan kirjoittaa korkeiden taajuuksien korostus eli High-boost-suodatus kertoimella A: f hb (x, y) = Af(x, y) f(x, y) = (A 1)f(x, y) + f s (x, y) Sijoittamalla f s (x, y) = 2 f(x, y) : A+4-1 tai -1 A /2002

79 Korkeiden taajuuksien korostus, esimerkki (3.7.2) Sopivalla A:n arvolla saadaan aikaan haluttu korkeiden taajuuksien korostus: A = 1 A = /2002

80 Gradienttioperaattori reunojen vahvistajana (3.7.3) Gradienttivektorin yleinen määritelmä: [ ] Gx f = = G y Gradienttivektorin pituutta kutsutan usein gradientiksi ja se voidaan laskea: f x f y f = f = [G 2 x + G 2 y] 1 2 G x + G y Robertsin ristigradientti, G x = z 9 z 5, G y = z 8 z 6 : -1 0 ja Sobel-operaattorit: G x = ja G y = / /2002

81 81/2002 Spatiaalisten ehostusten yhdistely (3.8) Hyvää ehostustulosta ei useinkaan voida saavuttaa vain yhtä operaatiota käyttämälllä. Kirja esittää kuvissa 3.46a h, kuinka: 1) röntgenkuvaa terävöitetään Laplace-operaattorilla 2) alkuperäisen kuvan reunoja vahvistetaan Sobel-operaattoreilla 3) gradienttikuvaa pehmennetään ja se kerrotaan terävöitetyllä kuvalla 4) tuloskuva lisätään alkuperäiseen 5) kuvan dynamiikkaa parannetaan gammakorjauksella

82 10. Fourier-muunnoksen perusteet 82/2002 Fourier-muunnokset digitaalisen kuvankäsittelyn kannalta tärkein 2-dimensioisten kuvamuunnosten laji. Muita esim. kosini-, Walsh-, Hadamard-, Haar-, Slantja Hotelling- eli Karhunen-Loève-muunnokset. Kuvamuunnoksia tarvitaan: ehostuksessa entistämisessä koodauksessa sisällön kuvailussa

83 83/ Fourier-muunnospari jatkuvassa tapauksessa (4.2.1) F{f(x)} = F (u) = F 1 {F (u)} = f(x) = F{f(x, y)} = F (u, v) = F 1 {F (u, v)} = f(x, y) = f(x)e j2πux dx F (u)e j2πux du f(x, y)e j2π(ux+vy) dx dy F (u, v)e j2π(ux+vy) du dv

84 10.2 Diskreetti Fourier-muunnos, DFT (4.2.1) Lukusekvenssille {f(0), f(1), f(2),..., f(m 1)} määritellään diskreetti Fourier-muunnos- ja -käänteismuunnospari: F (u) = 1 M M 1 x=0 f(x)e j2πux/m, u = 0, 1,..., M 1 M 1 f(x) = F (u)e j2πux/m, x = 0, 1,..., M 1 u=0 Taajuustason ominaisuuksia (4.2.1) F (u) on kompleksinen: F (u) = R(u) + ji(u) = F (u) e jφ(u). F (u) = R 2 (u) + I 2 (u) φ(u) = tan 1 I(u) R(u) P (u) = F (u) 2 = R 2 (u) + I 2 (u) Fourier-spektri, magnitudispektri vaihekulma, vaihespektri tehospektri, spektritiheys 84/2002

85 Diskreetin lukusekvenssin muodostaminen (4.2.1) Diskreetin lukusekvenssin muodostamista jatkuvasta funktiosta kutsutaan näytteistämiseksi. Jatkuva-argumenttinen funktio f(x) voidaan diskretoida tasaväliseksi sekvenssiksi: {f(x 0 ), f(x 0 + x), f(x x),..., f(x 0 + (M 1) x)} Merkinnät saadaan yksinkertaisemmiksi sopimalla, että diskreettiä funktiota voidaan merkitä kuten aiemmin merkittiin jatkuvaa: f(x) f(x 0 + x x), x = 0, 1,..., M 1 Diskretointiväleille pätee tällöin: F (u) F (u u) u = 1 M x 85/2002

86 86/ Kaksiulotteinen diskreetti Fourier-muunnos (4.2.2) Kaksiulotteisessa tapauksessa: F (u, v) = 1 MN f(x, y) = M 1 x=0 N 1 y=0 f(x, y)e j2π(ux/m+vy/n), u = 0, 1,..., M 1, v = 0, 1,..., N 1 M 1 N 1 u=0 v=0 F (u, v)e j2π(ux/m+vy/n), x = 0, 1,..., M 1, y = 0, 1,..., N 1 Huomattava, että muunnospari on vakiokertoimien osalta epäsymmetrinen. Joskus muunnospari esitetään myös symmetrisenä, jolloin molemmissa on kerroin 1/MN. Toisaalta, jos kyseessä on neliömuotoinen kuva, so. M = N, voidaan kaavat kirjoittaa symmetrisiksi kertoimilla 1/N.

87 87/ dimensioisen Fourier-muunnoksen ominaisuuksia (4.2.2) F (u, v) on kompleksinen: F (u, v) = R(u, v) + ji(u, v) = F (u, v) e jφ(u,v) F (u, v) = R 2 (u, v) + I 2 (u, v) φ(u, v) = tan 1 I(u,v) R(u,v) Fourier-spektri vaihekulma P (u, v) = F (u, v) 2 = R 2 (u, v) + I 2 (u, v) tehospektri F (0, 0) = 1 M 1 N 1 MN x=0 y=0 f(x, y) keskiarvo F (u, v) = F ( u, v) konjugaattisymmetria F (u, v) = F ( u, v) spektrin symmetria

88 2-dimensioinen Fourier-muunnos, esimerkki (4.2.2) Fourier-muunnoksen origo on visualisoinnin vuoksi siirretty keskelle kuvaa. Suurin osa muunnoksen energiasta keskittynyt origoon ja akseleille. sin bx sin cy Muunnos on muotoa a. Palikan muoto on kiertynyt 90. x y 11/ /2002

89 10.4 Taajuustasossa suodattaminen (4.2.3) Taajuusalueessa suodattaminen perustuu konvoluutioteoreemaan: kuvan ja maskin spatiaalista konvoluutiota vastaa taajuusaluessa Fourier-muunnosten tulo. g(x, y) = h(x, y) f(x, y) G(u, v) = H(u, v) F (u, v) lasketaan kuvan f(x, y) Fourier-muunnos F (u, v) valitaan siirtofunktio H(u, v), jolla F (u, v) kerrotaan muodostetaan ehostettu kuva g(x, y) käänteisellä Fourier-muunnoksella Kohinan väheneminen, sumeneminen korkeiden taajuuksien redusointi. Yksityiskohtien korostus, terävöitys korkeiden taajuuksien korostus. 89/2002

90 Esimerkki ali- ja ylipäästösuodatuksista (4.2.3) 90/2002

91 Konvoluutio (4.2.4) Lineaariset suodatusoperaatiot voidaan tulkita konvoluutioina. Konvoluution määritelmä: f(x, y) h(x, y) = 1 MN M 1 N 1 m=0 n=0 f(m, n)h(x m, y n) Konvoluutio on vaihdannainen: f(x, y) h(x, y) = h(x, y) f(x, y) Konvoluutioteoreema: f(x, y) h(x, y) F (u, v) H(u, v) f(x, y) h(x, y) F (u, v) H(u, v) 91/2002

92 11. Kuvien ehostaminen taajuustasossa 92/2002 Kaikki taajuustason suodattaminen perustuu taajuustasossa tehtvään kuvan Fourier-muunnoksen kertomiseen suodatuksen siirtofunktiolla: G(u, v) = H(u, v) F (u, v) 11.1 Alipäästösuodatus (4.3) Alipäästösuodatuksella vaimennetaan korkeita taajuuksia, mikä sumentaa kuvaa, koska korkeat taajuudet vastaavat harmaatasojen nopeita muutoksia kuten ääriviivoja ja kohinaa.

93 93/2002 Ideaalinen alipäästösuodin (ILPF) (4.3.1) Ideaalisen alipäästösuotimen vaste on yksi D 0 -säteisen taajuustason ympyrän sisällä ja nolla sen ulkopuolella, D 0 on rajataajuus: { 1, D(u, v) D 0 H(u, v) = 0, D(u, v) > D 0 D(u, v) = ( u 2 + v 2) 1 2 H(u, v) on ympyräsymmetrinen origon suhteen. Alipäästösuotimen aiheuttamaa sumentumaa voidaan tutkia tarkastelemalla suotimen siirtofunktion käänteis-fourier-muunnosta, so. suotimen impulssivastetta eli pisteenleviämisfunktiota. Ideaalisen alipäästösuotimen impulssivaste on muodoltaan:

94 Jokainen alkuperäinen piste leviää ja sekoittuu ympäröivien pikseleiden kanssa. On huomattava ideaaliselle alipäästösuotimelle ominaiset renkaat, jotka aiheuttavat kuvassa rengastumista. Rengastumisen vuoksi voimakkaat pikselit saavat ympärilleen renkaita ja vastaavasti voimakkaat rajat kuvassa monistuvat tai toistuvat heikompina kaikuina. h(x, y):n samankeskisten renkaiden säteet ovat kääntäen verrannolliset rajataajuuteen D 0. Voimakas suodatus eli pieni D 0 aiheuttaa voimakkaan rengastumisen. Esimerkki ideaalisesta alipäästösuodatuksesta (4.3.1) D 0 : P %: /2002

95 95/2002 alkuperäinen D 0 = 5, -8% D 0 = 15, -5.4% D 0 = 30, -3.6% D 0 = 80, -2% D 0 = 230, -0.5%

96 Butterworth-alipäästösuodin (4.3.2) Erilaisista alipäästösuodatuksista tärkeimpiä on Butterworth-suodin: H(u, v) = Rajataajuudella: H(u, v) = 0.5 H(u, v) ( D(u, v)/d 0 ) 2n n = suotimen asteluku D 0 = rajataajuus D(u, v) = ( u 2 + v 2) 1 2 D(u,v) D 0 Butterworth-suodin sumentaa kuvaa vähemmän kuin ideaalinen suodin, koska suuritaajuiset komponentit pääsevät vaimennettuina vaikuttamaan tulokseen. Lisäksi renkaita ei muodostu yhtä helposti kuin ideaalisella suotimella / /2002

97 97/2002 Esimerkki Butterworth-alipäästösuodatuksesta (4.3.2) alkuperäinen D 0 = 5, -8% D 0 = 15, -5.4% D 0 = 30, -3.6% D 0 = 80, -2% D 0 = 230, -0.5%

98 Gaussinen alipäästösuodin (4.3.3) Alipäästösuodin voidaan toteuttaa myös Gaussin kellokäyrän mukaisesti: H(u, v) = e D2 (u,v)/2d 2 0 D 0 = rajataajuus D 2 (u, v) = u 2 + v 2 Rajataajuudella: H(u, v) = e Gaussisen suotimen erityisominaisuus on, että sen impulssivaste on myös gaussinen: h(x, y) = 2πD 0 e 2π2 D 2 0 (x2 +y 2 ) Siksi taajuustasossa gaussinen suodin ei voi tuottaa lainkaan rengastumisilmiötä spatiaalitasossa. Verrataessa H(u, v):tä ja h(x, y):tä huomataan, että D 0 :n luonne on niissä käänteinen. Siten leveää taajuusvastetta vastaa kapea impulssivaste ja päinvastoin, kuten kaikilla alipäästörakenteilla aina onkin. 98/2002

99 99/2002 Esimerkki gaussisesta alipäästösuodatuksesta (4.3.3) alkuperäinen D 0 = 5, -8% D 0 = 15, -5.4% D 0 = 30, -3.6% D 0 = 80, -2% D 0 = 230, -0.5%

100 100/2002 Alipäästösuodatuksen sovelluskohteita (4.3.4) Alipäästösuodatus on lähinnä kosmeettinen prosessi, jolla voidaan poistaa tai ainakin vähentää kohinaa tai joitakin muita kuvan vääristymiä kuvan terävyyden kustannuksella. Esim. tekstin digitoimisen jälkeen voidaan kirjainten epäpuhtauksia vähentää alipäästösuodatuksella. Kuvanmuodostuksessa syntyneitä esim. vaakasuuntaisia viivoja voidaan samoin vähentää taajuustason suodatuksella. Alipäästösuodatusta tarvitaan myös, kun halutaan vähentää käsiteltävän datan määrää esim. osana kuva-analyysin piirreirrotusta.

101 101/ Ylipäästösuodatus (4.4) Korkeiden taajuuksien korostaminen vahvistaa ääriviivoja ja pieniä yksityiskohtia. Yleisesti: H hp (u, v) = 1 H lp (u, v) Ideaalinen ylipäästösuodin (4.4.1) Ideaalinen ylipäästösuodin on ideaalisen alipäästösuotimen komplementti: { 0, D(u, v) D 0 H(u, v) = 1, D(u, v) > D 0 Butterworth-ylipäästösuodin (4.4.2) Myös ylipäästösuodin voidaan toteuttaa Butterworth-rakenteella. Tällöin: H(u, v) = ( D 0 /D(u, v) ) 2n

102 Kyseessä on siis ilmeinen ylipäästösuodin, jonka vaste origossa on nolla. 4π 2 (u 2 + v 2 ):n käänteis-fourier-muunnoksesta saadaan tuttu spatiaalinen Laplace-maski. 102/2002 Gaussinen ylipäästösuodin (4.4.3) H(u, v) = 1 e D2 (u,v)/2d 2 0 Gaussisia ylipäästösuotimia voidaan myös toteuttaa myös kahden gaussisen alipäästösuotimen erotuksena: H(u, v) = e D2 (u,v)/2d 2 1 e D 2 (u,v)/2d 2 2 Laplace-operaattori taajuustasossa (4.4.4) Reunanetsinnässä usein käytettävä Laplace-operaattori voidaan jatkuvana lausua kaksidimensioisen Fourier-muunnoksen avulla: 2 f(x, y) = 2 f x f y 2 F{ 2 f(x, y)} = 4π 2 (u 2 + v 2 )F (u, v)

103 103/2002 Kirjan kuvassa 4.23 virhe? (4.4) Ilmeisesti kirjan kuvassa 4.23 on virhe, koska gaussisen ylipäästösuotimen impulssivaste eli pisteenleviämisfunktio näyttää impulssifunktiolta. Kyseessä lienee virhe kuvan kaikkien ei-positiivisten lukuarvojen esittämisessä mustana.

104 13/ /2002 Muita ylipäästösuodatuksen muotoja (4.4.5) Puhdasta ylipäästösuodatusta tarvitaan kuva-analyysisovelluksissa, joissa etsitään kuvista reunoja ja pyritään segmentoimaan kuvassa olevat kohteet kuvan taustasta. Ihmisen katsottavaksi tarkoitetuissa kuvissa käytetään enemmänkin korkeiden taajuuksien korostusta. Tällöin esim. ylipäästösuotimen ulostulo lisätään vakiolla kerrottuna alkuperäiseen kuvaan. Tämä vastaa aiemmin esiteltyä High-boost-suodatusta: H hp (u, v) = 1 H lp (u, v) H hb (u, v) = (A 1) + H hp (u, v) Voidaan myös toteuttaa ns. korkeiden taajuuksien korostus (high-frequency emphasis): H hfe (u, v) = a + bh hp (u, v)

105 Kuvanmuodostuksessa on luontevaa ajatella, että valaistuksen i(x, y) vaihtelut ovat hitaita verrattuna heijastuksen r(x, y) vaihteluihin. Siten haitallisia valaistusvaihteluja voidaan vähentää ylipäästösuodattamalla linearisoitua kuvaa high-boost-suotimella. 105/ Homomorfinen suodatus (4.5) Homomorfiseksi suodatukseksi kutsutaan menetelmiä, joissa kuvanmuodstuksessa vaikuttavat epälineaariset tekijät ensin linearisoidaan, sitten käsitellään kuva lineaarisesti ja lopuksi palautetaan kuva alkuperäiseen epälineaariseen esitysmuotoon. Jo aiemmin esitettiin, kuinka kuva f(x, y) voidaan ajatella muodostuneeksi valaistuskomponentista i(x, y) ja heijastuskomponentista r(x, y): f(x, y) = i(x, y) r(x, y) Kuvanmuodostus linearisoidaan logaritmoimalla yhtälön molemmat puolet: ln f(x, y) = ln i(x, y) + ln r(x, y)

106 106/2002 Linearisoitu kuva palautetaan tässä tapauksessa eksponentioimalla takaisin alkuperäiseen esitysmuotoon. Koko prosessointi voidaan esittää kaaviolla: f(x, y) ln FFT H(u, v) FFT 1 exp g(x, y)

107 12. Lisää Fourier-muunnoksesta (Kuva ( 1) (x+y) itse asiassa vastaa kaksiulotteista Nyquist-taajuutta.) 107/2002 Siirto eli translaatio (4.6.1) f(x, y)e j2π(u 0x/M+v 0 y/n) F (u u 0, v v 0 ) f(x x 0, y y 0 ) F (u, v)e j2π(ux 0/M+vy 0 /N) Siirto toisessa tasossa vastaa vaihekulman muutosta toisessa tasossa. Translaatio ei vaikuta Fourier- eikä tehospektriin, koska eksponenttitermin itseisarvo on aina yksi. Visualisointitarkoituksessa usein siirretään Fourier-tason origo muunnoskuvan vasemmasta yläkulmasta keskelle, u 0 = M/2, v 0 = N/2: e j2π(u 0x/M+v 0 y/n) = e jπ(x+y) = ( 1) (x+y) f(x, y)( 1) (x+y) F (u M/2, v N/2)

108 108/2002

109 Lineaarisuus (4.6.1) Fourier-muunnosoperaattori F{ } on lineaarinen, mikä on seurausta siitä, että se on sekä distributiivinen F{f 1 (x, y) + f 2 (x, y)} = F{f 1 (x, y)} + F{f 2 (x, y)} että skaalausinvariantti joten F{af(x, y)} = af{f(x, y)} F{af 1 (x, y) + bf 2 (x, y)} = af{f 1 (x, y)} + bf{f 2 (x, y)} Kokoskaalaus (4.6.1) Kokoskaalaukselle pätee f(ax, by) 1 ab F (u/a, v/b) 109/2002

110 Kierto eli rotaatio (4.6.1) Napakoordinaatistoesityksessä x = r cos θ, y = r sin θ, u = ω cos φ, x = ω sin φ voidaan osoittaa, että kaksidimensioinen Fourier-muunnos toteuttaa: f(r, θ + θ 0 ) F (ω, φ + θ 0 ) Jaksollisuus eli periodisuus (4.6.1) F (u, v) = F (u + M, v) = F (u, v + N) = F (u + M, v + N) f(x, y) = f(x + M, y) = f(x, y + N) = f(x + M, y + N) Muunnos on siis toiseen suuntaan jaksollinen periodilla M ja toiseen suuntaan periodilla N. 110/2002

111 111/2002 Konjugaattisymmetria (4.6.1) Separoituvuus (4.6.1) F (u, v) = F ( u, v) F (u, v) = F ( u, v) F (u, v) = 1 MN = 1 M = 1 M M 1 x=0 M 1 x=0 M 1 x=0 N 1 y=0 f(x, y)e j2π(ux/m+vy/n) ( e j2πux/m 1 N = F x {F y {f(x, y)}} N 1 y=0 e j2πux/m F y {f(x, y)} = 1 M f(x, y)e j2πvy/n ) M 1 x=0 F (x, v)e j2πux/m 2D-muunnos voidaan siis hajottaa kahdeksi peräkkäiseksi 1D-muunnokseksi. Tarvittavien operaatioiden määrän muutos on luokkaa O(N 4 ) O(2N 3 ).

112 Jäljelle jää siis F (u, v):n kompleksikonjugointi (tai kääntö) ja vakiolla M N kertominen, minkä jälkeen taaksepäinmuunnos voidaan toteuttaa eteenpäinmuunnoksella. 14/ /2002 Käänteismuunnoksen laskeminen (4.6.2) Joskus on edullista, että käänteis-fourier-muunnos voitaisiin laskea käyttäen samaa kaavaa kuin eteenpäinmuunnos. Ottamalla kompleksikonjugaatti ja jakamalla M N:llä käänteismuunnoksesta tulee: f(x, y) = M 1 N 1 u=0 1 MN f (x, y) = 1 MN v=0 M 1 u=0 F (u, v)e j2π(ux/m+vy/n) N 1 v=0 F (u, v)e j2π(ux/m+vy/n) Kuva f(x, y) on normaalisti reaalinen, joten kompleksikonjugointi ei muuta sitä. Lisäksi normaali käytäntö on jättää käänteismuunnoksen tuottamat usein virheelliset imaginaariosat huomiotta.

113 113/ Jaksollisuus ja laajennetut sekvenssit (4.6.3) Fourier-muunnoksen määritelmään sisältyy olettamus sekvenssien jaksollisuudesta 2D-jaksolla (M, N). Koska todelliset kuvat eivät ole jaksollisia, Fouriermuunnosta käytettässä tapahtuu kuvien reunoille virheellistä päällekkäistymistä. Päällekkäistyminen voidaan estää käyttämällä laajennettuja sekvenssejä f e (x, y) ja h e (x, y), jotka muodostetaan jatkamalla alkuperäisiä A B:n ja C D:n pituisia sekvenssejä f(x, y) ja h(x, y) nollilla siten, että muodostuu P Q- kokoiset kuvat, joille P A + C 1 ja Q B + D 1. { f(x, y) (x, y) [0, A 1] [0, B 1] f e (x, y) = 0 A x P B y Q { h(x, y) (x, y) [0, C 1] [0, D 1] h e (x, y) = 0 C x P D y Q

114 Konvoluutio ja korrelaatio (4.6.4) f(x, y) h(x, y) = 1 MN f(x, y) h(x, y) = 1 MN M 1 Konvoluutioteoreema kertoi siis, että: N 1 m=0 n=0 M 1 N 1 f(m, n)h(x m, y n) f (m, n)h(x + m, y + n) m=0 n=0 f(x, y) h(x, y) F (u, v) H(u, v) f(x, y) h(x, y) F (u, v) H(u, v) Muutoin vastaava mutta epäsymmetrinen tulos pätee myös korrelaatiolle: f(x, y) h(x, y) F (u, v) H(u, v) f (x, y) h(x, y) F (u, v) H(u, v) Jos suodatusmaski on symmetrinen ja reaalinen, konvoluutio ja korrelaatio yhtyvät ja korrelaatiokin on symmetrinen. 114/2002

115 /2002 Nopea Fourier-muunnos, FFT (4.6.6) 2D-Fourier-muunnos voidaan siis suorittaa tehokkaammin peräkkäisinä 1Dmuunnoksina. Lisäksi diskreetti Fourier-muunnos voidaan yksidimensioisessa tapauksessa järjestää niin, että laskennan määrä vähenee M 2 M log 2 M. Laskenta jaetaan rekursiivisesti osiin ja osia jälleen yhdistettäessä huomioidaan, että samaa laskentaa ei tarvitse suorittaa kahdesti. Perus-FFT toimii, kun M = 2 n. FFT:n havainnollistamiseen käytetään usein perhoskaaviota : F m (p) F m+1 (p) F m (q) w r N -1 F m+1 (q) FFT-muunnoksen jälkeen tulosarvot ovat bittikäänteisessä järjestyksessä:

116 Spatiaalimaskin muodostus taajuusvasteesta (4.6.7) Pienten spatiaalimaskien käyttö on nopeampaa ja helpompaa kuin taajuusalueessa prosessointi. Kuitenkin suodatus on usein intuitiivisempaa määritellä taajuustasossa. Taajuustason suodatuksen H(u, v) toteuttamiseksi spatiaalitasossa tarvitaan periaatteessa koko kuvan kokoinen M N-maski h(x, y): h(x, y) = M 1 N 1 u=0 v=0 H(u, v)e j2π(ux/m+vy/n) Muodostetaan m n-kokoinen ĥ(x, y), joka approksimoi H(u, v):ta Ĥ(u, v):llä. ĥ(x, y) = Ĥ(u, v) = M 1 N 1 u=0 m 1 v=0 x=0 y=0 Ĥ(u, v)e j2π(ux/m+vy/n) n 1 ĥ(x, y)e j2π(ux/m+vy/n) Tehtäväksi jää sovittaa H(u, v) ja Ĥ(u, v) toisiinsa, mikä tehdään neliövirheen mielessä optimaalisesti vektori-matriisi-laskennalla ja pseudoinverssillä. 116/2002

117 13. Kuvien entistäminen 117/ Yleistä entistämisestä (5) Kuvien entistämisessä eli restauroinnissa (restoration) pyritään parantamaan kuvia mallittamalla virhettä eli huonontumisprosessia, joka on pilannut kuvan. Huonontumisprosessin käänteisprosessilla voidaan periaatteessa tuottaa lähes alkuperäisen veroinen kuva. Entistämismenetelmät voivat toimia sekä kuva- että taajuustasossa. Optimoidaan jotain matemaattista estimointikriteeriä. Entistysmenetelmät ovat usein laskennallisesti raskaita. Kirjassa esitellyissä tapauksissa lähtökohtana on digitoitu kuva. Voitaisiin korjailla myös kuvanottoa, digitointia ja näytteistystä. Kirjassa tarkastellaan enimmäkseen additiivista kohinaa. Entistämistekniikoita on myös monimutkaisemmille kohinoille.

118 118/ Huonontumismalli (5.1) Oletetaan seuraavanlainen huonontumismalli (degradation model): f(x, y) H g(x, y) R f(x, y) η(x, y) alkuperäinen kuva kohinalähde huonontunut kuva huononnus- prosessi entistämisprosessi entistetty kuva Prosessi H oletetaan lineaariseksi ja paikkainvariantiksi, kohina η puolestaan korreloimattomaksi ja additiiviseksi. Tällöin: g(x, y) = h(x, y) f(x, y) + η(x, y) G(u, v) = H(u, v)f (u, v) + N(u, v) Jatkossa oletetaan aluksi, että H = 1 ja tutkitaan vain pelkän additiivisen kohinan vaikutusta. Myöhemmin tutkitaan myös huononnusprosessin siirtofunktion approksimoimista ja kompensointia.

119 13.3 Kohinamalleja (5.2.2) normaalijakauma p(z) = 1 2πσ e (z µ)2 2σ 2 Rayleigh-jakauma p(z) = { 2(z a) b 0 e (z a) 2 b Erlang-jakauma { a b z b 1 (b 1)! p(z) = e az 0 eksponenttijakauma { ae az p(z) = 0 tasajakauma { 1 p(z) = b a 0 impulssikohina P a p(z) = P b 0 119/2002

120 15/ /2002 Esimerkki erilaisista kohinoista (5.2.2) Voidaan havaita, että vain impulssi- eli suola ja pippuri -kohina eroaa visuaalisesti muista kohinamalleista. Myös eksponenttijakautunut kohina poikkeaa muista hieman tuloskuvan yleisen tummuuden vuoksi.

121 121/2002 Jaksollinen kohina (5.2.3) Kuvanotossa tai kun kuvia siirretään analogisia siirtokanavia pitkin, niihin voi muodostua interferenssin aiheuttamaa jaksollista kohinaa. Jaksollisen kohinan olemassaolo on helpointa havaita ja sen ominaisuuksia tutkia taajuustasossa. Esimerkkikuvaan on lisätty neljää sinimuotoista häiriötä, jotka näkyvät konjugaattisymmetrisinä pisteinä Fourier-spektrissä. Myöhemmin esitetään, kuinka tämänkaltainen kohina poistetaan.

122 122/2002 Kohinaparametrien estimointi (5.2.4) Joskus kohinan malli ja parametrit tunnetaan ennalta, esimerkiksi kuvanmuodostuslaitteen spesifikaatioista. Kohinan ominaisuuksia voidaan tutkia myös empiirisesti kuvia analysoimalla. Parasta olisi, jos analysointia varten voitaisiin tuottaa kuvia tasaisesta ja tasaisesti valaistusta pinnasta. Jos se ei ole mahdollista, kohinan jakaumaa voidaan parhaiten analysoida mahdollisimman tasaharmaista kuva-alueista. Havaittua kohinan harmaa-arvohistogrammia voidaan sovittaa malleihin esim. suurimman uskottavuuden menetelmällä tai momenttimenetelmällä kohinaparametrejä estimoiden.

123 123/ Spatiaalitasossa entistäminen (5.3) Jos kuvan huonontuminen johtuu pelkästä additiivisesta kohinasta, entistys on helpointa spatiaalitasossa. Jos kohina on jaksollista tai huonontumismalli sisältää aidon huonontumisprosessin, entistys on helpointa taajuustasossa. Kohinaa voidaan spatiaalitasossa poistaa keskiarvoistamalla. Paitsi aritmeettista (so. lineaarista) keskiarvoa voidaan käyttää myös muita muotoiluja: aritmeettinen keskiarvo ˆf(x, y) = 1 g(s, t) mn (s,t) S xy geometrinen keskiarvo ˆf(x, y) = g(s, t) (s,t) S xy harmoninen keskiarvo ˆf(x, y) = mn (s,t) S xy 1 g(s,t) 1 mn (s,t) S kontraharmoninen keskiarvo ˆf(x, y) = xy g(s, t) Q+1 (s,t) S xy g(s, t) Q

124 Keskiarvoistaminen, esimerkkejä (5.3.1) alkuperäinen gaussista kohinaa pippurikohinaa suolakohinaa aritmeettinen ka. geometrinen ka. Q = 1.5 Q = /2002

125 125/2002 Järjestysfunktioon perustuvat entistykset (5.3.2) Epälineaarisista kohinanpoistoista tärkeimpiä ovat erilaiset järjestysfunktioon perustuvat suodatukset. mediaani ˆf(x, y) = median (s,t) S xy g(s, t) maksimiarvo ˆf(x, y) = max g(s, t) (s,t) S xy minimiarvo ˆf(x, y) = min g(s, t) (s,t) S xy keskipiste ˆf(x, y) = 1 [ ] max g(s, t) + min g(s, t) 2 (s,t) S xy (s,t) S xy alfa-säädetty keskiarvo ˆf(x, 1 y) = g r (s, t) mn d (s,t) S xy

126 Järjestysfunktio entistyksessä, esimerkkejä (5.3.2) suolaa ja pippuria mediaanisuodatus 2. mediaanisuodatus 3. mediaanisuodatus 126/2002

127 127/ Adaptiivinen suodatus (5.3.3) Kohinaa voidaan poistaa tehokkaasti adaptiivisella suodatuksella, joka mukautuu kuvan paikallisiin ominaisuuksiin. Siten voidaan saavuttaa hyvä kohinanvaimennus tasaisilla pinnoilla ilman, että yksityiskohdat sumenevat vaihtelevilla alueilla. Paikallinen kohinanpoistosuodatin (5.3.3) Säädetään lineaarista keskiarvosuodatusta siten, että tulosarvo on alkuperäisen pikseliarvon ja sen ympäristökeskiarvon väliltä. Säätö perustuu koko kuvan ja paikallisen alueen kohinavarianssien suhteeseen, mikä suosii vaihtelevilla alueilla alkuperäistä ja tasaisilla keskiarvoistettua arvoa. ˆf(x, y) = (1 σ2 η )g(x, y) + σ2 η m σl 2 σl 2 L = g(x, y) σ2 η [g(x, y) m σl 2 L ]

128 Paikallinen kohinanpoistosuodatin, esimerkki (5.3.3) gaussinen kohina aritmeettinen keskikarvo geometrinen keskiarvo adaptiivinen kohinanpoisto 16/ /2002

129 129/2002 Adaptiivinen mediaanisuodatus (5.3.3) Mediaanisuodatusmaskin kokoa säädetään riippuen maskin alle jäävän kuvanosan ominaisuuksista. Maskia kasvatetaan, jos z med = z min tai z med = z max, jotta z med :ksi saadaan impulssikohinasta vapaa arvo. Jos lopuksi z xy = z min tai z xy = z max, käytetään z med tulosarvona, muutoin z xy. impulssikohinaa 7 7-mediaani adaptiivinen, S max = 7.

130 130/ Jaksollisen kohinan poisto taajuustasossa (5.4) Aiemmin todettiin, että kuviin saattaa esim. interferenssin vaikutuksesta syntyä jaksollista kohinaa. Jos kohinan aiheuttamat piikit sijaitsevat taajuustasossa origokeskisellä ympyräkehällä, kohina voidaan poistaa kaistanestosuotimella. 1 jos D(u, v) < D 0 W 2 ideaalinen H(u, v) = 0 jos D(u, v) D 0 W 2 1 jos D(u, v) > D 0 + W 2 Butterworth H(u, v) = [ D(u,v)W D 2 (u,v) D 2 0 ] 2n gaussinen H(u, v) = 1 e 1 2 [ D 2 (u,v) D 0 2 ] 2 D(u,v)W

131 Jaksollisen kohinan poisto,esimerkki (5.4) jaksollista kohinaa lisätty taajuusspektri kaistanestosuodin 131/2002 suodatustulos

132 132/2002 Kaistanpäästösuodatus (5.4.2) Kutakin kaistanestosuodinta vastaava kaistanpäästösuodin saadaan kaavasta: H bp (u, v) = 1 H br (u, v) Kaistanpäästöä tarvitaan harvoin. Notch-suotimet (5.4.3) Ideaalisesta, Butterworth- ja gaussisesta suotimesta voidaan kustakin muokana ns. notch-suotimia, joilla voidaan estää tai päästää tietty taajuusalue, jonka ei tarvitse sijaita Fourier-tason origossa. Notch-suotimet ovat aina origosymmetrisiä. Notch-päästö- ja estosuotimien välillä vallitsee yhteys: H np (u, v) = 1 H nr (u, v)

133 133/2002 Notch-suotimet, esimerkki (5.4.3) taajuusspektri notch-suodin päästetty kohina estetty kohina

134 134/2002 Optimaalinen notch-suodatus (5.4.4) Usein interferenssi ei kuitenkaan ole niin säännöllistä, että se voitaisiin poistaa kerralla koko kuvasta. Tällöin voidaan käyttää mallia, jossa painotusfunktiolla w(x, y) säädellään, kuinka paljon estimoitua interferenssikuvaa kussakin pikselissä vähennetään huonontuneesta kuvasta: ˆf(x, y) = g(x, y) w(x, y)η(x, y) η(x, y) on taajuustason kohinahuipuista notch-päästösuotimella estimoitu interferenssikuvio. w(x, y) valitaan pisteittäin siten, että (x, y)-pisteiden määrätyssä ympäristössä ˆf(x, y):n varianssi minimoituu. w(x, y) = g(x, y)η(x, y) g(x, y)η(x, y) η 2 (x, y) η 2 (x, y) Kerroin w(x, y) voidaan ratkaista kullekin pisteelle erikseen tai pitää se vakiona toisiaan peittämättömissä alueissa.

135 135/2002 Optimaalinen notch-suodatus, esimerkki (5.4.4) Kyseessä on todellinen kuva eikä keinotekoisesti lisätty jaksollinen kohina kuten aiemmin. alkutilanne taajuusspektri entistystulos

136 17/ / Lineaarinen paikkainvariantti huonontumisprosessi (5.5) Tutkitaan huonontumismallia lähemmin. g(x, y) = H[f(x, y)] + η(x, y) Oletetaan nyt ensiksi, että kohinaa η(x, y) ei ole. Mikäli H[ ] on lineaarinen, niin H[af 1 (x, y) + bf 2 (x, y)] = ah[f 1 (x, y)] + bh[f 2 (x, y)] Lineaarinen operaattori on siis ensiksikin additiivinen: ja lisäksi homogeeninen: H[f 1 (x, y) + f 2 (x, y)] = H[f 1 (x, y)] + H[f 2 (x, y)] H[af 1 (x, y)] = ah[f 1 (x, y)]

137 137/2002 Operaattori H, jolle H[f(x, y)] = g(x, y) on paikka- eli avaruusinvariantti, jos H[f(x α, y β)] = g(x α, y β) kaikille kuville f(x, y) ja siirtymille (α, β). Tällöin mielivaltaisen kuvapisteen vaste riippuu vain kuvapisteiden arvoista, ei pisteen paikasta. Jatkuva-arvoinen f(x, y) voidaan lausua impulssifunktion integraalin avulla: f(x, y) = Siten kohinattomassa tilanteessa: [ g(x, y) = H[f(x, y)] = H = = f(α, β)δ(x α, y β) dαdβ ] f(α, β)δ(x α, y β) dαdβ H[f(α, β)δ(x α, y β)] dαdβ f(α, β)h[δ(x α, y β)] dαdβ

138 Merkitsemällä impulssivastetta eli pisteenleviämisfunktiota h(x, α, y, β) = H[δ(x α, y β)] saadaan: g(x, y) = = f(α, β)h(x, α, y, β) dαdβ f(α, β)h(x α, y β) dαdβ Ensimmäinen integraali on ns. superpositio- eli Fredholm-integraali. H:n paikkainvarianssin H[δ(x α, y β)] = h(x α, y β) perusteella on saatu jälkimmäinen konvoluutiointegraali. Additiivinen kohina η(x, y) voidaan lisätä mukaan: 138/2002 g(x, y) = H[f(x, y)] + η(x, y) = f(α, β)h(x α, y β) dαdβ + η(x, y) = h(x, y) f(x, y) + η(x, y) G(u, v) = H(u, v)f (u, v) + N(u, v)

139 13.8 Huononnusfunktion estimointi (5.6) Huononnusfunktio H[ ] voidaan estimoida g(x, y):n dekonvoluutiota varten: havainnoista kokeilemalla matemaattisesta mallista Huononnusfunktion estimointi havainnoista (5.6.1) Otetaan kuvasta voimakkaan signaalin alueelta pala g s (x, y), jonka ideaalista muotoa mallitetaan ˆf s (x, y):llä. Tällöin: H s (u, v) = G s(u, v) ˆF s (u, v) H s (u, v):tä käytetään sitten H(u, v):n estimaattina 139/2002

140 140/2002 Huononnusfunktion estimointi kokeilemalla (5.6.2) Kuvataan mahdollisimman pientä kirkasta pistettä, jolloin kuvassa nähdään pisteenleviämisfunktio g(x, y) suoraan ja H(u, v) = G(u, v) A Huononnusfunktion estimointi mallista (5.6.3) Esim. ilmakehän turbulenssin tuottamaa huonontumista voidaan mallittaa: H(u, v) = e k(u2 +v 2 ) 5/6

141 141/2002 Tasaisen lineaarisen liikevirheen korjaaminen (5.6.3) Yleisesti tärähtäneen kuvan g(x, y) syntyminen puhtaasta kuvasta f(x, y) voidaan mallintaa, kun tunnetaan aikariippuvat x- ja y-suuntaiset liikekomponentit x 0 (t) ja y 0 (t) ja valotusaika T: g(x, y) = T 0 f [ x x 0 (t), y y 0 (t) ] dt Sen Fourier-muunnos on: G(u, v) = g(x, y)e j2π(ux+vy) dx dy = = T 0 [ T 0 f [ x x 0 (t), y y 0 (t) ] ] dt e j2π(ux+vy) dx dy f [ x x 0 (t), y y 0 (t) ] e j2π(ux+vy) dx dy dt

142 Ja edelleen: G(u, v) = T 0 = F (u, v) F (u, v) e j2π [ux 0(t)+vy 0 (t)] dt T 0 e j2π [ux 0(t)+vy 0 (t)] dt kun merkitään H(u, v) = T 0 e j2π [ux 0(t)+vy 0 (t)] dt niin G(u, v) = H(u, v)f (u, v) Joten, jos liikefunktiot x 0 (t) ja y 0 (t) tunnetaan, siirtofunktio H(u, v) voidaan määrätä. 142/2002

143 143/2002 Liikevirheen korjaaminen, esimerkki (5.6.3) Tasainen lineaarinen liike vain x-suunnassa: x 0 (t) = at/t, y 0 (t) = 0. H(u, v) = T 0 e j2πuat/t dt = T sin(πua) e jπua πua Nähdään, että H(u, v) häviää, kun u = n/a, missä n on kokonaisluku.

144 Lähellä H(u, v):n nollakohtia kohina vahvistuu huomattavasti ja N(u,v) H(u,v) -termi dominoi entistystuloksessa. Käytännössä H(u, v) vaimenee nopeammin kuin N(u, v) etäisyyden kasvaessa (u, v)-tason origosta. Siten järkeviä tuloksia saadaan käänteissuotimella vain rajoitetulla alueella lähellä origoa. 18/ / Käänteissuodatus (5.7) Käänteissuodatus (inverse filtering) on tyyppiesimerkki ns. pakottamattomasta kuvanentistyksestä. Käänteissuodatus kirjoitetaan Fourier-tasossa: ˆF (u, v) = Sijoittamalla G(u, v):hen saadaan: G(u, v) H(u, v) ˆF (u, v) = G(u, v) H(u, v) = H(u, v)f (u, v) + N(u, v) H(u, v) = F (u, v) + N(u, v) H(u, v)

145 Käänteissuodatus, esimerkki (5.7) koko H r = 40 r = 70 r = /2002

146 13.10 Wiener-suodatus (5.8) Wiener-suodatus on tyyppiesimerkki ns. pakotetusta kuvanentistyksestä. Se pyrkii minimoimaan f:n ja ˆf:n välistä neliöllistä virhettä e 2 = E[(f ˆf) 2 ]. Wiener-suodatus lausutaan Fourier-tasossa: H ˆF (u, v) (u, v) = G(u, v) H(u, v) 2 + γs η (u, v)/s f (u, v) 1 H(u, v) 2 = G(u, v) H(u, v) H(u, v) 2 + γs η (u, v)/s f (u, v) Vakio γ on Wiener-suodatuksen parametri, jolla voidaan vaikuttaa entistystulokseen. Nähdään, että Wiener-suodatus redusoituu käänteissuodatukseksi kohinattomassa tapauksessa tai kun parametri γ = 0. Arvolla γ = 1 Wienersuodatus on e 2 :n mielessä optimaalinen. Jos S f (u, v) ja S η (u, v) ei tunneta tarkasti, Wiener-suodatus voi olla käyttökelpoinen, kun γ ja tehospektrien suhde korvataan vakiolla K: 146/2002 ˆF (u, v) = 1 H(u, v) 2 G(u, v) H(u, v) H(u, v) 2 + K

147 147/2002 Wiener-suodatus, esimerkki (5.7) käänteissuodatus rajoitettu käänt.suod. Wiener-suodatus

148 148/2002 Wiener-suodatus, toinen esimerkki (5.7) kohinainen kuva käänteissuod. Wiener-suodatettu

149 13.11 Pakotettu pienimmän neliövirheen entistys (5.9) Wiener-suodatus perustuu kohinan korrelaatiomatriisiin ja on optimaalinen vain keskiarvon mielessä. Nyt esitettävä entistysmenetelmä on optimaalinen annetulle kuvalle, kun kohinan keskiarvo ja varianssi oletetaan tunnetuiksi. Optimoitava kriteeri on kuvan tasaisuus, koska additiivinen kohina yleisesti tekee kuvan epätasaiseksi tai rakeiseksi. Kuvan tasaisuutta mallitetaan kuvafunktion toisen derivaatan, so. diskreetin Laplace-operaattorin, neliöllisellä minimoinnilla. Merkitään: ja min! C = M 1 N 1 [ 2 ˆf(x, y) ] 2 x=0 y= p(x, y) = Optimoinnin ratkaisu on tällöin: H ˆF (u, v) (u, v) = H(u, v) 2 + γ P (u, v) G(u, v) 2 149/2002

150 Lagrangen kertoimelle γ valitaan arvo joko visuaalisesti tai iteraatiolla, joka löytää pakotteen g H f 2 = η 2 toteuttavan arvon. 2 on euklidinen normi. g, f ja η ovat MN 1-kokoisia kuvavektoreita, H on MN MN-kokoinen huononnusmatriisi, joille voidaan aiempia merkintöjä vastaavasti lausua: G(u, v) = H(u, v)f (u, v) + N(u, v) g(x, y) = h(x, y) f(x, y) + η(x, y) g = Hf + η 150/2002

151 151/ Yhteenveto entistyksestä taajuusalueessa (5.7 11) Pakottamattomassa entistyksessä (unconstrained restoration) ei tunneta g:n ja H:n lisäksi muita muuttujia. Estimoidaan ˆf:ää siten, että tuloksena saatava kohinan η varianssi minimoituu. Pakotetussa entistyksessä (constrained restoration) ei tyydytä vain minimoimaan kohinatermin normia vaan lisäksi minimoidaan tunnetun lineaarisen operaattorin määräämää virhekriteeriä. Valitsemalla virhekriteeri eri tavoin saadaan erilaisia huonontumismallin kanssa yhteensopivia ratkaisuja. Kaikki esitetyt ratkaisut olivat muotoa: ˆF (u, v) = käänteissuodatuksessa X(u, v) = 0. H (u, v) G(u, v) H(u, v) 2 + X(u, v) Wiener-suodatuksessa X(u, v) = γs η (u, v)/s f (u, v) tai K. pienimmän neliövirheen entistyksessä X(u, v) = γ P (u, v) 2.

152 19/ / Geometriset muunnokset (5.11) Geometriset muunnokset eroavat perusteiltaan aiemmista entistämisongelmista. Kun aiemmissa tapauksissa vääristymä oli tullut kuvan pikseleiden harmaaarvoihin, geometrisia muunnoksia tarvitaan tilanteissa, joissa vääristymä on vaikuttanut kuvapikseleiden xy-koordinaatteihin. Geometrisista muunnoksista kutsutaan joskus nimellä kumiarkkimuunnokset. Muunnos toteutetaan normaalisti kahdessa vaiheessa: spatiaalimuunnos koordinaattiparien välillä harmaa-arvomuunnos pikseleiden välillä Voidaan kuvitella tilanne, jossa geometrinen muunnos voitaisiin määritellä analyyttisesti koko kuva-alalle. Käytännössä kuitenkin muunnos toteutetaan joidenkin kuvasta löydettävien tunnettujen solmu- eli kiintopisteiden (tiepoint) rajaamissa kolmi- tai nelikulmioissa.

153 Geometrinen spatiaalimuunnos (5.11.1) f g Olkoon alkuperäisen kuvan f koordinaatit (x, y) ja vastaavat vääristyneen kuvan g koordinaatit (ˆx, ŷ). Geometrinen vääristymä lausutaan: ˆx = r(x, y) ŷ = s(x, y) r(x, y):n ja s(x, y):n parametrinen muoto täytyy valita siten, että tarvittavat parametrit voidaan estimoida havaittavista kiintopisteistä. 153/2002

154 154/2002 Jos sovitus perustuu neljän kiintopisteen käyttöön, muodostuu neljä samanaikaista yhtälöä, joista voidaan ratkaista neljä tuntematonta ˆx:n parametria ja yhtä monta ŷ:n parametria. Tyypillisesti käytetään bilineaarista yhtälömuotoa: ˆx = r(x, y) = c 1 x + c 2 y + c 3 xy + c 4 ŷ = s(x, y) = c 5 x + c 6 y + c 7 xy + c 8 Muunnos kuvaa kiintopisteet f-kuvasta g-kuvaan ja interpoloi bilineaarisesti kiintopisteiden välisessä alueessa. Muunnos ratkaistaan erikseen kaikille kiintopistenelikoille. Jokaiselle f:n diskreetille (x, y)-pisteelle löydetään g-kuvassa (ˆx, ŷ)-vastinpiste, missä ˆx ja ŷ eivät ole kokonaislukuja.

155 Kertoimet a, b, c ja d voidaan ratkaista neljästä samanaikaisesta yhtälöstä sijoittamalla neljän naapuripikselin tunnetut koordinaatit ja harmaa-arvot. 155/2002 Geometrinen harmaa-arvomuunnos (5.11.2) Geometrisella harmaa-arvomuunnoksella tuotetaan f:n jokaiselle diskreetille (x, y)-pisteelle harmaa-arvo sen (ˆx, ŷ)-vastinpisteen avulla g-kuvasta. (ˆx, ŷ) sijaitsee aina g-kuvan neljän diskreetin pikselin välillä. Koska näiden neljän pikselin harmaa-arvot tunnetaan, voidaan (ˆx, ŷ):n ja siten edelleen entisöitävän f-kuvan (x, y)-pisteen harmaa-arvo jollakin tavoin approksimoida. Yksinkertaisin menetelmä on nollannen asteen interpolointi eli pyöristäminen lähimpään kokonaislukupikseliin. Se on laskennallisesti kevyt, mutta johtaa helposti ruudukkoisuuteen ja muihin vääristymiin tuloskuvassa. Jos halutaan käyttää kaikkien neljän naapuripikselin sisältämä informaatio hyväksi, päädytään taas bilineaariseen interpolaatioon: v(ˆx, ŷ) = aˆx + bŷ + cˆxŷ + d missä v(ˆx, ŷ) on (ˆx, ŷ):n harmaa-arvo.

156 156/2002 Vastaavasta menetelmästä resoluutiomuutoksessa käytetään usein nimitystä anti-aliasing-suodatus. Paitsi neljää naapuripikseliä, voitaisiin käyttää myös esim. 16 naapuria. Laskenta on tällöin luonnollisesti raskaampaa, mutta harmaa-arvojen jatkuvuus kuvapikselien välillä vastaavasti parempi. Muita sovelluskohteita geometriselle muunnokselle: kuvien rekisteröinti: sovitetaan yhteen samaa näkymää eri kuvakulmista esittäviä kuvia, esim. satelliittikuvat. karttaprojektiot ym. kaukokartoitukseen liittyvät sovellukset.

157 14. Morfologiaa binaarikuvien loogista käsittelyä, yleistyksiä harmaasävykuviin kuvaa käsitellään pistejoukkona Morfologian käyttökohteita: esikäsittely: kohinanpoisto muodon korostaminen kohteiden kvalitatiivinen kuvaaminen Morfologisia operaatioita: dilaatio & eroosio avaus & sulkeminen hit-or-miss ohennus & paksunnus ehdolliset operaatiot 157/2002

158 158/ Käsitteitä ja operaatioita (9.1.1) perusjoukko periaatteessa euklidinen 2-ulotteinen avaruus diskreettien pisteiden joukko Z 2 origo / referenssipiste kuuluu joukkoon, osajoukko,, leikkaus, yhdiste tyhjä joukko, komplementti () C, erotus A B = A B C symmetrinen joukko eli transpoosi eli reflektio eli peilaus B = {w w = b, kun b B} translaatio eli siirto (A) z = {c c = a + z, kun a A}

159 14.2 Dilaatio (täyttö, kasvatus) (9.2.1) kasvattaa kuvaa, täyttää aukkoja A on dilatoitava joukko, B dilaation rakenne-elementti A B = {z ( B) z A } = {w Z 2 w = a + b, joillekin a A ja b B} = b B(A) b rinnastuu konvoluutioon, molemmissa rakenne-elementti kääntyy ympäri 159/2002

160 Esimerkki dilaatiosta (9.2.1) 20/ /2002

161 14.3 Eroosio (pienennys) (9.2.2) pienentää kuvaa, poistaa yksityiskohtia A B = {z (B) z A} = {w Z 2 w + b A, kaikille b B} = b B(A) b 161/2002

162 162/2002 Dilaation ja eroosion duaalisuus (9.2.2) Oikeastaan dilaatiossa ja erosoosiossa on kyse yhdestä ja samasta asiasta, vain kohteen ja taustan roolit vaihtuvat: (A B) C = A C B = {z (B) z A} C = {z (B) z A C = } C = {z (B) z A C } = A C B, m.o.t.

163 14.4 Avaus ja sulkeminen (9.3) dilaation ja eroosion yhdistelmiä irrallisten pisteiden poisto voidaan tehdä avauksella reikien ja katkosten paikkaaminen voidaan tehdä sulkemisella A B = (A B) B A A B = (A B) B A A B = {(B) z (B) z A} operaatiot ovat toistensa duaaleja: (A B) C = A C B avauksen ja sulkemisen idempotenttisuus A B = (A B) B A B = (A B) B voidaan sanoa A:n olevan avoin / suljettu B:n suhteen 163/2002

164 164/2002 Esimerkki avauksesta (9.2) alkuperäinen eroosion jälkeen dilaation jälkeen

165 Esimerkki peräkkäisestä avauksesta ja sulkemisesta (9.2) 165/2002

166 166/ Reunan erottaminen (9.5.1) Kappaleen A reunapikselit (sopivan rakenne-elementin B mielessä) voidaan erottaa: β(a) = A (A B)

167 14.6 Alueen täyttäminen (9.5.2) Ontto kappale A voidaan täyttää (sopivan rakenne-elementin B mielessä) lähtien sen sisältä löytyvästä aloitus- eli siemenpisteestä p A C : X 0 = {p} X k = (X k 1 B) A C, k = 1, 2, 3,... X k = X k 1 = lopetus 167/2002

168 21/ / Yhtenäisten komponenttien erottaminen (9.5.3) Alueen A yhtenäiset komponentit Y i (sopivan rakenne-elementin B mielessä) voidaan erottaa lähtien komponenttiin kuuluvasta siemenpisteestä p i Y i : X 0 = {p} X k = (X k 1 B) A, k = 1, 2, 3,... X k = X k 1 = lopetus

169 169/ Osuma-tai-huti (hit-or-miss) (9.4) yhdistetty rakenne-elementti on järjestetty pari B = (B 1, B 2 ) A B = (A B 1 ) (A C B 2 ) = (A B 1 ) (A B 2 ) 14.9 Ohennus (9.5.5) Kappaleen A ohennus yhdeltä reunaltaan yhdistetyllä rakenne-elementillä B: A B = A (A B) = A (A B) C Kaikkiin suuntiin vaikuttava ohennus syntyy rakenne-elementtisarjalla (eli Golay-aakkostolla) {B} = {B 1, B 2,..., B n }: A {B} = (( ((A B 1 ) B 2 ) ) B n )

170 170/ Paksunnus (9.5.6) Alueen A paksunnus yhdeltä reunaltaan yhdistetyllä rakenne-elementillä B: A B = A (A B) Kaikkiin suuntiin vaikuttava paksunnus syntyy rakenne-elementtisarjalla {B}: A {B} = (( ((A B 1 ) B 2 ) ) B n ) Ohennus ja paksunnus ovat toistensa duaaleja: (A B) C = A C B, B = (B 2, B 1 )

171 171/ Golay-aakkosia ( ) ohennus L-elementillä (4-naapurein) L (1) = , L (2) = ohennus E-elementillä (4-naapurein) E (1) = , E (2) = ohennus M-elementillä (4-naapurein) M (1) = , M (2) = ,,, ohennus D- ja paksunnus D -elementillä (4-naapurein) D (1) = , D (2) = paksunnus C-elementillä (4-naapurein) C (1) = , C (2) = ,,

172 Esimerkki ohennuksesta (9.5.5) 172/2002

173 173/2002 Esimerkki paksunnuksesta (9.5.6) Paksunnus voidaan toteuttaa komplementin ohennuksen komplementilla:

174 15. Aallokkeet ja moniresoluutiokäsittely 174/2002 Fourier-muunnosta joissakin tapauksissa parempi menetelmä kuva-analyysissä ovat aallokkeet (wavelets). Ne ilmaisevat paitsi taajuussisältöä myös tietyn taajuisten rakenteiden sijaintia kuvassa. Yksi aallokkeiden sovelluskohde on kuvien moniresoluutiokäsittely, jossa samaa kuvaa tutkitaan useissa eri ko oissa Käsitteitä ja apuvälineitä (7.1) Esimerkeissä tutkitaan oheista kuvaa, jossa eri kohdissa esiintyy hyvinkin erilaisia harmaa-arvojakaumia ja taajuussisältöjä.

175 175/2002 Kuvapyramidit (7.1.1) Kuvapyramidit ovat klassinen lähestymistapa moniresoluutiokäsittelyyn. Niissä alkuperäistä kuvaa tyypillisesti alipäästösuodatetaan ja alinäytteistetään (desimoidaan) siten, että neljästä alkuperäisestä pikselistä muodostuu yksi pikseli alemman resoluution kuvaan. N 2 -kokoisesta (N = 2 J ) kuvasta muodostetussa P +1-tasoisessa pyramidissa on kaikkiaan pikseleitä ( N ) P 3 N 2

176 Ennustusvirhepyramidi (ylinäytteistys, interpolointi, Laplace-erotuskuva) 22/ /2002 Esimerkki kuvapyramidista (7.1.1) Approksimaatiopyramidi (gaussinen alipäästö, alinäytteistys)

177 Alikaistakoodaus (7.1.2) Tutkitaan menetelmää, jossa signaali jaetaan kahteen alikaistaan, joista toinen sisältää signaalin pieni- ja toinen suuritaajuiset komponentit. Yksidimensioinen diskreetti syötesignaali on x(n) ja alikaistat muodostavien analyysisuodinten impulssivasteet h 0 (n) (alataajuudet) ja h 1 (n) (ylätaajuudet). Molempia suodatustuloksia alinäytteistetään siten, että vain joka toinen näyte säilytetään, jolloin saadaan signaalit y 0 (n) ja y 1 (n). 177/2002 Alkuperäinen signaali pyritään rekonstruoimaan ylinäytteistämällä y 0 (n) ja y 1 (n) kertoimella kaksi ja suodattamalla tulokset impulssivasteilla g 0 (n) ja g 1 (n), minkä jälkeen suodatustulokset summataan ˆx(n):ksi.

178 178/2002 Alikaistojen Z-muunnos (7.1.2) Alikaistakoodaus on helpointa ymmärtää Z-muunnoksen avulla. X(z) = x(n)z n Tällöin x down (n) = x(2n) X down (z) = 1 [ ] X(z 1/2 ) + X( z 1/2 ) { 2 x up x(n/2) n = 0, 2, 4,... (n) = X up (z) = X(z 2 ) 0 muulloin x(n):n peräkkäinen ali- ja ylinäytteistys tuottaa Z-tasossa X(z) = 1 [X(z) + X( z)] 2 Koko analyysi synteesi-prosessi on tällöin: X(z) = 1 2 G 0(z) [H 0 (z)x(z) + H 0 ( z)x( z)]+ 1 2 G 1(z) [H 1 (z)x(z) + H 1 ( z)x( z)]

179 Jotta X(z) = X(z) toteutuisi, on oltava: H 0 ( z)g 0 (z) + H 1 ( z)g 1 (z)= 0 H 0 (z)g 0 (z) + H 1 (z)g 1 (z) = 2 Synteesisuotimet g 0 (n) ja g 1 (n) voidaan siten ratkaista, kun analyysisuotimet h 0 (n) ja h 1 (n) tunnetaan (tai päinvastoin): tai g 0 (n) = ( 1) n h 1 (n) g 1 (n) = ( 1) n+1 h 0 (n) g 0 (n) = ( 1) n+1 h 1 (n) g 1 (n) = ( 1) n h 0 (n) 2K-pituisille ortonormaaleille suotimille pätee lisäksi: g 1 (n) = ( 1) n g 0 (2K 1 n) h i (n) = g i (2K 1 n), i = 0, 1 179/2002

180 180/2002 Esimerkki analyysi synteesi-suotimista (7.1.2) 8-tappiset Daubechies ortonormaalit suotimet:

181 181/2002 Kaksidimensioinen alikaistakoodaus (7.1.2) Alkuperäinen diskreetti kuva x(m, n) voidaan vastaavalla tavalla hajoittaa ensin riveittäin ja sitten sarakkeittain approksimaatioalikaistaksi a(m, n) ja vertikaaliseksi, horisontaaliseksi ja diagonaaliseksi yksityiskohta-alikaistaksi d V (m, n), d H (m, n) ja d D (m, n):

182 Haar-muunnos (7.1.3) Haar-muunnoksen kantafunktiot ovat vanhimmat ja yksinkertaisimmat tunnetut ortonormaalit aallokkeet. Esitettäköön N N-kokoinen kuva f(x, y) matriisilla F. Tällöin sen Haarmuunnos on T = HFH missä H on N N-kokoinen Haar-muunnosmatriisi, joka muodostuu Haarin kantafunktioden arvoista siten, että sen rivillä k, k = 0, 1,..., N 1, on kantafunktion h k (z) arvot pisteissä z = 0, 1/N,..., (N 1)/N. Rivi-indeksistä k johdetaan ensin indeksit p ja q: k = 2 p + q 1 p = 0, 1,..., n 1 (N = 2 n ) { 0, 1, jos p = 0 q = 1, 2,..., 2 p, jos p 0 Siten esimerkiksi: k p q /2002

183 183/2002 Itse Haarin kantafunktiot ovat muotoa: h 0 (z) = h 00 (z) = 1, z [0, 1] N h k (z) = h pq (z) = 1 2 p/2 (q 1)/2 p z < (q 0.5)/2 p 2 N p/2 (q 0.5)/2 p z < q/2 p 0 muulloin, z [0, 1] Tällöin saadaan esim. Haarin muunnosmatriisit: H 2 = 1 [ ] ja H 4 =

184 Esimerkki Haar-funktioista aallokemuunnoksessa (7.1.3) 23/ /2002

185 185/ Moniresoluutiokäsittely (7.2) Moniresoluutiokäsittelyssä signaali hajoitetaan osiin, joita kutsutaan skaalausfunktioksi ja aallokkeiksi. Nämä vastaavat kuvapyramidien approksimaatioja ennustuskuvia. Erona on, että skaalausfunktiota ja aallokkeita käyttäen kuvan esitysmuodon kokonaispikselimäärä ei kasva. Sarjakehitelmät (7.2.1) Oleteaan jatkuva-arvoisessa tapauksessa, että funktio f(x) voidaan lausua kantafunktiojoukon {ϕ k (x)} lineaarikehitelmänä: f(x) = k α k ϕ k (x) Kantafunktioiden virittämää suljettua funktioavaruutta merkitään: V = Span{ϕ k (x)} k

186 186/2002 Skaalausfunktiot (7.2.2) Oletetaan annetuksi reaalinen, neliöllisesti integroituva funktio ϕ(x), jonka kokonaislukusiirroista k ja kahdenpotenssiskaaluksista j muodostetaan kantafunktiojoukko {ϕ j,k (x)}: ϕ j,k (x) = 2 j/2 ϕ(2 j x k) ϕ(x):ää kutsutaan skaalausfunktioksi, koska ϕ j,k (x):n muoto skaalautuu j:n muuttuessa. Sopivalla ϕ(x):n valinnalla voidaan virittää koko funktioavaruus L 2 (R). Tietyllä j:n arvolla virittyvä L 2 (R):n aliavaruus on: V j = Span{ϕ j,k (x)} k

187 187/2002 Esimerkki skaalausfunktiosta (7.2.2) Haarin skaalausfunktio on { 1 0 x < 1 ϕ(x) = 0 muulloin

188 188/2002 Skaalausfunktioiden ominaisuudet (7.2.2) Jotta jokin funktio ϕ(x) voisi toimia hyvin aallokkeiden skaalausfunktiona, sen on toteutettava seuraavat ehdot: Skaalausfunktion on oltava ortogonaalinen omien kokonaislukusiirtojensa kanssa. Skaalausfunktion virittämien aliavaruuksien täytyy muodostaa kasvava sarja: V... V 1 V 0 V 1... V Ainoa kaikkiin V j kuuluva funktio on f(x) = 0, so. V = {0}. Mikä tahansa funktio voidaan esittää mielivaltaisella tarkkudella, so. V = L 2 (R).

189 189/2002 Ehtojen toteutuessa kaikki V j :n skaalausfunktiot voidaan lausua V j+1 :n funktioiden lineaarikombinaatioina: ϕ j,k (x) = n = n h ϕ (n)ϕ j+1,n (x) h ϕ (n)2 (j+1)/2 ϕ(2 j+1 x n) ja kun j = k = 0: ϕ(x) = n h ϕ (n) 2ϕ(2x n) h ϕ (n) ovat skaalausfunktiokertoimia ja muodostavat skaalausvektorin hϕ. Edellä oleva yhtälö on moniresoluutioanalyysin keskeinen tarkennusyhtälö eli moniresoluutioanalyysiyhtälö eli dilaatioyhtälö.

190 190/2002 Aallokefunktiot (7.2.3) Edellä nähtiin, kuinka skaalausfunktio viritti kasvavan joukon funktioaliavaruuksia. Kahden sisäkkäisen funktioaliavaruuden erotuksen virittää aina vastaava aallokefunktio. Määritellään aallokefunktio ψ(x) ja siitä muodostuva aallokkejoukko {ψ j,k (x)}: ψ j,k (x) = 2 j/2 ψ(2 j x k) joka virittää aliavaruuden W j = Span k {ψ j,k (x)}.

191 191/2002 Nyt siis tai tai L 2 (R) = V 0 W 0 W 1 L 2 (R) = V 1 W 1 W 2 L 2 (R) = V j0 W j0 W j0 +1 Myös kaikki W j :n aallokefunktiot voidaan lausua V j+1 :n funktioiden lineaarikombinaatioina, jolloin saadaan tulos: ψ(x) = n h ψ (n) 2ϕ(2x n) missä h ψ (n):t ovat aallokefunktiokertoimia ja h ψ aallokevektori. h ψ (n):t ja h ϕ (n):t ovat keskenään suhteessa: h ψ (n) = ( 1) n h ϕ (n)(1 n)

192 24/ /2002 Esimerkki aallokefunktioista (7.2.3) Haarin aallokefunktio on 1 0 x < 0.5 ψ(x) = x < 1 0 muulloin

193 193/ Yksiulotteinen aallokemuunnos (7.3) Aallokesarjakehitelmä (7.3.1) L 2 (R):ään kuuluva funktio f(x) voidaan lausua sarjakehitelmänä f(x) = k c j0 (k)ϕ j0,k(x) + d j (k)ψ j,k (x) j=j 0 k c j0 (k):t ovat approksimaatio- eli skaalauskertoimia ja d j (k):t yksityiskohtaeli aallokekertoimia.

194 Esimerkki aallokemuunnoksesta (7.3.1) 194/2002

195 195/2002 Diskreetti aallokemuunnos (7.3.2) Diskreetti aallokemuunnos (DWT) eteenpäin on: W ϕ (j 0, k) = 1 f(x)ϕ j0,k(x) M x W ψ (j, k) = 1 f(x)ψ j,k (x), kun j j 0 M x missä f(x) saa arvoja välillä x = 0, 1,..., M 1 ja M = 2 J. Vastaavasti j saa arvot j = 0, 1,..., J 1 ja k saa arvot k = 0, 1,..., 2 j 1. f(x) voidaan palauttaa käänteismuunnoksella: f(x) = 1 W ϕ (j 0, k)ϕ j0,k(x) + 1 M M k j=j 0 W ψ (j, k)ψ j,k (x) k

196 196/2002 Esimerkki diskreetistä aallokemuunnoksesta (7.3.2) Muunnetaan DWT:llä lukujono f(0) = 1, f(1) = 4, f(2) = 3, f(3) = 0 käyttäen Haarin skaalaus- ja aallokefunktioita. Nyt siis M = 4 ja J = 2 ja valitaan j 0 = 0, joten laskettaviksi tulevat (j, k)-parit (0, 0), (1, 0) ja (1, 1). Jo aiemmin laskettiin Haar-muunnosmatriisi: H 4 = Sen alkioista saadaan kertoimet seuraaviin laskuihin: W ϕ (0, 0) = 1 [ ] = 1 2 W ψ (0, 0) = 1 [ ( 1) + 0 ( 1)] = 4 2 W ψ (1, 0) = 1 2 [ ( 2) ] = W ψ (1, 1) = 1 2 [ ( 2)] = 1.5 2

197 197/ Kaksiulotteinen aallokemuunnos (7.5) Diskreetissä kaksiulotteisessa aallokemuunnoksessaakäytetään luonnollisesti kaksiulotteisia skaalaus- ja aallokefunktioita. Diskreetti kaksiulotteinen aallokemuunnos on separoituva, jolloin sen tarvitsemat funktiot voidaan lausua yksiulotteisten skaalaus- ja aallokefunktioiden tuloina: ϕ(x, y) = ϕ(x)ϕ(y) ψ H (x, y) = ψ(x)ϕ(y) ψ V (x, y) = ϕ(x)ψ(y) ψ D (x, y) = ψ(x)ψ(y)

198 Kaksiulotteisen aallokemuunnoksen lohkokaavio (7.5) 198/2002

199 Esimerkki kaksiulotteisesta aallokemuunnoksesta (7.5) 199/2002

200 Symlet-aallokkeet (7.5) 25/ /2002

201 16. Kuvien tiivistäminen Tiivistysmuunnos tehdään ennen kuvan talletusta tai siirtoa. Tiivistetty kuva voidaan myöhemmin palauttaa käänteismuunnoksella. Jos tiivistyksen käänteismuunnos tuottaa täysin alkuperäisen kuvan, puhutaan virheettömästä (information preserving, lossless), muutoin virhettä tuottavasta (lossy) tiivistyksestä. 201/ Tiivistyksen taustaa (8) Kuvan tiivistämisellä eli pakkauksella eli kompressiolla (image compression) tarkoitetaan kuvan esittämiseen vaadittavan datamäärän vähentämistä. On tehtävä ero kuvan sisältämän informaation ja sen esittämisessä käytettävän datan välillä. Ensin mainitun määrän mittaaminen on ongelmallista, jälkimmäistä mitataan bitteinä. Matemaattisesti kompressio voidaan nähdä pyrkimyksenä muuntaa kaksidimensioinen kuvamatriisi tilastollisesti korreloimattomaksi datajoukoksi, koska korreloimaton data ei sisällä päällekkäisyyttä ja toistoa ja on siksi tiivistä.

202 202/2002 Digitaalisten kuvien tiivistämistä tarvitaan lähes kaikissa sovelluksissa, koska kuvia tuotetaan digitaaliseen muotoon yhä enemmän ja yhä paremmalla resoluutiolla. Toisaalta digitaalisten kuvien tallentamiseksi on olemassa yhä halvempia massamuistilaitteita ja yhä nopeampia siirtokanavia. Näistä uusista resursseista saadaan kuitenkin täysi hyöty vasta, kun tarpeeton data poistetaan tiivistämisellä.

203 16.2 Kuvantiivistyksen perusteita (8.1) Sama informaatio voidaan välittää vaihtelevalla määrällä dataa. Jos sama informaatio voitaisiin välittää vähemmällä datamääräällä kuin nyt tapahtuu, nykyisessä esityksessä on redundanttia dataa. Olkoon n 1 ja n 2 saman informaation sisältämän datan määrät bitteinä kahdessa eri esitysmuodossa. Tiivistys- eli kompressiosuhde siirryttäessä n 1 - pituisesta esityksestä n 2 -pituiseen on: C R = n 1 n 2 Ensimmäisen esitysmuodon suhteellinen redundanssi jälkimmäiseen nähden: R D = 1 1 C R Kun n 1 = n 2, niin C R = 1 ja R D = 0. Kun n 2 n 1, niin C R ja R D 1, joten kompressio on merkittävää ja alkuperäinen data redundanttia. Kun n 2 n 1, niin C R 0 ja R D, joten tiivistymisen sijaan tapahtuukin datan laajentuminen. 203/2002

204 204/2002 Redundanssin lajit (8.1) Digitaalisen kuvan tiivistyksessä vaikuttaa kolme toisistaan riippumatonta redundanssin lajia: koodausredundanssi pikselien välinen redundanssi psykovisuaalinen redundanssi Datakompressiota saavutetaan eliminoimalla kokonaan tai redusoimalla yhtä tai useampaa redundanssityypeistä.

205 Koodausredundanssi (8.1.1) Kuvan koodauksen tehokkuutta voidaan arvioida tutkimalla kuvan harmaaarvohistogrammia. Laskemalla kunkin harmaatason r k, k = 0, 1,..., L 1, esiintymiskertojen lukumäärät n k voidaan laskea kyseisen harmaatason esiintymistodennäköisyys p r (r k ): p r (r k ) = n k n missä n on kuvan pikselien kokonaismäärä. Jos harmaatason r k esittämiseen tarvitaan l(r k ) bittiä, keskimääräinen yhden pikselin esittämiseen tarvittava bittimäärä on L 1 L avg = l(r k )p r (r k ) k=0 Jos kaikkien harmaa-arvojen esittämiseen käytetään sama m bittiä, keskimääräinen bittimäärä L avg on myös m riippumatta todennäköisyyksistä. Jos todennäköisyysjakauma on muuta kuin tasajakauma, tällainen suora koodaus on redundantti, kuten seuraava esimerkki osoittaa. 205/2002

206 206/2002 k p r (r k ) 1.koodi l 1 (r k ) 2.koodi l 2 (r k ) Jälkimmäiselle koodille L avg voidaan laskea olevan 2.7 bittiä. C R on siis 1.11 ja R D Esimerkillä siis havaittiin, että tehokkaampaan datan esitykseen päästiin, kun useimmin esiintyvät harmaa-arvot koodattiin lyhyemmillä koodisanoilla kuin harvoin esiintyvät. Koodausredundanssia esiintyy aina käytettäessä suoraa eli luonnollista koodia, jos kuvan harmaa-arvohistogrammi ei ole aivan tasainen.

207 207/2002 Pikselien välinen redundanssi, esimerkki (8.1.2) Kuvat ovat keskenään melko samanlaiset, etenkin histogrammeiltaan. Niiden tiivistäminen koodausredundanssin perusteella tuottaisikin melko varmasti saman kompressiosuhteen. Kuvassa näkyy myös pikseleiden harmaaarvojen autokorrelaatio yhdellä pikselirivillä etäisyyden funktiona. Voidaan havaita, että tässä suhteessa kuvat eroavat toisistaan ratkaisevasti: oikeanpuoleisessa kuvassa esiintyvä vaakasuora jaksollisuus näkyy autokorrelaatiofunktion arvojen jaksollisuutena.

208 26/ /2002 Pikselien välinen redundanssi (8.1.2) Normalisoidut autokorrelaatiokertoimet γ( n) kuvadatan riveille lasketaan: γ( n) = A( n) A(0) N 1 n 1 A( n) = f(x, y)f(x, y + n) N n y=0 Jos kuvassa vierekkäisillä pikseleillä on voimakas keskinäinen korrelaatio, ne eivät sisällä toisistaan riippumatonta informaatiota. Siten välitettävän datan määrää voidaan vähentää, jos käytetään hyväksi tietoa edeltäneistä pikseliarvoista. Pikselimuotoinen esitys muunnetaan jollakin kuvauksella (mapping) tehokkaampaan ei-visuaaliseen muotoon. Kuvaus on käännettävä (reversible), jos alkuperäinen kuva voidaan virheettömästi palauttaa muunnetusta datasta.

209 Binaarikuvalle on tehty juoksunpituuskoodaus. Alun perin on tarvittu = bittiä, muunnoksen jälkeen (1+10) = bittiä. Kompressiosuhde on siten 2.63 ja alkuperäisen esitysmuodon suhteellinen redundanssi /2002 Juoksunpituuskoodaus, esimerkki (8.1.2) rivi 100: (1,63) (0,87) (1,37) (0,5) (1,4) (0,556) (1,62) (0,210)

210 210/2002 Psykovisuaalinen redundanssi (8.1.3) Ihmissilmän herkkyys visuaaliselle informaatiolle vaihtelee: tietty informaatio on vähemmän tärkeää kuin jokin muu informaatio. Silmän kannalta tarpeeton informaatio on psykovisuaalisesti redundanttia ja sitä vodaan eliminoida vaikuttamatta merkittävästi kuvan havaittavaan laatuun. Ihminen ei havainnoi yksittäisten pikseleiden kirkkauksia, vaan suurempia piirteitä, kuten ääriviivoja ja tekstuurialueita, joita sitten yhdistää tunnistettaviksi ryhmiksi. Tulkintaprosessissa sitten ryhmittelyjä verrataan aivoissa aiemman tietämyksen ja kokemuksen perusteella. Psykovisuaalisesti redundantin datan eliminointi johtaa kvantitatiivisen informaation häviämiseen, kyseessä on siis kvantisointi. Kvantisoinnissa suuri tuloarvojen joukko kuvataan pienemmälle joukolle lähtöarvoja. Kvantisointi ei ole käännettävä.

211 211/2002 Harmaa-arvojen kvantisointi (8.1.3) Kuvassa on alunperin 256 harmaatasoa, jotka kvantisoidaan 16 harmaatasoksi, so. kompressiosuhde on kaksi. Selvästi muodostuvat väärät reunaviivat voidaan hävittää käyttäen parannettua harmaatasokvantisointia (IGS), joka lisää näennäisesti satunnaista kohinaa kuvaan.

212 IGS-kvantisointi heikentää esim. juoksunpituuskoodauksen tehokkuutta. 212/2002 Parannettu harmaatasokvantisointi, IGS (8.1.3) Parannetulla harmaatasokvantisoinnilla (improved gray-scale quantization) hävitetään väärät reunaviivat. IGS ottaa kvantisoinnissa pois katkaistut bitit kumulatiivisesti mukaan kvantisointiin, joten säilyttää paremmin informaation harmaa-arvoista. Ero tavalliseen kvantisointiin voidaan tulkita myös satunnaisen kohinan lisäämiseksi. pikseli harmaa-arvo summa IGS-arvo tav.kvant. i i i i i Muodostetaan summa lisäämällä 8-bittiseen harmaa-arvoon edellisen summan 4 vähiten merkitsevää bittiä. i Tällöin IGS-arvoksi tulee 1001 ja seuraavaan summaan siirtyy 0111.

213 Subjektiiviset kriteerit perustuvat usean ihmisen tekemän aistihavainnon keskiarvoon. Kuvia voidaan subjektiivisesti arvioida joko absoluuttisella asteikolla tai suhteellisena parivertailuna. 213/2002 Laatukriteerit kuvantiivistyksessä (8.1.4) Kuvien laatua ja sen heikkenemistä arvioitaessa voidaan käyttää sekä objektiivisia että subjektiivisia kriteerejä. Objektiiviset laatukriteerit perustuvat usein alkuperäisen kuvan ja siitä tiivistyksen ja palautuksen jälkeen saadun kuvan erotuksen johonkin normiin, esimerkiksi neliölliseen keskivirheeseen. Kuvien erotus ˆf f voidaan tulkita additiivisen satunnaiskohinan e aiheuttamaksi ja laskea esim. neliöllinen signaali-kohina-suhde: e(x, y) = ˆf(x, y) f(x, y) e rms = 1 M 1 N 1 e(x, y) MN 2 SNR ms = x=0 y=0 M 1 N 1 x=0 M 1 x=0 ˆf(x, y=0 y) 2 N 1 y=0 e(x, y)2

214 214/ Kuvantiivistysmalli (8.2) Kuvan tiivistäminen ja palauttaminen tiivistetystä esitysmuodosta voidaa esittää lohkokaaviona: kanava- kooderi f(x, y) kanava- dekooderi lähde- kooderi kanava lähde- dekooderi ˆf(x, y) kooderi dekooderi Kooderissa lähdekooderi (source encoder) poistaa redundanssit ja kanavakooderi (channel encoder) lisää kohinasietoisuutta. Dekooderissa molemmat koodaukset puretaan. Virheettömässä kanavassa kanavakooderi/dekooderi-pari voidaan jättää pois.

215 215/2002 Lähdekoodaus ja -dekoodaus (8.2.1) f(x, y) kuvaaja kvantisoija käänteiskuvaaja symbolikooderi kanava symboli- dekooderi ˆf(x, y) lähdekooderi lähdedekooderi Lähdekooderin tehtävä on poistaa kaikki poistettavissa oleva redundanssi. Kuvaaja (mapper) muuntaa kuvan ei-visuaaliseen muotoon poistaa pikselien välistä redundanssia operaatio on yleensä käännettävä voi redusoida datamäärää, (esim. juoksunpituuskoodauksessa) voi tehdä muunnoksen, joka on helpommin tiivistettävissä, (esim. kosinimuunnos)

216 27/ /2002 Kvantisoija (quantizer) vähentää kuvan tarkkuutta valitun hyvyyskriteerin rajoissa poistaa psykovisuaalista redundanssia operaatio ei ole käännettävä ei voida käyttää virheettömässä tiivistyksessä Symbolikooderi (symbol coder) tuottaa koodisanat kuvaamaan kvantisoijan (tai kuvaajan) lähtöjä koodisanat voivat olla tasa- tai vaihtelevapituisia poistaa koodausredundanssia operaatio on käännettävä

217 217/ Informaatioteorian käsitteitä (8.3) Informaation määrän mittaaminen (8.3.1) Jos satunnaistapahtuma E tapahtuu todennäköisyydellä P (E), E:n sisältämä informaatiomäärä on I(E) = log 1 P (E) = log P (E) I(E) on E:n itseisinformaatio (self-information). Tapahtuman E itseisinformaation määrä on kääntäen verrannollinen E:n todennäköisyyteen. Jos P (E) = 1, E tapahtuu aina eikä tapahtumaan liity informaatiota, I(E) = 0. Jos P (E) = 0.99, E:n tapahtuminen sisältää hieman informaatiota, I(E) = Se että E ei tapahdu, sisältää enemmän informaatiota, koska tulos on harvinaisempi.

218 I(E) lausekkeessa logaritmin kantaluku määrää informaation mittayksikön. 2-kantainen logaritmi vastaa informaation yksikköä bitti. Kun P (E) = 0.5 niin I(E) = log 2 (1/2) = 1 eli 1 bitti informaatiota. Yksi bitti on informaatiomäärä, joka sisältyy kahden yhtä todennäköisen tapahtuman esiintymiseen. Esimerkiksi rahanheiton tuloksen ilmoittaminen. Informaatiokanava (8.3.2) informaatio- lähde kanava informaation käyttäjä symbolit (A, z) Q symbolit (B, v) Informaatiokanava toimii informaatiolähteen ja informaation käyttäjän välillä. Kiinnostavaa on, kuinka paljon informaatiota lähde tuottaa ja kuinka paljon informaatiotata kanava kykenee välittämään. Informaatiolähde tuottaa symboleja a j, j = 1,..., J, todennäköisyyksillä P (a j ), J j=1 P (a j) = 1. Symbolit a j, j = 1,..., J, muodostavat joukon A. Todennäköisyyksiä P (a j ), j = 1,..., J, merkitään vektorilla z. 218/2002

219 219/2002 A:n ja z:n tunteminen kuvaa täydellisesti muistittoman informaatiolähteen. Symboli a j tuottaa itseisinformaation I(a j ) = log P (a j ). Keskimääräinen informaation määrä lähdesymbolia kohden on H(z) = J P (a j ) log P (a j ) j=1 H(z) on informaatiolähteen entropia. Entropian kasvaessa lähteen epävarmuus ja siten informaatiomäärä lisääntyy. Informaatiokanavan siirtofunktio (8.3.2) Informaation käyttäjä vastaanottaa kanavasta symboleja b k, k = 1,..., K, todennäköisyyksillä P (b k ). Lähdepään A:ta ja z:aa vastaavat käyttöpään B ja v.

220 220/2002 Todennäköisyyksien välillä vallitsee ehdollisista odotusarvoista muodostuva lineaarinen yhteys: v = Qz Missä P (b 1 a 1 ) P (b 1 a 2 ) P (b 1 a J ) P (b 2 a 1 ) P (b 2 a 2 ) P (b 2 a J ) Q = P (b K a 1 ) P (b K a 2 ) P (b K a J ) Kanavan siirtomatriisi Q määrää kanavan siirtokapasiteetin eli sen, kuinka suuri informaatiomäärä kanavassa voidaan luotettavasti siirtää. Ensin tarvitsee laskea lähteen z ehdollinen entropia eli epävarmuus, kun vastaanotettu symboli b k tunnetaan: H(z b k ) = J P (a j b k ) log P (a j b k ) j=1

221 221/2002 H(z b k ):n keskiarvo yli kaikkien symbolien b k on: K H(z v) = H(z b k )P (b k ) k=1 = = J j=1 k=1 J j=1 k=1 K P (a j b k )P (b k ) log P (a j b k ) K P (a j, b k ) log P (a j b k ) H(z v) on z:n ekvivokaatio (equivocation) suhteessa v:hen.

222 222/2002 Lähteen entropian ja kanavan ekvivokaation erotusta kutsutaan z:n ja v:n yhteisinformatioksi: I(z, v) = H(z) H(z v) J K = P (a j, b k ) log P (a j, b k ) P (a j )P (b k ) = j=1 k=1 J j=1 k=1 K P (a j )P (b k a j ) log P (b k a j ) J i=1 P (a i)p (b k a i ) I(z, v) on siten z:n ja Q:n funktio. min I(z, v) = 0 toteutuu, kun lähtö- ja tulosymbolit ovat tilastollisesti riippumattomia eli P (a j, b k ) = P (a j )P (b k ). Tällainen kanava hukkaa kaiken lähteestä tulevan informaation. Kanavan Q kapasiteetti C on: C = max I(z, v) z

223 223/2002 Esimerkki: binaarinen H(p bs ), I(p bs ) ja C(p e ) (8.3.2) Oleteaan lähteen ja siirtokanavan olevan: z = [P (a 1 ), P (a 2 )] = [p bs, 1 p bs ] [ ] 1 pe p Q = e p e 1 p e Tällöin voidaan laskea entropia H symbolitodennäköisyyden p bs, kapasiteetti C siirtovirhetodennäköisyyden p e ja yhteisinformaatio I sekä p bs :n että p e :n funktioina:

224 28/ /2002 Shannonin ensimmäinen teoreema (8.3.3) Shannonin ensimmäinen teoreema eli kohinaton koodausteoreema määrittelee pienimmän keskimääräisen koodisanan pituuden lähdesymbolia kohden, kun kanava ei tuota virheitä. Oletetaan muistiton informaatiolähde (A, z), joka tuottaa tilastollisesti riippumattomia symboleja. Tutkitaan usean peräkkäisen symbolin yhdistelmiä, tupleja. n-tuple muodostuu n:stä peräkkäisestä symbolista. n-tuple voi saada J n eri arvoa: A = {α 1, α 2,..., α J n} Todennäköisyysvektori z : missä z = [P (α 1 ) P (α 2 ) P (α J n)] T α i = a j1 a j2 a jn P (α i ) = P (a j1 ) P (a j2 ) P (a jn )

225 Lähteen entropia: J n H(z ) = P (α i ) log P (α i ) = nh(z) i=1 Muodostetun lohkosatunnaismuuttujia tuottavan lähteen entropia on siis n-kertainen alkuperäisen lähteen entropiaan verrattuna. Kyseessä on (A, z)-lähteen n:s laajennus (nth extension). Lähteen ensimmäinen laajennos on lähde itse. Koska symbolin α i itseisinformaatio on log P (α i ), symboli voidaan koodata koodisanalla, jonka pituus on pienin kokonaisluku, joka on yhtäsuuri tai suurempi kuin log P (α i ). Tällöin koodi voidaan purkaa yksikäsitteisesti. Täten: log P (α i ) l(α i ) < log P (α i ) + 1 Keskimääräinen sananpituus saadaan painotettuna summana: 225/2002 J n L avg = P (α i )l(α i ) i=1

226 226/2002 joten J n J n J n P (α i ) log P (α i ) P (α i )l(α i ) < P (α i ) log P (α i ) + 1 i=1 i=1 i=1 eli tai H(z ) L avg < H(z ) + 1 H(z) L avg n < H(z) + 1 n Siten keskimääräinen koodisanan pituus symbolia kohden voidaan saada pitkillä laajennuksilla mielivaltaisen lähelle lähteen entropiaa mutta ei koskaan sen alle. Tämä on Shannonin ensimmäinen teoreema. Määritellään vielä koodauksen tehokkuus (efficiency) η: η = nh(z) L avg [0, 1]

227 227/2002 Olkoon lähde (A, z) = ({a 1, a 2 }, [2/3 1/3] T ), tällöin: α i symbolit P (α i ) I(α i ) l(α i ) koodi pituus ensimmäinen laajennus α 1 a 1 2/ α 2 a 2 1/ toinen laajennus α 1 a 1 a 1 4/ α 2 a 1 a 2 2/ α 3 a 2 a 1 2/ α 4 a 2 a 2 1/ Lähteen entropia on bittiä/symboli. Koska keskimääräinen koodisanan pituus on yksi bitti/symboli, on η = Toisen laajennuksen keskimääräinen koodisanan pituus on 1.83 bittiä/symboli, joten tehokkuus on tässä tapauksessa 0.97.

228 228/2002 Informaatioteorian käyttö (8.3.4) Shannonin ensimmäisessä teoreemassa oletettiin, että peräkkäiset symbolit ovat riippumattomia. Digitaalisissa kuvissa peräkkäiset pikselit kuitenkin ovat keskenään vahvasti korreloivia. Siksi kuvan entropian laskeminen ei ole aivan ongelmatonta. Olkoon kuva Jos ajatellaan kuvan olevan 256-harmaatasoinen, entropia on 8 bittiä/pikseli.

229 229/2002 Entropian ensimmäisen asteen estimaatti harmaa-arvohistogrammista: arvo lukumäärä tn / / / /8 Tällöin entropiaksi tulee 1.81 bittiä pikselille. toisen asteen estimaatti entropialle saadaan peräkkäisten pikselien muodostamista harmaa-arvopareista: arvo lukumäärä tn. (21,21) 8 1/4 (21,95) 4 1/8 (95,169) 4 1/8 (169,243) 4 1/8 (243,243) 8 1/4 (243,21) 4 1/8 Entropian estimaatti on nyt 1.25 bittiä/pikseli.

230 230/2002 Koodausta varten voidaan myös tehdä kuvaus, jossa pikselin harmaa-arvosta vähennetään vasemmalla puolella oleva arvo: Tällöin arvohistogrammista saadaan entropialle estimaatti 1.41 bittiä/pikseli. Esimerkki osoittaa, että eri tavoin saadaan hyvinkin erilaisia estimaatteja entropian arvolle. Yleensä voidaan tavoitella koodausmenetelmää, joka pääsisi tehokkuudessa lähelle pienintä estimoitua entropia-arvoa.

231 231/ Virheetön tiivistys (8.4) Virheettömällä tiivistystysmenetelmällä koodattu kuva voidaan dekoodata täydellisesti alkuperäiseen muotoon. Virheetöntä tiivistämistä tarvitaan mm. lääketieteellisten kuvien käsittelyssä sekä tilanteissa, joissa kuvanotto on kallista suhteessa siirtoon tai säilytykseen, esim. avaruusluotaimissa. Vaihtelevamittainen koodaus (8.4.1) Vaihtelevamittaisella koodauksella voidaan vähentää koodausredundanssia, kun yleisemmät symbolit koodataan vähemmin bitein kuin harvinaisemmat. Tunnetuin ja tietyssä mielessä optimaalinen vaihtelevamittainen koodaustapa on Huffman-koodi. Huffman-koodi muodostetaan yhdistämällä ensin pareittain pienimmät symbolitodennäköisyydet, kunnes todennäköisyyspuussa on vain kaksi haaraa. Yhdistelyvaiheen jälkeen muodostetaan symboleille koodit haarautumalla juuresta alkaen ja antamalla aina haaroille eri bittiarvot.

232 Lähteen entropiaksi voidaan laskea H(z) = 2.14 bittiä/symboli. Keskimääräinen Huffman-koodin sananpituus on 2.2 bittiä/symboli, joten koodauksen tehokkuus on η = / /2002 Esimerkki Huffman-koodauksesta (8.4.1) a a a a a a a a a a a a

233 233/2002 Muita vaihtelevamittaisia koodauksia (8.4.1) Huffman-koodin lisäksi on olemassa joukko vähmmän optimaalisia vaihtelevamittaisia koodauksia, ainakin: Katkaistussa Huffman-koodissa vain yleisimmät symbolit koodatan Huffman-koodilla, harvinaiset etuliitesymbolilla ja vakiomittaisella loppuosalla. B-koodissa on vakiomittainen lohko ja lohkojen välissä jatkobitti C, jonka vaihtuminen osoittaa koodisanan vaihdoksen. Yleisimmät symbolit koodataan vähemmällä määrällä lohkoja kuin harvinaisemmat. Siirtokoodissa käytetään vakiomittaista lohkoa ja yksi koodi varataan merkitsemään sanan jatkumista. Huffman-siirtokoodissa lohko ei ole vakiomaittainen vaan Huffman-koodilla muodostettu. Samaa lohkokoodia käytetään myös siirtokoodin jälkeen harvinaisemmille symboleille.

234 234/2002

235 235/2002 Aritmeettinen koodaus (8.4.1) On myös mahdollista käyttää reaalilukuja symboliryhmien koodaamiseen. Muodostetaan ensin välin [0,1] jako intervalleihin, joiden pituudet vastaavat kyseisen symbolin todennäköisyyttä. Seuraavan symbolin intervalli määritetään sitten suhteessa edellisen symbolin intervalliin. Koodataan 5-tuple a 1 a 2 a 3 a 3 a 4, kun symbolien a i todennäköisyydet ovat 0.2, 0.2, 0.4 ja 0.2: a a 1 a 2 a 3 a 3 a a 3 a 2 a

236 236/2002 LZW (8.4.2) Lempel-Ziv-Welch (LZW) -koodaus on patentoitu menetelmä, jota kuitenkin usein käytetään melko vapaasti. LZW-koodissa muodostetaan koodauksen aikana koodikrja, joka sisältää kaikki lähteen symbolit sekä koodauksessa aiemmin esiintyneet useamman symbolin ketjut. Uudestaan esiintyessääm ketjut voidaan esittää edellisellä esiintymiskerralla muodostetulla koodilla. Vastaanottopuoli muodostaa identtisen koodikirjan ja käyttää sitä koodin purkamiseen. Koodikirjaa ei tarvitse tallettaa eikä välittää vastaanottajalle! 8-bittisten lähdesymbolien koodaamiseen tarvitaan siten 9- tai useampibittiset koodisymbolit.

237 237/2002 Bittitasokoodaus (8.4.3) Bittitasokoodaus on yksinkertainen tapa pyrkiä poistamaan pikselien välistä redundanssia. 256-harmaatasoinen kuva ajatellaan jaetuksi bittitsojensa mukaan 8 binaarikuvaksi. Enitenmerkitsevien bittien kohdalla peräkkäisten pikselien bittiarvot korreloivat keskenään voimakkaammin kuin vähitenmerkitsevien bittien kohdalla. Bittitasot koodataan kukin erikseen, esimerkiksi juoksunpituuskoodauksella. Jos koodaus tuottaa pitemmän koodin kuin tason bittimäärä, taso voidaan esittää bitteinä. Bittitasokoodauksen ulostuloon voidaan vielä soveltaa koodausredundanssin poistoa.

238 238/2002 Gray-koodi (8.4.3) Bittitasokoodaus on sitä tehokkaampaa, mitä useammalla bittitasolla vierekkäisten bittien korrelaatio on voimakasta. Vierekkäisten bittien korrelaatiota voidaan voimistaa muuttamalla kuvan suora bittikoodaus ensiksi Gray-koodiksi. Gray-koodissa peräkkäisten lukuarvojen koodeissa on aina yhden bitin ero. Koodisanat voidaan tuottaa ns. heijastamalla: luku suora koodi Gray-koodi Matemaattisesti Gray-koodin muodostus voidaan formuloida käyttäen eksklusiivista TAI-operaattoria : g m 1 = a m 1 g i = a i a i+1 0 i m 2

239 239/2002

240 Jos kuvassa esiintyy kokonaisia valkoisia rivejä, ne voidaan koodata ensin käyttäen jälleen vain yhtä bittiä. Muihin riveihin tulee siten alkuun yksi ylimääräinen merkkibitti. 30/ /2002 Vakioaluekoodaus (8.4.3) Vakioaluekoodauksessa (constant area coding) bittitaso jaetaan m n- kokoisiin alueisiin, jotka koodataan kolmella koodisanalla, esim.: 0 = alue on kokonaan valkoinen 10 = alue on kokonaan musta 11 = alue ei ole vakioarvoinen, annetaan koko bittikuvio Tasaisilla alueilla mn bittiä koodataan siis yhdellä tai kahdella bitillä, vaihtelevilla alueilla tarvitaan kaksi ylimääräistä bittiä. Koodauksen tehokkuus riippuu vaihteleva-arvoisten lohkojen yleisyydestä. Jos musta on paljon harvinaisempaa kuin valkoinen, valkoiset lohkot voidaan koodata yhdellä bitillä ja mustaa sisältävät esittää yhdellä merkkibitillä plus antamalla alue sellaisinaan.

241 241/2002 Juoksunpituuskoodaus (8.4.3) Juoksunpituuskoodaus on yleisesti käytetty menetelmä bittitasojen koodaukseen. Kukin koodisana sisältää tiedon peräkkäisten bittien eli juoksun arvosta ja pituudesta. Mustat ja valkoiset juoksut vuorottelevat, joten käytännössä riittää kertoa ensimmäisen juoksun arvo. Juoksujen pituuksiin voidaan käyttää Huffman-koodausta koodausredundanssin pienentämiseksi. Jos sallitaan nollamittainen juoksu, voidaan aina aloittaa esim. valkoisella juoksulla. Kaksiulotteisessa juoksunpituuskoodauksessa koodataan nykyisen ja edellisen bittirivin välinen ero. Siten pikselien välinen redundanssi tulee hyödynnetyksi kahteen suuntaan.

242 242/2002 Kaksidimensioinen juoksunpituuskoodaus (8.4.3) Kaksidimensioisessa juoksunpituuskoodauksessa mustan ja valkoisen juoksun vaihdoskohtia verrataan peräkkäisten rivien välillä ja koodataan ne.

243 243/2002 Muita bittitasokoodauksia (8.4.3) Bittitasot voidaan joissakin tapauksessa koodata tehokkaasti myös koodaamalla mustien alueiden reunaviivat. Toinen mahdollisuus on koodata mustan alueen alun siirtymä ja aluen pituuden muutos kullakin rivillä.

244 244/2002 Virheetön ennustuskoodaus (8.4.4) Koska pikselien välisen redundanssin vuoksi vierekkäiset pikseliarvot poikkeavat yleensä vain vähän, erilaisia ennustuskoodauksia voidaan käyttää kuvapikselin harmaa-arvon koodaukseen, kun edellisten pikseleiden arvot tunnetaan. Todellisen pikseliarvon f n ja ennusteen ˆf n erotuksen käytöllä koodataan vain kunkin pikselin antama uusi informaatio. alkuperäinen kuva f e n n + Σ ennustus pyöristys ˆf n koodaus tiivistetty kuva dekoodaus e n + Σ + ˆf n alkuperäinen kuva f n ennustus e n = f n ˆf n

245 245/2002 Virheetön ennustuskoodaus, esimerkki (8.4.4) Ensimmäisen asteen lineaarinen ennustin ˆf(x, y) = round[αf(x, y 1)] α:lle voitaisiin valita optimaalinen arvo kuvan autokorrelaation avulla, mutta yksinkertaisuuden vuoksi käytetään α = 1. Kuvaus pienentää lähteen keskihajonnan Vastaavasti entropia pienenee

246 17. Virhettä tuottava tiivistys 246/2002 Virheettömillä tiivistämismenetelmillä saadut tiivistyssuhteet olivat luokkaa 2 5. Virhettä tuottavilla menetelmillä päästään helposti 10 50:n tiivistyssuhteisiin ilman, että kuvan laatu ratkaisevasti heikkenee. Virhettä tuottavaa tiivistystä ei voida käyttää sovelluksissa, joissa datan aitous en ehdoton vaatimus, kuten esim. lääketieteellisten kuvien arkistoinnissa. Lisäksi virhettä tuottava tiivistys saattaa tuottaa sellaista systemaattista virhettä tai rakennetta kuviin, että niiden koneellinen analysointi tulee mahdottomaksi. Usein on jälkikäteen hankala selvittää, onko jokin kuva jossain olemassaolonsa vaiheessa tullut tiivistetyksi virhettä tuottavalla menetelmällä.

247 Virhettä tuottava ennustuskoodaaja (8.5.1) Ennustusvirheeseen perustuva tiivistäminen saadaan paljon tehokkaammaksi, jos sallitaan vähäinen tiivistysvirheen syntyminen. Lisätään järjestelmään kvantisoija, johon pyöristysoperaatio sisällytetään. Ennustusvirhe kvantisoidaan rajoitetulle määrälle arvoja ė. Kvantisointi määrää tiivistyssuhteen ja särön. Kooderin ennustajaosaa on kvantisoinnin takia muutettava vastaamaan dekooderia. alkuperäinen kuva f n + ˆf n e n ė n Σ kvantisointi ḟ n + ennustus Σ + koodaus tiivistetty kuva dekoodaus ė n + Σ + ˆf n purettu kuva ḟn ennustus f n = ė n + ˆf n 247/2002

248 31/ /2002 Delta-modulaattori (DM) (8.5.1) Delta-modulaattori on yksinkertaisin virhettä tuottava ennustuskooderi: e n = f n ˆf n = f n α { +ζ, kun e n > 0 ė n = ζ kun e n 0 f n 1 1 bit/pikseli!!! Kuvasta ilmenee DM:n kaksi tunnettua vikaa: 1) se tuottaa kohinaa tasaisella syötteellä ja 2) se ei pysy mukana nopeissa nousuissa ja laskuissa. Ominaisuudet tuottavat sumentumista tuloskuvaan.

249 Voidaan siis olettaa kvantisointivirheen vaikutus optimoinnin kannalta mitättömäksi (tai ainakin ennustus- ja kvantisointivirheet riippumattomiksi). 249/2002 Optimaalinen ennustaja (8.5.1) Kun oletetaan ennustusvirhe ja kvantisointivirhe toisistaan riippumattomiksi, ennustaja voidaan suunnitella kvantisoinnista välittämättä siten, että jokin optimointikriteeri toteutuu. Tyypillisesti pyritään minimoimaan neliöllistä ennustusvirhettä: pakotteella ja käyttäen ennustajalle mallia min! E{e 2 n} = E{(f n ˆf n ) 2 } f n = ė n + ˆf n e n + ˆf n = f n ˆf n = m α i f n i i=1

250 250/2002 Menetelmää kutsutaan differentiaaliseksi pulssikoodimodulaatioksi (differential pulse code modulation) DPCM. Optimointitehtäväksi jää valita m kappaletta ennustuskertoimia α i siten, että E{e 2 n} = E{(f n m α i f n i ) 2 } i=1 minimoituu. Optimointitehtävä voidaan ratkaista annetulle kuvalle f, kunhan ensin lasketaan f:n autokorrelaatiot. Käytännössä menetelmä olisi liian raskas ja epäkäytännöllinen suhteessa saavutettavaan hyötyyn.

251 Markov-mallilla ennustaminen (8.5.1) Yleensä lähdetään liikkeelle kuvan algebrallisesta mallintamisesta esimerkiksi 2-ulotteisena Markov-mallina ja ratkaistaan siitä ennustuskertoimet. Markov-mallissa: E{f(x, y)f(x i, y j)} = σ 2 ρ i vρ j h Lineaarisessa neljännen asteen ennustimessa: ˆf(x, y) = α 1 f(x, y 1)+α 2 f(x 1, y 1)+α 3 f(x 1, y)+α 4 f(x 1, y+1) y Kun tähän sovitetaan Markov-mallin parametrit, saadaan: α 2 α 3 α 1 α 4 α 1 = ρ h, α 2 = ρ v ρ h, α 3 = ρ v, α 4 = 0 x 251/2002

252 252/2002 Heuristisella mallilla ennustaminen (8.5.1) Ennustuskertoimet voidaan valita myös näppituntumalta tai kokeellisesti. Kuva on ennustuskoodattu neljällä eri mallilla, joiden tuottamat ennustusvirhekuvat näkyvät. Kolme lineaarista mallia ovat: ˆf(x, y) = 0.97f(x, y 1) ˆf(x, y) = 0.5f(x, y 1) + 0.5f(x 1, y) ˆf(x, y) = 0.75f(x, y 1) f(x 1, y) 0.5f(x 1, y 1) Mallin asteluvun kasvaessa ennustusvirheen varianssi pienenee Neljäs epälineaarinen ennustin (virhe 4.1) on { 0.97f(x, y 1), jos h v ˆf(x, y) = 0.97f(x 1, y), muutoin

253 Symmetrian vuoksi s i = s i ja t i = t i 253/2002 Optimaalinen kvantisointi (8.5.1) Kun ennustin on kiinnitetty, kvantisoija voidaan suunnitella siten, että se toteuttaa tietyn optimointikriteerin annetulla ennustevirheen jakaumalla. Kvantisoijassa tuloarvojen väli s [s i 1, s i ) kuvautuu lähtöarvolle t i. Yleensä kvantisointitasoja t i on parillinen määrä L ja jakauma oletetaan symmetriseksi, jolloin myös kvantisointitasot tulevat symmetrisesti nollan molemmin puolin. Koska ennustevirhe todennäköisemmin on pieni kuin suuri, kvantisointitasot ovat tiheämmässä pienillä ennustevirheen arvoilla s kuin suurilla. Kun pyritään minimoimaan kvantisointivirheen neliötä, optimaalisuusehdot ovat: si (s t i )p(s)ds = 0, i = 1, 2,..., L s i 1 2 0, kun i = 0 t s i = i +t i+1 2, kun i = 1, 2,..., L 2 1, kun i = L 2

254 On myös mahdollista toteuttaa kvantisointi, jossa kvantisointivälit adaptoituvat eli mukautuvat kuvan eri alueiden ominaisuuksiin. 254/2002 Edellä mainitut kriteerit täyttävää kvantisoijaa kutsutaan L-asteiseksi Lloyd- Max-kvantisoijaksi. Toinen vaihtoehto on käyttää tasavälistä kvantisoijaa, jolle aiempien kriteerien lisäksi on voimassa rajoitusehto t i t i 1 = s i s i 1 = θ. Tällaista kvantisoijaa kutsutaan optimaaliseksi tasaväliseksi kvantisoijaksi. On oletettu, että ennustusvirhe noudattaa Laplace-jakaumaa (8.4-10) varianssilla σe 2 = 1. Todelliset kvantisointitasot saadaan kertomalla taulukon arvot todellisella keskihajonnalla.

255 255/2002 Esimerkki DPCM:n Lloyd-Max-kvantisoinnista (8.5.1) vakio adapt. 1.0 b/pix b/pix 2.0 b/pix b/pix 3.0 b/pix 3.0 b/pix

256 Alkuperäinen kuva jaetaan n n-kokoisiin osakuviin, joissa pyritään poistamaan pikselien välistä redundanssia muunnoksen avulla. Muunnoksen tuottamat arvot kvantisoidaan ja koodataan. Kvantisoinnissa suurin osa muunnosarvoista kvantisoidaan nollaksi eli eliminoidaan. 32/ / Muunnoskoodaus tiivistysmenetelmänä (8.5.2) Aiemmin esitetyt tiivistysmenetelmät ovat toimineet kuvan spatiaalitasossa. On myös mahdollista ja nykyään hyvin suosittua toteuttaa tiivistys jossakin muunnostasossa. Tiivistysmuunnoksena voidaan käyttää diskreettiä Karhunen-Loève-, Fourier-, kosini-, Walsh-Hadamard- tai aalloke muunnosta. JPEG-standardi käyttää diskreettiä kosinimuunnosta. Kaikissa muunnoskoodauksissa toteutetaan samaa periaatetta: alkuperäinen N N-kuva tiivistetty kuva purettu kuva jako n n- osakuviin muunnos kvantisointi symboli- koodaus symbolidekoodaus käänteismuunnos n n-osakuvien yhdistäminen kooderi kanava dekooderi

257 257/2002 Muunnoskoodauksia (8.5.2) Kuvamuunnoksen T (u, v) yleinen muoto N N-kokoiselle kuvalle f(x, y): T (u, v) = f(x, y) = N 1 N 1 x=0 y=0 N 1 N 1 u=0 v=0 f(x, y) g(x, y, u, v) T (u, v) h(x, y, u, v) g(x, y, u, v) on muunnoksen ja h(x, y, u, v) on käänteismuunnoksen ydin. Ydin määrää muunnoksen luonteen. Muunnosydin on separoituva, joss g(x, y, u, v) = g 1 (x, u) g 2 (y, v) Muunnosydin on symmetrinen, joss g on separoituva ja g 1 on funktionaalisesti sama kuin g 2 : g(x, y, u, v) = g 1 (x, u) g 1 (y, v)

258 258/2002 Separoituva muunnos voidaan laskea kahdessa vaiheessa kuten aiemmin diskreetti Fourier-muunnos: 1) Lasketan yksidimensioinen muunnos f(x, y):n rivien suhteen T (x, v) = N 1 y=0 f(x, y) g 2 (y, v) x, v = 0, 1,..., N 1 2) Lasketan yksidimensioinen muunnos T (x, v):n sarakkeiden suhteen T (u, v) = N 1 x=0 T (x, v) g 1 (x, u) u, v = 0, 1,..., N 1 Yhtä hyvin voidaan myös laskea ensin sarakkeiden ja sitten rivien suhteen. Separoituvan muunnoksen käänteismuunnos voidaan vastaavasti laskea kahdessa vaiheessa.

259 259/2002 Kosini- ja Walsh-Hadamard-muunnokset (8.5.2) Kosinimuunnos: g(x, y, u, v) = h(x, y, u, v) Walsh-Hadamard-muunnos: (2x + 1)uπ = α(u)α(v) cos 2N 1 α(u) =, kun u = 0 N 2, kun u 0 N g(x, y, u, v) = h(x, y, u, v) cos = 1 N ( 1) m 1 i=0 [b i(x)p i (u)+b i (y)p i (v)] b k (z) on z:n k:s bitti oikealta (2y + 1)vπ 2N p k (w) on w:n Gray-koodin k:s bitti vasemmalta

260 260/2002 Kosini- ja Walsh-Hadamard-muunnosten 2D-ytimet (8.5.2) kosini Walsh-Hadamard

261 261/2002 Esimerkki Fourier-, Hadamard- ja kosinikoodauksesta (8.5.2) Fourier Hadamard kosini

262 Osakuvien koon valinta (8.5.2) Huomataan, että diskreetti kosinimuunnos tuottaa alhaisemman neliövirheen kuin Fourier- ja Hadamard-muunnokset näyttää olevan riittävän suuri koko, koska kosinimuunnoksen virhe ei sitä suuremmalla koolla enää pienene. 262/2002

263 263/2002 Osakuvien koon valinta, esimerkki (8.5.2) Liian pienillä osakuvilla tuloskuva ruuduttuu, kuten voidaan nähdä. alkup. 8 8 alkup

264 33/ /2002 Bittiallokointi (8.5.2) Lopuksi on ratkaistava bittiallokointi eli kuinka käytettävissä olevat bitit käytetään koodaamaan muunnoskertoimia. Koodataanko muutama tärkein kerroin tarkasti vai useampia kertoimia epätarkasti? Useita erilaisia strategioita on olemassa, joista kirjassa esitellään zonal coding ja threshold coding Tärkeimpiä kuvantiivistysstandardeja (8.6) Binaarikuvat: CCITT Group 3 ja 4; 1- tai 2-dimensioinen juoksunpituuskoodaus yhdistettynä kiinteään Huffman-koodaukseen. Harmaasävy- ja värikuvat: JPEG; DCT-koodaus 8 8-lohkoissa, maksimissaan 11-bittiset kertoimet koodattuna kiinteällä Huffman-koodauksella, DCkertoimet koodattu erotuksena edellisestä lohkosta. JPEG 2000 on uusi aallokepohjainen tiivistysstandardi.

265 18. Kuvien segmentointi 265/2002 Segmentointi = osiin jakaminen Segmentoinnilla kuvasta etsitään esim. esineitä tai muita osa-alueita. Osa-alueet voidaan sitten kuvailla tai tunnistaa. Segmentointimenetelmät perustuvat yleensä joko epäjatkuvuuksien, so. kappaleiden välisten reunojen, löytämiseen tai samankaltaisuuksien, so. kappaleisiin kuuluvien vierekkäisten pikseleiden, löytämiseen.

266 266/ Epäjatkuvuuksien havaitseminen (10.1) Kuvassa olevat epäjatkuvuudet kuten yksittäiset ympäristöstä erottuvat pisteet, viivat tai reunat voidaan löytää sopivalla maskilla konvoloimalla. Pisteen havaitseminen (10.1.1) Pisteen havaitseminen voidaan toteuttaa konvoloimalla kuva Laplace-operaattorin kaltaisella maskilla. Tasaisella alueella maskin vaste on nolla. Vaste pitää kynnystää sopivalla arvolla, jotta vain merkittävät poikkeamat erottuvat.

267 /2002 Viivan havaitseminen (10.1.2) Yhden pikselin levyisen viivan havaitseminen voidaan puolestaan toteuttaa neljässä pääsuunnassa seuraavilla maskeilla:

268 268/2002 Reunan havaitseminen (10.1.3) Reunan havaitseminen on epäjatkuvuuksien havaitsemisista tärkein, koska yksittäisiä pisteitä ja yhden pikselin levyisiä viivoja ei tavanomaisissa harmaaarvokuvissa juurikaan esiinny. Idealisoidut reunamallit (10.1.3) kynnysreuna ramppireuna

269 269/2002 Ramppireunan derivaatat ideaalitapauksessa (10.1.3) Nähdään, kuinka yksidimensioisessa jatkuvassa tapauksessa reuna tumman ja kirkkaan alueen välillä näkyy harmaa-arvossa ja sen ensimmäisessä ja toisessa derivaatassa. Voidaan havaita, että reuna ilmenee erityisen selvästi toisen derivaatan merkinvaihtona eli nollanylityksenä. Vastaavasti samalle kohdalle sattuu ensimmäisen derivaatan paikallinen ääriarvo.

270 270/2002 Ramppireunan derivaatat kohinassa (10.1.3) Kohinan lisääntyessä derivaattojen ideaaliset muodot alkavat sekoittua vahvistuvaan kohinaan. Etenkin toinen derivaatta tulee nopeasti käyttökelvottomaksi. Tilannetta voidaan helpottaa alipäästösuodattamalla kohinaista kuvaa ennen derivointeja tai niiden jälkeen.

271 271/2002 Gradienttioperaattorit (10.1.3) Reunan havaitseminen diskreetistä kaksiulotteisesta kuvasta on paljon vaikeampaa, mutta siiihenkin voidaan käyttää derivointia. Tärkeimmät diskreetit derivaatat ovat gradienttioperaattorit ja diskreetti Laplace-operaattori. Kuvankäsittelyssä käytettäviä tärkeimpiä gradienttioperaattoreita ovat Roberts-, Prewitt- ja Sobel-maskit. Diskreetin gradientin arvo on kaksidimensioinen vektori, jonka komponentit kuvaavat harmaa-arvojen muutoksen voimakkuutta pysty- ja vaakasuunnissa. Gradientti voidaan myös yhdistää skalaariksi, joka kertoo muutoksen itseisarvon, mutta ei sen suuntaa: f = G 2 x + G 2 y G x + G y

272 34/ /2002 Gradienttioperaattorit, esimerkki (10.1.3) alkuperäinen alipäästösuodatettu =

273 273/2002 Laplace-operaattori (10.1.3) Diskreetti Laplace-operaattori approksimoi 2-dimensioista toista derivaattaa: tai Laplace-operaattori voi olla myös suurempi, jolloin siihen yhdistyy alipäästösuodatus. Tällaista kutsutaan Laplace of Gaussian- eli LoG-suodatukseksi. h(r) = e r2 2σ 2 2 h(r) = r2 σ 2 σ 4 e r 2 2σ 2

274 274/2002 LoG-suodatus ja nollanylitykset, esimerkki (10.1.3) alkup. alipäästö LoG Sobelgradientti Laplacemaski nollanylitykset

275 275/ Reunapisteiden yhdistäminen ja rajaviiva (10.2) Yksittäisten reunapisteiden löytäminen kuvasta on verraten helppoa. Sitäkin vaikeampaa on muodostaa yhtenäisiä ja ohuita rajaviivoja, jotka rajaisivat kuvassa näkyvät kohteet toisistaan ja taustasta. Tässä reunalla tarkoitetaan kuvassa havaittavaa jyrkähköä harmaa-arvojen muutosta, joka ilmenee ainakin jonkin matkaa jatkuvana, muutossuuntaa vastaan kohtisuorasti kulkevana muotona. Rajaviivalla vastaavasti tarkoitetaan kuvassa näkyvien kahden erillisen kohteen välistä yhtenäistä viivaa, jonka toisella puolella on vain toiseen kohteeseen kuuluvia pikseleitä ja toisella puolella vain toiseen kuuluvia. Löydettyjen reunapisteiden yhdistely merkitseviksi rajaviivoiksi voidaan toteuttaa joko paikallisin tai koko kuva-alaa koskevin globaalein operaatioin.

276 276/2002 Reunapisteiden paikallinen käsittely (10.2.1) Kun kuvasta on ensin jollakin menetelmällä löydetty kaikki kelvolliset reunapikselit, voidaan soveltaa seuraavaa samankaltaisuuteen perustuvaa hakua rajaviivojen kokoamiseksi. Käydään läpi kaikki reunapikselit ja verrataan kutakin pikseliä sen tietyssä ympäristössä olevien muiden reunapikselien kanssa. Naapurinsa kanssa riittävän samankaltaiset pikselit yhdistetään toisiinsa. Käytetty ympäristö voi olla esim tai 5 5-kokoinen. Samankaltaisuuden arvioinnissa voidaan verrata pikseleissä lasketun gradientin suuruutta ja suuntaa. Pikseleitä yhdistettäessä pidetään kirjaa samaan yhtenäiseen komponenttiin kuuluvista rajapisteistä. Menetelmä yhdistää katkeilleita rajoja, mutta ei vielä ohenna reunoja yhden pikselin levyisiksi rajaviivoiksi.

277 277/ Hough-muunnos (10.2.2) Globaaleista rajaviivojen hakumenetelmistä tärkein on Hough- [haff-] muunnos lukuisine variaatioineen. Hough-muunnos soveltaa reunapikseleille yhdistämiskriteeriä: ovatko pisteet määrätyn muotoisella käyrällä vai eivät. Muunnoksessa tarkastellaan kaikkia löydettyjä reunapikseleitä kerralla ja sovitetaan niitä tietyn käyrämuodon eri parametriarvoihin. Reunapikseleiden ei tarvitse olla kiinni toisissaan kunhan ne vain ovat samalla käyrällä, tyypillisesti samalla suoralla. y (xi, yi) x b b = xia + yi a Tunnetaan reunapikseli (x i, y i ). Kaikki sen kautta kulkevat suorat toteuttavat: y i = ax i + b Eli: b = x i a + y i Näin saatiin suora ab-parametritasoon. Jokainen suoran piste vastaa yhtä mahdollista (x i, y i ):n kautta kulkevaa suoraa.

278 278/2002 y b b = xia + yi Vastaavasti toiselle reunapikselille (x j, y j ) saadaan parametriesitys: (xj, yj) (xi, yi) x (a, b ) b = xja + yj a b = x j a + y j Näiden kahden ab-tason suoran leikkauspiste (a, b ) voidaan laskea. Tällöin a ja b ovat ko. kahden pisteen välisen suoran parametrit. Käytännössä ab-parametriavaruus täytyy jotenkin kvantisoida kaksiulotteiseksi kertymäsolukoksi (accumulator cells). Käymällä läpi kaikki parametrin a kvantisoidut arvot ja ratkaisemalla vastaava b-arvo voidaan (x i, y i ):n määräämä suora piirtää kertymäsolukkoon lisäämällä kutakin (a, b) pistettä vastaavaa solun arvoa yhdellä. Kun sama on tehty kaikille reunapisteille, haetaan kertymäsolukon suurimmat arvot ja piirretään kuvaan niitä vastaavat suorat.

279 y Lineaarisen parametrisoinnin ongelma ovat suorat, joille kulmakerroin on ääretön. Tältä ongelmalta vältytään, kun parametrisoidaan suorat ab-tason sijasta ρθ-tasoon: ρ θ (x i, y i ) x x cos θ + y sin θ = ρ Tällöin kutakin kuvatason pikseliä vastaa parametritasossa pala sinikäyrää. Suorat löydetään jälleen kertymäsolukon avulla. 279/2002

280 Paitsi suoria, Hough-muunnoksella voidaan hakea myös muita parametrisoitavissa olevia käyrämuotoja, esim. ympyröitä. 35/ /2002 Hough-muunnoksen käytännön sovelluksissa täytyy asettaa kertymäsolujen arvoille jokin kynnys, jota suuremmat arvot tulkitaan havaituiksi suoriksi. Suoria piirrettäessä täytyy vielä hakea niiden alku- ja loppupisteet, jotta suorista ei tulisi liian pitkiä. alkuperäinen kynnystetty gradientti kertymäsolukko löydetyt suorat

281 281/ Kynnystys (10.3) Segmentointi voidaan toteuttaa myös suoraan kuvan harmaatasojen avulla, jos taustan ja kohteen tai kohteiden harmaa-arvot poikkeavat toisistaan riittävästi. Kynnystyksessä asetetaan tietty harmaa-arvo T kynnykseksi, jota suuremmat/pienemmät harmaa-arvot kuuluvat kohteeseen ja muut taustaan. Kynnyksiä voi olla myös useampia kuin yksi. Tällöin kuva tulee jaetuksi yhtä useampaan osaan kuin kynnyksiä on. Osat eivät välttämättä ole yhtenäisiä. Kynnys/kynnykset voidaan asettaa joko globaalisti koko kuva-alalle tai paikallisesti. Globaalit kynnykset voidaan asettaa joko harmaa-arvohistogrammia tarkastellen tai nojautuen oletukseen harmaa-arvojakaumien muodoista. Paikalliset kynnykset perustuvat johonkin kuvan paikalliseen ominaisuuteen kuten harmaa-arvojen keskiarvoon ja varianssiin. Dynaamiset kynnykset perustuvat paitsi kuvan paikallisiin ominaisuuksiin myös kyseisen pikselin sijaintiin kuvassa.

282 282/2002 On huomattava, että etenkään globaali kynnystys ei takaa segmentoitujen kohteiden yhtenäisyyttä, koska menetelmät perustuvat vain pikseleiden harmaa-arvoihin eivätkä ota huomioon pikseleiden järjestystä ja ympäristöjä. Jos globaali kynnystys tuottaa yhtenäisiä alueita, se on osoitus kohteiden ja taustan harmaa-arvojen selkeästä eroavuudesta. kaksihuippuinen jakauma kolmihuippuinen jakauma

283 Mitä laveampi valaistuksen histogrammi on, sitä enemmän kuvan histogrammi vääristyy. 283/2002 Valaistuksen vaikutus kynnystykseen (10.3.2) Epätasainen valaistus sotkee harmaa-arvohistogrammin minimikohdan hakemiseen perustuneen globaalin kynnystyksen. Histogrammin piikkien sekoittuminen voidaan selittää valaistus-heijastus-mallilla: f(x, y) = i(x, y)r(x, y) Logaritmoimalla: ln f(x, y) = ln i(x, y) + ln r(x, y) Voidaan tulkita, että ln f(x, y):n histogrammi on ln r(x, y):n histogrammi ln i(x, y):n histogrammilla konvoloituna.

284 284/2002 Jos epätasainen valaistus pysyy samana kuvasta toiseen, sen vaikutusta voidaan koettaa poistaa normalisoimalla valaistus käyttäen tasaisesta valkeasta pinnasta otettua referenssikuvaa, jolla kukin kuva jaetaan pikseleittäin. Yksinkertainen globaali kynnystys (10.3.3) Harmaa-arvohistogrammi näyttää, että alkuperäinen kuva on lähes binaarinen. Siten on varsin helppoa asettaa kynnys T siten, että kappaleiden varjot eliminoituvat. Käytännössä segmentointitehtävät ovat harvoin näin helppoja.

285 285/2002 Iteratiivinen globaali kynnystys (10.3.3) Globaali kynnys T myös iteratiivisesti. voidaan asettaa Valitaan T :lle alkuarvo. Jaetaan pikselit kahteen ryhmään: T :tä pienempiin ja sitä suurempiin. Lasketaan ryhmien keskiarvot µ 1 ja µ 2. Lasketaan uusi arvo: T = 1 2 (µ 1 + µ 2 ). Iteroidaan...

286 286/2002 Yksinkertainen adaptiivinen kynnystys (10.3.4) Epätasaisen valaistuksen aiheuttamaa alueellista vaihtelua kohteen ja taustan harmaa-arvoissa voidaan kompensoida adptiivisella kynnystyksellä. Yksinkertainen adaptiivinen kynnystys voidaan toteuttaa jakamalla kuva osakuviksi, joissa testataan harmaa-arvojakauman yksi-/kaksihuippuisuus ja valitaan käyttöön globaali/paikallinen kynnystys ja kynnysarvo. Optimaalinen kynnystys (10.3.5) Bayesilaiseen optimiluokitteluteoriaan perustuen voidaan toteuttaa luokitteluvirheen todennäköisyyden mielessä optimaalinen kynnystys, kunhan kohteen ja taustan harmaa-arvojen tiheysfunktioiden muodot tunnetaan tai oletetaan ja niiden parametrien arvot joko tiedetään, oletetaan tai estimoidaan datasta. Bayesilaisessa luokittelussa oletetaan yleensä gaussisesti jakautuneet todennäköisyystiheydet, koska niitä on helpointa käsitellä.

287 Jos on oletettu normaalijakautuneet ja tunnetut tiheysfunktiot, raja-arvo T voidaan ratkaista analyyttisesti. Jos jakaumien parametrejä ei oleteta vaan estimoidaan, päädytään iteratiiviseen hakuun. Tiheysfunktioiden parametrit voidaan sovittaa havaittuun harmaa-arvohistogrammiin minimoimalla sovitusvirheen neliösummaa. 287/2002 Optimaalinen luokittelu on käsitelty hahmontunnistuksen kurssilla. Tässä riittää todeta, että optimaalinen kynnysarvo sijaitsee pisteessä T, jossa P 1 p 1 (T ) = P 2 p 2 (T ) missä P 1 ja P 2 ovat kohteen ja taustan a priori todennäköisyydet ja p 1 (z) ja p 2 (z) vastaavat harmaa-arvojen todennäköisyystiheysfunktiot.

288 36/ /2002 Optimaalinen kynnystys, esimerkki (10.3.5) Röntgenkuvasta on segmentoitu sydämen vasenta kammiota. Ensin päätettiin, missä kuvan 49 osakuvasta on kaksihuippuinen jakauma, eli sekä kohdetta että taustaa, ja missä ei. Kaksihuippuisissa osakuvissa estimoitiin iteratiivisesti kaksihuippuisen gaussisen jakauman parametrit ja ratkaistiin optimaaliset kynnykset. Kynnysarvot interpoloitiin osakuvien välillä pikseli pikseliltä.

289 289/2002 Kynnyksen asettaminen reunan ominaisuuksien perusteella (10.3.6) Kynnystykseen perustuvassa segmentoinnissa on yleensä tarpeen histogrammin huippujen ja laaksojen luotettava automaattinen havaitseminen. Tehtävä on helppo, jos huiput ovat kapeita, korkeita, symmetrisiä ja selvästi erillään. Todellisuudessa näin ei useimmiten ole. Tilannetta vääristää usein lisäksi se, että taustaa on huomattavasti paljon enemmän kuin kohdetta. Asiaa voidaan auttaa, jos tarkastellaan ainoastaan pikseleitä reunojen läheltä. Tällöin kohteen ja taustan pikseleillä on sama todennäköisyys ja saatu histogrammi kuvaa parhaiten reunojen harmaa-arvojakaumaa, joka tavanomaisessa histogrammissa on tiheysfunktion laaksossa. Reunan läheisyys saadaan selville gradientin itseisarvon avulla. Ollaanko reunan kirkkaalla vai tummalla puolella, selviää Laplace-operaattorin merkistä. Reunaa voidaan käsitellä myös kolmiarvoisena kuvana, joka muodostetaan: 0 jos f < T s(x, y) = + jos f T ja 2 f 0 jos f T ja 2 f < 0

290 290/2002 Tällöin kullakin vaaka- ja pystyrivillä siirtyminen vaalealta taustalta tummaan kohteeseen ja takaisin näkyy sekvenssinä: ( )(, +)[0 tai +](+, )(...). Hakasulkeiden sisällä oleva osa riviä voi koostua mielivaltaisen monesta merkistä ja muodostaa kohteen, muut pikselit kuuluvat taustaan. Eri T :n arvoilla seuraa hieman erilainen segmentointitulos. Tarkkailemalla f:n jakaumaa havaitaan, että se on kaksihuippuinen ja siihen voidaan huippujen väliin asettaa T, joka segmentoi kuvan hyvin.

291 291/ Aluelähtöinen segmentointi (10.4) Kynnystykseen perustuneet menetelmät eivät juurikaan välittäneet syntyneiden segmenttien yhtenäisyydestä. Aluelähtöisessä (region-based) segmentointimenetelmissä pidetään ensisijaisesti koko ajan huoli siitä, että syntyneet alueet ovat yhtenäisiä ja homogeenisia. Aluelähtöiset menetelmät voidaan formuloida: Olkoon R koko kuva-alue, joka tulee jakaa n:ään osa-alueeseen R 1, R 2,..., R n, joille pätee: n i=1r i = R, joten segmentoinnin on oltava täydellinen R i :t ovat yhtenäisiä alueita R i R j = i j, joten osa-alueet ovat keskenään pistevieraita P (R i ) = TOSI, i = 1, 2,, n, joten alueet toteuttavat homogeenisuusehdon P (R i R j ) = EPÄTOSI i j, joten alueiden yhdisteet eivät toteuta homogeenisuusehtoa

292 292/2002 Lisäksi tarvitaan mahdollisesti a priori tietoa esimerkiksi alueiden koosta, muodosta ja harmaa-arvojen varianssista. Aluelähtöiset segmentointimenetelmät käynnistyvät joko tilanteesta, jossa toistensa naapureina olevia pikseleitä aletaan yhdistellä suuremmiksi segmenteiksi, tai tilanteesta, jossa koko kuva on yksi epähomogeeninen segmentti, jota aletaan pilkkoa pienemmiksi osiksi. Alueiden kasvatus (10.4.2) Alueiden kasvatuksessa ryhmitellään pikseleitä tai niiden ryhmiä suuremmiksi alueiksi. Yksinkertainen tekniikka on pikseleiden yhteenkerääminen (pixel aggregation). Siinä lähdetään liikkeelle siemenpisteistä, joihin liitetään niiden naapuripikselit, jos naapurit ovat riittävän samankaltaisia alueen muiden pikseleiden kanssa. Pikseleiden ja alueiden välinen samankaltaisuus perustuu tyypillisesti harmaatason keskiarvoon ja varianssiin alueen sisällä, väriin tai tekstuuriin. Ongelma on, kuinka valita siemenpisteet ja kuinka määritellä samankaltaisuus.

293 Siemenpisteiden asettamisessa voidaan hyödyntää a priori-tietoa esim. kohteiden ja taustan harmaa-arvoista tai käyttää kasautusta. Alueiden kasvatus, esimerkki (10.4.2) Tiedetään, että harmaa-arvolla 255 olevat pikselit kuuluvat melko varmasti kohteeseen: käytetään niitä siemenpisteinä. alkup. siemenpisteet segmentointi segmenttien rajat 293/2002

294 294/2002 Alueiden jakaminen ja yhdistäminen (10.4.3) Lähtemällä liikkeelle tulkinnasta, että koko kuva on alunperin yksi yhtenäinen mutta epähomogeeninen segmentti, voidaan johtaa joukko alueiden jakamiseen ja uudelleen yhdistämiseen johtavia segmentointimenetelmiä. Jako-ja-yhdistys-menetelmissä (split and merge), kuvan osat esitetään tyypillisesti nelipuuna (quadtree), jonka epähomogeenisia solmuja pilkotan neljäksi pienemmäksi solmuksi, kunnes kaikki solmut ovat homogeenisia. Tämän jälkeen vierekkäiset alueet, jotka muodostavat homogeenisen alueen, voidaan taas yhdistää toisiinsa.

295 295/ Liikkeen käyttö segmentoinnissa (10.6) Jos käytettävissä on peräkkäisiä kuvia liikkuvasta kohteesta, liikettä voidaan käyttää segmentointiperusteena. Ensimmäinen kuva otetaan referenssikuvaksi, johon seuraavia kuvia verrataan. Kuvien välille lasketaan erotuskuva: { 1 jos f(x, y, t i ) f(x, y, t j ) > θ d ij (x, y) = 0 muulloin missä θ on kohinan määrästä riippuva kynnys. Useita erotuskuvia summaamalla saadaan näkyviin liikkuvan kohteen jälki kuvassa. Kun otetaan huomioon erotuskuvien etumerkki, absoluuttinen kertymäerotuskuva (AADI) jakautuu positiiviseksi ja negatiiviseksi kertymäerotuskuvaksi (PADI ja NADI), joista PADI näyttää liikkuvan kappaleen muodon ja NADI sen reitin kuvassa.

296 19. Värin käyttö kuvankäsittelyssä 37/ / Värienkäytön perusteita (6) Väri on ihmissilmälle erittäin tärkeä informaation lähde. Ihmissilmä voi erottaa tuhansia värisävyjä ja niiden intensiteettejä. Harmaasävyjä silmä kykene erottamaan vain joitakin kymmeniä tai noin sata. Automaattisessa kuva-analyysissä värit helpottavat havaittavuutta esim. esineiden identifioinnissa, näkymäanalyysissa ja -erottelussa. Värien käyttö kuvankäsittelyssä voidaan jakaa karkeasti kahteen päälajiin: täysvärikuvat, kuvat muodostettu värisensorilla, käsitellään todellisia värikuvia väärävärikuvat, muodostettu alunperin monokromaattisista kuvista värjäämällä tietyt harmaatasot

297 297/2002 Valon karakterisointi (6.1) akromaattinen (achromatic), valoa karakterisoi vain sen intensiteetti eli määrä. Esim. musta-valko-tv. kromaattinen (chromatic), huomioi energian jakautumisen sähkömagneettisen säteilyn kaistalla nm. radianssi (radiance) valolähteen kokonaisenergia, mittayksikkö watti (W). luminanssi (luminance) mittaa havainnoijan havaitsemaa energiamäärää, esimerkiksi infrapunalähteen luminanssi on lähes nolla, mittayksikkö lumen (lm). kirkkaus (brightness) subjektiivinen mitta.

298 298/ Väriteorian perusteita (6.1) Värispektri muodostuu puhtaista väreistä, so. vain yhdestä aallonpituudesta kutakin havaittua väriä kohden. Spektri jakautuu kuuteen leveään kaistaan: violetti sininen vihreä keltainen oranssi punainen nm nm nm nm nm nm

299 299/2002 Väriaistimus (6.1) Ihmissilmän keskusaluella sijaitsevia tappisoluja on kolmea lajia, jotka ovat eri tavoin herkkiä eri aallonpituuksille. Siten spektrin puhtaat värit havaitaan näiden kolmen samanaikaisen, rinnakkaisen aistimuksen yhteisvaikutuksena. Myös muut kuin spektrin puhtaan värit voivat tuottaa aistinsoluille täysin vastaavan ärsytyksen. Siksi ihmissilmä havaitsee spektrin värejä vastaavat värit myös eri aallonpituuksien sekoituksista. Esineen tuottama väriaistimus perustuu sen heijastaman (tai säteilemän) valon aallonpituuksiin. Kaikkia aallonpituuksia yhtälaisesti heijastava pinta näyttää valkoiselta.

300 300/2002 Päävärit (6.1) Tiettyjä aallonpituuksia punaista (R), vihreää (G) ja sinistä (B) pidetään valon pääväreinä, koska niiden yhdistelmänä voidaan tuottaa suurempi väriskaala kuin millään muulla kolmen värin kombinaatiolla. RGB-pääväreistä ei kuitenkaan voida muodostaa kaikkia värejä. Päävärit on standardoitu: sininen nm, vihreä nm ja punainen 700 nm. Standardi ei täysin vastaa ihmissilmän fysiologiaa. Väritelevision toistokyky perustuu valon kolmen päävärin yhteenlaskuun. Kuvapinnalla on kolmenlaista loisteainetta, joita aktivoidaan kutakin omalla elektronitykillä. Elektronisuihkun intensiteettiä moduloimalla muodostetaan eri värikombinaatiot. (Loisteaineet fosforin ja mm. harvinaisten maametallien seoksia, esim. punainen=y2o3:eu3+, sininen=bamg2al16o27eu2+, vihreä=ce0.67tb0.33mgal11o19.)

301 301/2002 Sekundäärivärit (6.1) Sekundääriväreillä tarkoitetaan pigmenttivärejä magenta (purppura, violetti), syaani (sinivihreä, turkoosi) ja keltainen. Kukin sekundääriväri muodostuu kahden päävärin summana: punainen + sininen = magenta vihreä + sininen = syaani punainen + vihreä = keltainen Sekundäärivärit määritellään niiden absorboiman päävärin mukaan. Kaikkien sekundäärivärien yhdistelmänä muodostuu musta. Painotekniikassa värit määritellään sekundäärivärien ja mustan avulla.

302 302/2002 Värien erottaminen (6.1) Värien erottaminen toisistaan perustuu kolmeen fysiologiseen suureeseen: kirkkaus (brightness) hue edustaa väriä vastaavan spektri komponentin aallonpituutta, karakterisoi puhtaasti väriä saturaatio edustaa värin suhteellista puhtautta, so. paljonko valkoista tai mustaa on sekoittunut puhtaaseen väriin. Spektrin puhtaat värit ovat täysin kyllästyneitä, so. eivät sisällä valkoista. Värin kromaattisuudella tarkoitetaan hueta ja saturaatiota yhdessä.

303 303/2002 Tristimulusarvot (6.1) Punaisen, vihreän ja sinisen määrät, jotka tarvitaan tietyn spektrin puhtaan värin tuottamiseen, muodostavat tristimulusarvot X, Y ja Z. Trikromaattisuuskertoimet (6.1) Normalisoidut tristimulusarvot tuottavat trikromaattisuuskertoimet X x = X + Y + Z Y y = X + Y + Z Z z = X + Y + Z x + y + z = 1 Havaittavan puhtaan värin aallonpituuden ja trikromaattisuuskertoimien vastaavuudet on ratkaistu kokeellisesti ja taulukoitu.

304 38/ /2002 Kromaattisuusdiagrammi (6.1) Trikromaattisuuskertoimilla on itse asiassa vain kaksi vapausastetta: kun x ja y on annettu, z voidaan ratkaista, z = 1 x y. Eri värit voidaan tällöin esittää punaisen x:n ja vihreän y:n funktiona kromaattisuusdiagrammina. Spektrin puhtaat värit näkyvät kielenmuotoisen diagrammin reunoilla. Sekoittuneet värit sijaitsevat diagrammin sisäosissa. Kuvion keskellä on tasaenergiapiste, joka vastaa standardivalkoista. Värisävyjen saturaatio eli kyllästyneisyys on kromaattisussdiagrammin kehällä aina yksi. Lähestyttäessä tasaenergiapistettä saturaatio menee nollaan.

305 305/2002 Mitä tahansa kolmea väriä yhdistämällä voidaan tuottaa sävyt, jotka sijaitsevat diagrammissa kyseisten kolmen värin määräämän kolmion sisäpuolella. Diagrammin kuperuuden vuoksi kaikkia puhtaita spektrin värejä ei voida tuottaa millään värikolmikolla. Näyttöjen ja paperitulostimien tuottamien mahdollisten värien joukkoa kutsutaan ko. laitteen gamutiksi Värimallit (6.2) Kaikki yleisesti käytettävät värijärjestelmät ovat kolmekomponenttisia, mikä onkin luonnollista ihmisen värinäön kannalta. Akselijärjestelmien määritelmät vaihtelevat.

306 306/2002 RGB-värimalli (6.2.1) RGB-järjestelmässä punainen, vihreä ja sininen modostavat keskenään ortogonaaliset väriakselit. Kukin komponentti saa arvoja nollan ja yhden väliltä. Origossa sijaitsee musta ja siitä lähtevällä värikuution avaruusdiagonaalilla kaikki harmaan sävyt valkoiseen asti. (1,0,1) magenta (0,0,0) punainen (1,0,0) B (0,0,1) sininen syaani (1,1,1) valkoinen vihreä musta keltainen (1,1,0) harmaa-asteikko (0,1,1) (0,1,0) G Voidaan ajatella, että värikuva muodostuu kolmesta riippumattomasta kuvatasosta tai -komponentista. RGB-järjestelmä on luonnollinen valinta esitettäessä värejä videomonitorilla ja muilla vastaavilla. RGB ei ole oikea järjestelmä, kun halutaan käsitellä kuvia digitaalisesti, koska se ei erottele kromaattista informaatiota kirkkaudesta. (Esimerkiksi histogrammin tasoitus.) R

307 307/2002 RGB-värimallin värikuutio (6.2.2) Edellinen kuva näytti RGB-järjestelmän akselit rautalankamallina. Joskus on kiinnostavampaa katsoa RGB-värikuution pintoja, jolloin oikeastaan vain kuution musta kärki ja harmaa-asteikko jäävät näkymättömiin.

308 308/2002 CMY(K)-värimalli (6.2.2) (0,1,0) M magenta (0,1,1) (1,1,1) punainen (1,1,0) sininen musta (0,0,0) harmaa-asteikko keltainen (0,0,1) Y syaani valkoinen vihreä C (1,0,0) (1,0,1) RGB-järjestelmän vastine painotekniikassa on CMY-värimalli, jossa keskenään ortogonaaliset akselit vastaavat syaania, magentaa ja keltaista. Origossa on nyt valkoinen ja harmaasävyasteikon vastakkaisessa päässä musta. C 1 R M = 1 G Y 1 B Painotekniikassa käytetään myös CMYK-järjestelmää, jossa neljäs komponentti on musta. Tällöin tasamäärät kolmea muuta väriä voidaan korvata vastaavalla määrällä mustaa.

309 309/2002 YIQ-värimalli YIQ-järjestelmää käytetään väri-tv-läheteyksissä. Y-komponentti vastaa mustavalko-tv:n välittämää kuvaa ja I- ja Q-komponentit lisäävät siihen väriinformaation. YIQ muodostetaan lineaarimuunnoksella RGB:stä: Y R I = G Q B I ja Q voivat siis saada myös negatiivisia arvoja. Puhtailla harmaasävyillä R = G = B, joten niillä I = Q = 0. YIQ-malli on suunniteltu siten, että ilman havaittavaa vääristymää voidaan vähentää siirrettävän datan määrää koodaamalla I- ja Q-kanavat vähemmällä bittimäärällä kuin Y-kanava.

310 HSI-värimalli (6.2.3) valkoinen Kuvankäsittelyn kannalta oikein värimalli on HSI-järjestelmä, koska magenta sininen syaani intensiteetti I on erotettu kromaattisuudesta HS harmaa-asteikko intensiteetti punainen H S keltainen vihreä hue H on jaksollinen, so. spektrin päät punainen ja violetti sijaitsevat vierekkäin musta saturaatio S kuvaa puhtaan värin sekoittumista valkoiseen HSI-nimityksen ohella käytetään myös lyhennettä HSV, missä V=value. Muunnokset RGB- ja HSI-mallien välillä epälineaarisia ja hankalampia kuin muilla järjestelmillä. Lisäksi on huomattava H:n jaksollisuuden mahdollisesti tuottamat ongelmat. 310/2002

311 HSI-järjestelmän akselit ja väriympyrä (6.2.3) HSI-akseliston poikkileikkaus vakiointensiteetillä voidaan piirtää joko kolmioksi, ympyräksi tai kuusikulmioksi. Ohessa kaksi mallia. hue saturaatio intensiteetti 311/2002

312 CIE L a b -värimalli (6.5.4) Tristimulusarvoista X, Y ja Z johdettu CIE L a b -värimalli on myös erinomainen vaihtoehto, koska se erottelee intensiteetin kromaattisuudesta, se on kolorimetrinen, so. samankaltaisilla väreillä on samankaltaiset arvot, jolloin värien välistä etäisyyttä voidaan mitata euklidisesti, se on perseptuaalisesti tasainen, so. eri hue-arvojen väliset erot havaitaan tasaisesti. ( ) Y L = 116 h 16 (X W, Y W, Z W ) = referenssivalkoinen Y [ ( W ) ( )] X Y a = 500 h h X W Y [ ( ) ( W )] Y Z b = 200 h h Y W Z { W 3 q q > h(q) = 7.787q + 16/116 q / /2002

313 313/ Väärävärikuvat (6.3) Värikuvia voidaan myös tuottaa alunperin harmaa-arvoisista kuvista joidenkin asioiden korostamiseksi. Intensiteettiviipalointi (6.3.1) Valitaan jokin taso, jonka yli menevät harmaa-arvot esitetään värillä, muut sellaisenaan. Voidaan myös valita useita harmaa-arvovälejä ja värjätä niihin kuuluvat pikselit omilla vääräväreillään. alkuperäinen 8 vääräväriä

314 314/2002 Harmaa-arvojen muunnos hue-arvoiksi (6.3.1) Esimerkiksi sademäärien jakaumaa maan pinnalla on helpompi tarkastella, kun harmaa-arvokuva muunnetaan väärävärikuvaksi.

315 315/2002 Harmaa-arvo väri-muunnokset (6.3.2) Jokainen kolmesta väriarvosta I R, I G ja I B voidaan määritellä harmaa-arvon f jatkuvina funktioina. Tällöin jokaisella harmaa-arvolla on oma värinsä ja lähekkäiset harmaa-arvot kuvautuvat lähekkäisiksi väreiksi. Värit voidaan tuottaa esimerkiksi erivaiheisten absoluuttisten sini-funktioiden avulla. Kun sini-funktion aallonpituutta varioidaan, saadaan eri harmaa-arvoalueille kulloinkin erilainen vaste.

316 Esimerkki harmaa-arvo väri-muunnoksesta (6.3.2) Ylhäällä/vasemmalla väärävärimuunnos onnnistuu erottamaan räjähdettä vastaavan harmaa-arvovälin vaatteista, kun taas alhaalla/oikealla ne eivät erotu toisistaan. 316/2002

317 Rinnakkaisten harmaa-arvokuvien käsittely (6.3.2) Satelliitit tuottavat usein monia rinnakkaisia kuvia eri aallonpituusalueilta. Niistä voidaan yhdistelemällä tuottaa väärävärikuvia. sininen vihreä nm nm punainen lähi-infrapuna nm nm R+G+B Ir+G+B Washington D.C., Potomac-joki Jupiterin kuu Io 317/2002

318 19.5 Värimuunnokset (6.5) Värimuunnosten yleinen muotoilu on sama kuin harmaa-arvoisilla spatiaalialuemenetelmillä, so. g(x, y) = T [f(x, y)] Nyt g(x, y) on vektoriarvoinen. Yleisen ympäristöoperattori T [ ]:n sijaan rajoitutaan aiempia harmaataso-operaatioita vastaavaan tilanteeseen, jossa s i = T i (r 1, r 2,..., r n ), i = 1, 2,..., n s i :t ja r i :t viittaavaat käytettyyn värikoordinaatistojärjestelmään, esim. RGB, CMYK tai HSI. HSI:tä käytettäessä on huomioitava H:n jaksollisuus. Esimerkki: Kuvan intensiteetin kertominen vakiolla k. g(x, y) = k f(x, y) HSI RGB CMY s 1 = r 1 s i = k r i, i = 1, 2, 3 s i = k r i + (1 k), i = 1, 2, 3 s 2 = r 2 s 3 = k r 3 318/2002

319 Väriviipalointi (6.5.3) Väriviipaloinnissa pyritään korostamaan tiettyä värisävyä tai häivyttämään kaikki muut kuin se. Haluttu värisävy määritellään esim. RGB-avaruudessa keskipisteen (a 1, a 2, a 3 ) ja kuution sivupituuden tai pallon säteen R 0 avulla: { 0.5 jos n j=1 s i = (r j a j ) 2 > R0 2 r i muutoin kuutio pallo 319/2002

320 40/ /2002 Värikorjaukset (6.5.4) Virheellisesti toistuvia värisävyjä voidaan korjata muuttamalla kuvan pikseleiden intensiteettiä korjauskäyrän avulla. Intensiteetin korjaus vastaa R-, G- ja B- arvojen kaikkien yhtälaista muutosta. Näin on menetelty kolmessa esimerkissä, joissa alkuperäiset kuvat ovat olleet liian tasainen, vaalea ja tumma. Tarkemmassa säädössä voidaan muokata kuvien painotulosta kohdistamalla CMYK-koordinatistossa kuhunkin komponenttiin oma korjausfunktionsa. Oikeiden värikorjausten etsiminen on työlästä ja taitoa vaativaa.

321 321/2002 Histogrammin käsittely (6.5.5) Värikuvia voidaan ehostaa paitsi käsityönä myös automaattisesti. Tyypillinen operaatio on tällöin intensiteettihistogrammin muokkaus, yksinkertaisimmillaan sen tasoittaminen. Histogrammin tasoittamista ei milloinkaan pidä kohdistaa R-, G-, ja B-komponentteihin erikseen, vaan se tulee tehdä HSIjärjestelmän I-komponentille. Kuvan esimerkissä on histogrammin tasoituksen jälkeen vielä vahvistettu värien saturaatiota.

322 322/ Värikuvien pehmennys ja terävöitys ( ) Samoja spatiaalitason ali- ja ylipäästösuotimia, joilla pehmennettiin ja terävöitettiin harmaa-arvokuvia, voidaan käyttää myös värikuville. Suodatus tehdään joko yhtäläisesti R-, G- ja B-komponenteille tai mielummin yksistään I-komponentille, jolloin pikselien H- ja S-komponentit eivät sotkeennu. RGB I RGB-I alipäästö ylipäästö

323 323/ Värisegmentointi HSI-avaruudessa (6.7.1) Aiemmin jo puhuttiin väriviipaloinnista. Kyseessä oli itse asiassa RGB-avaruudessa tapahtunut värisegmentointi. Värisegmentointia voidaan tehdä myös HSIavaruudessa. Tällöin asetetaan haluttu huearvoväli ja saturaation vähimmäisarvo, joiden mukainen HSI-väriavaruuden sektori segmentoidaan kohteeksi. Esimerkkikuvasta nähdään ensin H-, S- ja I- arvot. Sitten S on kynnystetty maksimiarvon 1 :n kohdalta ja saadulla binaarikuvalla 10 on kerrottu H-kuva. Tulon histogrammista on segmentoitu yli 0.9:n arvot punaisiksi.

324 324/2002 RGB-avaruudessa segmentointi (6.7.2) RGB-avaruudessa segmentoinnista saadaan usein parempia tuloksia kuin HSI-avaruudessa. Aiempaa väriviipalointia yleisempi malli on tutkia värin z etäisyyttä segmentin keskiarvoväristä a: D(z, a) = (z a) T C 1 (z a) missä C on segmentoitavan a-keskiarvoisen värin autokovarianssimatriisi. C voidaan myös olettaa yksikkömatriisiksi, jolloin malli redusoituu aiempaan väriviipalointiin. Euklidisen etäisyyden sijasta voidaan käyttää myös maksiminormia, jolloin päädytään kuution muotoisiin segmenttirajoihin RGB-avaruudessa.

325 325/ Reunanetsintä värikuvissa (6.7.3) Reunoja voidaan värikuvista etsiä yksinkertaisimmillaan kustakin värikomponentista erikseen ja summata gradienttien itseisarvot. Tämä menetelmä ei kuitenkaan ole kovin tarkka, koska komponenttikuvissa gradienttien suunnat saattavat olla erilaiset. Oikeampaan tulokseen päästään laskemalla gradientin x- ja y-suuntaiset komponentit vektoreina rgb-vektoriavaruudessa: u = R x r + G x g + B x b v = R y r + G y g + B y b

326 326/2002 u:n ja v:n avulla voidaan laskea kolme suuretta: g xx = u u = R x 2 + G x 2 + B x 2 g yy = v v = R y 2 + G y 2 + B y 2 g xy = u v = R x R y + G x G y + B x B y Ja niistä edelleen gradientin suunta ja suuruus kussakin suunnassa: 2g xy θ = 1 2 tan 1 g xx g yy 1 F (θ) = 2 [g xx + g yy + (g xx g yy ) cos 2θ + 2g xy sin 2θ]

327 Reunanetsintä värikuvissa, esimerkki (6.7.3) alkuperäinen u&v R + G + B tulosten erotus 327/2002