Kuvaus- ja näyttöperiaatteet Mikko Nuutinen 24.1.2013
Luennon oppimistavoitteet ja sisältö Kuvaus- ja näyttöketju Oppimistavoite on ymmärtää miten spektraalinen informaatio (n dim) detektoidaan 3-komponentiseksi esitykseksi (kamera/skanneri) ja esitetään näyttölaitteella (n dim); eli miten kamera kaappaa ja näyttö tuottaa värit, jotka havaitaan Luennolla käydään läpi: skannerin, still-kameran, LCDnäytön sekä tulostuksen (/rasteroinnin) periaatteet; fokus on erityisesti värien detektoinnin ja esityksen perusperiaatteissa Lisäksi esimerkki useamman primäärivärin tulostuksesta ja näytöstä sekä hyperspektraalisesta kuvauksesta
Kuvausketju VALOLÄHDE KOHDE OPTIIKKA KUVATASO ADC Kuvanprosessointi / siirto DAC KUVATASO Näyttö tai tuloste KATSOJA Informaatio optisessa / analogisessa muodossa Digitaalinen informatio Informaatio optisessa / analogisessa muodossa Kamera Tietokone Näyttö
Kuvausketju spektraalisen pisteinformaation muodossa Valonlähteen suhteellinen emissio, L Kameran spektraaliset herkkyydet, Mi Näytön spektri (taustavalo + RGB-suotimet) aallonpituus L*R aallonpituus aallonpituus Kohteen spektraalinen heijastus, R Kohteen suhteellinen emissio, L*R L*R*Mi Kameran RGB-vaste Näytön spektraalinen emissio aallonpituus aallonpituus aallonpituus
Näytteistys- ja esityslaitteet Skannerien/kameroiden toiminta perustuu siihen, että valon fotonit tuottavat varauksen pikselissä, jonka suuruus mitataan Skanneri: spatiaalinen/temporaalinen RGB-näytteistys (huom. vertaa CCD ja CIS-tekniikoiden ero) Still-kamera: spatiaalinen RGB-näytteistys Video-kamera: spatiaalinen RGB-näytteistys, joka päivitetään Näytöissä spatiaalinen RGB-esitys, jota päivitetään Tulostimissa 3+1 -komponenttinen (CMY + K) esitys Huom! näytöissä additiivinen eli lisäävä, tulostimissa subtraktiivinen eli vähentävä värinmuodostus
Skanneri: CCD (charge-coupled device) ja CIS (contact image sensor) tekniikat Molemmissa riviskannaus CCD tuottaa värit CCD-matriisin värifilttereillä; spatiaalinen värinäytteistys CIS tuottaa värit LED-valoilla; temporaalinen värinäytteistys; eli vain tietty väri tietyllä hetkellä päällä Optiikka vs. valoputket Loisteputki vs. ledit H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Skanneri: RGB-näytteistys CCD-matriisi, jossa yksittäiset rivit näytteistävät punaisen, vihreän ja sinisen valon m i d T r i n( u i, 2 i missä i on spatiaalinen sijainti, m vaste d sensorin spektraalinen herkkyys (sensori + filtteri) r kuvan spektraalinen emissio n kohina, kun muuttujina on keskiarvo ja hajonta ) HUOM! Jos kyseessä temporaalinen näytteistys niin d = vain sensorin herkkyys, koska RGB-näytteet taltioidaan samalla sijainnilla sensorilla, mutta eri ajankohtana H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Skanneri: R, G, B sijaintivirhe Koska skanneri näytteistää R-, G- ja B-kanavat hieman eri sijainneilla, niin kuvaan syntyy virhettä Tarve kuvan jälkiprosessoinnille H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Skanneri: analogia-digitaali-muunnos (ADC) Binaarikoodi 000 001 010 011 100 101 110 111 Intensiteettiarvo 7 6 5 3 bit digital output 4 Esimerkiksi jos detektoitu vaste on 2000 mv, niin pikselin intensiteettiarvo on 4 ja digitaalinen output-arvo on 1 0 0 3 2 1 0 1000 2000 3000 input voltage (mv) Detektoidun vasteen suuruus riippuu siitä, miten paljon fotoneita pikseli kerää
Skanneri: analogia-digitaali-muunnos (ADC) ADC voidaan karakterisoida esimerkiksi kvantisoinnin bittimäärällä; mitä suurempi bittimäärä sitä enemmän intensiteettitasoja DNL-luku (differential non-linearity) kertoo bittivirheen suuruuden INL-etäisyys (integral non-linearity) kertoo maksimietäisyyden ideaalisesti siirtofunktiosta Kvantisointitaso on siirtynyt H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Skanneri: optiikan aiheuttama valon heikentyminen I cos 4 I 0 ( ) Huomaa että mitä lyhyempi etäisyys sensorin ja optiikan välillä, sitä suurempi vaimennus H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Kamera Skannerilla on vakiollinen valonlähde ja stabiili kohde Kameran tulee toimia ympäristöissä, joissa on erilaisia valaistusolosuhteita ja liikkuvia objekteja Tarvitaan matriisiskannaus, sekä valotuksen ja valkotasapainon säätö Värisuodatus (RGGBmatriisi) Signaalin detektointi Signaaliprosessointi Kohteen projisointi kuvatasolle Kuvauksen säätö H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Kamera: signaalin detektointi CCD (charge-coupled device) ja CMOS (complementary metaloxide semiconductor) tekniikat Valon fotonit tuottavat varauksen pikseliin CMOS-sensorissa varaus-jännite-konversio ja vahvistus tehdään pikselitasolla. CCD-sensori tekee nämä toiminnot ulosluvussa CCD-sensorissa varaus siirretään ulos pikselirivi kerrallaan, kun taas CMOS-sensorissa varaus luetaan suoraan pikselistä H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Kamera: kuvauksen säätö valotus ja tarkennus Automaattinen valotusalgoritmi mittaa kameran kuvavirrasta esim. lokaali-intensiteettitietoa, jota vertaa kameralle aiemmin opetettuun dataan ja säätää aukkokoon ja valotusajan sen perusteella; oletus vaikka, että kuvan keskikohta ei yli- tai alivalotu Automaattinen tarkennusalgoritmi hakee tarkennuksen joka maksimoi esim. luminanssihistogrammin leveyden tai kuvan gradientin; myös erillisiä vaihe-eron mittaukseen perustuvia sensoreita käytetään Epätarkka 6000 5000 4000 3000 2000 1000 0 0 50 100 150 200 250 Tarkka 5000 4000 3000 2000 1000 0 Histogrammin leveys maksimoituu 0 50 100 150 200 250 H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Kamera: kuvan prosessointikomponentteja Pimeänvirran ja sensorin epäyhteneväisyyksien poisto Puuttuvien väriarvojen interpolointi (demosaicking) Valkotasapaino Kuvavaikutelman säätö Kuvan kompressio (JPEG) H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Kamera: värien tuotto, yksi kenno (puuttuvien väriarvojen interpolointi) Näkymä näytteistetään värisuodinmatriisin läpi (usein RGGB) Huom! joka pikseli näytteistää vain yhden värin Pikselien puuttuvat väriarvot lasketaan olemassa olevien arvojen perusteella (interpolointi) Lasketaan puuttuvat väriarvot värisuodinmatriisi raaka sensoridata visualisoituna eri värein H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Kamera: värien tuotto, yksi kenno (puuttuvien väriarvojen interpolointi) Kameroissa kehittyneitä interpolointi-tekniikoita, joilla lasketaan pikseleiden puuttuvat väriarvot Laskennallisesti kevyemmät tekniikat tuottavat kuvaan usein värivääristymiä Esimerkiksi yksinkertainen keskiarvo R5=(p2+p8)/2, G5=p5, B5=(p4+p6)/2 p1 p2 p3 p4 p5 p6 p7 p8 p9 H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Kamera: värien tuotto, kolme kennoa ja prisma Kolmen kennon kamerassa on objektiivin jälkeen esim. puoliläpäisevä peilijärjestelmä, joka jakaa sisään tulevan valon kolmeen osaan; ei tarvetta puuttuvien väriarvojen laskennalle
Kamera: värien tuotto, yksi kenno, värisuodinpyörä RGB-kuva muodostuu peräkkäisistä kuvista Samalle kennolle tallennetaan peräjälkeen eri RGB-värien intensiteettiarvot
Kamera: värien tuotto, yksi vs. kolme sensoria Puuttuvat arvot tulee interpoloida
Kamera: signaaliprosessointi valkotasapainon säätö Ihmisen näköjärjestelmä adaptoituu ympäristön valoon ja valkoinen havaitaan valkoisena riippumatta valon väristä; kamera pyrkii samaan Säätö sisältää kaksi vaihetta: 1. Valon värin mittaus 2. RGB-arvojen säätö niin, että oletetun neutraalin väriarvon tapauksessa R=G=B H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Kamera: signaaliprosessointi kuvan säätöä Kuluttajakameran kuva pyritään säätämään miellyttäväksi (perustuen oletuksiin siitä, mistä keskimääräinen käyttäjä tykkää) Miellyttävimmäksi säädetty kuva ei aina ole luonnollisin esitys Esimerkiksi kuvan kontrastia kasvatetaan Lisäksi kuvan värejä elävöitetään kasvattamalla värien saturaatio-arvoa H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Kamera: signaaliprosessointi kuvan säätöä Esimerkki kun kuvan kontrastia on kasvatettu
Kamera: Kuvan detektion suorituskyvyn rajat Kameran suorituskyvyn kannalta pikselikoko on ehkä tärkein yksittäinen tekijä Pikselikoko määrittää kuinka paljon ja kuinka nopeasti fotoneita voidaan kerätä; vaikutus kuvan dynamiikkaan (tummimpien ja vaaleimpien yksityiskohtien ero kuvassa) sekä vaadittuun valon määrään; vertaa alla yhteläisesti valotettuja pikseleitä, joista pienempi saturoituu Valomäärä tuottaa varauksen joka ei ylitä pikselin varauskapasiteettiä Valomäärä tuottaa varauksen joka ylittää pikselin varauskapasiteetin; pikseli saturoituu Kertynyt varaus 250e- Kertynyt varaus 150e- Molemmissa pikseleissä sama Kohinataso, 20e- iso pikseli pieni pikseli
Kamera: Kuvan detektion suorituskyvyn rajat Pikselikoon vaikutus dynamiikkaan Pikseli saturoituu, kun valotus liian voimakas Kameran ulostulosignaali Kameran ulostulosignaali Pienempi pikseli Isompi pikseli Käyrät kuvaavat kirkkausaluetta, joka pystytään detektoimaan Kohteen kirkkaus Isommalla pikselillä on parempi dynamiikka eli alue jolta detektoituu yksityiskohtia on laajempi Valotusajalla/aukkokoolla voidaan säätää valotusaluetta, ei dynamiikkaa Kohteen kirkkaus
Kamera: Kuvan detektion suorituskyvyn rajat Esim. valotus 1 s Esim. valotus 2 s HDR-kuva Kuva 1 Kuva 2 Valotusajalla/aukkokoolla voidaan säätää valotusaluetta, ei dynamiikkaa, mutta yhdistämällä kuvat sopivasti toteutetaan ns. useaan valotukseen perustuva hdrkuvausmenetelmä
Näyttö LCD (liquid crystal display) Valonlähde: valkoista valoa emittoiva loisteputki Valonlähde; RGB-ledit joita säädetään temporaalisesti; huomaa nyt ei tarvetta värifilttereille Valo hajotetaan kaikkiin suuntiin Valo polarisoidaan Nestekidekerroksen ohjaus RGB-värit tuotetaan temporaalisella rasteroinnilla Nestekidekerros muuttaa tai säilyttää valon polarisaatiosuunnan R, G ja B värisuodatus Valo polarisoidaan H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Näyttö LCD (liquid crystal display) Nestekiteillä säädetään se, miten valon polarisaatiosuunta muuttuu tai ei muutu; ja vastaavasti miten valo läpäisee toisen polarisaattorin ja millä voimakkuudella näyttö emittoi valoa kyseisessä pikselissä. Syöttöjännite määrittää nestekiteen kiertymisasteen ja pikselin valonläpäisyn eli harmaatason H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Näyttö LCD (liquid crystal display) t on CIEXYZ arvo näytöllä (estimaatti silmän vasteelle) A on CIEXYZ värinsovitusfunktiot t A T L on lampun spektraalinen tehojakauma D on diffuuserin spektraalinen läpäisy P on takapolarisaattorin spektraalinen läpäisy T on transistorimatriisin spektraalinen läpäisy F on etupolarisaattorin spektraalinen läpäisy R, G ja B on punaisen, vihreän ja sinisen filtterin spektraalinen läpäisy Vr, Vg, Vb on jännitetaso punaiselle, vihreälle ja siniselle värille HUOM: c(v) on vektori, joka sisältää nestekiteen spektraalisen läpäisyn jännitearvolla V LDPTF ( Rc( Vr ) Gc( Vg ) Bc( Vb )) H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Näyttö Reflektiivinen LCD ja muut tekniikat LCD-näytöt voidaan jakaa transmissiivisiin, reflektiivisiin sekä transflektiivisiin (alla esimerkki reflektiivisestä LCD-näytöstä; aiemmilla kalvoilla esitettiin transmissiivisen tekniikan periaate) Näyttötekniikka voi olla myös emissiivinen eli pikseli tuottaa itse valon (esim. OLED- ja plasmanäytöt) H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Yhteenvetona kameroiden, näyttöjen ja tulostimien pikseliperiaatteet Kamerat: RGB-pikselit Sävyjen detektointi riippuu valon fotonien lukumäärästä Näytöt: RGB-pikselit Sävyjen toisto jännitetasoa muuttamalla (LCD- ja OLED-tekniikat) tai moduloimalla on pikseleiden suhteellista ajallista kestoa (temporaalinen rasterointi, plasma-tekniikka) Tulostimet CMYK- pikselit Sävyjen toisto rasteroimalla (spatiaalinen rasterointi)
Tulostus mustesuihku ja elektrofotografia Suihkutetaan muste tulostuspäillä paperille Valotetaan rumpu johon toonerit tarttuu, josta paino paperille H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.
Rasterointi on tärkeä osa tulostusprosessia Rasteroinnilla tarkoitetaan suuremman bittisyvyyden (=väritasoresoluution) muuntamista alhaisemman bittisyvyyden kuvaksi (tulostuksen tapauksessa binäärikuvaksi) Rasteroinnissa käytetään hyväksi ihmisen rajallista yksityiskohtien havaitsemista (taajuusvaste ulottuu n. 6 jaksoa/aste asti), jolloin tarpeeksi pienet rasteripisteet nähdään tasaisena väripintana Eli ihmissilmä alipäästösuodattaa signaalin ja havaitsee tasaisen harmaasävyn
Rasteroinnin periaate
Rasterimatriisi
Rasteroitu kuva (AM) AM amplitudimodulointi Rasteripisteen koko muuttujana Mitä suurempi piste on yksittäisessä matriisissa, sitä tummempi alue on
Rasteroitu kuva (FM) FM taajuusmodulointi rasteripisteiden keskinäinen etäisyys muuttujana Mitä lähempänä pisteet ovat yksittäisessä matriisissa, sitä tummempi alue
Värikuvan rasterointi Värierotellut kolme kuvaa (vastaavat syaania, magentaa ja keltaista) + musta (CMYK-kuva) rasteroidaan kukin kuten yksiväriset kuvat Osavärien rastereille valitaan eri rasterikulmat (musta 45, syaani 75, magenta 15 ja keltainen 90 ) Eri rasterikulmilla pyritään välttämään häiritsevää moiré-vääristymää
Käsitteitä: multispektraalinen, hyperspektraalinen kuvantaminen Multispektraalinen: 3 (4)...kymmenen... mutta ei satoja aallonpituuskaistoja; kaistat suhteellisen leveitä Hyperspektraalinen: kymmeniä...satoja aallonpituuskaistoja koko sähkömagneettisen spektrin alueella; kaistat kapeita http://upload.wikimedia.org/wikipedia/en/c/c3/multispectralcomparedtohyperspectral.jpg
Multi-primary tulostus kylläisten värien toisto Kasvatetaan primäärivärien määrää: esim CMYRGB, jolloin ab-tason väriavaruus laajenee Haasteena muunnosalgoritmit RGB -> CMYRGB (eli muunnos kuvadatasta tulostimen ohjaukseen)
Neljän primäärin näyttö Esim Sharp käyttää neljän primäärivärin tekniikkaa LCD-TV:ssä (2010) Ylimääräinen Y-komponentti kasvattaa erityisesti toistettavissa olevien ihonsävyjen lukumäärää ja tarkkuutta http://sharp-world.com/corporate/news/100531_1.html
Miksi spektraalinen kuvannus? Kolmen värikanavan kuvaus hävittää informaatiota (ts. jatkuva spektri pakataan kolmeen intensiteettiarvoon) Spektraalisen kuvannuksen sovelluksia: Spektraalinen kuvannus mahdollistaa näkymän siirtämisen eri valaistuksiin; perustuu siihen että näkymän heijastusspektri voidaan rekonstruoida, jos alkuperäisen näkymän valaistusspektri tunnetaan Spektraalista dataa käytetään analyysitarkoituksiin (käytetty perinteisesti kaukokartoituksessa)
Hyperspektraalinen kamera: hilaan perustuva tekniikla H.J. Trussel, M.J. Vrhell, Fundamental of Digital Imaging, Cambridge, 2008, 532 s.