Kameran kuvanprosessointi

Transkriptio

1 Kameran kuvanprosessointi T Kuvaus- ja näyttötekniikka Mikko Nuutinen, Luennon sisältö: Valotuksen ja tarkennuksen säätö Valkotasapaino, interpolointi ja värisäätö Muita kuvanprosessointiin liittyviä menetelmiä

2 Tyypillisen digitaalikameran komponenttidiagrammi Kameran ohjauselektroniikka ohjaa kuvaustoimintoja, kuten valotus- sekä tarkennussäätöjä. Kameran signaalinkäsittely muuntaa kuvasensorin raakasignaalin sopivaan muotoon ulostuloa varten Digital Color Image Handbook, CRC Press 2003

3 Kuvanprosessointiketju (image processing pipe) IEEE Signal Processing Magazine 22(2005)1, pp

4 Kuluttajatason digitaalikameran kuvanprosessointiketju Kuluttajakamera tuottaa standardeja kuvatiedostoja JPEG-formaatti (24 bittinen RGB-data, Exif-metadata) Metadatasta voidaan lukea esimerkiksi se, että tiedosto kuuluu esittää srgb-standardin mukaisesti Kamera Komponenttien järjestys valmistajakohtainen valinta (vertaa edellisen kalvon kaavioon) Digital Color Image Handbook, CRC Press 2003

5 Ammattitason (& harrastajatason) digitaalikameran kuvanprosessointiketju Ammattikameroissa (+ kehittyneemmät kuluttajakamerat) työnkulku voidaan jakaa sekä kamerassa että tietokoneella suoritettaviin osiin Kamerassa mahdollisuus renderöimättömään kuvanprosessointiin Tiedostoformaattina kameramerkkikohtainen RAW (esim. Canon.CR2 ja Nikon.NEF) Ulostulo myös haluttaessa JPEG-formaatissa Kamera Huom: Talletus yleensä valmistajan RAW-formaattiin Tietokone Digital Color Image Handbook, CRC Press 2003

6 Esimerkki EXIF-metadatasta 1 Filename : Canon_IXUS_1000_HS_Cluster5_5600K_5200lux_200cm.jpg JFIF_APP1 : Exif JFIF_APP1 : http Main Information ImageDescription : Make : Canon Model : Canon IXUS 1000HS DateTime : 2010:11:25 13:11:11 Sub Information ExposureTime : 1/640Sec FNumber : F3.4 ISOSpeedRatings : 320 ExifVersion : 0230 DateTimeOriginal : 2010:11:25 13:11:11 DateTimeDigitized : 2010:11:25 13:11:11 CompressedBitsPerPixel : 3/1 (bit/pixel) ShutterSpeedValue : 1/636Sec ApertureValue : F3.4 ExposureBiasValue : EV0.0 MaxApertureValue : F3.4 MeteringMode : Division Flash : Not fired(auto) FocalLength : 6.30(mm) UserComment : ExifImageWidth : 3648 ExifImageHeight : 2736 ExposureMode : Auto WhiteBalance : Auto DigitalZoomRatio : 3648/3648 SceneCaptureType : Standard Vendor Original Information MacroMode : Off Self-timer : Off Quality : Fine FlashMode : Red-Eye Reducing Auto Drive Mode : Single-frame Focus Mode : Single ImageSize : Large Easy shooting mode : Full auto Digital Zoom : Off Contrast : Normal Saturation : Normal Sharpness : Normal CCD Sensitivity : AUTO MeteringMode : Evaluative FocusType : Auto AF point selected : Unknown (16390) ExposureProgram : Easy shooting Focal length of lens : (mm) Long Shutter Mode : Off White Balance : Auto Sequence number(continuous mode) : 0 Flash bias : 0 EV Image type : IMG:IXUS1000HSJPEG Firmware version : FirmwareVersion1.00 Image Number : Owner name :

7 Esimerkki EXIF-metadatasta 2 Filename : Apple_iPhone_4_Cluster6_5700K_10000lux_Landscape.jpg JFIF_APP1 : Exif Main Information Make : Apple Model : iphone 4 Software : 4.1 DateTime : 2010:11:25 12:44:48 Sub Information ExposureTime : 1/838Sec FNumber : F2.8 ExposureProgram : Program Normal ISOSpeedRatings : 80 ExifVersion : 0221 DateTimeOriginal : 2010:11:25 12:44:48 DateTimeDigitized : 2010:11:25 12:44:48 ShutterSpeedValue : 1/838Sec ApertureValue : F2.8 MeteringMode : Average Flash : Not fired(auto) FocalLength : 3.85(mm) ExifImageWidth : 2592 ExifImageHeight : 1936 ExposureMode : Auto WhiteBalance : Auto SceneCaptureType : Standard Sharpness : Hard GPS Information GPSLatitudeRef : N GPSLatitude : [DM] 60 11' 5.40" [DMS] GPSLongitudeRef : E GPSLongitude : [DM] 24 49' 47.40" [DMS] GPSAltitudeRef : Sea level GPSAltitude : 11566/421 meters GPSTimeStamp : 12:45:01 GPSImgDirectionRef : Magnetic direction GPSImgDirection :

8 Valotuksen säätö

9 Valotuksen säätö Automaattinen valotus mittaa optimaalisen valotusarvon aukkokoon, valotusajan sekä vahvistuksen kombinaatiolla Kuvasensori tulee valottaa niin, että kohteen kirkkaat yksityiskohdat eivät saturoidu Lisäksi valotuksen tulee olla riittävä, jotta kohteen tummien kohtien signaalitaso on riittävä (yli kohinatason tummien alueiden yksityiskohdat detektoituvat)

10 Valotuksen säätö Signaalin vahvistus (ISO-luku) Filmikameroissa filmin ISO-nopeus määrittää filmin herkkyyttä valolle suuremman ISO-luvun filmeissä hopeahalidikiteiden pinta-ala on suurempi kuvan rakeisuus (kohinaisuus) on suurempi Digitaalikameroissa ISO-luku määrittää signaalin vahvistuskertoimen (gain) Kun ISO-luku kasvaa, vahvistetaan signaalia enemmän tuotetun kuvan rakeisuus lisääntyy, koska signaalin vahvistus vahvistaa vastaavasti myös kuvan kohinaa ISO 100 ISO 800

11 Valotuksen automaattinen säätö Valotuksensäätö mittaa kohteen valoisuuden Kohteen valoisuus (brightness) ja valotusaika; perusriippuvuus (vastaa kysymykseen millä valotussäädöillä kohde tulee kuvata jotta se valottuu oikein) B = ka 2 /(TS) ; T = ka 2 /(BS) B k A T S kohteen valoisuus vakio on linssin F-arvo aukko/polttoväli valotusaika signaalin vahvistus Usein valoisuus mitataan RGB-sensoridatasta lasketusta luminanssiarvosta. Vaihtoehtoisesti G-kanavan arvo estimoi melko tarkasti luminanssiarvoa. Jos kamerassa on tarkennussensorit, voidaan valoisuutta usein mitata niiden avulla.

12 Valotuksen automaattinen säätö Kasvatetaan aukon fyysistä kokoa, pidennetään valotusaikaa ja/tai kasvatetaan signaalin vahvistuskerrointa Kohde kuvantuu liian tummana Kohde kuvantuu sopivan kirkkaana

13 Valotuksen automaattinen säätö Kohteen valoisuuden mittaus Keskustapainotteinen mittaus: kuva-alan luminanssitasot mitataan, mutta valotus painottaa keskustaalueen luminanssitasoja soveltuu esim. henkilökuvaukseen Pistemittaus valoisuus mitataan manuaalisesti kuvaalalle asetetun pisteen perusteella

14 Valotuksen automaattinen säätö Matriisimittaus: monimutkaisempi ja enemmän laskentaa vaativa menetelmä kuva jaetaan blokkeihin, joiden keskimääräinen luminanssi mitataan (kuva a) valotusmäärän valinta perustuu valmistajakohtaisten algoritmien käyttöön, jotka vertaavat blokkien luminanssitasojen jakaumaa tyypillisten näkymien jakaumiin esim. luminanssitasojen avulla voidaan määrittää onko kohde valaistu etu- vai takapuolelta (kuva b) Uudempi lähestymistapa on kasvojentunnistus ja kasvojen perusteella toteutettu valotuksen mittaus (tai tarkennus tai värikorjaus) B IEEE Signal Processing Magazine 22(2005)1, pp

15 Tarkennuksen säätö

16 Tarkennuksen säätö Perusajatus: säädetään linssisysteemin paikka siten, että kohde tarkentuu kuvatasolle Automaattinen tarkennuksensäätö; aktiivinen ja passiivinen toteutus

17 Tarkennuksen automaattinen säätö Aktiivinen toteutus Infrapunavaloon perustuva automaattitarkennus Kamera lähettää infrapunasäteen ja detektoi heijastuneen säteen Säteen paluukulmasta tai säteen paluuseen kuluvasta ajasta lasketaan kohteen etäisyys Kun kohteen etäisyys tunnetaan, voidaan säätää linssien paikat Ultraääneen perustuva automaattitarkennus Kamera lähettää yhtä tai useampaa ultraäänitaajuutta samanaikaisesti objektiivi tarkentaa kohti äärettömyyttä Kun ultraääntä heijastuu takaisin kameraan, objektiivi on tarkennettu kohteeseen

18 Tarkennuksen automaattinen säätö Passiivinen toteutus (taajuus) Spatiaalisia taajuuksia mittaava menetelmä Menetelmä olettaa, että tarkka kuva sisältää enemmän korkeita taajuuksia kuin epätarkka Linssisysteemin sijainnin funktiona mitataan kuvasignaalista esim. gradienttiarvoja Gradientti mitataan vain tarkennusalueista (vertaa valotuksen mittaukseen) CMOS-sensorista voidaan mitata vain osa pikseleistä, mikä tekee sen säädöstä nopean IEEE Signal Processing Magazine 22(2005)1, pp

19 Tarkennuksen automaattinen säätö Passiivinen toteutus (vaihe) Vaihe-eroa mittaava menetelmä Vaihe-eroa mittaava menetelmä määrittää linssien sijainnin, jossa linssin eri puolilta tulevat valonsäteet yhdistyvät (kuva a ja b) Vaihe-ero mitataan tarkennussensoreilla tarkennussensoreita on vähintään kaksi jokaista tarkennuspistettä kohden Kuvan ollessa tarkka, linssin eri puolilta tulevat valonsäteet osuvat samalle sijainnille tarkennussensoriparilla Sijaintierosta voidaan suoraan laskea tarkennusetäisyys -> linssisysteemiä tarvitsee säätää vain yhden kerran jotta kohde tarkentuu sensorille IEEE Signal Processing Magazine 22(2005)1, pp

20 Tarkennuksen automaattinen säätö Puoliläpäisevä peili päästää osan valosta, joka johdetaan peilien ja linssien avulla tarkennussensoreille 9 ristikkäistyyppistä tarkennuspistettä. Lisäksi keskipisteelle on asetettu herkkyys 45 asteen kulmiin.

21 Raakadatan esikäsittely

22 Raakadatan esikäsittely Sensorin raakasignaalia esikäsitellään ennen muita operaatioita 1. Viallisten pikselien korjaus; jotkut pikselit eivät toimi (oikeiden arvojen estimointi) 2. Signaalin linearisointi (yleensä sensorin vaste on kuitenkin lineaarista) 3. Mustan tason säätö Pimeänvirran (dark current) kompensointi; joko sensori sisältää valolta suojattuja mittapisteitä, tuotetaan pimeä kuva tai vähennetään vakiointensiteetti Hajavalon (flare) kompensointi; tuleva valo heijastelee optiikassa; kompensoidaan esim. vähentämällä tietystä pikselistä naapuripikselien keskimääräisen intensiteetin tietty osa tai vähennetään vakiointensiteetti 4. Kohinasuodatus: kamerassa useita kohinalähteitä, joiden vaikutusta suodatetaan ennen muita kuvanprosessointioperaatioita Mielellään adaptiivinen menetelmä, koska kuvan yksityiskohdat suodattuvat helposti

23 Valkotasapainonsäätö

24 Valkotasapainonsäätö Kanavakohtainen vahvistus niin, että valkoinen esine kuvausympäristössä havaitaan näytöllä tai tulosteessa valkoisena katseluympäristössä Perusteena ihmissilmän adaptoituminen ympäristön valoon eli valkoinen pinta koetaan valkoisena, vaikka ympäristön valaistus olisi esim. punertava hehkulamppu Sensoritekniikka ei adaptoidu vastaavalla tavalla Ihmissilmän adaptaatio joskus epätäydellinen, jota mallinnetaan myös kameroissa esim. Canon jättää hehkulampun valaistuksessa tuotetut kuvat hieman lämpimiksi Useimmat kamerat jättävät kynttilän- tai takanvalossa tuotetut kuvat lämpimiksi

25 Valkotasapainonsäätö Auringonvalo Käsittelemätön kuva Valkotasapainotettu kuva

26 Valkotasapainonsäätö Manuaalinen säätö: 1. neutraalin pinnan osoitus kameralle 2. värilämpötilan / oletetun valaistuksen asetus hehkulamppu K (punertava) auringonlaskuhämärä K fluoresenssilamput K salama K auringonvalo K pilvinen taivas K varjo tai erittäin pilvinen taivas K (sinertävä)

27 Valkotasapainonsäätö Kuluttajakameroissa vaatimuksena automaattinen säätö Kaksivaiheinen prosessi: 1. näkymän värilämpötilan mittaus; 2. pikseliarvojen säätö Maximum RGB oletuksena, että kuvassa oleva valkoinen alue tuottaa maksimi-intensiteetin valkotasapainotettu kuva saadaan kertoimilla R/Rmax, G/Gmax ja B/Bmax Virheellinen säätö, jos kuvassa ei ole valkoista aluetta Gray world oletuksena, että kuvan värien keskimääräinen sävy on keskiharmaa ( gray world ) valkotasapainotettu kuva saadaan kertoimilla krr, G ja kbb, kun kr = Gmean / Rmean ja kb = Gmean / Bmean Virheellinen säätö, jos kuva muodostuu suurelta osin tietystä väristä

28 Valkotasapainonsäätö gray world menetelmä määrittää valkotasapainon väärin, jos kuva-ala muodostuu suurelta osin tietystä väristä Matherson, K., Wueller, D. The Image Pipeline and How It Influences Quality Measurements Based on Existing ISO Standards, Kurssimateriaali, IS&T/SPIE 19th Annual Symposium, , San Jose, Kalifornia.

29 Valkotasapainonsäätö Toteutusesimerkkejä jatkuu.. Kuva jaetaan blokkeihin ja blokkien keskiarvoisista RGB-arvoista lasketaan blokkikohtaiset värierot (R-Y ja B-Y). Värieroarvot sijoitetaan värieroavaruuteen. Värieroarvojen sijoittumisen perusteella määritetään ympäristön valaistus IEEE Trans. Consumer Electronics 41(1995)3

30 Puuttuvien väriarvojen interpolointi (demosaic)

31 Puuttuvien väriarvojen interpolointi (demosaic) Pikselin puuttuvat väriarvot estimoidaan perustuen naapuripikseli-informaatioon Laskennallisesti usein intensiivisin osa kuvanprosessointiketjussa Yleisesti algoritmit ovat kameravalmistajien liikesalaisuuksia Hyvä algoritmi tuottaa terävän kuvan, ilman vääristymiä, eikä kasvata signaalikohinaa Matherson, K., Wueller, D. The Image Pipeline and How It Influences Quality Measurements Based on Existing ISO Standards, Kurssimateriaali, IS&T/SPIE 19th Annual Symposium, , San Jose, Kalifornia.

32 Puuttuvien väriarvojen interpolointi (demosaic) Keskiarvoistus tai bilineaarinen tekniikka ehkä yksinkertaisin menetelmä Alentaa kuvan terävyyttä sekä tuottaa reuna-alueille värivirheitä PICS 2001 pp

33 Puuttuvien väriarvojen interpolointi (demosaic) Reunan tunnistava keskiarvostus: puuttuva vihreän pikselin arvo luokitellaan kolmeen ryhmään: tasainen alue, vertikaalinen reuna, horisontaalinen reuna perustuen luokitteluun puuttuva vihreä pikseliarvo lasketaan joko neljän naapuripikselin keskiarvona tai kahden vertikaali- tai horisontaalissuuntaisten pikselien keskiarvona punainen ja sininen pikseliarvo lasketaan normaalilla keskiarvoistuksella Digital Color Image Handbook, CRC Press 2003

34 Puuttuvien väriarvojen interpolointi (demosaic) Bilineaarinen tekniikka Reunan tunnistava keskiarvostus Matherson, K., Wueller, D. The Image Pipeline and How It Influences Quality Measurements Based on Existing ISO Standards, Kurssimateriaali, IS&T/SPIE 19th Annual Symposium, , San Jose, Kalifornia.

35 Puuttuvien väriarvojen interpolointi (demosaic) Bilineaarinen tekniikka Reunan tunnistava keskiarvostus Matherson, K., Wueller, D. The Image Pipeline and How It Influences Quality Measurements Based on Existing ISO Standards, Kurssimateriaali, IS&T/SPIE 19th Annual Symposium, , San Jose, Kalifornia.

36 Väri- ja sävymuunnokset

37 RGB-kuvasignaalin muunnosprosessi Sensorin raaka-data on sensorikohtainen esitys kohteesta, eikä sillä ole suoraa visuaalista arvoa esityksen kannalta Raaka-data tulee muuntaa sopivaksi tulostukseen tai näytölle: 1. laitekohtainen muunnos: sensoriavaruus laitteistoriippumaton avaruus (esim. RGBc CIEXYZ) 2. sävy-/värimuunnokset laitteistoriippumattomassa avaruudessa 3. Laitteistoriippumaton avaruus esityslaitteen avaruus (esim. CIEXYZ srgb) Digital Color Image Handbook, CRC Press 2003

38 RGB-kuvasignaalin muunnosprosessi Sensoriavaruus sensorin kaappaama spatiaalinen intensiteettijakauma sensori- ja kuvausympäristöriippuvainen kameramallikohtainen (mahdollisesti kamerakohtainen) Laitteistoriippumaton avaruus tarkoituksena esittää signaali avaruudessa, joka säilyttää kaiken sensorille taltioituneen informaation käyttäen kolorimetrisia väriarvoja muunnos: (pikselien interpolaatio) valkopisteen valinta sovitus laitteistoriippumattomaan avaruuteen (esim. CIEXYZ) Mikä on renderöimätön avaruus? kun kuva esitetään renderöimättömässä avaruudessa, voidaan sitä tulevaisuudessa prosessoida halutulla tavalla (esim. kameroiden RAW-formaatti sekä CIEXYZ), eli informaatiota ei ole vielä hävinnyt Renderöimätön vs. kolorimetrinen avaruus? Molemmissa kaikki data tallella, mutta kolorimetrisessa avaruudessa intensiteettiarvoille on standardoitu yhteys fysikaalisiin väriarvoihin

39 Sensoriavaruus laitteistoriippumaton avaruus Lineaarinen muunnos sensoriavaruudesta (RGB) laitteistoriippumattomaan avaruuteen (CIEXYZ) Lineaarinen muunnos on approksimaatio ja sisältää aina virhettä Virhe yritetään levittää vähemmän kriittisille väreille Lineaarinen muunnos M1 voidaan laskea kameralle, kun tunnetaan N värinäytteen arvot, minimoimalla muuttuja J1 (kyseessä sensorin kalibrointi), F^-1 liittyy raakadatan linearisointiin Lineaarinen muunnos M2, joka varmistaa lisärajoitteella valkopisteen (tw) oikean toiston lasketaan minimoimalla muuttuja J2 Vaikka J2 on usein suurempi kuin J1, takaa muunnos M2 varmuudella haluttujen väriarvojen oikeellisen toiston J X Y Z 1 i N 1 M 3x3 M F 1 1 R G B c c c c i t i 2 J 2 i N 1 M 2 F 1 c i t i 2 M 2 F 1 c w t w 2

40 Sävy-/värimuunnokset / värirenderöinti Sävy-/värimuunnokset: kuvan esitysympäristön luminanssi yleensä matalampi kuin kuvausympäristön kuvan kokonaiskontrastia kasvatetaan kuvan käyttäjät muistavat yleensä tietyt värit puhtaampina kuin ne todellisuudessa olivat kuvaushetkellä tiettyjä väriarvoja tulee muuntaa (yleensä saturaatiota hieman nostetaan) Kuvausympäristön dynaaminen alue on yleensä suuri joitakin kuvan yksityiskohtia kirkkaassa sekä tummassa päässä tulee pakata Tavoitteena muuntaa kuva mahdollisimman miellyttäväksi kuvan käyttäjän näkökulmasta, vaikka lopputulos ei aina vastaa todellisuutta

41 Gamma-korjaus Tyypillisesti näytöt on kalibroitu standardigammaan, esimerkiksi noudattamaan Rec709 tai SMPTE240M standardeja Kun kuvanprosessointi säädetään samaan gammaan, niin näytölle saadaan haluttu toisto IEEE world academy of Science, Engineering and Technology 59, 2009

42 Sävy-/värimuunnossäätö Esimerkki sävytoiston modifioinnista Matherson, K., Wueller, D. The Image Pipeline and How It Influences Quality Measurements Based on Existing ISO Standards, Kurssimateriaali, IS&T/SPIE 19th Annual Symposium, , San Jose, Kalifornia.

43 Renderöimätön avaruus renderöity avaruus Renderöity avaruus ero renderöimättömään avaruuteen on usein rajoittunut gamut signaali-informaatiota tiivistetään sopimaan avaruuden dynaamiseen alueeseen (12-16 bittiä 8 bittiin) ja gamuttiin käänteinen muunnos ei yleensä mahdollinen Yleisiä renderöityjä väriavaruuksia ovat srgb ja adobe RGB muunnos vielä mahdollisesti johonkin laitekohtaiseen avaruuteen, kuten CMYK (eli tulostimien väriavaruuteen) IS&T/SID 5th Color Imaging Conf. pp

44 srgb-standardi srgb-avaruus on yleinen multimedialaitteiden standardi Standardi määrittää muunnoksen XYZavaruudesta srgb-avaruuteen Lisäksi standardi määrittää katseluolosuhteet sekä näytön ominaisuuksia srgb-standardin mukainen toisto ei perustu yksittäiseen gamma-arvoon (kuten useat muut RGB-avaruudet), vaan gammaarvo saa kokonaisuudessaan approksimaation 2,2 Toisto sisältää lineaarisen osuuden (gamma-arvo = 1) sekä epälineaariset osuudet joissa gamma-arvo on 2,4 sekä ja Csrgb on Rsrgb, Gsrgb tai Bsrgb välillä 1,0-2,3 Parametri Arvo kromaattisuus R G B W x y z R G B C linear linear linear srgb kun a C (1 a) C 0.055, C linear 1/ 2.4 linear linear Näytön luminanssi Näytön valkopiste Taustan heijastus Ympäristön valaistusvoimakkuus Ympäristön valaistuksen valkopiste, a, on R C C linear linear linear, G linear tai B * X Y Z linear 80 cd/m^2 x=0.3127, y= (D65) 20% (~keskiharmaa) 64 lux x=0.3457, y= (D50)

45 Datan jälkikäsittelyä

46 Datan jälkikäsittelyä Kuvanprosessoinnin eri vaiheet saattavat tuottaa näkyviä vääristymiä kuviin Vääristymiä korjataan erilaisilla jälkikäsittelyoperaatioilla Interpolointi saattaa aiheuttaa zipper vääristymää erityisesti kuvassa esiintyvien reunojen alueilla Yleensä kuluttajat suosivat teräviä reunoja kuvissa, joten kuvadatalle toteutetaan yleensä terävöitystä erityisesti vertikaaliseen ja horisontaaliseen suuntaan Lisäksi kuvasta pyritään poistamaan kohinaa

47 Kuvanprosessointiketju kuvina esitettynä Raakakuva Linearisointi, pimeänvirran poisto, valkotasapainonsäätö Interpolointi Kuvat jotka on esitetty renderöimättömissä avaruuksissa on skaalattu esitystarkoituksessa välille 0-1 Muunnos ISO RGB -avaruuteen Muunnos srgb avaruuteen ja 3x3- mediaanisuodatus (kohinanpoisto) IEEE Signal Processing Magazine 22(2005)1, pp

48 Kuvanprosessointiketjun suunnittelijan kompromisseja 1. Implementaatio näkökulma kuvanottoviiveet, tehonkulutus, tarkennusnopeus vs. -tarkkuus, prosessointikomponenttien järjestys 2. Väritieteen ja signaaliprosessoinnin näkökulma alipäästösuotimen ja värisuodinmatriisien herkkyyksien sekä värisuodinmatriisin mallin valinta sekä näistä seuraavan interpolointitekniikan valinta automaattisen tarkennuksen, valotuksen ja valkotasapainoalgoritmien valinta sekä prosessointiavaruuksien valinta Lähde: IEEE Signal Processing Magazine 22(2005)1, pp. 42

49 Muita kuvanprosessointiin / optiikkaan liittyviä menetelmiä Kuvanvakain Motivaatio syntyy tarpeesta käyttää pidempiä valotusaikoja jolloin kuva tärähtää helposti (hämärä ympäristö, pienet pikselit..) Kamera voi liikkua sivu-, pysty- tai syvyyssuunnassa sekä kiertyä kolmen akselin ympäri (jalusta eliminoi liikkeen) Käytännössä kuvanvakain kompensoi vain pitch- (nousu) ja yaw- (kallistus) suuntien kiertymistä, koska niillä on suurin vaikutus kuvauskulmaan + pitch yaw - + Kuvat:

50 Muita kuvanprosessointiin / optiikkaan liittyviä menetelmiä Optinen kuvanvakain Optinen kuvanvakain mittaa objektiivin liikettä ylos/alas (pitch) sekä vasemmalle/oikealle (yaw) ja pyrkii kompensoimaan liikkeen vaikutusta kuvaan Mittaus tehdään kahdella gyroskoopilla, joista toinen mittaa pysty- ja toinen vaakasuuntaista kiertoa Kuluttajakameroissa gyroskooppi voi perustua pieneen hiukkaseen, jonka liikerata muuttuu rotaation vaikutuksesta (Coriolisvoima) Coriolis-voima kohdistaa hiukkaseen kiihtyvyyden, joka mitataan ja mitta-arvo toimii liikettä kompensoivien komponenttien ohjaussignaalina Kompensointiin sekä optinen tekniikka (siirrettään linssiryhmää) että mekaaninen tekniikka (siirretään sensoria) Optinen tekniikka (Canon ja Nikon käyttää) Mekaaninen tekniikka (Sony, Pentax ja Olympus käyttää)

51 Muita kuvanprosessointiin / optiikkaan liittyviä menetelmiä Elektroninen kuvanvakain Elektroninen/digitaalinen kuvanvakain perustuu algoritmeihin, jotka prosessoi kuvasignaalia niin, että tärinän aiheuttama liike kompensoituu ulostulokuvasta Huomaa ero: optinen vakain ohjaa valonsädettä, kun taas elektroninen vakain siirtää jo detektoidun signaalin paikkasijaintia Käyttö enemmän videokameroissa Käytännössä sensorin kuva-alasta käytetään vain osa ja keskipistettä siirretään perustuen laskettuun liikkeeseen Toteutus reaaliaikaisena kamerassa perustuen gyroskoopin mittadataan tai jälkikäsittelyoperaationa (digitaalisella filtterillä) videolle Käden tärinä aiheuttaa että videon yksittäinen kuva tallettaa liikkuvaan kohteeseen tärinää Digitaalinen kuvanvakain kroppaa joka kuvasta vain tietyn alueen jolloin liike tallettuu suorempana

52 Muita kuvanprosessointiin / optiikkaan liittyviä menetelmiä Elektroninen kuvanvakain Jälkikäsittelyyn perustuva digitaalinen kuvanvakain (stabilisointifiltteri) laskee videon kuvien välille esimerkiksi vastinpisteitä, joiden perusteella lasketaan liikevektorit ja estimoidaan videon tärinä Stabilisoitu video muodostetaan kropatuista kuvista Alkuperäiset kuvat Estimoidun tärinän perusteella kropatut kuvat Stabiloidut kuvat DEMO: Kuvien lähde:

53 Muita kuvanprosessointiin liittyviä menetelmiä Kasvojen tunnistus Kuluttajakameroiden kuvista 70 % sisältää kasvoja Kasvojen tunnistusalgoritmi etsii näkymästä kasvot ja säätää kuvan tarkennuksen ja valotuksen kasvoalueen perusteella Eräs uusi ominaisuus on kasvojen identifiointi, joka voidaan opettaa tunnistamaan henkilöt kuvassa

54 Muita kuvanprosessointiin liittyviä menetelmiä Kasvojen tunnistus Kasvojen tunnistusalgoritmit pohjautuu opetettuihin piirteisiin (väri ja muoto) Esimerkiksi Lai ja Li esitti menetelmän, joka perustuu ihoalueiden segmentointiin ja naama-alueen verifiointiin Opetettu piirre on ihonväri-jakauma, joka on sovitettu gaussiseen malliin. Malli antaa pikselikohtaisen todennäköisyysarvon Todennäköisyyskuva binarisoidaan perustuen kynnysarvoon T Naama-alueen verifiointi perustuu naaman piirteiden mittasuhteisiin IEEE proc. of int. conf. on video and signal based surveillance 2006

55 Muita kuvanprosessointiin liittyviä menetelmiä Punasilmäisyyden poisto Punasilmäisyys on tyypillinen artifakti kameroissa joissa salama on sijoitettu lähelle optiikkaa Punasilmäisyys johtuu siitä että salaman valo heijastuu retinasta sensorille Eräs tapa vähentää punasilmäisyyttä on kasvattaa salaman etäisyyttä objektiivista, toinen tapa on käyttää vilkkuvaa esisalamaa joka pienentää pupillia Usein nykyaikaiset kompaktikamerat sisältää digitaalisen punasilmäisyyden poiston IS&T PICS 2001

56 Muita kuvanprosessointiin liittyviä menetelmiä Punasilmäisyyden poisto Digitaalista punasilmäisyyden poistoa vaikeuttaa että silmien muoto ja väri vaihtelee Suoraviivainen tapa on tunnistaa silmäalue, identifioida väri joka on todennäköisesti punasilmäisyyttä, binarisoida kuva perustuen väriin, sumentaa alueen reunat ja korjata punasilmäisyys IS&T PICS 2001