Konfiguracja sceny w systemie wizyjnym z nieruchom¹ kamer¹**

Samankaltaiset tiedostot
Analiza sceny przy u yciu deskryptorów punktów charakterystycznych**

Optyczny tomograf procesowy sk³adaj¹cy siê z piêciu projekcji

Metody kalibracji urz¹dzeñ do akwizycji sygna³ów okoruchowych***

Sprzêtowa implementacja czêœci wielomianowej funkcji orbitalnej na potrzeby obliczeñ kwantowo-chemicznych

Generowanie danych z obrazów bronchoskopowych w celu póÿniejszej klasyfikacji***

Matematyka 1. Šukasz Dawidowski. Instytut Matematyki, Uniwersytet l ski

Matematyka 1. Šukasz Dawidowski. Instytut Matematyki, Uniwersytet l ski

Zamykanie otworów w trójwymiarowych obiektach wolumetrycznych

Adaptacyjny uk³ad regulacji z predyktorem Smitha z mo liwoœci¹ zastosowania w systemach rozproszonych

Matematyka 1. Šukasz Dawidowski. Instytut Matematyki, Uniwersytet l ski

Uproszczony przep³ywowy model hemodializy porównanie z klasycznym modelem dwuprzedzia³owym**

Koncepcja i realizacja molekularnego modelu obliczeñ w analizie paradygmatu niewidzialnej rêki rynku Adama Smitha

Zastosowanie zbiorów rozmytych do ewaluacji ró nych aspektów systemów kszta³cenia

Badania nad automatyzacj¹ procesu tworzenia serwisów internetowych

Karta Praw dla Dzieci z Trudnościami

Charakterystyka kasy ELZAB Delta Max E 8 Zawarto opakowania 8

Rekrutacja Referencje

KÄYTTÖOHJE BRUKSANVISNING OPERATING INSTRUCTION INSTRUKCJA MONTAŻU

PUTKIKAKSOISNIPPA MUSTA

Instrukcje / Käyttöohjeet / Instruksjoner

Instrukcje / Käyttöohjeet / Instruksjoner

Käytettävyyslaatumallin rakentaminen web-sivustolle. Oulun yliopisto tietojenkäsittelytieteiden laitos pro gradu -suunnitelma Timo Laapotti 28.9.

ONNROUND RADAR ASENNUSOHJE KYTKENTÄKAAVIO. Airam Electric Oy Ab, Sementtitehtaankatu 6, FI Kerava, Finland,

CERTYFIKAT JĘZYKOWY UNIWERSYTETU WARSZAWSKIEGO EGZAMIN Z JĘZYKA OBCEGO NA POZIOMIE B1 TEST PRZYKŁADOWY

Instrukcja obs³ugi AQUALTIS. Spis treœci AQGMD 149 PRALKA-SUSZARKA

BRUKSANVISNING KÄYTTÖOHJE MÙKÖDÉSI ÉS HASZNÁLATI UTASÍTÁS INSTRUKCJA OBS UGI NÁVOD NA INSTALACI A POUÎITÍ

2016 TOP 10O t], ]Lt ELEMENTY GRY

JOHDATUS TEKOÄLYYN TEEMU ROOS

VBE2 Työpaketit Jiri Hietanen / TTY

JOHDATUS TEKOÄLYYN TEEMU ROOS

JOHDATUS TEKOÄLYYN TEEMU ROOS

Kielitieteellisten aineistojen käsittely

Kuinka paljon dataa on tarpeeksi?

Laboratorium PORADNIK ANALITYKA. Maxwell. Automatyczna izolacja DNA i RNA. s. 15 PRZEGLĄD OGÓLNOPOLSKI 2019

Matkustaminen Yleistä

Hakemus Työhakemus. Työhakemus - Aloitus. Virallinen, vastaanottaja mies, nimi tuntematon. Virallinen, vastaanottaja nainen, nimi tuntematon

WP3 Decision Support Technologies

Luottamuksen ja maineen rooli palveluperustaisten yhteisöjen muodostamisessa

Podróże Poruszanie się

(2006/C 274/02) (Tekst mający znaczenie dla EOG)

Kahden virtualisointiohjelmiston suorituskyvyn testaus (valmiin työn esittely)

JOHDATUS TEKOÄLYYN TEEMU ROOS

Efficiency change over time

Matkustaminen Liikkuminen

SFS/SR315 Tekoäly Tekoälyn standardisointi

JOHDATUS TEKOÄLYYN TEEMU ROOS

Suomi Svenska Polski Lietuvių Deutsch... 55

JOHDATUS TEKOÄLYYN TEEMU ROOS

Määräys STUK SY/1/ (34)

Capacity Utilization

Tuote LVI-numero Pikakoodi KAULUS PURISTETTU HST DN 100/114,3/3,0 EN Puristettu putkikaulus;en ;Todistukset EN 10204:2004/3.

PrinLab. Antti Berg Oulun seudun ammattikorkeakoulu, Tekniikan yksikkö

orion plus asennuskotelot Tiiveysluokka IP 65, suojausluokka I ja II

AKKREDITOITU KALIBROINTILABORATORIO ACCREDITED CALIBRATION LABORATORY

Stepped Basic Function in the Asymptotic Homogenization of an Elliptic System

CERTYFIKAT JĘZYKOWY UW EGZAMIN Z JĘZYKA FIŃSKIEGO NA POZIOMIE B1 TEST PRZYKŁADOWY

7. Product-line architectures

The spectroscopic imaging of skin disorders

LYTH-CONS CONSISTENCY TRANSMITTER

Metal 3D. manufacturing. Kimmo K. Mäkelä Post doctoral researcher

Puiden biomassan, puutavaralajien ja laadun ennustaminen laserkeilausaineistoista

t P1 `UT. Kaupparek. nro Y-tunnus Hämeenlinnan. hallinto- oikeudelle. Muutoksenhakijat. 1( UiH S<

5 Yksityiskohtaiset laskentatulokset Aurajoelle

ANVÄNDARMANUAL REFRAKTOMETER IDG-TOOLS

Paljonko kello on?mitä kello on?

Reliable sensors for industrial internet

16. Allocation Models

Uraputket ja -liittimet

Käyttökokemuksen evaluoinnista käyttökokemuksen ohjaamaan suunnitteluun. ecommunication & UX SUMMIT Eija Kaasinen, VTT

Department of Mathematics, Hypermedia Laboratory Tampere University of Technology. Roolit Verkostoissa: HITS. Idea.

Erasmus-liikkuvuuden tilastoja Anni Kallio

Bachelor level exams by date in Otaniemi

IAN FI SE PL IAN TOWER FAN STV 50 A1 TURMVENTILATOR TORNFLÄKT TORNITUULETIN WENTYLATOR FI SE PL DE. Bedienungsanleitung.

Bachelor level exams by subject in Otaniemi

Other approaches to restrict multipliers

WAMS 2010,Ylivieska Monitoring service of energy efficiency in housing Jan Nyman,

Stormwater filtration unit

PROGRAM NAUCZANIA MATEMATYKI W KLASACH 4 8 SZKOŁY PODSTAWOWEJ

Yrityksen informaatio- ja toimintoprosessien optimointi

Virtapainike. Virran merkkivalo. Bluetooth-merkkivalo. Bluetooth-painike. Päälle tai pois kytkeminen

Konetekniikan koulutusohjelman opintojaksomuutokset

Flexbright Oy Embedded software/hardware engineer

Valuation of Asian Quanto- Basket Options

Matkustaminen Yleistä

DroneKnowledge Towards knowledge based export of small UAS remote sensing technology Kohti tietämysperusteisen UAS kaukokartoitusteknologian vientiä

Enterprise Architecture TJTSE Yrityksen kokonaisarkkitehtuuri

Säteilyturvakeskuksen määräys turvallisuusluvasta ja valvonnasta vapauttamisesta

AKKREDITOITU KALIBROINTILABORATORIO ACCREDITED CALIBRATION LABORATORY

Erasmus-liikkuvuuden tilastoja Anni Kallio

The CCR Model and Production Correspondence

Constructive Alignment in Specialisation Studies in Industrial Pharmacy in Finland

Suosituimmat kohdemaat

-Jotta maailma olisi parempi paikka wappuna. RAKENNUSINSINÖÖRIKILLAN VIRALLINEN KILTALEHTI JO VUODESTA /2012

Mitä IHMEttä on MIXTURE -mallintaminen?

SimA Sädehoidon TT-simulaattoreiden annokset

punainen lanka - Kehitysjohtaja Mcompetence Oy markokesti.com Työhyvinvoinnin kohtaamispaikka Sykettätyöhön.

Metsikön rakenteen ennustaminen 3D-kaukokartoituksella

Tehostettu kisällioppiminen tietojenkäsittelytieteen ja matematiikan opetuksessa yliopistossa Thomas Vikberg

Salasanan vaihto uuteen / How to change password

S-ZSOTOOP DZDATA !SWIA 0 \ S-ISOTOOPPIDATA GTL-78 S AVZA. M19/3314/=78/14/10 M,IkeI ä, A.J.Laitakari Pielavesi, Säviä

Transkriptio:

AUTOMATYKA 2011 Tom 15 Zeszyt 3 Miros³aw Jab³oñski* Konfiguracja sceny w systemie wizyjnym z nieruchom¹ kamer¹** 1. Wprowadzenie Jednym z celów stosowania systemów wizyjnych jest pozyskiwanie informacji o rozmiarach i lokalizacjach obiektów obecnych na tle statycznej sceny. Znanych jest wiele sprawnych algorytmów wizyjnej detekcji obiektów oraz zdarzeñ opartych na sygnale wizyjnym. Uzyskanie wiarygodnych wyników najczêœciej wymaga ustalenia szeregu parametrów (progi, kszta³ty elementów strukturalnych, rozmiary filtrów kontekstowych, skale) dobieranych do kszta³tów i rozmiarów poszukiwanych obiektów. Nawet stosowanie metod w pe³ni automatycznych, takich jak np. estymacja t³a [11], wyznaczanie przep³ywu optycznego (optical flow) [8] lub detekcja punktów charakterystycznych [7] wi¹ e siê z koniecznoœci¹ umiejscowienia wyników dzia³ania (obiektów, punktów charakterystycznych lub wektorów) w obszarze przestrzeni trójwymiarowej sceny. Zagadnienie to jest szczególnie istotne w fotogrametrycznych systemach pomiarowych s³u ¹cych np. do pomiaru odleg³oœci, rozmiarów obiektów lub ich prêdkoœci [10], ale równie w systemach dozoru, gdzie wa ne jest miejsce wyst¹pienia zdarzenia i skala wystêpuj¹cych zmian. W przypadku zastosowania nieruchomej kamery, odtworzenie rzeczywistego po³o enia punktów jest utrudnione ze wzglêdu na p³ask¹ reprezentacjê widoku obiektów trójwymiarowych oraz zniekszta³cenia. Zadanie to jest jednak w ograniczonym zakresie mo liwe do zrealizowania pod warunkiem znajomoœci parametrów urz¹dzenia obrazuj¹cego oraz modelu sceny. Wydaje siê, e pozyskane w ten sposób dane mog¹ byæ przydatne w systemach automatycznego rozumienia opartego na sygnale wizyjnym [12]. Zagadnieniem poruszanym w niniejszym artykule jest proces konfiguracji systemu wizyjnego umo liwiaj¹cy przestrzenn¹ lokalizacjê punktów obiektów i zdarzeñ w scenie. Przedstawiono wyniki eksperymentu polegaj¹cego na dwuetapowej konfiguracji systemu. * AGH Akademia Górniczo-Hutnicza, Wydzia³ Elektrotechniki, Automatyki, Informatyki i Elektroniki, Katedra Automatyki, al. A. Mickiewicza 30, 30-059 Kraków ** Praca wykonana w ramach projektu SIMPOZ, nr umowy z MNISW: 0128/R/t00/2010/12 119

120 Miros³aw Jab³oñski W pierwszym etapie eksperymentu przeprowadzono kalibracjê wewnêtrznych parametrów kamery z wykorzystaniem przestrzennego wzorca kalibracyjnego. Nastêpnie przeprowadzono konfiguracjê trzech elementów sceny istotnych w systemach dozoru: posadzki pomieszczenia, œciany, wnêki drzwi. Na podstawie zrekonstruowanej p³aszczyzny pod³ogi odtworzono trajektoriê obiektu poruszaj¹cego siê po scenie. 2. Parametry systemu analizy sceny W ogólnoœci, problem konfiguracji mo e byæ rozpatrywany dla wielu kamer obserwuj¹cych fragment wspólnej sceny lub te jednej kamery przemieszczaj¹cej siê wzglêdem sceny. Tutaj jednak ograniczono siê do elementarnego przypadku analizy sceny przez jedn¹ nieruchom¹ kamerê o sta³ych parametrach. G³ównym celem konfiguracji jest przyporz¹dkowanie punktów dwuwymiarowego obrazu kamery kolorowej lub czarnobia³ej do okreœlonych miejsc w trójwymiarowej przestrzeni obserwowanej sceny i niwelacja zniekszta³ceñ obiektów sceny. Wiêkszoœæ opublikowanych metod wspomnianych w poni szych rozdzia- ³ach wskazuje na koniecznoœæ uprzedniego ustalenia parametrów kamery [7, 10, 14, 15, 16]. Podczas formowania obrazu w czujniku kamery wystêpuje wiele zniekszta³ceñ i zak³óceñ, które deformuj¹ i redukuj¹ informacjê zawart¹ w analizowanej scenie. Najistotniejszym zjawiskiem wystêpuj¹cym podczas analizy scen 3D jest perspektywa wprowadzaj¹ca zniekszta³cenia zale ne od odleg³oœci punku od kamery [2]. Kolejne abberacje i zak³ócenia wprowadzane s¹ przez niedoskona³oœci uk³adu optycznego soczewek obiektywu. Zarówno zniekszta³cenia obiektywu, jak i efekty perspektywy mog¹ byæ czêœciowo zniwelowane dziêki znajomoœci parametrów i modeli opisuj¹cych te zjawiska. 2.1. Parametry wewnêtrzne kamery Parametry wewnêtrzne kamery s¹ charakterystyczne dla danego urz¹dzenia, a ich wartoœæ nie zale y od obserwowanej sceny. Kamera charakteryzowana jest przez macierz A parametrów wewnêtrznych (1) zwi¹zanych z wymiarami czujnika oraz ogniskow¹ obiektywu. Najczêœciej mo na za³o yæ, e uk³ad optyczny jest symetryczny, zatem f x f y, a punkt centralny c pokrywa siê ze œrodkiem matrycy. fx 0 cx A 0 fy cy 0 0 1 gdzie: A macierz parametrów wewnêtrznych kamery, f x ogniskowa pozioma matrycy czujnika, f y ogniskowa pionowa matrycy czujnika, [c x,c y ] wspó³rzêdne punktu centralnego w uk³adzie matrycy czujnika. (1)

Konfiguracja sceny w systemie wizyjnym z nieruchom¹ kamer¹ 121 Do parametrów wewnêtrznych nale y zaliczyæ równie u yte w równaniu (3) wspó³czynniki zniekszta³ceñ radialnych r 1 r 2 r 3 oraz tangensoidalnych p 1 p 2. 2.2. Projekcja perspektywiczna i zniekszta³cenia obiektywu Parametry zewnêtrzne kamery wyznaczaj¹ uk³ad wspó³rzêdnych zwi¹zany z obserwowan¹ scen¹. Jego dobór jest arbitralny, jednak jest on powi¹zany z uk³adem wspó³rzêdnych nieruchomej kamery poprzez macierz rotacji R oraz wektor translacji T. Projekcja obrazu punktu z przestrzeni trójwymiarowej na matrycy czujnika kamery opisywana jest najczêœciej przez tzw. model punktowej kamery perspektywicznej (2 5) (pin hole camera) [5]. Czynnik z 1 powoduje zniekszta³cenia wymiarów wzd³u osi optycznej kamery oraz opisuje przes³anianie obiektów. x' x X r11 r12 r13 X t1 1 y' z y R Y T r21 r22 r 23 Y t + + 2 1 z Z r r r Z t 31 32 33 3 (2) 2 4 6 2 2 " x'(1 k1r k2r k3r ) 2 p1x' y' p2( r 2 x' ) x + + + + + + 2 4 6 2 2 y" y'(1 k1r k2r k3r ) 2 p2x' y' p1( r 2 y' ) + + + + + + 1 1 (3) 2 2 2 r x' + y' (4) u x s v A y 1 1 (5) gdzie: R macierz rotacji zewnêtrznego uk³adu wspó³rzêdnych wzglêdem kamery, T wektor translacji zewnêtrznego uk³adu wspó³rzêdnych wzglêdem kamery, [X Y Z] rzeczywiste po³o enie punktu w zewnêtrznym uk³adzie wspó³rzêdnych, [x' y' 1] wspó³rzêdne rzutu punktu na p³aszczyznê, [x'' y'' 1] wspó³rzêdne rzutu punktu na p³aszczyznê zaburzone przez obiektyw, r 11,, r 33 wspó³czynniki rotacji elementy macierzy R, r 1, r 2, r 3 wspó³czynniki zniekszta³ceñ centrycznych, p 1, p 2 wspó³czynniki zniekszta³ceñ tangensoidalnych, [u, v, 1] wspó³rzêdne punktu obserwowane w uk³adzie wspó³rzêdnych kamery, s wspó³czynnik skaluj¹cy zale ny od matrycy czujnika wizyjnego.

122 Miros³aw Jab³oñski Wp³yw obiektywu o skoñczonych rozmiarach, wprowadzaj¹cego zniekszta³cenia geometryczne opisuj¹ równania (3)(4). W przypadku pominiêcia tego efektu nale y przyj¹æ x'' x' oraz y'' y'. 3. Kalibracja parametrów wewnêtrznych kamery W klasycznej metodzie, do kalibracji systemu wizyjnego o nieznanych parametrach wykorzystuje siê dedykowany wzorzec kalibracyjny o znanej topologii. W najprostszym przypadku mo e byæ to plansza z naniesion¹ siatk¹ punktów umo liwiaj¹cych jednoznaczn¹ detekcjê. Wzorzec prezentowany jest w obszarze widzenia kamery pod ró nymi k¹tami. Mo e to byæ równie wiele nierównoleg³ych planszy (np. umieszczonych na bokach prostopad³oœcianu) [15]. Autorzy publikacji [13] wykorzystali do kalibracji obrazy kul, aby na podstawie zniekszta³cenia konturów sfery przeprowadziæ kalibracjê. a) b) Rys. 1. Wzorzec do kalibracji parametrów wewnêtrznych kamery: a) widoki wzorca przestrzennego w ró nych orientacjach; b) automatycznie wykryte punkty siatki kalibracyjnej naniesione na widoki wzorca

Konfiguracja sceny w systemie wizyjnym z nieruchom¹ kamer¹ 123 W niektórych zastosowaniach [4] wystarczaj¹ce s¹ 4 punkty na p³aszczyÿnie lub 6 punktów charakterystycznych dla wzorca przestrzennego w kszta³cie szeœcianu, który stanowi z³o enie dwóch p³askich wzorców przylegaj¹cych krawêdziami. Pierwotnie w kalibracji kamer [13, 14] wykorzystywano algorytm DLT (Discrete Linear Transform). Alternatywna metoda bazuje na iteracyjnym algorytmie optymalizacji Levenberga-Marquardta, który w trakcie dzia³ania minimalizuje b³êdy estymacji szukanych wartoœci [16]. Obie metody pozwalaj¹ wyznaczyæ zarówno macierz kamery A (1) wraz ze wspó³czynnikami zniekszta³ceñ obiektywu, jak i zewnêtrzne parametry okreœlaj¹ce po³o enie i orientacjê planszy wzglêdem skalibrowanej kamery: R i T (2). Znane s¹ równie algorytmy dzia³aj¹ce bez dedykowanych wzorców, wykorzystuj¹ce do kalibracji ró ne widoki tej samej sceny, ró ne widoki tego samego obiektu w ró nych pozach (np. sylwetka ludzka) [9] lub sygna³ przep³ywu optycznego (optic flow) [10]. W obu wypadkach niejawnie zak³ada siê, e analizowane obiekty s¹ cia³ami sztywnymi. W niniejszym opracowaniu do kalibracji wykorzystano wzorzec przestrzenny (patrz rys. 1a) sk³adaj¹cy siê z dwóch identycznych plansz umieszonych na przyleg³ych bokach prostopad³oscianu. Rozwi¹zanie takie umo liwia jednoczesne uzyskanie dwóch zbiorów punktów referencyjnych o ró nych orientacjach wzglêdem kamery. Prezentacja wzorca w ró nych pozach pozwala zgromadziæ wiêcej danych do kalibracji, co ma istotny wp³yw na dok³adnoœæ wyznaczanych wspó³czynników kamery. Punkty charakterystyczne na planszy kalibracyjnej mog¹ byæ wyznaczane rêcznie lub automatycznie, jak to zaprezentowano na rysunku 1b). Zastosowano tutaj dedykowan¹ do kalibracji procedurê detekcji naro ników szachownicy dostêpn¹ w bibliotece OpenCV [17]. 4. Konfiguracja sceny Proces konfiguracji sceny polega na identyfikacji (automatyczne lub rêczne wskazanie przez obs³ugê) punktów charakterystycznych istotnych elementów sceny. W pierwszym rzêdzie mog¹ to byæ trwa³e, p³askie elementy architektoniczne takie jak pod³oga, œciany, drzwi i okna albo inne obiekty. Elementy sceny musz¹ siê charakteryzowaæ znanymi lub ³atwymi do pozyskania wymiarami, co u³atwia proces konfiguracji i/lub weryfikacji konfiguracji sceny. Podczas prac opisywanych w niniejszym artykule przyjêto, e konfigurowane obszary s¹ prostok¹tami. Punkty p³askich obszarów widoczne w obrazie kamery mo na jednoznacznie okreœliæ w uk³adzie wspó³rzêdnych zwi¹zanych ze scen¹ pod warunkiem znajomoœci A, R i T. Do niwelacji perspektywy wystarczy jednak znajomoœæ macierzy homografii H [16]. Zastosowanie transformacji odwrotnej z udzia³em macierzy H pozwala zniwelowaæ zniekszta³cenia wynikaj¹ce z projekcji perspektywicznej (6) p³aszczyzny elementu sceny na powierzchniê czujnika kamery z dok³adnoœci¹ do wspó³czynnika skaluj¹cego z 1. Punktom [u,v] w uk³adzie kamery mo na przyporz¹dkowaæ wspó³rzêdne w uk³adzie zwi¹zanym z wybran¹ p³aszczyzn¹ sceny [X,Y] i odwrotnie.

124 Miros³aw Jab³oñski u x X X 1 s v A y H Y A[ r1 r2 T ] Y z 1 z 1 1 (6) gdzie: H macierz homografii (transformacji p³askiej), r 1, r 2 pocz¹tkowe kolumny macierzy rotacji R, T wektor translacji. Konfiguracja elementu sceny polega na odnalezieniu macierzy H na podstawie znajomoœci czterech zwymiarowanych punktów nale ¹cych do p³askiego elementu sceny oraz ich odpowiedników w obrazie kamery. Do rozwi¹zania uk³adu równañ wzglêdem H mo na u yæ algorytmu dyskretnej transformaty liniowej [13, 14] lub jej modyfikacji [4]. W kontekœcie identyfikacji sceny nale y równie wspomnieæ o algorytmie POS (Pose from Ortography and Scaling) oraz iteracyjnym rozszerzeniu POSIT [3], które pozwalaj¹ wyznaczyæ zewnêtrzne parametry kamery równie na podstawie czterech punktów modelu przestrzennego. W przeciwieñstwie do metody wyznaczania macierzy transformacji p³askiej H, punkty nie mog¹ le eæ na wspólnej p³aszczyÿnie. W publikacji [1] autorzy przedstawili podobny algorytm który pozwala na identyfikacjê orientacji na podstawie czterech punktów dla nieskalibrowanej kamery (macierz A czyli ogniskowa i punkt centralny nie s¹ znane). Z kolei autor pracy [6] wykaza³, e do wyznaczenia macierzy parametrów wewnêtrznych kamery wystarczaj¹ce s¹ trzy widoki tej samej sceny. Warunkiem koniecznym dla tego sposobu identyfikacji sceny jest obecnoœæ dziewiêciu linii prostych obecnych w ka dym z trzech obrazów. Dopóki kamera jest nieruchoma a scena statyczna, ten sposób kalibracji wydaje siê jednak ma³o przydatny. 5. Niwelacja zniekszta³ceñ Sposób niwelacji zniekszta³ceñ zale ny jest od zamierzonego celu i mo liwoœci platformy obliczeniowej. Jeœli np. stopieñ zniekszta³ceñ obiektywu w znacz¹cy sposób uniemo liwia przeprowadzenie wstêpnego przetwarzania obrazu i jego analizy, wówczas nale y wykonaæ korekcjê zniekszta³ceñ jako pierwsz¹ operacjê przetwarzania wstêpnego. Sytuacja taka mo e zachodziæ, jeœli w torze analizy sygna³u wizyjnego realizowany jest algorytm detekcji linii prostych za pomoc¹ transformaty Hougha. Wówczas odcinki zamieniaj¹ siê w ³uki, których jednoznaczna detekcja jest utrudniona lub nawet niemo liwa. Rozwi¹zanie takie jest wymagaj¹ce obliczeniowo poniewa ka dy piksel obrazu musi byæ przetworzony. Wyniki korekty ca³ego obrazu pokazano na rysunku 2.

Konfiguracja sceny w systemie wizyjnym z nieruchom¹ kamer¹ 125 a) b) c) d) Rys. 2. Obraz obserwowanej sceny: a) obraz przed korekcj¹ zniekszta³ceñ obiektywu; b) wynik korekty zniekszta³ceñ obiektywu (zielony wielok¹t wyznacza obszar pod³ogi jako element sceny); c) zniekszta³cony widok krawêdzi przed korekcj¹; d) widok krawêdzi po korekcji (zielone linie wyznaczaj¹ proste odcinki, czerwonym kolorem oznaczono widoki krawêdzi, krawêdzie uzyskano metod¹ Canny ego) Uwagi te dotycz¹ równie niwelacji efektu perspektywy dla elementów sceny przedstawionych na rysunku 3. W wiêkszoœci wypadków scena zawiera wiêcej ni element w postaci p³aszczyzny. Zatem ³¹czna powierzchnia wszystkich korygowanych p³aszczyzn mo e przekraczaæ rozmiary ramki obrazu ze wzglêdu na normalizacjê rozdzielczoœci wynikowej pozwalaj¹cej zachowaæ rzeczywiste proporcje elementów sceny. Aby przyspieszyæ obliczenia, ewaluacjê koordynat pikseli zgodnie z zale noœciami (2), (3), (4), (5) dla ka dej ramki obrazu mo na zast¹piæ jednokrotnym wyznaczaniem wspó³rzêdnych w postaci tablicy LUT. Ka dorazowo nale y jednak przeprowadziæ interpolacjê ze wzglêdu na zmianê treœci obrazu. Zale nie od potrzeb i mo liwoœci obliczeniowych mo e to byæ przybli enie do najbli szego s¹siada interpolacja liniowa, kubiczna lub inna.

126 Miros³aw Jab³oñski a) b) c) d) Rys. 3. Elementy sceny przed niwelacj¹ perspektywy i po jej niwelacji z zachowaniem proporcji wymiarów: a) obraz po korekcji zniekszta³ceñ obiektywu z oznaczonymi elementami sceny*; b) p³aszczyzna œciany o rozmiarze 220 240 cm; c) p³aszczyzna wnêki drzwi o rozmiarze 140 240 cm; d) fragment posadzki o rozmiarze 286 1870 cm a) b) Rys. 4. Rekonstrukcja trajektorii** ruchomego obiektu na p³askim elemencie sceny: a) trajektoria zniekszta³cona; b) trajektoria w rzeczywistym uk³adzie wspó³rzêdnych * Identyfikacjê sceny wykonano rêcznie na podstawie pomiarów gabarytów. ** Anotacjê punktów trajektorii wykonano rêcznie na sekwencji obrazów

Konfiguracja sceny w systemie wizyjnym z nieruchom¹ kamer¹ 127 Alternatywny sposób wykorzystania parametrów zarówno wewnêtrznych, jak i zewnêtrznych kamery polega na ich zastosowaniu do punktów lub krawêdzi wyznaczonych w obrazie zaburzonym. Najczêœciej liczba analizowanych punktów jest znacz¹co mniejsza od liczby pikseli obrazu, a sam proces ich rektyfikacji jest znacznie krótszy. Przyk³adem takiego zastosowania jest rekonstrukcja trajektorii osób przemieszczaj¹cych siê po p³askiej posadzce, jak to pokazano na rysunku 4. 6. Podsumowanie W przeprowadzonych eksperymentach wykorzystano kolorow¹ kamerê z czujnikiem wizyjnym CCD o przek¹tnej matrycy sensora ½ i rozmiarze piksela 9,9 9,9 μm. Mozaika matrycy typu Bayer zorganizowana by³a w ramkê o rozmiarze 659 492 pikseli. Zastosowano obiektyw o œrednicy 35,5 mm, ogniskowej zmiennej w zakresie 6 12 mm i jasnoœci 1 : 1.4. Kalibracjê przeprowadzano ze wzorcem kalibracyjnym w postaci dwóch ró nokolorowych plansz umieszczonych na d³u szych przystaj¹cych bokach prostopad³oœcianu. Plansze stanowi¹ wydruk szachownic o rozmiarze 7 9 pól (patrz rys. 1). Wykorzystana procedura detekcji wzorca wykrywa siatkê 6 8 punktów le ¹cych na stykach wierzcho³ków prostok¹tów szachownicy (tzw. naro niki). f n * mm Tabela 1 Wyniki kalibracji parametrów wewnêtrznych kamery wyznaczone na podstawie czterech ekspozycji przestrzennego wzorca kalibracyjnego f mm r 1 r 2 p 1 p 2 12 11.40 6.59e-2-6.47e-2-9.22e-3 1.16e-3 6 5.75-2.04e-1 5.89e-2-2.98e-3 3.80e-3 * f n wartoœæ nominalna ogniskowej, wynikaj¹ca z aktualnego powiêkszenia obiektywu Test procedury kalibracji wykonano dla skrajnych ustawieñ ogniskowej obiektywu. Przyjêto, e ogniskowe s¹ symetryczne zatem f x f y. Uzyskane wartoœci ogniskowych odbiega³y od nominalnych nie wiêcej ni 5%. Podczas kolejnych powtórzeñ eksperymentu zaobserwowano du ¹ zmiennoœæ (do 10%) po³o enia punktu centralnego matrycy bez jednoznacznej tendencji przesuniêcia w okreœlonym kierunku. W dalszych próbach przyjêto zatem e punkt [c x, c y ] znajduje siê w œrodku aktywnego obszaru matrycy czujnika wizyjnego. Pominiêto równie wyznaczanie wspó³czynnika zniekszta³ceñ obiektywu k 3. Przyk³adowe wartoœci parametrów wewnêtrznych kamery przedstawiono w tabeli 1. Zamiana ogniskowej powoduje istotn¹ zmianê charakteru zniekszta³ceñ, co znajduje potwierdzenie w œrodkowych kolumnach tabeli.

128 Miros³aw Jab³oñski Zrekonstruowane obrazy na rysunkach 3 i 4 wskazuj¹ na wysoki stopieñ rozmycia obrazu w tych czêœciach sceny, które s¹ bardziej oddalone od kamery. Jest to naturalny skutek interpolacji (w tym przypadku metod¹ najbli szego s¹siada) obrazu w tych obszarach i wynika z jednorodnej rozdzielczoœci czujnika. Nale y zatem przyj¹æ, e wyniki detekcji punktów pozyskane z tych miejsc maj¹ mniejsz¹ dok³adnoœæ przestrzenn¹ w stosunku do elementów sceny, które znajduj¹ siê bli ej kamery. Kolejnym skutkiem negatywnym takiej niwelacji perspektywy jest zniekszta³canie wszystkich obiektów, które pojawiaj¹ siê w obszarze, a nie le ¹ na p³aszczyÿnie elementu sceny jak na rysunku 5.W przypadku gdy obraz wynikowy wykracza poza granice elementów sceny, w obrazie pojawiaj¹ siê obszary, dla których w obrazie Ÿród³owym nie ma danych. Oznaczono je kolorem niebieskim. b) c) a) Rys. 5. Zniekszta³cenia obszarów nie le ¹cych na p³aszczyÿnie sceny: a) obraz Ÿród³owy z kamery; b) odtworzony obraz posadzki; c) odtworzony obraz wnêki drzwi Wymiarowanie sceny wykonano z wykorzystaniem dalmierza laserowego. W obliczeniach wykorzystano procedury biblioteki OpenCV w wersji 2.1 [17] uruchomione na komputerze wyposa onym w procesor Pentium T5600. Literatura [1] Bujnak M., Kukelova Z., Pajdla T., New efficient solution to the absolute pose problem for camera with unknown focal length and radial distortion. Proc. of the 10th Asian Conference on Computer Vision, vol. 1, Springer-Verlag, Berlin, 2010, 11 24. [2] Cyganek B., Komputerowe przetwarzanie obrazów trójwymiarowych. Akademicka Oficyna Wydawnicza EXIT, Warszawa 2002. [3] DeMenthon D., Davis L., Model-based object pose in 25 lines of code. International Journal of Computer Vision, Springer, vol. 15(1), 1995, 123 141. [4] Fuksa S., Byrski W., Czteropunktowa metoda identyfikacji transformacji stereowizyjnej. Automatyka (pó³rocznik AGH) 9, 3, 2005, 533 541.

Konfiguracja sceny w systemie wizyjnym z nieruchom¹ kamer¹ 129 [5] Faugeras O., Three-Dimensional Computer Vision. MIT Press, England, 1996. [6] Hartley R., Camera Calibration Using Line Correspondences. Proc. DARPA Image Understanding Workshop, 1993, 361 366. [7] Lowe, D., Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 60, 2, 2004, 91 110. [8] Lucas B., Kanade T., An Iterative Image Registration Technique with an Application to Stereo Vision. IJCAI 81, 674 679. [9] Micusik B., Pajdla T., Simultaneous surveillance camera calibration and foot-head homology estimation from human detections. IEEE Conference on Computer Vision and Pattern Recognition, 2010, 1562 1569. [10] Qiang M., Xiling L., Camera Auto-Calibration Based on Motion Detection for Airborne Traffic Surveillance. International Conference on Computer Technology and Development, ICCTD 09, vol. 2, 2009, 350 354. [11] Stauffer C., Grimson W., Adaptive background mixture models for real-time tracking. Vol 2, IEEE, USA, 1999, 246 252. [12] Tadeusiewicz R., Ogiela M.R., Szczepaniak P.S., Notes on a Linguistic Description as The Basis for Automatic Image Understanding. International Journal of Applied Mathematics and Computer Science, vol. 19, No. 1, 2009, 143 150. [13] Teramoto H., Xu G., Camera calibration by a single image of balls: From conics to the absolute conic. Proc. of 5th Asian Conference on Computer Vision, 2002, 499 506. [14] Tsai R., A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses. IEEE Journal of Robotics and Automation, vol. 3, No. 4, August 1987, 323 344. [15] Wang J., Liu Y., Characteristic Line of Planar Homography Matrix and Its Applications in Camera Calibration. 2006. 18th International Conference on Pattern Recognition, vol. 1, IEEE, 2006, 147 150. [16] Zhang Z., A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22(11), 2000, 1330 1334. [17] http://opencv.willowgarage.com/wiki/fullopencvwiki, czas dostêpu 17.05.2011.