Metody kalibracji urz¹dzeñ do akwizycji sygna³ów okoruchowych***

Samankaltaiset tiedostot
Konfiguracja sceny w systemie wizyjnym z nieruchom¹ kamer¹**

Optyczny tomograf procesowy sk³adaj¹cy siê z piêciu projekcji

Matematyka 1. Šukasz Dawidowski. Instytut Matematyki, Uniwersytet l ski

Sprzêtowa implementacja czêœci wielomianowej funkcji orbitalnej na potrzeby obliczeñ kwantowo-chemicznych

Analiza sceny przy u yciu deskryptorów punktów charakterystycznych**

Generowanie danych z obrazów bronchoskopowych w celu póÿniejszej klasyfikacji***

Adaptacyjny uk³ad regulacji z predyktorem Smitha z mo liwoœci¹ zastosowania w systemach rozproszonych

Matematyka 1. Šukasz Dawidowski. Instytut Matematyki, Uniwersytet l ski

Zamykanie otworów w trójwymiarowych obiektach wolumetrycznych

Koncepcja i realizacja molekularnego modelu obliczeñ w analizie paradygmatu niewidzialnej rêki rynku Adama Smitha

Uproszczony przep³ywowy model hemodializy porównanie z klasycznym modelem dwuprzedzia³owym**

Matematyka 1. Šukasz Dawidowski. Instytut Matematyki, Uniwersytet l ski

Zastosowanie zbiorów rozmytych do ewaluacji ró nych aspektów systemów kszta³cenia

Badania nad automatyzacj¹ procesu tworzenia serwisów internetowych

Rekrutacja Referencje

Charakterystyka kasy ELZAB Delta Max E 8 Zawarto opakowania 8

CERTYFIKAT JĘZYKOWY UNIWERSYTETU WARSZAWSKIEGO EGZAMIN Z JĘZYKA OBCEGO NA POZIOMIE B1 TEST PRZYKŁADOWY

Gap-filling methods for CH 4 data

Käytettävyyslaatumallin rakentaminen web-sivustolle. Oulun yliopisto tietojenkäsittelytieteiden laitos pro gradu -suunnitelma Timo Laapotti 28.9.

Matkustaminen Liikkuminen

Luottamuksen ja maineen rooli palveluperustaisten yhteisöjen muodostamisessa

Service Fusion -konsepti

AKKREDITOITU TESTAUSLABORATORIO ACCREDITED TESTING LABORATORY VERKOTAN OY VERKOTAN LTD.

Karta Praw dla Dzieci z Trudnościami

Paljonko kello on?mitä kello on?

Additions, deletions and changes to courses for the academic year Mitä vanhoja kursseja uusi korvaa / kommentit

Hakemus Työhakemus. Työhakemus - Aloitus. Virallinen, vastaanottaja mies, nimi tuntematon. Virallinen, vastaanottaja nainen, nimi tuntematon

Podróże Poruszanie się

t P1 `UT. Kaupparek. nro Y-tunnus Hämeenlinnan. hallinto- oikeudelle. Muutoksenhakijat. 1( UiH S<

Virtapainike. Virran merkkivalo. Bluetooth-merkkivalo. Bluetooth-painike. Päälle tai pois kytkeminen

Määräys STUK SY/1/ (34)

bab.la Zwroty: Korespondencja osobista Życzenia fiński-fiński

Instrukcje / Käyttöohjeet / Instruksjoner

Instrukcje / Käyttöohjeet / Instruksjoner

Travel Getting Around

SFS/SR315 Tekoäly Tekoälyn standardisointi

2016 TOP 10O t], ]Lt ELEMENTY GRY

YHDYSKUNTALAUTAKUNTA TALOUSARVIOEHDOTUS 2018 TALOUSSUUNNITELMA

Instrukcja obs³ugi AQUALTIS. Spis treœci AQGMD 149 PRALKA-SUSZARKA

Matkustaminen Yleistä

Säteilyturvakeskuksen määräys turvallisuusluvasta ja valvonnasta vapauttamisesta

Scheduling of Genetic Analysis Workflows on Grid Environments (valmiin työn esittely) Arttu Voutilainen

3 9-VUOTIAIDEN LASTEN SUORIUTUMINEN BOSTONIN NIMENTÄTESTISTÄ

Sähkötekniikan tutkintoohjelma. DI-tutkinto ja uranäkymät

Bioinformatics in Laboratory of Computer and Information Science

PUTKIKAKSOISNIPPA MUSTA

Toimisto (5) HUOM. Komiteoiden ja seurantaryhmien kokoonpanot on esitetty SESKOn komitealuettelossa

The spectroscopic imaging of skin disorders

LIST OF PUBLICATIONS

Erasmus-liikkuvuuden tilastoja Anni Kallio


Flexbright Oy Embedded software/hardware engineer

Tyyppiluokat II konstruktoriluokat, funktionaaliset riippuvuudet. TIES341 Funktio-ohjelmointi 2 Kevät 2006

Master's Programme in Life Science Technologies (LifeTech) Prof. Juho Rousu Director of the Life Science Technologies programme 3.1.

Efficiency change over time

ReFuel 70 % Emission Reduction Using Renewable High Cetane Number Paraffinic Diesel Fuel. Kalle Lehto, Aalto-yliopisto 5.5.

Erasmus-liikkuvuuden tilastoja Anni Kallio

SESKO ry LAUSUNTOPYYNTÖ 7/08 LIITE Toimisto (5) HUOM. Komiteoiden ja seurantaryhmien kokoonpanot on esitetty SESKOn komitealuettelossa

Suosituimmat kohdemaat

AKKREDITOITU TESTAUSLABORATORIO ACCREDITED TESTING LABORATORY WE CERTIFICATION OY OPERATOR LABORATORY

Palvelujen dynaaminen valvonta

Prognos Julkaisusuunnitelmat

Department of Mathematics, Hypermedia Laboratory Tampere University of Technology. Roolit Verkostoissa: HITS. Idea.

Matkustaminen Yleistä

The Evolution of Thermo-Wet the Computerized System for Measurements of Surface Properties

WAMS 2010,Ylivieska Monitoring service of energy efficiency in housing Jan Nyman,

Lisätty Todellisuus / Augmented Reality

Eduskunnalle nyt annettava esitys nuorten työssä olevia nuoria työntekijöitä.

orion plus asennuskotelot Tiiveysluokka IP 65, suojausluokka I ja II

Läsnäolotiedot Syksy 2017 Kevät 2018 OPINTOJAKSO OP ARV PVM OPETTAJA

CERTYFIKAT JĘZYKOWY UW EGZAMIN Z JĘZYKA FIŃSKIEGO NA POZIOMIE B1 TEST PRZYKŁADOWY

LYTH-CONS CONSISTENCY TRANSMITTER

Risto Kauppi, CEO. Rugged Tooling Subject to change

Arkkitehtuurinen reflektio

WWW load balancing. Onni Lampi. Bachelor s thesis Espoo Thesis supervisor: Lehtori Kalle Ruttik. Thesis advisor:

Ohjelmointikoulutuksen tehostaminen kognitiivisilla menetelmillä

Tietotekniikka ei riitä palvelujen tuottavuus ratkaisee. Olli Martikainen

La a d u l l in en in d ik a a t t o r i

Page 1 of 9. Ryhmä/group: L = luento, lecture H = harjoitus, exercises A, ATK = atk-harjoitukset, computer exercises

S-ZSOTOOP DZDATA !SWIA 0 \ S-ISOTOOPPIDATA GTL-78 S AVZA. M19/3314/=78/14/10 M,IkeI ä, A.J.Laitakari Pielavesi, Säviä

HITSAUKSEN TUOTTAVUUSRATKAISUT

KÄYTTÖOHJE BRUKSANVISNING OPERATING INSTRUCTION INSTRUKCJA MONTAŻU

Käyttövedenlämmitin. KÄYTTÖVEDENLÄMMITIN HAATO HK-15 1/3KW SEINÄ/VAAKA LVI-numero PIKA OD38

Laboratorium PORADNIK ANALITYKA. Maxwell. Automatyczna izolacja DNA i RNA. s. 15 PRZEGLĄD OGÓLNOPOLSKI 2019

ONNROUND RADAR ASENNUSOHJE KYTKENTÄKAAVIO. Airam Electric Oy Ab, Sementtitehtaankatu 6, FI Kerava, Finland,

Collaborative & Co-Creative Design in the Semogen -projects

Paikkatiedon semanttinen mallinnus, integrointi ja julkaiseminen Case Suomalainen ajallinen paikkaontologia SAPO


i lc 12. Ö/ LS K KY: n opiskelijakysely 2014 (toukokuu) 1. O pintojen ohjaus 4,0 3,8 4,0 1 ( 5 ) L i e d o n a mma t ti - ja aiku isopisto

SoleCRIS Etusivu Käy öohje Rekisteriseloste Kirjautuminen. YO:n asiantun jat. Hyrskykari, Aulikki. Hae. Listaa julkaisut

Erasmus+ eurooppalainen korkeakoululiikkuvuus Suomesta

Valtuuskunnille toimitetaan oheisena asiakirja COM(2017) 112 final LIITTEET 1 9.

Koulutoimen henkilöstörakenne

Tuote LVI-numero Pikakoodi KAULUS PURISTETTU HST DN 100/114,3/3,0 EN Puristettu putkikaulus;en ;Todistukset EN 10204:2004/3.

SC7 Interim, Hoboken, USA WG 7 ja 10 kokoukset, marraskuu Keskeiset työkohteet ja tulokset. Timo Varkoi, Senior Advisor FiSMA

VBE2 Työpaketit Jiri Hietanen / TTY

Tiedonsiirron kokonaisoptimointi erilaisten tietoverkkojen yhteiskäytössä

Yksityinen kirjeenvaihto Yksityiskirje

-Jotta maailma olisi parempi paikka wappuna. RAKENNUSINSINÖÖRIKILLAN VIRALLINEN KILTALEHTI JO VUODESTA /2012

Lausuntopyyntöluettelo 2016/6 LIITE. Toimisto (16)

Transkriptio:

AUTOMATYKA 2010 Tom 14 Zeszyt 3/1 Jacek Chodak*, Tomasz Kryjak* Metody kalibracji urz¹dzeñ do akwizycji sygna³ów okoruchowych*** 1. Wprowadzenie Urz¹dzenie do akwizycji sygna³u okoruchowego (eye-traker) mo na podzieliæ na dwa g³ówne modu³y funkcjonalne. Zadaniem pierwszego jest generowanie trajektorii ruchu oka, najczêœciej w postaci wspó³rzêdnych œrodka ciê koœci Ÿrenicy lub œrodka elipsy opisuj¹cej Ÿrenicê. Mo e ono odbywaæ siê z wykorzystaniem ró nych metod: wizyjnej, fotoelektrycznej, magnetycznej, lub za pomoc¹ elektrookulogramu [1]. Wyjœciem z modu³u jest zbiór wspó³rzêdnych kolejnych po³o eñ oka osoby badanej. Modu³ kalibracyjny odpowiada za przeliczenie trajektorii oka na wspó³rzêdne rzeczywiste, przyk³adowo na ekranie monitora, co pozwala nanieœæ kolejne punkty skupienia wzroku na analizowany obraz lub film, albo stworzyæ efektywny interfejs cz³owiek-komputer. Kalibracja eye-trackera jest w wielu przypadkach procesem doœæ uci¹ liwym, co ogranicza wykorzystanie tego typu urz¹dzeñ, szczególnie w interfejsach cz³owiek-komputer. Obecnie trwaj¹ intensywne prace nad systemami, niewymagaj¹cymi kalibracji. W pracy [13] zaproponowano system, w którym u yto kilku kamer i Ÿróde³ œwiat³a w celu estymacji kierunku wzroku. W artykule [11] Morimoto, Amir i Flickner zaproponowali system wolny od kalibracji, w którym u yto jednej kamery oraz dwóch lub wiêcej Ÿróde³ œwiat³a podczerwonego. Symulacyjnie wyznaczona dok³adnoœæ urz¹dzenia wynosi³a oko³o 3 o. Inne rozwi¹zanie zaproponowane zosta³o w pracy [15]; w systemie tym u yto piêæ oœwietlaczy podczerwieni cztery zamontowano w rogach monitora i jeden umieszczono blisko osi optycznej obiektywu aby uzyskaæ efekt jasnej Ÿrenicy. Dok³adnoœæ tego systemu wynosi³a * Wydzia³ Fizyki i Informatyki Stosowanej, Akademia Górniczo-Hutnicza w Krakowie, chodak@novell.ftj.agh.edu.pl ** Katedra Automatyki, Akademia Górniczo-Hutnicza w Krakowie, kryjak@agh.edu.pl *** Praca by³a finansowana ze œrodków na naukê w latach 2009 2012 jako projekt badawczy nr NN518 426736 pierwszy autor, a w przypadku drugiego autora ze œrodków AGH (umowa AGH nr 11.11.120.612) 267

268 Jacek Chodak, Tomasz Kryjak oko³o 2 o. W rozwi¹zaniu zaproponowanym w artykule [7] wykorzystano kilka sensorów. Na podstawie danych z sensorów by³o mo liwe okreœlenie kierunku patrzenia z dok³adnoœci¹ oko³o 5 o. Podstawow¹ zalet¹ wymienionych systemów jest brak koniecznoœci wykonywania procedury kalibracyjnej, ale odbywa siê to kosztem uzyskiwanej dok³adnoœci. Do czynników, które wp³ywaj¹ na b³¹d pomiaru, mo na zaliczyæ [6]: ró nice w kszta³cie i wielkoœci ga³ki ocznej pomiêdzy osobami; sposób za³amywania siê œwiat³a na powierzchni rogówki (z uwagi na fakt, e przestrzeñ miêdzy rogówk¹ a soczewk¹ jest wype³niona p³ynem); ró nicê miêdzy osi¹ optyczn¹ a wzrokow¹; umiejscowienie ekranu, na którym prezentowane s¹. obrazy, filmy, strony www etc.; za³amanie siê œwiat³a na okularach u ytkownika nale y wówczas uwzglêdniæ fakt, e wielkoœæ i umiejscowienie Ÿrenicy ró ni¹ siê od rzeczywistych. W celu eliminacji wp³ywu wymienionych czynników na dok³adnoœæ pomiaru, zarówno w zastosowaniach badawczo-rozwojowych, jak i komercyjnych, stosuje siê kalibracjê osobnicz¹. Precyzyjna transformacja z uk³adu wspó³rzêdnych zwi¹zanego z urz¹dzeniem rejestruj¹cym ruch oka (np. kamer¹) do uk³adu zwi¹zanego z ekranem monitora jest szczególnie wa na w systemach, w których stosuje siê œledzenie wzroku jako metodê interakcji z komputerem. Dodatkowo, aby taki interfejs by³ efektywny, konieczne jest wyznaczanie po³o enia œrodka Ÿrenicy i przeliczanie trajektorii w czasie rzeczywistym. W artykule opisano i porównano wybrane metody kalibracji: przekszta³cenie liniowe, przekszta³cenie nieliniowe drugiego stopnia oraz przekszta³cenie liniowe wymagaj¹ce tylko dwóch punktów kalibracyjnych. Dodatkowo do kalibracji wykorzystano jednokierunkowe sieci neuronowe: o liniowych i radialnych funkcjach bazowych (RBFNN Radial Based Functions Neural Networks). Testy przeprowadzono na wizyjnym urz¹dzeniu do œledzenia ruchu ga³ki ocznej, które dzia³a na zasadzie efektu jasnej i ciemnej Ÿrenicy oraz dostarcza sygna³ okoruchowy z czêstotliwoœci¹ 50 Hz [9]. W rozdziale 2 scharakteryzowano wykorzystane metody kalibracji. Rozdzia³ 3 zawiera opis metodologii przeprowadzonych testów. W rozdziale 4 podano i omówiono wyniki wykonanych eksperymentów. 2. Metody kalibracji Typowa procedura kalibracji ma nastêpuj¹cy przebieg: osoba badana skupia wzrok na punktach pojawiaj¹cych siê w ró nych miejscach na ekranie. Podczas zatrzymania wzroku na punkcie zbierane s¹ dane, które nastêpnie pozwalaj¹ okreœliæ parametry transformacji pomiêdzy wspó³rzêdnymi uzyskiwanymi z urz¹dzenia a wspó³rzêdnymi na ekranie. Do porównania wybrano opisane poni ej metody kalibracji.

Metody kalibracji urz¹dzeñ do akwizycji sygna³ów okoruchowych 269 2.1. Proste przekszta³cenie liniowe Proste przekszta³cenie liniowe [12] wymaga co najmniej 5 punktów kalibracyjnych. Transformacja miêdzy uk³adem wspó³rzêdnych ekranu a kamery dana jest wzorem: x = a + a x s s 0 1 y = b + b y 0 1 (1) gdzie (x s, y s ) s¹ wspó³rzêdnymi punktu na ekranie, (x, y) wspó³rzêdnymi œrodka Ÿrenicy na obrazie kamery. Wspó³czynniki (a 0,a 1 ) oraz (b 0, b 1 ) s¹ nieznane i mo na je wyznaczyæ za pomoc¹ metody najmniejszych kwadratów. 2.2. Przekszta³cenie liniowe dwupunktowe Zhu i Yang [16] zaproponowali przekszta³cenie liniowe, wymagaj¹ce jedynie dwóch punktów kalibracyjnych: x x x x ( x x ) 1 s = s1+ s2 s1 x2 x1 y y y y ( y y ) 1 s = s1+ s2 s1 y2 y1 (2) gdzie (x s, y s ) s¹ wspó³rzêdnymi punktu na ekranie, (x s1, y s1 ) oraz (x s2, y s2 ) s¹ wspó³rzêdnymi ekranowymi punktów kalibracji, (x 1, y 1 ) oraz (x 2, y 2 ) odpowiadaj¹ wspó³rzêdnym œrodka Ÿrenicy na obrazie kamery, które odpowiadaj¹ punktom kalibracji, (x, y) s¹ aktualnie zarejestrowanymi wspó³rzêdnymi œrodka Ÿrenicy. 2.3. Przekszta³cenie nieliniowe wielomian drugiego stopnia Przekszta³cenie nieliniowe w postaci wielomianu 2. stopnia jest podstaw¹ procedur kalibracji wielu systemów i popularnym tematem badañ [2, 3, 10, 12]. Mo e byæ wykorzystane dla 9 lub 25 punktów kalibracyjnych. Wielomian ten przyjmuje nastêpuj¹c¹ postaæ: s s 2 2 0 1 2 3 4 5 x = a + a x+ a y+ a xy+ a x + a y 2 2 0 1 2 3 4 5 y = b + b y+ b y+ b xy+ b x + b y (3) gdzie wspó³czynniki (a 0 a 5 ) oraz (b 0 b 5 ) s¹ nieznane i mo na je znaleÿæ za pomoc¹ metody najmniejszych kwadratów.

270 Jacek Chodak, Tomasz Kryjak 2.4. Sieæ neuronowa Wykorzystanie sieci neuronowej do kalibracji systemu œledzenia ruchu ga³ki ocznej zosta³o opisane w artykule [5]. W niniejszej pracy zastosowano model pojedynczego neuronu opisanego równaniem [14] a = f ( Wp + b) (4) gdzie: p wektor wejœciowy, W wektor wag, b sk³adnik sta³y (bias), f funkcja aktywacji. Neuron mo e mieæ ró n¹ funkcjê aktywacji: liniow¹, sigmoidaln¹, logistyczn¹. Do implementacji kalibracji zastosowano sieæ o liniowej funkcji aktywacji. Uczenie sieci odbywa³o siê metod¹ wstecznej propagacji b³êdu (backpropagation). 2.5. Sieæ neuronowa RBFNN Model pojedynczego neuronu sieci o radialnych funkcjach bazowych (RBFNN) zaprezentowano na rysunku 1a. Przez p oznaczono wektor wejœæ, w wektor wag, a b sk³adnik sta³y (bias). Funkcja aktywacji neuronu opisana jest równaniem: 2 radbas( n) = e n (5) Postaæ funkcji aktywacji przedstawiono na rysunku 1b. Sieæ RBFNN sk³ada siê z dwóch warstw: ukrytej z neuronami RBF oraz wyjœciowej liniowej. Zaletami tego typu sieci jest krótki czas uczenia oraz potwierdzona przydatnoœæ w zagadnieniach interpolacyjnych [3]. Autorzy pracy [8] z powodzeniem wykorzystali sieci RBFNN do jednokrotnej (dla danego u ytkownika procedura kalibracji wykonywana jest tylko raz) kalibracji systemu œledz¹cego ruch ga³ki ocznej. + - n a Rys. 1. Sieæ RBFNN: a) model neuronu; b) funkcja aktywacji neuronu

Metody kalibracji urz¹dzeñ do akwizycji sygna³ów okoruchowych 271 Do implementacji i uczenia sieci zosta³o wykorzystane narzêdzie Neural Network Toolbox z pakietu Matlab (wersja 2009b). Sieæ przetestowano na 2, 5, 9 i 25 punktach kalibracyjnych. 3. Metodologia eksperymentu Procedura kalibracji zosta³a przeprowadzona na zbiorze punktów, których liczba zale na by³a od metody. Rozmieszczenie oraz kolejnoœæ wyœwietlania punktów zosta³y zaprezentowane na rysunku 2. Z uwagi na prêdkoœæ ruchu oka, która dla sakad wynosi 30 100 ms oraz czas reakcji na pojawienie siê bodÿca wynosz¹cy 100 300 ms, ustalono czas wyœwietlania pojedynczego punktu na 1500 ms. Dobór czasu wyœwietlania punktu jest kompromisem pomiêdzy czasoch³onnoœci¹ procedury kalibracji a ³atwoœci¹ interpretacji wyników. Dla d³u szego czasu udaje siê uzyskaæ na mapie trajektorii oka (rys. 5) wyraÿne maksima, które odpowiadaj¹ fiksacjom. Rys. 2. Schemat planszy kalibracyjnej Po przeprowadzeniu kalibracji osoby badane zosta³y poddane dwóm testom. Pierwszy test polega³ na wodzeniu wzrokiem za punktem, który porusza³ siê po dwóch trajektoriach eliptycznych (rys. 3a). Ka da z trajektorii by³a prezentowana u ytkownikowi jednokrotnie. W drugim teœcie u ytkownik skupia³ wzrok na punkcie, który pojawia³ siê w losowych miejscach ekranu. Miejsc losowych by³o 36, kolejnoœæ ich wyœwietlania by³a identyczna dla ka dego u ytkownika (rys. 3b). Schemat stanowiska badawczego przedstawiono na rysunku 4. Osie x s i y s s¹ wspólne dla uk³adu zwi¹zanego z laboratorium i ekranem, oœ z s jest prostopad³a do ekranu. Podczas badañ g³owa osoby, dla której przeprowadzano kalibracjê, by³a unieruchomiona,

272 Jacek Chodak, Tomasz Kryjak w zwi¹zku z czym uk³ad wspó³rzêdnych dla g³owy i laboratorium by³ taki sam. Rejestracja ruchów ga³ki ocznej odbywa³a siê dla jednego oka, za pomoc¹ eye-trackera wykorzystuj¹cego efekt jasnej i ciemnej Ÿrenicy, pracuj¹cego z czêstotliwoœci¹ 50 Hz, przy rozdzielczoœci obrazu 720 576 pikseli [9]. Wspó³rzêdne œrodka Ÿrenicy, odczytywane z urz¹dzenia, s¹ zwi¹zane z uk³adem wspó³rzêdnych kamery (x, y, z), w zwi¹zku z czym nale y je transformowaæ do uk³adu zwi¹zanego z ekranem (x s, y s, z s ). Dla wszystkich obrazów oka œrodek Ÿrenicy zosta³ wyznaczony tym samym algorytmem. Rys. 3. Schemat plansz testowych: a) trajektoria eliptyczna; b) punkty skupienia (wyœwietlane w losowej kolejnoœci) Rys. 4. Schemat stanowiska badawczego Na podstawie uzyskanych trajektorii œrodka ciê koœci Ÿrenicy utworzono mapy przedstawiaj¹ce fiksacje. Przyk³adowe mapy dla kalibracji, testu wodzenia i testu skupienia przedstawiono na rysunkach 5a 5c.

Metody kalibracji urz¹dzeñ do akwizycji sygna³ów okoruchowych 273 B³¹d transformacji miêdzy uk³adem wspó³rzêdnych ekranu a kamery wyliczano na podstawie zale noœci: 2 2 err = ( xt xs) ( yt ys) (6) gdzie (x t, y t ) s¹ wspó³rzêdnymi punktu, na którym u ytkownik skupia³ wzrok, a (x s, y s ) s¹ wspó³rzêdnymi punktu skupienia wzroku po transformacji. c) Rys. 5. Mapy fiksacji: a) punkty kalibracyjne; b) wodzenie za elips¹; c) punkty skupienia 4. Wyniki Opisane w rozdziale 3 eksperymenty zosta³y przeprowadzone na szeœciu osobach. Na podstawie wstêpnych wyników dokonano ostatecznego wyboru architektury sieci neuronowych. Dla klasycznej sieci neuronowej (podrozdz. 2.4) po wypróbowaniu ró nych funkcji aktywacji: liniowej oraz sigmoidalnej, a tak e ró nej liczby neuronów w warstwie ukrytej ostatecznie zdecydowano siê na sieæ z liniow¹ funkcj¹ przejœcia i jednym neuronem w warstwie ukrytej. Maksymalny b³¹d zosta³ ustalony jako 0,001. W przypadku sieci RBF wykorzystano algorytm, który sam dobiera³ architekturê sieci, tak aby uzyskaæ b³¹d mniejszy od zadanego. Maksymalny b³¹d zosta³ ustalony na poziomie 0,005. W obu przypadkach zaimplementowano osobne sieci do transformacji wspó³rzêdnej X oraz Y. W tabeli 1 zestawiono metody kalibracji z liczb¹ punktów kalibracyjnych. Znakiem X oznaczono, e metoda by³a wykorzystywana z dan¹ liczb¹ punktów kalibracyjnych. Uœrednione wyniki testu wodzenia po trajektorii eliptycznej dla szeœciu badanych osób zaprezentowano na wykresie (rys. 6a).

274 Jacek Chodak, Tomasz Kryjak Tabela 1 Metody kalibracyjne i liczba punktów kalibracji Liczba punktów kalibracyjnych (k) Metoda kalibracji 2 5 9 25 Liniowa (L_k) X Liniowa dwupunktowa (L2_k) X Wielomian 2 stopnia (W2_k) X X Liniowa sieæ neuronowa (NN_k) X X X X Sieñ neuronowa RBF (RBF_k) X X X X Rys. 6. Test wodzenia po trajektorii eliptycznej: a) uœrednione wyniki (b³¹d œredniokwadratowy i odchylenie standardowe) dla szeœciu badanych osób; b) wynik dla szeœciu osób, metoda W2_25 Analiza zaprezentowanych danych pozwala stwierdziæ, e najwiêkszy b³¹d otrzymuje siê dla metod L2_2 (przekszta³cenie liniowe dwupunktowe) oraz NN_2 (liniowej sieci neuronowej i dwóch punktów kalibracyjnych). B³¹d dla pozosta³ych metod kalibracji mo na uznaæ za zbli ony, przy czym jest on nieznacznie mniejszy w przypadku metod opartych na nieliniowym przekszta³ceniu drugiego stopnia (W2_9 i W2_25). Warto te podkreœliæ, e wyniki znacznie ró ni³y siê pomiêdzy badanymi osobami. Na wykresie (rys. 6b) zaprezentowano b³¹d œredniokwadratowy dla ka dej z badanych osób dla kalibracji z wykorzystaniem nieliniowego przekszta³cenia drugiego stopnia. Zauwa ono, e du y wp³yw na dok³adnoœæ kalibracji ma obycie osoby badanej z eksperymentem. Je eli wiedzia³a ona, jak ma przebiegaæ procedura i w jaki sposób bêd¹ pojawiaæ siê na ekranie punkty (zarówno kalibracyjne jak i testowe), to zarejestrowana trajektoria by³a bardzo zbli ona do rzeczywistej (osoby 1, 2, 5, 6). W przypadku gdy osoba badana wykonywa³a zadanie po raz pierw-

Metody kalibracji urz¹dzeñ do akwizycji sygna³ów okoruchowych 275 szy (3, 4), b³¹d by³ wyraÿnie wiêkszy. Przyk³adowe zarejestrowane trajektorie dla testu wodzenia po trajektorii eliptycznej zaprezentowano na rysunku 7. Wykorzystano kalibracjê metod¹ W2_25. Rys. 7. Przyk³adowy rezultat testu kalibracji W2_25 dla trajektorii eliptycznej: a) osoba 1; b) osoba 4 Uœrednione wyniki testu skupiania wzroku na losowych punktach ekranu dla czterech osób przedstawiono na rysunku 8a. Analiza zaprezentowanych danych potwierdza spostrze enia poczynione dla testu z wodzeniem po trajektorii eliptycznej: najwiêksze b³êdy wystêpuj¹ w przypadku metod opartych na dwóch punktach kalibracyjnych (NN_2, L2_2,RBF_2). Dla pozosta³ych metod wyznaczony b³¹d jest na podobnym poziomie, przy czym najni szy dla NN_25. Na rysunku 8b zaprezentowano b³¹d œredniokwadratowy dla ka dej z badanych osób dla metody W2_25. Na rysunku 9 pokazano przyk³adowe rezultaty przeprowadzonego testu. Rys. 8. Test skupiania wzroku: a) uœrednione wyniki (b³¹d œredniokwadratowy i odchylenie standardowe) dla czterech badanych osób; b) wynik dla czterech osób dla metody NN_25

276 Jacek Chodak, Tomasz Kryjak Rys. 9. Przyk³adowy rezultat testu kalibracji NN_25 dla punktów skupienia: a) osoba 1; b) osoba 3 4.1. Analiza rozdzielczoœci k¹towej systemu Na podstawie parametrów geometrycznych stanowiska: rozmiarów ekranu monitora (34 27 cm) oraz odleg³oœci oka osoby badanej od ekranu (50 cm) wyznaczono zakres k¹towy ruchów oka, który wynosi: 30,2 o w pionie oraz 37,5 o w poziomie. Œrodek ciê koœci Ÿrenicy rejestrowany by³ wewn¹trz prostok¹ta o rozmiarach ok. 90 30 pikseli [9]. Szacowana teoretyczna dok³adnoœæ systemu w p³aszczyÿnie pionowej wynosi: 1 o, a w p³aszczyÿnie poziomej: 0,41 o. Przy rozdzielczoœci monitora 1280 1024 pikseli daje to dok³adnoœæ w p³aszczyÿnie pionowej ok. 34 piksele oraz w p³aszczyÿnie poziomej ok. 14 pikseli. Na podstawie analizy wyników testu skupienia wyznaczono dla najlepszej metody kalibracji (NN_25) œrednie b³êdy w p³aszczyÿnie pionowej (48) i poziomej (40). Pozwoli³o to wyznaczyæ rzeczywist¹ dok³adnoœæ systemu w p³aszczyÿnie pionowej na ok. 1,5 o i 2,8 o w p³aszczyÿnie poziomej. 4.2. Dyskusja Wszystkie przetestowane metody kalibracyjne daj¹ podobne rezultaty. W przypadku testu wodzenia za elips¹ najlepsze wyniki uzyskano dla metody z wielomianem drugiego stopnia i 25 punktami kalibracyjnymi i s¹ one zgodne z przedstawionymi w artykule [12]. Dla testu z losowo wyœwietlanymi punktami skupienia najlepsze wyniki uzyskano dla liniowych sieci neuronowych i 25 punktów kalibracyjnych. W ka dym przypadku najgorsze wyniki dawa³o wykorzystanie tylko dwóch punktów kalibracyjnych (niezale nie od metody). Warto zauwa yæ, e nie wystêpowa³y znaczne ró nice pomiêdzy wariantami metod wykorzystuj¹cymi ró n¹ liczbê punktów kalibracyjnych na podstawie uzyskanych wyników mo na wnioskowaæ, e kalibracja 5-punktowa powoduje powstanie tylko nieznacznie wiêkszego b³êdu ni 9- lub 25-punktowa.

Metody kalibracji urz¹dzeñ do akwizycji sygna³ów okoruchowych 277 Wystêpuj¹ bardzo du e ró nice w b³êdach pomiêdzy osobami badanymi i zale ¹ one od stopnia zaznajomienia osoby z procedur¹ kalibracyjn¹ i testow¹. Osoby, które wykonywa³y badanie po raz pierwszy uzyskiwa³y wyniki znacznie gorsze. Dodatkowo na wielkoœæ b³êdu mia³y wp³yw: dok³adnoœæ segmentacji obszaru Ÿrenicy, wyznaczanie œrodka ciê koœci Ÿrenicy (wykorzystano algorytmy opisane w [9]), sposób wyznaczania œrodka skupienia wzroku na mapach fiksacji (zarówno dla kalibracji, jak i dla testu z punktami skupienia) oraz minimalne ruchy g³owy. W celu poprawienia dok³adnoœci dzia³ania eye-trakera nale y w toku dalszych prac wyeliminowaæ lub zminimalizowaæ wp³yw wyszczególnionych czynników. Dodatkowo warto zaimplementowaæ tzw. model oka [6], który powinien pozwoliæ na zminimalizowanie b³êdów. Ponadto celowe wydaje siê przeprowadzenie badañ na wiêkszej liczbie osób. 5. Podsumowanie W artykule opisano i przetestowano szereg metod kalibracji urz¹dzeñ do akwizycji ruchu ga³ki ocznej: prostej metody liniowej, metody liniowej wykorzystuj¹cej dwa punkty kalibracyjne, metody nieliniowej z wielomianem drugiego stopnia, liniowych sieci neuronowych i sieci neuronowych z radialnymi funkcjami bazowymi (RBF). Metody kalibracji przetestowano na szeœciu osobach, w dwóch ró nych eksperymentach: wodzeniu po trajektorii eliptycznej i skupianiu wzroku w punktach losowo rozmieszczonych na ekranie. Otrzymane wyniki wskazuj¹, e najmniejszy b³¹d uzyskuje siê dla metody z wielomianem drugiego stopnia. Dodatkowo zauwa ono, e du y wp³yw na dok³adnoœæ kalibracji ma doœwiadczenie i zaznajomienie osoby badanej z procedur¹ kalibracyjn¹ i testow¹. Literatura [1] Augustyniak P., Przetwarzanie sygna³ów elektrodiagnostycznych. UWND AGH, Kraków, 2001. [2] Cerrolaza J.J., Villanueva A., Cabeza, R., Taxonomic study of polynomial regressions applied to the calibration of video-oculographic systems. Proc. of the 2008 Symposium on Eye Tracking Research & Applications, ETRA 08, Savannah, Georgia, 2008, 259 266. [3] Chen S., Cowan C.F.N., Grant P.M., Orthogonal Least Squares Learning Algorithm for Radial Basis Function Networks. IEEE Transactions on Neural Networks, vol. 2, No. 2, March 1991, 302 309. [4] Cherif Z.R., Nait-Ali A., Motsch J.F., Krebs M.O., An adaptive calibration of an infrared light device used for gaze tracking. Proc. of the 19th IEEE Instrumentation and Measurement Technology Conference, IMTC/2002., vol. 2, 2002, 1029 1033. [5] Coughlin M.J., Cutmore T.R., Hine T.J., Automated eye tracking system calibration using artificial neural networks. Computer Methods and Programs in Biomedicine, vol. 76(3), 2004, 207 220. [6] Hammoud R.I., Passive Eye Monitoring Algorithms, Applications and Experiment. Springer-Verlag, Berlin, Heidelberg 2008. [7] Holman D., Vertegaal R., Sohn C., Cheng D., Attentive display: paintings as attentive user interface. Extended Abstract of ACM Conference on Human Factors in Computing Systems (CHI), ACM Press 2004, 1127 1130.

278 Jacek Chodak, Tomasz Kryjak [8] Kiat L.C., Ranganath S., One-time calibration eye gaze detection system. Int. Conf. on Image Processing, ICIP 04, vol. 2, 2004, 873 876. [9] Kryjak T., Chodak J., Wykorzystanie efektu jasnej i ciemnej Ÿrenicy w wizyjnym œledzeniu ruchu ga³ek ocznych. Seminarium wyjazdowe: Przetwarzanie i analiza sygna³ów w systemach wizji i sterowania, S³ok k. Be³chatowa 2010. [10] Morimoto C.H, Koons D., Amir A., Flickner M., Frame-Rate Pupil Detector and Gaze Tracker. Proc. of the IEEE ICCV 99 frame-rate workshop, 1999. [11] Morimoto C.H., Amir A., Flickner M., Detecting eye position and gaze from a single camera and 2 light sources. Int. Conf. on Automatic Face and Gesture Recognition, 2000, 8 13. [12] Ramanauskas N., Calibration of Video-Oculographical Eye-Tracking System. Electronics and Electrical Engineering, No. 8(72), 2006. [13] Shih S.W., Wu Y., Liu J., A calibration-free gaze tracking technique. Proc. Int. Conf. on Pattern Recognition (ICPR), 2000, 201 204. [14] Tadeusiewicz R., Sieci neuronowe. Akademicka Oficyna Wydawnicza, Warszawa, 1993. [15] Yoo D., Kim J., Lee B., Chung M., Non contact eye gaze tracking system by mapping corneal reflections. Proc. of the Int. Conf. on Automatic Face and Gesture Recognition, 2000, 94 99. [16] Zhu J., Yang J., Subpixel eye gaze tracking. Proc. of the 5th IEEE Int. Conf. on Automatic Face and Gesture Recognition, 2002, 131 136.