Konenäkö & Robotiikka Teknologiademot on the Road

Transkriptio

1 Konenäkö & Robotiikka Teknologiademot on the Road

2 1. Mitä konenäkö on? Automatisoitua digitaalisista kuvista tehtävää halutun tiedon analysointia ja tähän tietoon perustuvaa päätöksentekoa. Käytännössä konenäköjärjestelmät suorittavat pääasiassa hyvin tarkasti ennalta ohjelmoituja tehtäviä, kuten kappaleiden laskentaa kuljettimella, sarjanumeroiden ja viivakoodien lukemista tai pintavikojen etsimistä.

3 1. Mitä konenäkö on? Tyypillisessä konenäkösovelluksessa kamera ottaa valaistusta kohteesta kuvan, kuva siirretään tietokoneelle ja lopuksi konenäköohjelmiston avulla kuvasta analysoidaan tarvittava tieto. Konenäköohjelmistolle on opetettu se, mitä sen pitää kuvista etsiä ja mitkä kriteerit pitää täyttyä, että kuvattu kohde hyväksytään. Konenäöllä on useita teollisuussovelluksia ja se onkin vakiinnuttanut asemansa yhtenä eri teollisuuden alojen anturiratkaisuna.

4 1. Mitä konenäkö on? Konenäköjärjestelmiä käytetään erityisesti tehtäviin, joissa kappaleiden visuaalisen tarkastuksen pitää olla nopeaa, tarkkaa, ympärivuorokautista ja toistettavaa. Ihmiselle nämä tehtävät ovat rasittavaa rutiinia tai näkökyvyn tarkkuudelle mahdottomia. Konenäössä voidaan hyödyntää myös sellaisia valon aallonpituuksia, jotka ovat näkymättömiä ihmissilmälle.

5 2. Konenäön historiaa Konsepti mainittu kirjallisuudessa ensimmäisen kerran luvulla. Tietyillä konenäön osa-alueilla, kuten optiikalla ja valo-opilla on historiaa jo tuhansien vuosien ajalta (Niniven linssi v. 700 ekr) luvun lopulla MITissä (Massachusetts Institute of Technology) kehitettiin ensimmäinen teollinen konenäkösovellus (robottikäden ohjaus).

6 2. Konenäön historiaa Vuonna 1969 keksittiin CCD-kenno, eli valoherkkä kenno, jolla valo muutetaan digitaaliseksi signaaliksi luvulta lähtien MITissä on opetettu konenäköä luvulla alettiin kehittää myös reunantunnistus ja segmentointimenetelmiä.

7 2. Konenäön historiaa 1980-luvulla aletaan valmistaa kameroita teollisiin käyttötarkoituksiin ja konenäköjärjestelmiä varten (mm. OCR) luvulla konenäön hyödyntäminen yleistyy voimakkaasti. Ensimmäiset älykamerat Standardin PC-raudan ja Windows-käyttöjärjestelmän hyödyntäminen Ensimmäiset graafiset käyttöliittymät konenäköohjelmiin 2000-luvulla kehitys on jatkunut nopeasti Firewire-liitäntä Markkinat kasvavat nopeasti erityisesti älykameroiden osalta

8 2. Konenäön historiaa 2010-luvulla erityisesti 3D-kuvantaminen yleistynyt voimakkaasti. Tämänhetkisiä kehityssuuntia: Laitteiden suorituskyky kasvaa Laitteiden hinnat laskevat Ohjelmistojen käyttäjäystävällisyys parantuu

9 3. Konenäön toimintaperiaate Ihmissilmään perustuvaan kappaleiden seurantaan liittyy monia heikkouksia: Silmän ja ihmisen väsymisestä aiheutuva suorituskyvyn heikkeneminen Analyysin subjektiivisuus ja vaihteleva laatu (mielipide, vireystila, jne) Toimintanopeus on melko rajoittunut Kustannukset ovat korkeat Työ on monotonisista Vaarallisista olosuhteista aiheutuvat ongelmat Konenäkö myös korvaa ihmissilmän sellaisissa paikoissa, joissa silmä ei toimi nopeuden tarkkuuden pimeyden olosuhteiden tms. syiden vuoksi.

10 3. Konenäön toimintaperiaate Konenäön toiminta perustuu pääasiassa näkyvän valon aallonpituudella tapahtuvien ilmiöiden kuvaamiseen. Tavoitteena on saada kone ymmärtämään, mitä kameran ottama kuva sisältää. LÄHDE: Nykyään konenäössä hyödynnetään myös paljon silmälle näkymättömiä aallonpituuksia kuten esim. lähi-infrapunakuvauksessa, ultraviolettikuvauksessa tai lämpökuvauksessa.

11 3. Konenäön toimintaperiaate Teollisuudessa konenäköä on käytetty jo pitkään mm. seuraavissa tehtävissä: Tarkastukset (muoto, läsnäolo, väri, valmistusvirhe, jne.) Mittaukset (dimensiomittaus, paikoitus) Ohjaus / paikoitus (robotin ohjaus, liikkuva tai paikallaan oleva kohde) Koodinluku (matriisikoodit ja OCR = Optical Character Recognition) LÄHDE:

12 3. Konenäön toimintaperiaate Tänä päivänä konenäkö on levinnyt joka puolelle teollisuuteen, mutta myös muille elinkeinoelämän alueille: Lääketiede (mikro- ja makrotason kuvaaminen) Turvallisuus, valvonta ja liikenne (biometria, lainvalvonta, digitaaliset vesileimat, hirvi-ir-kamerat, automaattinen rekisterikilven tunnistus jne.) Kodin- ja viihde-elektroniikan ratkaisut (tarjoilijarobotit, älykkäät vaatteet ja huoneet, tietokoneet ja tietoverkot, pelikonsolit, mobiilit ratkaisut jne.) Uusia sovellusalueita keksitään jatkuvasti lisää.

13 4. Konenäköjärjestelmän osat Tyypillinen konenäköjärjestelmä koostuu seuraavista komponenteista: Kamera ja optiikka Valaistus Tietokone Konenäköohjelmisto Liitynnät muihin järjestelmiin (PLC tms.)

14 4. Konenäköjärjestelmän osat Kamera ja optiikka Konenäköohjelmisto Valaistus Kuljetin ja manipulaattori Kohde LÄHDE:

15 4. Konenäköjärjestelmän osat Kamera Kameran tehtävänä on yksinkertaisuudessaan kuvata tarkasteltava kohde. Kameratyypistä riippumatta kamerassa on aina valoherkkä kenno, jolle kuva muodostuu. Kennon yksittäiset valonilmaisimet varautuvat sähköisesti kuhunkin ilmaisimeen osuvan valon kirkkauden perusteella. Sähköiset varaukset luetaan ilmaisin kerrallaan ja tieto muutetaan digitaaliseksi.

16 4. Konenäköjärjestelmän osat Kamera Kamerat voidaan jakaa kennon muodon mukaan matriisikameroihin ja viivakameroihin. LÄHDE: Jos kameran resoluutio on 1600 x 1200 pikseliä, tarkoittaa se sitä, että otetussa kuvassa on 1600 pikseliä vaakasuunnassa ja 1200 pikseliä pystysuunnassa. (1,92 megapikseliä) LÄHDE: Viivakameralla kuvataan viiva kerrallaan, mikä tarkoittaa yleensä sitä, että kohteen tulee liikkua. Yksittäisen viivan koko voi olla esim x 1 pikseliä.

17 4. Konenäköjärjestelmän osat Liitäntätyypit FireWire 1394.a FireWire 1394.b CameraLink USB 2.0 USB 3 Vision GigE Vision Tiedonsiirto- 400 Mb/s 800 Mb/s 3.6 Gb/s Mb/s nopeus Mb/s Mb/s Kaapelin 4.5m 100m 10m 5m 5m 100m max pituus (kuitukaapelilla) Laitteiden max määrä Rajoittamaton Liitin 6pin-6pin 9pin-9pin 26pin USB2 USB3 RJ45/CAT 5 Ulkoinen virransyöttö Optio Optio Tarvitaan Optio Optio Tarvitaan

18 4. Konenäköjärjestelmän osat Kamera Kennon muodon lisäksi kamerat voidaan jakaa kahteen ryhmään kennossa käytetyn teknologian perusteella, joita ovat: CCD (Charge-Coupled Device) CMOS (Complementary Metal Oxide Semiconductor) LÄHDE:

19 4. Konenäköjärjestelmän osat Kamera CCD vs CMOS CMOS sensorit halvempi valmistaa (~1/4 CCD hinnasta, yksinkertaisempi valmistusprosessi). CMOS kuluttaa vähemmän virtaa. CMOS kennoilla korkeampi kuvanopeus (frame rate). CMOS kennot kohisevat vähemmän (erityisesti korkeammilla kuvanopeuksilla). CMOS-kennot suoriutuvat monista näkyvän valon sovelluksista CCD-kennoja paremmin. LÄHDE: LÄHDE:

20 4. Konenäköjärjestelmän osat Kamera CCD vs CMOS CCD kennojen valonherkkyys on parempi Perinteisesti CCD kennoissa global shutter, CMOS kennoissa rolling shutter, mutta global shutter tyyppisiä CMOS-kennoja alkaa myös olla markkinoilla. LÄHDE: Tietyt sovellukset onnistuvat yhä vain CCDkennoilla (kuten NIR-kuvaus, nm). LÄHDE:

21 4. Konenäköjärjestelmän osat Kennon koko Kamerassa käytetyn kennon resoluution, eli pikselimäärän lisäksi kennon fyysinen koko on merkitsevä tekijä, sillä se määrää kennon kuva-alan (engl. Field-Of-View, FOV). Mitä isompi kenno kamerassa on, sitä isompi kuva-ala sillä saadaan. Iso kenno, jossa myös pikselikoko on suurempi, on yleensä teknisesti paras vaihtoehto (parempi valoherkkyys, parempi suorituskyky hämärässä, vähemmän kohinaa), tosin hinta nousee kennon koon myötä. Esim. 2MP Basler Ace kamerassa kennon optinen koko on 1/1,8 (7.16mm x 5.44 mm), yksittäisten pikselien ollessa 4.4um x 4.4 um.

22 4. Konenäköjärjestelmän osat Kennon koko Konenäkökameroista löytyy useita erikokoisia kennoja. Alla näkyvän kuvan kennokokojen lisäksi markkinoilla yleinen standardikoko on 1/1.8. LÄHDE: Kokoluokitus on epästandardi tuumaluokitus, mutta se on yleisesti käytetty. Standardin puutteesta johtuen todellinen koko vaihtelee. Tavallinen kuvasuhde on 4:3.

23 4. Konenäköjärjestelmän osat Resoluutio Korkea resoluutio ei automaattisesti tarkoita parempilaatuisia kuvia. Mitä pienempi kenno kamerassa on, sitä pienempiä pikselit myös tavallisesti ovat. Pienemmät pikselit tarkoittavat yleensä enemmän kohinaa ja huonompaa dynamiikkaa. Pienikokoiset pikselit tarvitsevat vastaavasti myös enemmän valoa kuvan ottamiseen.

24 4. Konenäköjärjestelmän osat Resoluutio Heikoissa valaistusolosuhteissa pienikokoiset pikselit tuottavat selvästi kohinaisempia kuvia kuin isommat pikselit. Nopeatahtisessa kappaleiden tarkastuksessa riittämätön valon määrä voi helposti muodostua ongelmaksi, sillä kohinaisten kuvien analysointi on vaikeampaa. Että kennon korkeasta resoluutiosta saadaan kaikki hyöty irti, tarvitaan myös korkean resoluution objekti.

25 4. Konenäköjärjestelmän osat Kuvan valotus (engl. Exposure) Kuvaa otettaessa valotusajan pitää olla sellainen, että kennon valoilmaisimien varaus ehtii kasvaa riittävästi (muttei liikaa). Jos valotusaika on liian lyhyt, tulee kuvista tummia eli alivalottuneita. Jos taas valotusaika on liian pitkä, kuva ylivalottuu. Rankasti ylivalottunut alue on pelkkää valkoista ja alueella olevat yksityiskohdat menetetään. Ilmiötä kutsutaan puhkipalamiseksi.

26 4. Konenäköjärjestelmän osat Kuvan valotus (engl. Exposure)

27 4. Konenäköjärjestelmän osat Väriresoluutio Resoluutiolla voidaan tarkoittaa pikselien lukumäärän lisäksi myös sitä, kuinka monta erilaista värisävyä kukin pikseli voi saada. Harmaasävykameroissa jokaisen pikselin sävy ilmaistaan käyttämällä joko 8, 10 tai 12 bittiä. 8 bitillä voidaan ilmaista 256 eri harmaasävyä, arvon 0 ollessa musta ja 255 valkoinen. 12 bitillä saadaan esitettyä 4096 erilaista harmaasävyä. Värikameroissa käytetään tavallisesti 24 bittiä (8 bittiä / väri), millä saadaan esitettyä 16,7 miljoonaa erilaista värisävyä.

28 4. Konenäköjärjestelmän osat Älykamerat Älykamerat eroavat perinteisistä konenäkökameroista siten, että kameran kanssa samaan koteloon on integroitu prosessori ja muisti. Älykamera ei siis tarvitse erillistä tietokonetta kuvien analysointiin, vaan se tekee analysoinnin itse. Ensimmäiset älykamerat tulivat markkinoille jo 80- luvulla, mutta vasta viimevuosina ne ovat parantuneen suorituskyvyn ja pienentyneen koon myötä yleistyneet laajemmin. Samalla myös hinnat ovat laskeneet, mutta älykamerasta saa yhä maksaa moninkertaisen hinnan perinteiseen konenäkökameraan verrattuna. LÄHDE:

29 4. Konenäköjärjestelmän osat Älykamerat Älykamerassa voi olla prosessorin lisäksi integroituna optiikka ja valaistus. Koska kuvien analysointi tapahtuu suoraan kamerassa, täytyy kamerasta löytyä suoraan liitännät mm. PLC:ille. Oheisessa kuvassa näkyvän Cognex In-Sight Micro 1403 I/O-liittimen kautta saadaan liipaisu-tieto ja käytössä on 2 digitaalilähtöä. Erilliseen I/O-moduuliin liitettynä tulojen ja lähtöjen määrä saadaan kasvatettua 8:aan. LÄHDE:

30 4. Konenäköjärjestelmän osat Älykamera vs perinteiset kamerat Koska älykamerassa voi olla integroituna useita perinteisen konenäköjärjestelmän komponenteista, on järjestelmä kompaktimpi ja monesti halvempi kuin erilliskomponenteista rakennettuna. Järjestelmän ylläpito on yksinkertaisempaa ja monesti toimintavarmuus parempi. Monesti älykameroiden ohjelmointi on perinteisiä kameroita helpompaa. Samalla menetetään jonkin verran joustavuudessa (vaihtoehtoiset komponentit, ohjelmistot, jne.).

31 4. Konenäköjärjestelmän osat Stereo- ja 3D-kamerat Perinteisillä kamerajärjestelmillä saadaan kaksiulotteinen kuva, josta syvyysvaikutelma ei välity kovin selvästi katsojalle. Stereokameralla saadaan mukaan syvyystieto, jonka avulla voidaan rekonstruoida 3D-kuva kohteesta. LÄHDE: 3D-kuvan muodostamisen edellytyksenä on tarkasteltavasta kohteesta useista eri kuvakulmista otetut kuvat ja se muistuttaakin ihmissilmien toimintaa.

32 4. Konenäköjärjestelmän osat Stereo- ja 3D-kamerat Stereokuva voidaan muodostaa käyttämällä yhtä tai useampaa kameraa. Yhden kameran järjestelmässä kuvattavan kohteen täytyy liikkua, jolloin siitä saadaan kuvia useista eri kuvakulmista. Kahden (tai useamman) kameran järjestelmässä kuvattava kohde pysyy paikallaan. LÄHDE:

33 4. Konenäköjärjestelmän osat Stereo- ja 3D-kamerat Yhden tai useamman harmaasävykameran käyttöön perustuvien stereo- tai 3D-kameroiden lisäksi markkinoilta löytyy viivalaserin käyttöön perustuvia 3D-profilointilaitteita. Näissä laitteissa kamera ja viivalaser on integroitu samaan koteloon ja kalibroitu tietylle etäisyydelle. Laitteita on tarjolla useita eri kokoluokkia useilta eri valmistajilta (esim. Cognex, Sick, LMI) LÄHDE:

34 4. Konenäköjärjestelmän osat Objektiivit Objektiivin tehtävä on kerätä tarkasteltavasta kohteesta heijastuva valo ja kohdistaa se kameran valoherkälle kennolle. Samalla kuva-alue skaalataan kameran kennolle sopivaksi. Tavoitteena on muodostaa mahdollisimman terävä kuva, josta voidaan tunnistaa pieniäkin yksityiskohtia. LÄHDE: Objektiivi valitaan käyttötarkoituksen, kuvattavan kohteen ja kameran mukaan. Objektiivin valintaan vaikuttaa myös kohteen koko ja etäisyys kamerasta. Kohteen kokoa ei yleensä voida muuttaa, mutta kameran ja kohteen välistä etäisyyttä voidaan.

35 4. Konenäköjärjestelmän osat Objektiivit Objektiivin rakenne muodostuu kahdesta tai useammasta linssistä. Hyvä kuvanlaatu edellyttää oikeanlaisen objektiivin valintaa, sillä sen avulla kuva projisoidaan kennolle. Objektiivin valintaan on syytä kiinnittää huomiota erityisesti suurta tarkkuutta vaativissa sovelluksissa. Valitsemalla väärän tyyppinen tai huonolaatuinen objektiivi aiheutetaan vääristymiä kuvaan ja kuvan analysointi vaikeutuu. LÄHDE: Mitä parempilaatuinen objektiivi on käytössä, sitä kalliimpi se yleensä on.

36 4. Konenäköjärjestelmän osat Keskeisimmät objektiivin valintaan vaikuttavat seikat Kuva-ala (FOV): kuinka iso kuvattava kappale tai alue on Resoluutio: pienin piirre, mikä pitää näkyä tarkasti LÄHDE: Kohteen minimi- ja maksimietäisyys optiikasta Syväterävyys (DOF): kuinka syvä fokusalue tarvitaan Kameran kennon fyysinen koko Optinen liitäntä (C/CS/F-mount)

37 4. Konenäköjärjestelmän osat Objektiivit Yksi objektiivin tärkeimmistä parametreista on ns. F-luku (aukkoluku), mikä merkitään esim. f/1.4. Se kuvaa polttovälin ja sisääntulevaa valoa rajoittavan himmentimen aukon koon suhdetta. F-luvun arvo kertoo miten paljon valoa pääsee linssin läpi kennolle, kun objektiivin himmennin on täysin auki. Tätä kutsutaan objektiivin valovoimaksi ja luku on yleensä merkitty objektiiviin. Mitä pienempi F-luku, sitä isompi himmentimen aukko suhteessa polttoväliin, parempi valovoima ja lyhyempi valotusaika.

38 4. Konenäköjärjestelmän osat Ylemmässä kuvassa näkyy tavallisella objektiivilla otettu kuva. Alempi kuva taas on otettu telesentrisellä objektiivilla. Telesentrinen objektiivi poistaa kuvasta perspektiivin. Fyysisesti samankokoiset, mutta eri etäisyydellä objektiivista olevat kohteet näkyvät kuvassa samankokoisina. LÄHDE:

39 4. Konenäköjärjestelmän osat Telesentriset objektiivit Perspektiivittömyys mahdollistaa tarkkojen mittausten tekemisen, sillä perspektiivin aiheuttamat vääristymät saadaan eliminoitua. Toinen telesentrisistä objektiiveista saatava etu on se, että kuvattavat kohteet ovat samankokoisia vaikka niiden etäisyys objektiivista muuttuu. Tästä seuraa se, että kohde saadaan mitattua tarkasti vaikka sen etäisyys objektiiviin vaihtelee. Telesentristen linssien käyttömahdollisuudet ovat isojen kappaleiden kohdalla rajalliset, sillä kuvattava kohde voi olla vain linssin kokoinen.

40 4. Konenäköjärjestelmän osat Valaistus Valaistus on konenäköjärjestelmän keskeisin tekijä. Luotettavan lopputuloksen edellytyksenä onkin riittävä ja tasainen valaistus. Valaistuksen on katettava kuvattava alue kokonaisuudessaan ja ihanteellisimmassa tapauksessa kaikki ulkopuoliset valot (aurinko, loisteputket katossa, jne.) ja varjot tulisi eliminoida. Jos ulkopuoliset vaihtuvat valaisuolosuhteet pääsevät vaikuttamaan kuvattavan kohteen valaistukseen, vaikeuttaa se kuvien analysointia ja tekee analyysin tuloksista epäluotettavampia (virheiden määrä kasvaa). Valaistusta toteutettaessa on kiinnitettävä huomioitava oikeanlaisen valonlähteen valinnan lisäksi myös kuhunkin tilanteeseen sopivaa taustaan.

41 4. Konenäköjärjestelmän osat Valaistus Sovellukseen valitun valaistuksen keskeisin tehtävä on maksimoida kuvattavan kappaleen niiden piirteiden kontrasti, joista ollaan kiinnostuneita. Koko prosessin laatu riippuu otettuun kuvaan tallentuvasta informaatiosta. Huonon valaistuksen virheitä ei voida jälkikäteen välttämättä korjata. Sovelluksen ulkopuolelta kohteeseen osuvan häiriövalon aiheuttamien ongelmien minimointiin käytetään tavallisesti jompaakumpaa kahdesta eri vaihtoehdosta: 1. Ulkopuolisen valon pääsyn estäminen kuvattavaan kohteeseen. 2. Eriväristen valojen käyttö + suotimet eli filtterit kameraan.

42 4. Konenäköjärjestelmän osat Valon ja aineen vuorovaikutus Tosielämän kappaleet ovat myös monimutkaisempia kuin teoreettisten mallien ideaalikappaleet. Yleensä aina sekä peili- että hajaheijastuksia. Kappaleessa voi olla useita eri materiaalikerroksia, joista ylin päästää läpi tiettyjä aallonpituuksia ja heijastaa toisia. Optimaalisen valaisuratkaisun löytäminen monesti teoreettiseen osaamiseen perustuvaa kokeilua

43 4. Konenäköjärjestelmän osat Valaistus Erilaiset materiaalit absorboivat, eli imevät itseensä, valon eri aallonpituuksia ja heijastavat muut pois. Näin eri materiaalit saavat värinsä. Esim. jos aine heijastaa vihreää, mutta absorboi muut värit, nähdään se aina vihreänä. Absorptio on voimakkainta mustilla kappaleilla.

44 4. Konenäköjärjestelmän osat Valaistus Laser valo on koherenttia, eli samassa vaiheessa olevaa, samanpituista, ja samassa suunnassa värähtelevää valoa. Tällöin aallot vahvistavat toisiaan, eli valon intensiteetti on korkea. LÄHDE: Laser (ja maser) ovat koherenttia säteilyä tuottavia laitteita.

45 4. Konenäköjärjestelmän osat Valaistus Koska laser-valo on erittäin konsentroitunutta ja intensiteetiltään voimakasta, se saattaa polttaa verkkokalvon silmään osuessaan. Jo pienitehoinen (~1 mw) laser voi aiheuttaa näkövaurioita. LÄHDE: Laserit on jaoteltu turvaluokkiin I-IV: I-luokan laser ei aiheuta pysyviä näkövaurioita, IVluokan laser polttaa mm. ihoa. Yleensä laserin kanssa käytetään suojalaseja.

46 4. Konenäköjärjestelmän osat Valaistus Konenäössä yleinen laseria hyödyntävä sovellus on kappaleiden rakenteellinen valaisu. Siinä kappaleeseen projisoidaan laser-valolla luotu tunnettu kuvio (pistematriisi, viiva, ruudukko) tunnetussa kulmassa. Kappaletta kuvataan toisesta kulmasta kameralla ja muototieto tulkitaan projektion poikkeamasta. LÄHDE:

47 4. Konenäköjärjestelmän osat Valon väri Valkoisella valolla saadaan monesti hyvä keskimääräinen kontrasti, mutta käyttämällä värillistä valoa haluttujen piirteiden kontrastia voidaan parantaa huomattavasti. Kappaleet heijastavat tietynväristä valoa ja absorboivat muita aallonpituuksia. Tätä voidaan hyödyntää haluttujen piirteiden korostamiseen (ja muiden piirteiden hävittämiseen).

48 4. Konenäköjärjestelmän osat Valon väri Valon värisävyn valinnassa voidaan hyödyntää oheisessa kuvassa näkyvää väriympyrää. Vastavärin käyttö piirre näkyy tummempana. Saman värin käyttö piirre näkyy kirkkaampana. Esim: jos vihreällä taustalla olevaa punaista kappaletta valaistaan punaisella valolla Kappale näkyy kirkkaana Tausta näkyy tummana Oheisessa kuvaparissa vasemmanpuoleista on valaistu punaisella, oikeaa sinisellä valolla. Tämä toimii siis myös harmaasävykameralla! LÄHDE:

49 4. Konenäköjärjestelmän osat Valaistus Valaistuksen suunnittelu riippuu monista tekijöistä, kuten kuvattavasta kohteesta, ympäristöstä, ympäristön valaistuksesta sekä järjestelmän kokoonpanosta. Konenäköjärjestelmässä valaistuksen tehtävä on tuoda kiinnostavat piirteet selvästi näkyviin. Valaistuksen suunnittelu kannattaa aloittaa pohtimalla vastauksia ainakin seuraaviin kysymyksiin: Onko kuvattavan kohteen pinnat tasaisia vai epätasaisia? Kiiltääkö kuvattava pinta vai onko se matta? Onko kappaleen värillä merkitystä analysoinnin kannalta? Liikkuuko kappale vai pysyykö se kuvauksen aikana paikallaan? Mitä piirteitä kohteesta halutaan nähdä ja tarkastella?

50 4. Konenäköjärjestelmän osat Taustavalaisu (Back lighting) Taustavalaisussa valonlähde on kappaleen alla, jolloin kappale näkyy mustana varjokuvana, siluettina. Menetelmällä saadaan näkyviin kohteen ääriviivat ja reiät tai tasainen valaistus läpinäkyville kohteille. Tämän vuoksi valaisintyyppiä käytetään yleensä silloin, kun halutaan tutkia kappaleiden mittoja tai pinta-aloja, reikien tai aukkojen mittoja, tai reunojen tasaisuutta. Tarkasteltavan kappaleen ei tarvitse olla suoraan valaisimessa kiinni vaan usein onkin parempi, että kappaleen ja valaisimen välillä on etäisyyttää. Erittäin tarkkoja mittauksia tehtäessä käytetään monesti monokromaattista valoa (punaista, vihreää tai sinistä). LÄHDE: LÄHDE:

51 4. Konenäköjärjestelmän osat Suorakohdevalaisu (Bright field /Directional light) Konenäköjärjestelmissä yleisimmin käytetty valaisumuoto. Menetelmässä valo pyritään saamaan mahdollisimman suoraan ja tasaisesti kohteesta kameraan. Yleensä menetelmässä käytetään useita valonlähteitä koko kappaleen valaisemiseksi. Samalla saadaan kohteesta poistettua varjot ja heijastukset. Koska valo on suunnattua, soveltuu se hyvin kontrastierojen luomiseen ja topografisten yksityiskohtien esiintuomiseen. LÄHDE:

52 4. Konenäköjärjestelmän osat Suorakohdevalaisu (Bright field /Directional light) Nyrkkisääntö: valaistun alueen koon pitää olla kaksinkertainen objektiivin kuva-alueeseen (FOV) nähden. LÄHDE: LÄHDE:

53 4. Konenäköjärjestelmän osat Pienikulmainen valaistus (Dark field lighting) Pienikulmaisessa valaistuksessa valo suunnataan tarkasteltavaan kohteeseen loivasta kulmasta, kamera on kohteen yläpuolella. LÄHDE: Kun valo kohdistetaan kappaleeseen pienestä kulmasta, suurin osa siitä heijastuu pois eikä osu kameralle. Peiliheijastuneet säteet eivät näy kameralle, mutta pinnanmuodon vaihtelut näkyvät kirkkaina. Tätä menetelmää käyttämällä saadaan kappaleen reunat ja pinnan epätasaisuudet hyvin esiin, jonka vuoksi sitä käytetäänkin esim. pinnanlaadun ja pintavikojen tutkimiseen.

54 4. Konenäköjärjestelmän osat Diffusoiva kupolivalaistus (Diffuse dome lighting) Menetelmässä valo heijastetaan kupolin kautta kuvattavaan kohteeseen, minkä avulla saadaan poistettua heijastuksia ja varjoja kameran näkymästästä. Käyttämällä erilaisia kupolin muotoja voidaan vaikuttaa siihen, mitä kohtia kappaleesta halutaan korostaa. Kupolivalaistus sopii hyvin heijastavien materiaalien, kuten kiillotettujen metallipintojen ja lasin valaistukseen. Kupolivalaisimet toimivat hyvin myös kiiltävien muotopintojen valaisussa. Että kupolivalaisin olisi tehokas, sen on oltava mahdollisimman lähellä kuvattavaa kohdetta. LÄHDE:

55 4. Konenäköjärjestelmän osat Koaksiaalinen valaistus (Coaxial / On-axis diffuse) Koaksiaalista valaistusta käyttämällä valo saadaan tulemaan kappaleeseen kameran suunnasta, puoliläpäiseviä peilejä käyttäen. Tätä valaisintyyppiä käytetään tavallisesti silloin kun tarkastellaan syviä kuoppia, koska muita valaisintyyppejä käytettäessä kuvaan muodostuu häiritseviä varjoja. Menetelmä soveltuu hyvin tasaisille pinnoille, kaarevilla pinnoilla menetelmä voi olla ongelmallinen. Koaksiaalinen valaistus voi olla kätevä myös silloin kun tilaa on rajallisesti. LÄHDE: LÄHDE:

56 5. Analyysiohjelmistot Yleistä Tavallisilla konenäkökameroilla otettujen kuvien analysointiin on tarjolla useita erilaisia ohjelmistovaihtoehtoja. Jos kamera tukee esim. GigE Vision liitäntästandardia, voidaan se periaatteessa kytkeä mihin tahansa kyseistä liitäntästandardia tukevaan konenäköohjelmistoon. Erityisesti älykameroiden tapauksessa vaihtoehdot voivat kuitenkin olla rajalliset. Esim. Cognexin älykamerat ja 3D-profilointilaitteet tarvitsevat Cognexin ohjelmiston. Ohjelmistoista löytyy pitkälti samat perustoiminnot, kuten reunan- ja muodontunnistukset, laskentatyökalut, värityökalut ja mittaustoiminnot.

57 5. Analyysiohjelmistot Yleistä Konenäköohjelmien välillä on eroja lähinnä työkalujen suorituskyvyssä ja säädettävyydessä, sekä helppokäyttöisyydessä. Ohjelmissa myös hieman erilaisia painotuksia: joissakin on hyvät 3D-ominaisuudet, jossain on keskitytty OCR:ään, jne. Yleiskäyttöisiä kameravalmistajasta riippumattomia analyysiohjelmistoja ovat mm.: MVTec Software GmbH HALCON Cognex Vision Pro Matrox Imaging Library (MIL) Common Vision Blox

58 6. Konenäköjärjestelmän rakentaminen Konenäköjärjestelmän rakentamineen kuuluu tavallisesti seuraavat vaiheet: 1. Kameratyypin valinta (matriisi/viiva/3d) 2. Tarvittavan kuva-alan (FOV) määritys 3. Tarvittavan resoluution laskeminen 4. Kameramerkin/mallin, kuvankaappauskortin, tietokonealustan valinta 5. Optiikan valinta 6. Sopivan valaistuksen valinta 7. Mekaanisten ja sähköisten rajapintojen suunnittelu 8. Konenäköohjelmiston valinta. LÄHDE:

59 6. Konenäköjärjestelmän rakentaminen Ohjelmiston toiminta: 1. Kuvan hankinta 2. Esikäsittely (suodatukset tms) 3. Kappaleiden paikannus kuvasta 4. Piirteiden erottelu ja tulkinta (reunat, muodot, alueet, jne.) 5. Tulosten luominen (vertaaminen toleransseihin jne) 6. Liitäntöjen käsittely (esim. lähdöt logiikalle) LÄHDE:

60 6. Konenäköjärjestelmän rakentaminen Kustannukset: 1. Suunnittelutyöt ja projektinhallinta 2. Laitteet (kamerat, optiikat, valaisimet, anturit, tietokoneet) 3. Ohjelmisto (huomioitava hankintahinnan lisäksi myös mahdolliset vuosimaksut) ja koulutukset 4. Sovelluksen rakentaminen ja ohjelmointi 5. Järjestelmän asennus ja testaus, dokumentointi 6. Ylläpito (puhdistus, lamppujen vaihto, muutokset) LÄHDE:

61 Robottityypit ja mekaaninen rakenne Standardin SFS-EN 775 mukaan robotti on: J. Pakkanen 2015 Automaattisesti ohjattu Uudelleen ohjelmoitava Monikäyttöinen toimilaite Useita vapausasteita Kiinteästi asennettu tai liikuteltava

62 Robottien käyttö teollisuudessa Yleisin tuotantotapa on kiinteän automaation ja ihmistyövoiman yhdistelmä Robotisaatio tarjoaa vaihtoehdon! Robotoinnin tavoitteet Tasaisempi laatu Korkeampi kapasiteetti Vaarallisten, vaikeiden tai tylsien työvaiheiden poistaminen

63 Manipulaattorit Manipulaattori on laite, joka siirtää osia, kappaleita tai laitteita noudattaen yksinkertaista toistuvaa rutiinia. Mikäli rutiinit ovat monimutkaisia ja niitä voidaan muutella, puhutaan robotista. Teollisuudessa on paljon käyttökohteita, joihin robotti on liian monimutkainen ja kallis laite.

64 Robottityypit ja -rakenteet PicRef: Toshiba, Fanuc, adept, ETF Robotics

65 PicRef: ABB, Motoman, adept, Robottityypit ja -rakenteet

66 Portaalirobotti Yksinkertainen ja modulaarinen rakenne Rakenne mahdollistaa laajat työalueet Pystyy käsittelemään suuria massoja Helppo ohjelmoida Tyypilliset tehtävät: Kokoonpano Konepalvelu Pakkaus PicRef: Bosch Rexroth

67 SCARA ROBOT Jäykkä vertikaalinen rakenne Erittäin nopea Tyypilliset tehtävät: Kokoonpano elektroniikka PicRef: 3D CAD Browser

68 RINNAKKAISRAKENTEINEN ROBOTTI Useita rinnakkaisia niveliä Jäykempi rakenne, mutta silti erittäin nopea Yksi perussovellus on Stewardin alusta, jossa kaksi levyä on liitetty toisiinsa kuudella lineaarisella nivelellä. PicRef: adept, Fanuc Tyypilliset tehtävät: Kokoonpano/asennus Pakkaus

69 KÄSITTELYLAITTEET (Ulkoiset akselit) PicRef: ML Material

70 Kinematiikka Suora kinematiikka työkalun aseman laskenta vapausasteiden paikkatietojen perusteella missä on robotin työkalupiste tällä hetkellä Käänteinen kinematiikka vapausasteiden paikka-arvojen laskenta työkalun aseman perusteella miten robotti saavuttaa tietyn pisteen liikeavaruudessaan

71 J. Pakkanen 2015 Teollisuusrobotti

72 Robotin perusrakenne Ohjelmointiyksikkö Ohjain Manipulaattori

73 Teollisuusrobotti Joint 4 Joint 5 Joint 6 Joint 3 Joint 2 Joint 1

74 Mekaaninen rakenne

75 Robotin koordinaattijärjestelmät J. Pakkanen 2015

76 Koordinaattijärjestelmä Robottikäden liikkeet on kuvattu useassa eri koordinaattijärjestelmässä peruskoordinaatisto maailmankoordinaatisto käyttäjäkoordinaatisto kohteen koordinaatisto (kappale) työkalukoordinaatisto Jokainen koordinaatisto viittaa eri fyysiseen sijaintiin.

77 Koordinaattijärjestelmä

78 Robotiikka ABB Robotin ohjelmointi, joitain esimerkkejä J. Pakkanen 2015

79 Liikekäsky sisältää : TCP:n paikkatieto (X,Y,Z ja työkalun asento) Paikka voi olla tähtenä (*) tai sille voi antaa nimen. MoveL * v 1000, Z50, Tool0, Wob 0 Liikekäskytyyppi Nopeus Työkaludata Työkappaledata Paikoitustarkkuus

80 Liikekäskyt: MoveL Lineaariliike. Liikkeen aikana työkalun orientaatio pysyy samana MoveL * v 1000, Z50, tool0 A B Aloituspiste (edellinen piste).

81 Liikekäskyt: MoveJ Join-liike. Jokaista robotin akseli ohjataan yhtäaikaa siten että kaikki akselit saavuttavat nivelarvon samanaikaisesti. MoveJ * v 1000, Z50, tool0 A B Aloituspiste (edellinen piste).

82 Liikekäskyt: MoveC Ympyränkaari liike. Työkalun orientaatio pysyy samana liikkeen ajan MoveC, käsky tarvitsee kaksi paikkatietoa. MoveC *, * v 1000, Z50, tool0 Aloitus. Edellisen käskyn paikka.

83 Offset-poikkeaman ohjelmointi Esimerkki p1 100mm 80mm MoveL p1, MoveL offs(p1, 0, 100, 0), MoveL offs(p1, 80, 100, 0), MoveL offs(p1, 80, 0, 0), MoveL p1,...

84 Kommunikointi käyttäjän kanssa Kommunikointikäskyillä voidaan ohjelmakulun aikana esittää kysymyksiä tai antaa informaatiota ohjelmointilaitteen näytöllä. Vastaukset annetaan ohjelmointilaitteen numeronäppäimillä. TPReadNum TPReadFK TPWrite vastaukset tallentuvat halutun muuttujan arvoksi. TPErase

85 Ohjelman kulun kontrollointi Ohjelman kulku käskyillä määritellään missä järjestyksessä RAPID koodi toteutetaan. Ohjelman kulkuun vaikuttavia käskyjä: TEST WHILE IF FOR Compact IF GOTO EXIT,STOP BREAK

86 Ohjelman kulun kontrollointi Tulon odottaminen WaitDI DI10_1, 1 odota kunnes digitaalinen tulo DI10_1 = 1 ts. Ohjelmasuoritus jatkuu vasta kun DI10_1:n arvo on 1 WaitUntil DI10_1 = 1 AND DI10_2 = 1 käytetään useampien tulojen odottamiseen

87 Yhteistyörobotiikka (ja robottiturvallisuus)

88 Robottiturvallisuus perinteisesti Konedirektiivi, turvallisuusstandardit PicRef: Suomen Robotiikkayhdistys Ry

89 Yhteistyörobotiikka Collaborative Robotics Standardin ISO/TS vaatimukset täyttävä robotti Suunniteltu toimimaan samassa tilassa ihmisen kanssa Robotti tunnistaa törmäyksen ja sen ympäristöönsä aiheuttamaa maksimivoimaa jne. voidaan säätää monipuolisesti Etuja verrattuna perinteisiin teollisuusrobotteihin Nopeita asentaa ja käyttöönottaa, turvallisuusvälineiden kuten aitojen ja valoverhojen suunnittelulta voidaan välttyä Toimiminen yhdessä ihmisen kanssa

90 Yhteistyörobotiikka Collaborative Robotics Turvallisuutta ei kuitenkaan voi unohtaa, vaan käyttökohteen turvallisuutta on tarkasteltava kokonaisuutena Asioita joita täytyy ottaa huomioon: Raajojen jääminen robottien nivelten väliin saksiotteeseen Tarttujan tartuntavoima Työkappaleiden ja tarttujan terävät lävistävät reunat Painavan työkuorman aiheuttama riski Jne.

91 Yhteistyörobotiikka PicRef: Universal Robots, Fanuc, ABB, Kuka