4. Lineaariset diskriminanttifunktiot
|
|
- Outi Sariola
- 7 vuotta sitten
- Katselukertoja:
Transkriptio
1 75 / Lineaariset diskriminanttifunktiot Piirrevektorin x komponenttien suhteen lineaarinen diskriminanttifunktio voidaan kirjoittaa muotoon: g( x) = w t x + w 0, jossa w on painokerroinvektori ja w 0 on bias eli kynnyspainokerroin. Yleisessä tapauksessa jokaiselle luokalle määritetään oma diskriminanttifunktio, ja hahmo luokitellaan siihen luokkaan jonka d-funktio antaa suurimman arvon pisteessä x. 4.1 Kaksiluokkainen tapaus Kuten aiemmasta käsittelystä muistetaan (Kpl ), kahden luokan tapauksessa luokkien d-funktiot voidaan yhdistää ja tuloksena on yksi d-funktio. Päätössääntö kirjoitetaan tässä kappaleessa muotoon: Päätä ω 1 jos g( x) > 0, ja päätä ω jos g( x) < 0 ; mikäli g(x)=0, jätetään päätös tekemättä. Päätössääntö voidaan kirjoittaa myös muotoon: Päätä ω 1, jos w t x, josta selittyy termi kynnyspainokerroin. Diskriminanttifunktio voidaan kirjoittaa muotoon: d > w 0, muutoin päätä ω g( x) = w t x + w 0 = w i x i + w 0 = w i x i i = 1 i = 0, jossa x 0 =1 kiinteästi. Seuraava kuva havainnollistaa graafisesti tämän d-funktion rakennetta. d
2 76 / 99 Yhtälö g(x)=0 määrittelee luokkia ω 1 ja ω erottelevan päätöspinnan. Kun g(x) on lineaarinen, päätöspinta on hypertaso. Päätöspinta jakaa piirreavaruuden kahteen päätösalueeseen R 1 ja R. Olkoon x 1 ja x päätöstasossa sijaitsevia pisteitä. Tällöin pätee: w t x 1 + w 0 = w t x + w 0 w t ( x 1 x ) = 0 eli painokerroinvektori w määrittelee tason normaalivektorin. w osoittaa päätösalueen R 1 suuntaan, mikä nähdään seuraavasti: Ensin sopimus: Olkoon hypertason yhtälö H(x)=0, eli: kun piste x sijaitsee tasolla, lauseke H(x) saa arvon H(x)=0 kun H(x)>0, niin sanotaan että piste x on tason positiivisella puolella kun H(x)<0, niin sanotaan että piste x on tason negatiivisella puolella
3 77 / 99 Oletetaan nyt yksinkertaisuuden vuoksi, että w 0 =0, eli taso kulkee origon kautta. Pistetulo w t x voidaan tulkita vektorin x projektion pituudeksi vektorilla w. Jos piste x on samalla puolella tasoa kuin mihin w osoittaa, projektio on positiivinen, päinvastaisessa tapauksessa negatiivinen. Koska g(x)>0, kun piste x sijaitsee tason positiivisella puolella, niin myös vektori w osoittaa tason positiiviselle puolelle. Alla havainnollistava kuva: M.O.T. x w w t x >0 w t x <0 x x 1 x hypertaso=suora L Biastermi w 0 mahdollistaa hypertason siirtämisen pois origosta, mikä puolestaan mahdollistaa suuremman joustavuuden tason sijoittelussa luokkien väliin. Itse asiassa diskriminanttifunktio g(x) antaa pisteen x etäisyyden hypertasosta. Tämä nähdään seuraavasti: Merkitään (katso seuraava kuva): x = x p + r w w, jossa x p on vektorin x kohtisuora projektio hypertasolle, r on pisteen x etäisyys hypertasosta ja w w on tason yksikkönormaalivektori.
4 78 / 99 Koska g(x) on lineaarinen ja g(x p )=0 määritelmän mukaan, saadaan: g( x) = g x p + r w w = w t x + r w p w + w 0 ( w t x p + w 0 ) r wt w = g( x w p ) r w = = r w w r = g( x) w Painokertoimista w ja w 0 voidaan laskea hypertason etäisyys origosta: r g( 0) w t 0 + w = = = w w w w Jos w 0 >0 niin origo on tason positiivisella puolella, ja jos w 0 <0 niin origo on tason negatiivisella puolella, ja jos w 0 =0 niin taso kulkee origon kautta.
5 79 / 99 Edellä diskriminanttifunktio kirjoitettiin muodossa: d g( x) = w t x + w 0 = w i x i + w 0 = i = 1 d i = 0 w i x i Nyt voidaankin merkitä: y = [ 1, x 1,, x d ] t = [ 1, x t ] t, jota kutsutaan laajennetuksi piirrevektoriksi (augmented feature vector). Vastaavasti merkitään laajennettu painokerroinvektori (augmented weight vector): a = [ w 0, w 1,, w d ] t = [ w 0, w t ] t Tämä voidaan tulkita geometrisesti siten, että kuvataan d-ulotteinen x-avaruus (d+1)-ulotteiseksi y-avaruudeksi. Kaikki vektorit y sijoittuvat d-ulotteiseen x-vektoreiden virittämään aliavaruuteen, sillä vakiokomponentin (1) lisääminen piirrevektorin uudeksi komponentiksi ei vaikuta mitenkään näytevektorien välisiin etäisyyksiin: d D ( y 1, y ) ( y 1i y i ) 1 d = = ( y10 y0 ) + ( y 1i y i ) i = 0 i = 1 d ( y 1i y i ) 1 d = ( x 1i x i ) 1 = = D ( x1, x) i = 1 i = 1 Diskriminanttifunktion muoto on nyt: g(x)=a t y. Lausekkeen muodosta voi päätellä, että päätöstaso kulkee y-avaruudessa origon kautta, vaikka x-avaruudessa se voi sijaita origosta erillään. Alla oleva kuva havainnollistaa tilannetta. Tällä merkintätavalla saavutetaan etu, että diskriminanttifunktion kaikki painokertoimet saadaan estimoitua yhdellä kertaa yhtenäisen esitystavan vuoksi, eikä biastermiä tarvitse laskea erikseen. 1
6 80 / 99
7 81 / Moniluokkainen tapaus On olemassa eri tapoja käsitellä moniluokkainen tapaus. Moniluokkainen tapaus voitaisiin periaatteessa jakaa c-1:ksi kaksiluokkaiseksi tapaukseksi, jossa yksi luokka kerrallaan erotetaan muista luokista yhden diskriminanttifunktion avulla. Toinen mahdollisuus on määritellä diskriminanttifunktio jokaiselle luokkaparille, mikä johtaisi c(c-1)/ päätöspintaan. Nämä vaihtoehdot voivat toimia aivan hyvin sopivissa sovelluksissa. Ne kuitenkin yleensä jättävät osan piirreavaruudesta määrittelemättä eli päätösalueet eivät kokonaan kata piirreavaruutta. Tämä ongelma voidaan välttää määrittelemällä kullekin luokalle yksi diskriminanttifunktio ja käyttämällä aiemmin esiteltyä päätössääntöä. Päätä ω i, jos g i ( x) > g j ( x) kaikilla j i Jos vähintään kaksi saa suurimman arvon, älä luokittele
8 8 / 99 Tätä luokittelijaa kutsutaan lineaariseksi koneeksi, sillä se jakaa piirreavaruuden kattavasti päätösalueisiin hypertasoilla. Hypertasojen H ij yhtälöt voidaan ratkaista asettamalla pareittain g i ( x) = g j ( x) kullekin i-j-parille. On kuitenkin huomattava, että välttämättä kaikkia näin saatuja tasoja ei tarvita piirreavaruuden jakamisessa päätösalueisiin, kuten alla olevasta kuvastakin näkyy. Päätöspintojen yhtälöiksi saadaan: ( w i w j ) t x + ( w i0 w j0 ) = 0, jossa x on päätöspinnalla sijaitseva piste. Jos pisteet x 1 ja x sijaitsevat päätöspinnalla H ij, niin vähentämällä yhtälöt toisistaan saadaan w i -w j on hypertason H ij normaalivektori. ( w i w j ) t ( x 1 x ) = 0, eli vektori Lasketaan myös pisteen x etäisyys päätöstasosta. Merkitään vastaavasti kuin edellä: x x p r w i w j = , jolloin: w i w j g i ( x) g j ( x) ( w i w j ) t x p r w i w j = w i w j + ( w i0 w j0 ) = [( w i w j ) t x p + ( w i0 w j0 )] + r w i w j = r w i w j r = g i ( x) g j ( x) w i w j
9 83 / 99 Pisteen sijoittuminen johonkin päätösalueeseen riippuu siitä, millä etäisyydellä ja puolella se on päätöstasoihin nähden. Tämä taas riippuu painokerroinvektorien erotuksista. Lineaarisessa koneessa päätösalueet ovat kuperia (convex) eivätkä voi jakautua edelleen useisiin alueisiin, mikä rajoittaa niiden käyttökelpoisuutta. Päätösalueiden yhtenäisyyden takia menetelmä sopii erityisesti tapauksiin, joissa luokkaehdolliset jakaumat p( x ω i ) ovat yksihuippuisia.
10 84 / Lineaarisesti erottuvat luokat Tähän saakka olemme tarkastelleet päätöstasojen käyttämistä luokittelussa. Entä kuinka nämä päätöstasot määritetään? Tarkastellaan kahden luokan tapausta ja niiden välisen lineaarisen päätöspinnan hakemista. Olkoon joukko näytteitä y 1,...y n, joista osalla on leima ω 1 ja lopuilla leima ω. Haluamme käyttää näitä näytteitä määräämään painokerroinvektorin a lineaarisessa diskriminanttifunktiossa g(x)=a t y. Mikäli onnistumme löytämään kaikki näytteet oikein luokittelevan diskriminanttifunktion vektorin a, sanomme että luokat ω 1 ja ω ovat lineaarisesti erottuvia (linearly separable). Sovitaan, että luokkaan ω 1 kuuluva näyte y i luokitellaan oikein mikäli a t y i > 0, ja vastaavasti luokkaan ω kuuluva näyte y i luokitellaan oikein mikäli a t y i < 0. Tehdään käsittelyä yksinkertaistava muunnos datalle siten, että korvataan kaikkien luokkaan ω kuuluvat vektorit niiden negaatiolla, eli y i y i, jos y i ω. Nyt voidaan etsiä sellainen vektori a jolle a t y i > 0 kaikille näytteille. Kaikki näytevektorit siis osoittavat päätöstason positiiviselle puolelle. Sellaista vektoria a kutsutaan erotteluvektoriksi (separating vector) tai ratkaisuvektoriksi (solution vector). Koska siirrymme nyt tarkastelemaan vektorin a laskemista, siirrytään myös tarkastelemaan ratkaisun etsimistä painokerroinavaruuteen (weight space) johon vektori a osoittaa. Jokainen näyte y i asettaa rajoitteen ratkaisulle. Yhtälö a t y i = 0 määrää origon kautta kulkevan hypertason H i, jonka normaalivektori y i on. Ratkaisuvektorin tulee sijaita jokaisen hypertason H i positiivisella puolella, koska ratkaisussa a t y i > 0 ja kaikki vektorit y i sijoittuvat positiiviselle puolelle. Täten ratkaisuvektori sijoittuu n:n puoliavaruuden leikkausalueeseen, jota kutsutaan ratkaisualueeksi (solution region). Alla oleva kuva havainnollistaa tilannetta.
11 85 / 99 Kuten ratkaisualueen koosta näkyy, ratkaisuvektoreita voi olla useitakin. Ratkaisualueen pienentämiseksi on kehitetty useitakin menetelmiä, kuten: etsitään ratkaisuvektori a, jolle päätöstason minimietäisyys näytteisiin on suurin etsitään lyhin ratkaisuvektori a, jolle pätee: a t y b > 0, jossa b on marginaali. Jälkimmäinen menetelmä johtaa ratkaisualueeseen, joka sisältyy alkuperäiseen alueeseen ollen marginaalin b määräämän verran alkuperäistä suppeampi.
12 86 / 99 Näiden menetelmien tarkoituksena on löytää ratkaisuvektori a, joka olisi mahdollisimman keskellä ratkaisualuetta. Tämä siksi, että päätöstaso kulkisi mahdollisimman keskeltä luokkien ω 1 ja ω välissä, eli mahdollisimman etäällä niistä. Tämä taas siksi, että luokittelija kykenisi luokittelemaan mahdollisimman luotettavasti myös uudet näytteet, jotka äärellisen opetusaineiston koon ja satunnaisuuden takia luonnollisesti jakautuvat hieman eri tavalla Gradienttihakumenetelmiä painokerroinvektorin etsimiseen Käytetään lähestymistapaa, jossa etsitään ratkaisu lineaariselle epäyhtälöryhmälle a t y i > 0 käyttämällä tiettyä kriteerifunktiota (virhefunktio) J(a) joka minimoituu kun a on ratkaisuvektori. Siirrymme siis ratkaisemaan skalaariarvoisen funktion minimoimisongelmaa, mikä voidaan usein tehdä gradienttihaulla. Kriteerifunktio J(a) antaa jokaisessa a-avaruuden pisteessä lukuarvon, joka kuvastaa käytettävällä aineistolla luokittelijan tekemää virhettä kyseisellä a:n arvolla. Tästä muodostuu d-ulotteinen pinta (maisemaprofiili), jossa on kriteerifunktion muodosta riippuen eri määrä minimejä ja maksimeja. Sen syvimpään minimikohtaan pitäisi päästä, tai ainakin sovelluksen kannalta riittävän syvään minimiin. Mikäli minimejä on useita, syvin niistä on ns. globaali minimi, ja muut lokaaleja (paikallisia) minimejä.
13 87 / 99 Perusversio on yksinkertainen. Aloitamme satunnaisesti alustetusta vektorista a(1) ja laskemme gradienttivektorin J( a( 1) ). a:n seuraava arvo a() saadaan siirtymällä a-avaruudessa jyrkimpään laskusuuntaan, eli gradienttivektorin suhteen vastakkaiseen suuntaan. Gradienttivektori nimittäin osoittaa jyrkimpään noususuuntaan J(a)-pinnalla. Iteratiivisen laskennan merkintätavan mukaisesti:, jossa η( k) on iteraatiokerrasta riippuva positiivinen oppimisnopeuskerroin (learning rate), jolla voidaan hidastaa tai nopeuttaa hakua. Usein valitaan: η( k) = η( 1) k Algoritmi 1. Gradienttihaun perusversio. begin initialize a, kynnys θ, η (.), k=0 end do until return a k k + 1 a( k + 1) = a( k) η( k) J( a( k) ) a a η( k) J( a) η( k) J( a) < θ Kynnysarvo θ pysäyttää iteroinnin, kun a:n lisäys alkaa olla erittäin pieni, mikä tapahtuu oltaessa hyvin lähellä ratkaisua eli minimikohtaa. Näytejoukko ajetaan läpi niin monta kertaa, että ratkaisuvektori löytyy. Gradienttihakuun liittyy hyvin tunnettuja ongelmia. Esimerkiksi se löytää kyllä minimikohdan, mutta ei välttämättä riittävän hyvää saati globaalia, koska se ei pääse ylös löytämästään minimikohdasta jatkamaan hakua. Toinen ongelma on oppimisnopeuskertoimen valinta: liian pieni arvo johtaa hitaaseen algoritmin suupenemiseen, kun taas liian suuri saattaa estää minimin löytymisen. Kertoimelle on johdettu järkevän arvon tuottavia lausekkeita, joista yksi on: η( k) = J J t H J, jossa H on Hessian matriisi sisältäen elementit J a i a j pisteessä a(k). Mikäli kriteerifunktio J on neliöllinen, H on vakio ja η( k) on k:sta riippumaton vakio.
14 88 / 99 Toinen gradianttihakumenetelmä on Newtonin algoritmi: Algoritmi. Newtonin gradienttihakualgoritmi. begin initialize a, kynnys θ do a a H 1 J ( a ) end until return a H 1 J ( a ) < θ Yleensä Newtonin algoritmi tuottaa nopeamman etenemisen askelta kohden kuin perusgradienttihaku. Tosin, ei toimi kun H on singulaarinen, koska sen käänteismatriisia ei tällöin voida laskea. Lisäksi, Newtonin algoritmi on laskennallisesti raskas käänteismatriisin laskemisen takia; kääntäminen vaatii O(d 3 ) laskentaoperaatiota. Tämän takia Newtonin algoritmia käytettäessä oppimiskerroin asetetaan tyypillisesti pieneksi ja otetaan sitten enempi iterointiaskelia.
15 89 / Perceptronin kriteerifunktion minimointi Perceptron-menetelmän kehitti Frank Rosenblat 1961 ja sitä pidetään ensimmäisenä menestyneenä neuroverkkona, jossa tosin oli vain yksi neurooni. Gradienttihaussa tarvitaan kriteerifunktio J(a; y 1,...,y n ), jota minimoitaessa ratkaistaan epäyhtälöryhmä a t y i > 0. Yksi ilmeinen valinta J:lle on virheellisesti luokiteltujen näytteiden lukumäärä. Tämä on kuitenkin paloittain vakio funktio, minkä takia se on gradienttihakuun huono valinta. Parempi valinta on Perceptronin kriteerifunktio: J p ( a) = ( a t y) y Y, jossa Y(a) on väärinluokiteltujen näytteiden joukko. Mikäli on löytynyt sellainen a, että luokitteluvirheitä ei tule ja joukko Y(a) on tyhjä, kriteerifunktio määritellään nollaksi ja ratkaisu on löytynyt. Kuten edellä todettiin, näytevektorit y i on normalisoitu siten, että luokkaan ω kuuluvat vektorit on korvattu negaatioillaan. Täten, kun ratkaisu on löytynyt, kaikki a t y i > 0. Ratkaisua vielä etsittäessä jotkin näytteistä luokitellaan väärin, jolloin kyseisten näytteiden tapauksissa a t y i < 0. Nämä a t y i -termit kootaan yllä esitettyyn J p -lausekkeeseen, jolloin siitä tulee lukuarvoltaan positiivinen, ja sen minimoimista tulee jatkaa. Geometrisesti tulkittuna J p on verrannollinen väärinluokiteltujen näytteiden etäisyyksiin päätöspinnasta, sillä r i = a t y i a. Seuraavan sivun kuva havainnollistaa erilaisten kriteerifunktioiden tuottamia virhepintoja J p (a).
16 90 / 99 Koska funktion J p gradientin j:s komponentti on J p a j, saadaan: J p = a0 y a 0 J 0 y p = a = : y Y. y Y y d = ad y a d d y Y ( y)
17 91 / 99 Tästä saadaan Perceptron-algoritmi: Algoritmi 3. Perceptron gradienttihakualgoritmi, batch-versio. begin initialize a, kynnys θ, η (.), k=0 do k k + 1 a a + η( k) y y Y end return a until η( k) y < θ y Y Eli, painokerroinvektoria a päivitetään summaamalla siihen väärin luokiteltujennäytteiden summa oppimisnopeuskertoimella painotettuna! Batch-versio tarkoittaa sitä, että kaikki väärin luokitellut näytevektorit (batch) huomioidaan kerralla. Algoritmista on olemassa yksittäiseen väärin luokiteltuun näytteeseen perustuva versio, johon tutustutaan seuraavaksi. Seuraava versio päivittää painovektoria a aina kun tehdään virheellinen luokittelu. Oppimisnopeuskerroin on kiinnitetty vakioksi 1. (Fixed-increment single-sample Perceptron): Algoritmi 4. Perceptron gradienttihakualgoritmi, yhden näytteen versio. begin initialize a, k=0 do k = ( k + 1) mod n if a t y k 0 then a a + y end return a until a t y k > 0, k Tämä algoritmi on ehkä yksinkertaisin kehitetty menetelmä lineaarisen epäyhtälöryhmän ratkaisemiseksi. Se geometrinen tulkinta on opettavainen: Jos
18 9 / 99 näyte y k luokitellaan väärin, se on päätöstason väärällä puolella eli eri puolella kuin a. Käännetään tällöin tason suuntavektoria a vektorin y k suuntaan, jolloin todennäköisyys kasvaa että y k sijoittuu oikealle puolelle tasoa (sama puoli kuin missä a sijaitsee). Allaolevat kuvat havainnollistavat algoritmia: H y k y k a a H
19 93 / 99
20 94 / 99 Teoreema: Jos kaksiluokkainen näytejoukko on lineaarisesti erottuva, Algoritmi 4 löytää ratkaisun ja tekee sen äärellisellä määrällä iteraatiokierroksia. Todistus: Olkoon kyseessä lineaarisesti erottuva tapaus ja â eräs ratkaisuvektori ja α>0. Algoritmikuvauksesta saadaan väärin luokitellulle näytteelle: a( k + 1) αâ = ( a( k) αâ) + y k a( k + 1) αâ = a( k) αâ ( a( k) αâ) t + y k + y k a( k + 1) αâ a( k) αâ αâ t y k + y k Kolmas lauseke seuraa siitä, että a t y k < 0 β = max y i. Merkitään nyt: γ = min [ â t y i ] > 0 Valinnalla α = β γ saadaan: a( k + 1) αâ a( k) αâ αγ + β = a( k) αâ β Eli yksi iteraatio pienentää a-vektorin etäisyyttä ratkaisuvektorista vähintään tekijällä β. Puretaan lauseketta aina ensimmäiseen iteraation saakka: a( k + 1) αâ a( k) αâ a( k + 1) αâ β a( k 1) αâ β a( 1) αâ kβ Lausekkeen oikea puoli pienenee kohti nollaa alittaen sen tietyllä iteraatiokerralla. Koska lausekkeen vasen puoli on ei-negatiivinen, täytyy käydä niin, että vektori a lähestyy ratkaisuvektoria αâ ylitä arvoa: ja päätyy hyvin lähelle sitä askelmäärässä joka ei a( 1) αâ k 0 = β Koska tämän mukaan iterointi päättyy äärellisen askelmäärän jälkeen ja toisaalta koska algoritmi jatkaa iterointia kunnes virheitä ei tapahdu, täytyy olla niin että
21 95 / 99 Algoritmi 4 löytää ratkaisun ja tämä tapahtuu äärellisessä ajassa! Asettamalla a(1)=0 saadaan k 0 :lle yksinkertainen muoto: α â β k â = β = γ = max y i â min [ â t y i ] M.O.T. Nimittäjästä nähdään, että iteraatiomäärä kasvaa suureksi, kun osa näytevektoreista on lähes kohtisuorassa ratkaisuvektoria vastaan. Näin käy erityisesti silloin, kun näytteet sijaitsevat lähestulkoon vierekkäisissä samansuuntaisissa tasossa: Tässä vielä yksi versio Perceptronista: Algoritmi 5. Perceptron gradienttihakualgoritmi, muuttuva oppimisnopeus ja marginaali. begin initialize a, kynnys θ, η (.) do k = ( k + 1) mod n, k=0, marginaali b if a t y k b then a a + η( k)y k end return a until a t y k > b, k
22 96 / Pienimmän neliövirheen hakumenetelmät Edellä kuvattuja gradienttihakumenetelmiä kutsutaan virheenkorjausmenetelmiksi (error-correcting procedures), koska ne keskittyvät vain väärin luokiteltuihin näytteisiin ja koettavat muuttaa painokertoimia siten että näytteet luokiteltaisiin jatkossa oikein. Nämä soveltuvat sovelluksiin, joissa luokitteluvirheen arvellaan olevan hyvin pieni. Nimittäin pienellä opetusaineistolla saattaa hyvinkin löytyä luokat täysin toisistaan erottava päätöstaso. Mutta riippumattomalla testiaineistolla luokittelu saattaa jo sisältää virheitä. Suuret opetusaineistot ovat todellisuudessa harvoin täysin erottuvia. Siirrymme nyt menetelmiin, jotka hyödyntävät kaikki näytteet ratkaisua haettaessa. Hakuongelma määritellään paremmin ymmärretyksi lineaarisen yhtälöryhmän ongelmaksi, jossa pyritään tavoitteeseen a t y i =b i, jossa termit b i ovat positiivisia vakioita. Siirrytään matriisimerkintään: kootaan y-vektorit vaakasuuntaisiksi riveiksi matriisiin Y, josta täten tulee n ( d + 1) -kokoinen. Merkitään nyt: y 10 y 1d : : : : : : y n0 y nd a 0 : a d = b 1 : : b n eli Ya = b Mikäli n=(d+1) ja Y on ei-singulaarinen, voidaan yhtälö ratkaista suoraan: a = Y 1 b. Yleensä n>>(d+1) eli yhtälöryhmä on ylimääritelty ja tarkkaa ratkaisua ei ole. Tällöin voidaan kuitenkin koettaa löytää sellainen a, joka minimoi virhevektorin e=ya-b sisältävän funktion. Yksi mahdollisuus on minimoida virhevektorin pituus, mikä on ekvivalentti neliösummavirheen minimoimisen kanssa. Menetelmää kutsutaan pienimmän neliövirheen menetelmäksi (minimum squarederror, MSE).
23 97 / 99 Kriteerifunktio on tällöin: J s ( a) = Ya b = i = 1 ( a t y i b i ) Koska kyseessä on neliöllinen funktio, sen minimikohta löytyy asettamalla gradienttivektori nollavektoriksi ja ratkaisemalla a: n n J s = a t y i b i = Y t ( Ya b) 0 i = 1 a Y t Ya = Y t b = ( Y t Y) 1 Y t b = Y + b, jossa Y + ( Y t Y) 1 Y t on Y:n pseudoinverssi. Mikäli Y on neliömatriisi ja eisingulaarinen, sen pseudoinverssi on sama kuin sen normaali käänteismatriisi: Y + Y = ( Y t Y) 1 Y t Y = I. Mutta yleensä YY + I. Nyt sanotaan, että a=y + b on MSE-ratkaisu yhtälölle Ya=b. Ratkaisu riippuu b:n arvosta; huonolla valinnalla menetelmä ei välttämättä löydä ratkaisua edes lineaarisesti erottuvalle tapaukselle. Esimerkki lineaarisen luokittelijan suunnittelusta: Olkoon datajoukko seuraava: ω 1 = {[ 1, ] t, [, 0] t }, ω = {[ 3, 1] t, [, 3] t }. Päätöspinta saadaan asettamalla lineaarinen diskriminantti nollaksi: g(x)=a t y=0. Matriisi Y ja sen
24 98 / 99 pseudoinverssi ovat: Y 1 1 = 1 0 Y = Asetetaan mielivaltaisesti b=(1,1,1,1) t, jolloin a=y + b=(11/3, -4/3, -/3) t. x Päätössuoran yhtälö on siis: (11/3) - (4/3)x 1 - (/3)x = 0. Esimerkki loppuu Pienimmän keskineliövirheen menetelmä Kriteerifunktio voidaan minimoida myös gradienttimenetelmällä. Tällä on kaksi etua MSE-menetelmään nähden: 1) voidaan ratkaista vaikka Y t Y on singulaarinen, ja ) ei tarvita suurten matriisien käsittelyä. Kuten edellä nähtiin, kriteerifunktion gradientti on: n Tämä voitaisiin sijoittaa suoraan gradienttihakumenetelmän algoritmiin, jolloin saataisiin batch-versio. Nyt kuitenkin käytetään versiota, jossa käsitellään yksi näyte kerrallaan. Algoritmia nimitetään keksijöidensä mukaisesti Widrow-Hoff - menetelmäksi tai pienimmän keskineliövirheen menetelmäksi (least-mean-squared, LMS). Saadaan siis: Algoritmi 6. LMS begin initialize a, b, kynnys θ, η (.), k=0 do J s ( a) = Ya b k = ( k + 1) mod n x 1 J s = ( a t y i b i )y i i = 1
25 99 / 99 end return a until a a + η( k) ( b k a t y k )y k η( k) ( b k a t y k )y k < θ Ominaisuuksista voi todeta sen, että LMS-menetelmä ei välttämättä suppene täydellisesti erottavaan päätöstasoon, vaikka sellainen olisikin olemassa. Seuraavan sivun kuva havainnollistaa tätä. Sopivan b-vektorin valitseminen ei ole triviaali tehtävä. On olemassa sellaisia gradienttimenetelmiä, jotka hakevat sekä a:n että b:n samalla kertaa. Tällainen menetelmä on esimerkiksi Ho-Kashyap-menetelmä, joka kuitenkin sivuutetaan tällä kurssilla.
Kaksiluokkainen tapaus, lineaarinen päätöspinta, lineaarisesti erottuvat luokat
1 Tukivektoriluokittelija Tukivektorikoneeseen (support vector machine) perustuva luoikittelija on tilastollisen koneoppimisen teoriaan perustuva lineaarinen luokittelija. Perusajatus on sovittaa kahden
Lisätiedot1. LINEAARISET LUOKITTIMET
1. LINEAARISET LUOKITTIMET Edellisillä luennoilla tarkasteltiin luokitteluongelmaa tnjakaumien avulla ja esiteltiin menetelmiä, miten tarvittavat tnjakaumat voidaan estimoida. Tavoitteena oli löytää päätössääntö,
LisätiedotInversio-ongelmien laskennallinen peruskurssi Luento 7 8
Inversio-ongelmien laskennallinen peruskurssi Luento 7 8 Kevät 2011 1 Iteratiivisista menetelmistä Tähän mennessä on tarkasteltu niin sanottuja suoria menetelmiä, joissa (likimääräinen) ratkaisu saadaan
Lisätiedot4.0.2 Kuinka hyvä ennuste on?
Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki
LisätiedotVektorien pistetulo on aina reaaliluku. Esimerkiksi vektorien v = (3, 2, 0) ja w = (1, 2, 3) pistetulo on
13 Pistetulo Avaruuksissa R 2 ja R 3 on totuttu puhumaan vektorien pituuksista ja vektoreiden välisistä kulmista. Kuten tavallista, näiden käsitteiden yleistäminen korkeampiulotteisiin avaruuksiin ei onnistu
Lisätiedot, on säännöllinen 2-ulotteinen pinta. Määrää T x0 pisteessä x 0 = (0, 1, 1).
HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi II, syksy 017 Harjoitus 4 Ratkaisuehdotukset 4.1. Osoita, että tasa-arvojoukko S F (0), F : R 3 R, F (x) = 3x 1 x 3 + e x + x e x 3, on säännöllinen
Lisätiedot3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä
1 3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a
LisätiedotLuento 8: Epälineaarinen optimointi
Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori 0 = (0,..., 0). Reaalisten m n-matriisien joukkoa merkitään
LisätiedotLuento 10: Optimointitehtävien numeerinen ratkaiseminen; optimointi ilman rajoitusehtoja
Luento 10: Optimointitehtävien numeerinen ratkaiseminen; optimointi ilman rajoitusehtoja Seuraavassa esitetään optimointitehtävien numeerisia ratkaisumenetelmiä, eli optimointialgoritmeja, keittokirjamaisesti.
LisätiedotAvaruuden R n aliavaruus
Avaruuden R n aliavaruus 1 / 41 Aliavaruus Esimerkki 1 Kuva: Suora on suljettu yhteenlaskun ja skalaarilla kertomisen suhteen. 2 / 41 Esimerkki 2 Kuva: Suora ei ole suljettu yhteenlaskun ja skalaarilla
Lisätiedot. Kun p = 1, jono suppenee raja-arvoon 1. Jos p = 2, jono hajaantuu. Jono suppenee siis lineaarisesti. Vastaavasti jonolle r k+1 = r k, suhde on r k+1
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-.39 Optimointioppi Kimmo Berg 8. harjoitus - ratkaisut. a)huomataan ensinnäkin että kummankin jonon raja-arvo r on nolla. Oletetaan lisäksi että
Lisätiedot1 Kertaus. Lineaarinen optimointitehtävä on muotoa:
1 Kertaus Lineaarinen optimointitehtävä on muotoa: min c 1 x 1 + c 2 x 2 + + c n x n kun a 11 x 1 + a 12 x 2 + + a 1n x n b 1 a 21 x 1 + a 22 x 2 + + a 2n x n b 2 (11) a m1 x 1 + a m2 x 2 + + a mn x n
LisätiedotLuento 8: Epälineaarinen optimointi
Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori = (,..., ). Reaalisten m n-matriisien joukkoa merkitään
LisätiedotRistitulolle saadaan toinen muistisääntö determinantin avulla. Vektoreiden v ja w ristitulo saadaan laskemalla determinantti
14 Ristitulo Avaruuden R 3 vektoreille voidaan määritellä pistetulon lisäksi niin kutsuttu ristitulo. Pistetulosta poiketen ristitulon tulos ei ole reaaliluku vaan avaruuden R 3 vektori. Ristitulosta on
Lisätiedotb 1. b m ) + ( 2b Ax) + (b b)
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-9 Optimointioppi Kimmo Berg 5 harjoitus - ratkaisut min Ax b (vertaa PNS-tehtävät) a x + + a n x n a) Ax b = a m x + + a mn x n = x a a m }{{}
LisätiedotTalousmatematiikan perusteet: Luento 14. Rajoittamaton optimointi Hessen matriisi Ominaisarvot Ääriarvon laadun tarkastelu
Talousmatematiikan perusteet: Luento 14 Rajoittamaton optimointi Hessen matriisi Ominaisarvot Ääriarvon laadun tarkastelu Luennolla 6 Tarkastelimme yhden muuttujan funktion f(x) rajoittamatonta optimointia
LisätiedotYhtälöryhmä matriisimuodossa. MS-A0007 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.
2. MS-A000 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2..205 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x x 2 =
Lisätiedot1. TILASTOLLINEN HAHMONTUNNISTUS
1. TILASTOLLINEN HAHMONTUNNISTUS Tilastollisissa hahmontunnistusmenetelmissä piirteitä tarkastellaan tilastollisina muuttujina Luokittelussa käytetään hyväksi seuraavia tietoja: luokkien a priori tn:iä,
LisätiedotOletetaan ensin, että tangenttitaso on olemassa. Nyt pinnalla S on koordinaattiesitys ψ, jolle pätee että kaikilla x V U
HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi II, syksy 018 Harjoitus 4 Ratkaisuehdotukset Tehtävä 1. Olkoon U R avoin joukko ja ϕ = (ϕ 1, ϕ, ϕ 3 ) : U R 3 kaksiulotteisen C 1 -alkeispinnan
Lisätiedot3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä
3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a 21
Lisätiedot2 Osittaisderivaattojen sovelluksia
2 Osittaisderivaattojen sovelluksia 2.1 Ääriarvot Yhden muuttujan funktiolla f(x) on lokaali maksimiarvo (lokaali minimiarvo) pisteessä a, jos f(x) f(a) (f(x) f(a)) kaikilla x:n arvoilla riittävän lähellä
LisätiedotTalousmatematiikan perusteet: Luento 13. Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu
Talousmatematiikan perusteet: Luento 13 Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu Viime luennolla Aloimme tarkastella yleisiä, usean muuttujan funktioita
LisätiedotOsakesalkun optimointi. Anni Halkola Turun yliopisto 2016
Osakesalkun optimointi Anni Halkola Turun yliopisto 2016 Artikkeli Gleb Beliakov & Adil Bagirov (2006) Non-smooth optimization methods for computation of the Conditional Value-at-risk and portfolio optimization.
LisätiedotKannan vektorit siis virittävät aliavaruuden, ja lisäksi kanta on vapaa. Lauseesta 7.6 saadaan seuraava hyvin käyttökelpoinen tulos:
8 Kanta Tässä luvussa tarkastellaan aliavaruuden virittäjävektoreita, jotka muodostavat lineaarisesti riippumattoman jonon. Merkintöjen helpottamiseksi oletetaan luvussa koko ajan, että W on vektoreiden
LisätiedotGaussin ja Jordanin eliminointimenetelmä
1 / 25 : Se on menetelmä lineaarisen yhtälöryhmän ratkaisemiseksi. Sitä käytetään myöhemmin myös käänteismatriisin määräämisessä. Ideana on tiettyjä rivioperaatioita käyttäen muokata yhtälöryhmää niin,
LisätiedotSuorista ja tasoista LaMa 1 syksyllä 2009
Viidennen viikon luennot Suorista ja tasoista LaMa 1 syksyllä 2009 Perustuu kirjan Poole: Linear Algebra lukuihin I.3 - I.4 Esko Turunen esko.turunen@tut.fi Aluksi hiukan 2 ja 3 ulotteisen reaaliavaruuden
LisätiedotBM20A5800 Funktiot, lineaarialgebra ja vektorit Harjoitus 4, Syksy 2016
BM20A5800 Funktiot, lineaarialgebra ja vektorit Harjoitus 4, Syksy 2016 1. Hahmottele karkeasti funktion f : R R 2 piirtämällä sen arvoja muutamilla eri muuttujan arvoilla kaksiulotteiseen koordinaatistoon
LisätiedotTalousmatematiikan perusteet: Luento 9
Talousmatematiikan perusteet: Luento 9 Vektorien peruslaskutoimitukset Lineaarinen riippumattomuus Vektorien sisätulo ja pituus Vektorien välinen kulma Motivointi Tähän asti olemme tarkastelleet yhden
LisätiedotViikko 3: Lineaarista regressiota ja luokittelua Matti Kääriäinen
Viikko 3: Lineaarista regressiota ja luokittelua Matti Kääriäinen matti.kaariainen@cs.helsinki.fi Exactum D122, 30-31.1.2008. 1 Tällä viikolla Sisältösuunnitelma: Lineaarinen regressio Pienimmän neliösumman
LisätiedotMS-C1340 Lineaarialgebra ja differentiaaliyhtälöt
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt ja pienimmän neliösumman menetelmä Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 18 R. Kangaslampi QR ja PNS PNS-ongelma
LisätiedotInsinöörimatematiikka D
Insinöörimatematiikka D M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Matematiikan ja tilastotieteen laitos Turun yliopisto 2015 M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Luentokalvot
LisätiedotMatriisilaskenta, LH4, 2004, ratkaisut 1. Hae seuraavien R 4 :n aliavaruuksien dimensiot, jotka sisältävät vain
Matriisilaskenta LH4 24 ratkaisut 1 Hae seuraavien R 4 :n aliavaruuksien dimensiot jotka sisältävät vain a) Kaikki muotoa (a b c d) olevat vektorit joilla d a + b b) Kaikki muotoa (a b c d) olevat vektorit
LisätiedotLineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus
Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus 1 / 51 Lineaarikombinaatio Johdattelua seuraavaan asiaan (ei tarkkoja määritelmiä): Millaisen kuvan muodostaa joukko {λv λ R, v R 3 }? Millaisen
LisätiedotYhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.
2. MS-A4/A6 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 5.9.25 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x + x 2
LisätiedotLineaariavaruudet. Span. Sisätulo. Normi. Matriisinormit. Matriisinormit. aiheita. Aiheet. Reaalinen lineaariavaruus. Span. Sisätulo.
Lineaariavaruudet aiheita 1 määritelmä Nelikko (L, R, +, ) on reaalinen (eli reaalinen vektoriavaruus), jos yhteenlasku L L L, ( u, v) a + b ja reaaliluvulla kertominen R L L, (λ, u) λ u toteuttavat seuraavat
LisätiedotMS-C1340 Lineaarialgebra ja
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Matriisinormi Matriisinormi Matriiseille
Lisätiedot1 Rajoittamaton optimointi
Taloustieteen matemaattiset menetelmät 7 materiaali 5 Rajoittamaton optimointi Yhden muuttujan tapaus f R! R Muistutetaan mieleen maksimin määritelmä. Funktiolla f on maksimi pisteessä x jos kaikille y
Lisätiedot3.2.2 Tikhonovin regularisaatio
3 Tikhonovin regularisaatio Olkoon x 0 R n tuntematon, M R m n teoriamatriisi ja y Mx + ε R m (316 annettu data Häiriöherkässä ongelmassa pienimmän neliösumman miniminormiratkaisu x M + y Q N (M x + M
LisätiedotTalousmatematiikan perusteet: Luento 10. Lineaarikuvaus Matriisin aste Determinantti Käänteismatriisi
Talousmatematiikan perusteet: Luento 10 Lineaarikuvaus Matriisin aste Determinantti Käänteismatriisi Lineaarikuvaus Esim. Yritys tekee elintarviketeollisuuden käyttämää puolivalmistetta, jossa käytetään
LisätiedotJohdatus tekoälyn taustalla olevaan matematiikkaan
Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 4. luento 24.11.2017 Neuroverkon opettaminen - gradienttimenetelmä Neuroverkkoa opetetaan syöte-tavoite-pareilla
LisätiedotA ja B pelaavat sarjan pelejä. Sarjan voittaja on se, joka ensin voittaa n peliä.
Esimerkki otteluvoiton todennäköisyys A ja B pelaavat sarjan pelejä. Sarjan voittaja on se, joka ensin voittaa n peliä. Yksittäisessä pelissä A voittaa todennäköisyydellä p ja B todennäköisyydellä q =
LisätiedotMS-C1340 Lineaarialgebra ja
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt QR-hajotelma ja pienimmän neliösumman menetelmä Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto PNS-ongelma PNS-ongelma
LisätiedotMS-A0207 Differentiaali- ja integraalilaskenta 2 (Chem) Yhteenveto, osa I
MS-A0207 Differentiaali- ja integraalilaskenta 2 (Chem) Yhteenveto, osa I G. Gripenberg Aalto-yliopisto 21. tammikuuta 2016 G. Gripenberg (Aalto-yliopisto) MS-A0207 Differentiaali- ja integraalilaskenta
LisätiedotNumeeriset menetelmät
Numeeriset menetelmät Luento 5 Ti 20.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 5 Ti 20.9.2011 p. 1/40 p. 1/40 Choleskyn menetelmä Positiivisesti definiiteillä matriiseilla kolmiohajotelma
LisätiedotOsakesalkun optimointi
Osakesalkun optimointi Anni Halkola Epäsileä optimointi Turun yliopisto Huhtikuu 2016 Sisältö 1 Johdanto 1 2 Taustatietoja 2 3 Laskumetodit 3 3.1 Optimointiongelmat........................ 4 4 Epäsileän
Lisätiedot1 Sisätulo- ja normiavaruudet
1 Sisätulo- ja normiavaruudet 1.1 Sisätuloavaruus Määritelmä 1. Olkoon V reaalinen vektoriavaruus. Kuvaus : V V R on reaalinen sisätulo eli pistetulo, jos (a) v w = w v (symmetrisyys); (b) v + u w = v
Lisätiedot802320A LINEAARIALGEBRA OSA II
802320A LINEAARIALGEBRA OSA II Tapani Matala-aho MATEMATIIKKA/LUTK/OULUN YLIOPISTO SYKSY 2016 LINEAARIALGEBRA 1 / 64 Sisätuloavaruus Määritelmä 1 Olkoon V reaalinen vektoriavaruus. Kuvaus on reaalinen
LisätiedotLineaarinen yhtälöryhmä
Lineaarinen yhtälöryhmä 1 / 39 Lineaarinen yhtälö Määritelmä 1 Lineaarinen yhtälö on muotoa a 1 x 1 + a 2 x 2 + + a n x n = b, missä a i, b R, i = 1,..., n ovat tunnettuja ja x i R, i = 1,..., n ovat tuntemattomia.
LisätiedotTalousmatematiikan perusteet: Luento 11. Lineaarikuvaus Matriisin aste Käänteismatriisi
Talousmatematiikan perusteet: Luento 11 Lineaarikuvaus Matriisin aste Käänteismatriisi Viime luennolla Käsittelimme matriisien peruskäsitteitä ja laskutoimituksia Vakiolla kertominen, yhteenlasku ja vähennyslasku
LisätiedotVapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0.
Vapaus Määritelmä Oletetaan, että v 1, v 2,..., v k R n, missä n {1, 2,... }. Vektorijono ( v 1, v 2,..., v k ) on vapaa eli lineaarisesti riippumaton, jos seuraava ehto pätee: jos c 1 v 1 + c 2 v 2 +
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 8 Väliarvolause Oletetaan, että funktio f on jatkuva jollain reaalilukuvälillä [a, b] ja derivoituva avoimella välillä (a, b). Funktion muutos tällä välillä on luonnollisesti
LisätiedotBM20A5840 Usean muuttujan funktiot ja sarjat Harjoitus 1, Kevät 2018
BM20A5840 Usean muuttujan funktiot ja sarjat Harjoitus 1, Kevät 2018 1. (a) Tunnemme vektorit a = [ 5 1 1 ] ja b = [ 2 0 1 ]. Laske (i) kummankin vektorin pituus (eli itseisarvo, eli normi); (ii) vektorien
LisätiedotLuento 9: Newtonin iteraation sovellus: optimointiongelma
Luento 9: Newtonin iteraation sovellus: optimointiongelma ilman rajoitusehtoja Optimointiongelmassa tehtävänä on löytää annetun reaaliarvoisen jatkuvan funktion f(x 1,x,,x n ) maksimi tai minimi jossain
LisätiedotLikimääräisratkaisut ja regularisaatio
Luku 3 Likimääräisratkaisut ja regularisaatio Käytännön inversio-ongelmissa annettu data y ei aina ole tarkkaa, vaan sisältää häiriöitä. Tuntemattomasta x on annettu häiriöinen data y F (x + }{{}}{{} ε.
LisätiedotInversio-ongelmien laskennallinen peruskurssi Luento 2
Inversio-ongelmien laskennallinen peruskurssi Luento 2 Kevät 2012 1 Lineaarinen inversio-ongelma Määritelmä 1.1. Yleinen (reaaliarvoinen) lineaarinen inversio-ongelma voidaan esittää muodossa m = Ax +
LisätiedotKanta ja dimensio 1 / 23
1 / 23 Kuten ollaan huomattu, saman aliavaruuden voi virittää eri määrä vektoreita. Seuraavaksi määritellään mahdollisimman pieni vektorijoukko, joka virittää aliavaruuden. Jokainen aliavaruuden alkio
LisätiedotJohdatus tekoälyn taustalla olevaan matematiikkaan
Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 3. luento 17.11.2017 Neuroverkon opettaminen (ohjattu oppiminen) Neuroverkkoa opetetaan syöte-tavoite-pareilla
LisätiedotMS-C1340 Lineaarialgebra ja
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Vektoriavaruudet Riikka Kangaslampi kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Idea Lineaarisen systeemin ratkaiseminen Olkoon
LisätiedotNumeeriset menetelmät
Numeeriset menetelmät Luento 3 Ti 13.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 3 Ti 13.9.2011 p. 1/37 p. 1/37 Epälineaariset yhtälöt Newtonin menetelmä: x n+1 = x n f(x n) f (x n ) Sekanttimenetelmä:
Lisätiedots = 11 7 t = = 2 7 Sijoittamalla keskimmäiseen yhtälöön saadaan: k ( 2) = 0 2k = 8 k = 4
BM0A5800 Funktiot, lineaarialgebra ja vektorit Harjoitus 5, Syksy 05. (a) i. Jotta vektori c sijaitsisi a:n ja b:n virittämällä tasolla, c on voitava esittää a:n ja b:n lineaarikombinaationa. c ta + sb
LisätiedotNumeeriset menetelmät TIEA381. Luento 12. Kirsi Valjus. Jyväskylän yliopisto. Luento 12 () Numeeriset menetelmät / 33
Numeeriset menetelmät TIEA381 Luento 12 Kirsi Valjus Jyväskylän yliopisto Luento 12 () Numeeriset menetelmät 25.4.2013 1 / 33 Luennon 2 sisältö Tavallisten differentiaaliyhtälöiden numeriikasta Rungen
LisätiedotMS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016
LisätiedotHavainnollistuksia: Merkitään w = ( 4, 3) ja v = ( 3, 2). Tällöin. w w = ( 4) 2 + ( 3) 2 = 25 = 5. v = ( 3) = 13. v = v.
Havainnollistuksia: Merkitään w = ( 4, 3) ja v = ( 3, 2). Tällöin w = w w = ( 4) 2 + ( 3) 2 = 25 = 5 v = v v = ( 3) 2 + 2 2 = 13. w =5 3 2 v = 13 4 3 LM1, Kesä 2014 76/102 Normin ominaisuuksia I Lause
LisätiedotMat Lineaarinen ohjelmointi
Mat-2.34 Lineaarinen ohjelmointi..27 Luento 5 Simplexin implementaatioita (kirja 3.2-3.5) Lineaarinen ohjelmointi - Syksy 27 / Luentorunko (/2) Simplexin implementaatiot Naiivi Revised Full tableau Syklisyys
LisätiedotDeterminantti 1 / 30
1 / 30 on reaaliluku, joka on määritelty neliömatriiseille Determinantin avulla voidaan esimerkiksi selvittää, onko matriisi kääntyvä a voidaan käyttää käänteismatriisin määräämisessä ja siten lineaarisen
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 4 Jatkuvuus Jatkuvan funktion määritelmä Tarkastellaan funktiota f x) jossakin tietyssä pisteessä x 0. Tämä funktio on tässä pisteessä joko jatkuva tai epäjatkuva. Jatkuvuuden
LisätiedotMS-C1340 Lineaarialgebra ja differentiaaliyhtälöt
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Vektoriavaruudet Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 17 R. Kangaslampi Vektoriavaruudet Vektoriavaruus
LisätiedotKohdeyleisö: toisen vuoden teekkari
Julkinen opetusnäyte Yliopisto-opettajan tehtävä, matematiikka Klo 8:55-9:15 TkT Simo Ali-Löytty Aihe: Lineaarisen yhtälöryhmän pienimmän neliösumman ratkaisu Kohdeyleisö: toisen vuoden teekkari 1 y y
LisätiedotVektorit, suorat ja tasot
, suorat ja tasot 1 / 22 Koulussa vektori oli nuoli, jolla oli suunta ja suuruus eli pituus. Siirretään vektori siten, että sen alkupää on origossa. Tällöin sen kärki on pisteessä (x 1, x 2 ). Jos vektorin
Lisätiedot1 Lineaariavaruus eli Vektoriavaruus
1 Lineaariavaruus eli Vektoriavaruus 1.1 Määritelmä ja esimerkkejä Olkoon K kunta, jonka nolla-alkio on 0 ja ykkösalkio on 1 sekä V epätyhjä joukko. Oletetaan, että joukossa V on määritelty laskutoimitus
Lisätiedot3.1 Lineaarikuvaukset. MS-A0004/A0006 Matriisilaskenta. 3.1 Lineaarikuvaukset. 3.1 Lineaarikuvaukset
31 MS-A0004/A0006 Matriisilaskenta 3 Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2292015 Lineaariset yhtälöt ovat vektoreille luonnollisia yhtälöitä, joita
LisätiedotTekijä Pitkä matematiikka
K1 Tekijä Pitkä matematiikka 5 7..017 a) 1 1 + 1 = 4 + 1 = 3 = 3 4 4 4 4 4 4 b) 1 1 1 = 4 6 3 = 5 = 5 3 4 1 1 1 1 1 K a) Koska 3 = 9 < 10, niin 3 10 < 0. 3 10 = (3 10 ) = 10 3 b) Koska π 3,14, niin π
LisätiedotLineaariset luokittelumallit: regressio ja erotteluanalyysi
Lineaariset luokittelumallit: regressio ja erotteluanalyysi Aira Hast Johdanto Tarkastellaan menetelmiä, joissa luokittelu tehdään lineaaristen menetelmien avulla. Avaruus jaetaan päätösrajojen avulla
Lisätiedot12. Hessen matriisi. Ääriarvoteoriaa
179 12. Hessen matriisi. Ääriarvoteoriaa Tarkastelemme tässä luvussa useamman muuttujan (eli vektorimuuttujan) n reaaliarvoisia unktioita : R R. Edellisessä luvussa todettiin, että riittävän säännöllisellä
LisätiedotLineaarikuvausten. Lineaarikuvaus. Lineaarikuvauksia. Ydin. Matriisin ydin. aiheita. Aiheet. Lineaarikuvaus. Lineaarikuvauksen matriisi
Lineaarikuvaukset aiheita ten ten 1 Matematiikassa sana lineaarinen liitetään kahden lineaariavaruuden väliseen kuvaukseen. ten Määritelmä Olkoon (L, +, ) ja (M, ˆ+, ˆ ) reaalisia lineaariavaruuksia, ja
Lisätiedot6 Vektoriavaruus R n. 6.1 Lineaarikombinaatio
6 Vektoriavaruus R n 6.1 Lineaarikombinaatio Määritelmä 19. Vektori x œ R n on vektorien v 1,...,v k œ R n lineaarikombinaatio, jos on olemassa sellaiset 1,..., k œ R, että x = i v i. i=1 Esimerkki 30.
LisätiedotKeskipisteen lisääminen 2 k -faktorikokeeseen (ks. Montgomery 9-6)
Mat-.3 Koesuunnittelu ja tilastolliset mallit kevät Keskipisteen lisääminen k -faktorikokeeseen (ks. Montgomery 9-6) Esim (Montg. ex. 9-, 6-): Tutkitaan kemiallisen prosessin saannon Y riippuvuutta faktoreista
LisätiedotKuva 1: Funktion f tasa-arvokäyriä. Ratkaisu. Suurin kasvunopeus on gradientin suuntaan. 6x 0,2
HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi I, syksy 018 Harjoitus Ratkaisuehdotukset Tehtävä 1. Olkoon f : R R f(x 1, x ) = x 1 + x Olkoon C R. Määritä tasa-arvojoukko Sf(C) = {(x 1, x
LisätiedotLineaariset yhtälöryhmät ja matriisit
Lineaariset yhtälöryhmät ja matriisit Lineaarinen yhtälöryhmä a 11 x 1 + a 12 x 2 + + a 1n x n = b 1 a 21 x 1 + a 22 x 2 + + a 2n x n = b 2. a m1 x 1 + a m2 x 2 + + a mn x n = b m, (1) voidaan esittää
LisätiedotKimppu-suodatus-menetelmä
Kimppu-suodatus-menetelmä 2. toukokuuta 2016 Kimppu-suodatus-menetelmä on kehitetty epäsileiden optimointitehtävien ratkaisemista varten. Menetelmässä approksimoidaan epäsileitä funktioita aligradienttikimpulla.
Lisätiedot7 Vapaus. 7.1 Vapauden määritelmä
7 Vapaus Kuten edellisen luvun lopussa mainittiin, seuraavaksi pyritään ratkaisemaan, onko annetussa aliavaruuden virittäjäjoukossa tarpeettomia vektoreita Jos tällaisia ei ole, virittäjäjoukkoa kutsutaan
LisätiedotTekijä Pitkä matematiikka Suoran pisteitä ovat esimerkiksi ( 5, 2), ( 2,1), (1, 0), (4, 1) ja ( 11, 4).
Tekijä Pitkä matematiikka 4 9.12.2016 212 Suoran pisteitä ovat esimerkiksi ( 5, 2), ( 2,1), (1, 0), (4, 1) ja ( 11, 4). Vastaus esimerkiksi ( 5, 2), ( 2,1), (1, 0), (4, 1) ja ( 11, 4) 213 Merkitään pistettä
LisätiedotNäihin harjoitustehtäviin liittyvä teoria löytyy Adamsista: Ad6, Ad5, 4: 12.8, ; Ad3: 13.8,
TKK, Matematiikan laitos Gripenberg/Harhanen Mat-1.432 Matematiikan peruskurssi K2 Harjoitus 4, (A=alku-, L=loppuviikko, T= taulutehtävä, P= palautettava tehtävä, W= verkkotehtävä ) 12 16.2.2007, viikko
Lisätiedot5 Lineaariset yhtälöryhmät
5 Lineaariset yhtälöryhmät Edellisen luvun lopun esimerkissä päädyttiin yhtälöryhmään, jonka ratkaisemisesta riippui, kuuluuko tietty vektori eräiden toisten vektorien virittämään aliavaruuteen Tämäntyyppisiä
LisätiedotPäättelyn voisi aloittaa myös edellisen loppupuolelta ja näyttää kuten alkupuolella, että välttämättä dim W < R 1 R 1
Lineaarialgebran kertaustehtävien b ratkaisuista. Määritä jokin kanta sille reaalikertoimisten polynomien lineaariavaruuden P aliavaruudelle, jonka virittää polynomijoukko {x, x+, x x }. Ratkaisu. Olkoon
LisätiedotDemo 1: Simplex-menetelmä
MS-C2105 Optimoinnin perusteet Malliratkaisut 3 Ehtamo Demo 1: Simplex-menetelmä Muodosta lineaarisen tehtävän standardimuoto ja ratkaise tehtävä taulukkomuotoisella Simplex-algoritmilla. max 5x 1 + 4x
LisätiedotYhtälöryhmät 1/6 Sisältö ESITIEDOT: yhtälöt
Yhtälöryhmät 1/6 Sisältö Yhtälöryhmä Yhtälöryhmässä on useita yhtälöitä ja yleensä myös useita tuntemattomia. Tavoitteena on löytää tuntemattomille sellaiset arvot, että kaikki yhtälöt toteutuvat samanaikaisesti.
LisätiedotVektoreiden virittämä aliavaruus
Vektoreiden virittämä aliavaruus Määritelmä Oletetaan, että v 1, v 2,... v k R n. Näiden vektoreiden virittämä aliavaruus span( v 1, v 2,... v k ) tarkoittaa kyseisten vektoreiden kaikkien lineaarikombinaatioiden
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 10 1 Funktion monotonisuus Derivoituva funktio f on aidosti kasvava, jos sen derivaatta on positiivinen eli jos f (x) > 0. Funktio on aidosti vähenevä jos sen derivaatta
LisätiedotLineaarialgebra ja matriisilaskenta I, HY Kurssikoe Ratkaisuehdotus. 1. (35 pistettä)
Lineaarialgebra ja matriisilaskenta I, HY Kurssikoe 26.10.2017 Ratkaisuehdotus 1. (35 pistettä) (a) Seuraavat matriisit on saatu eräistä yhtälöryhmistä alkeisrivitoimituksilla. Kuinka monta ratkaisua yhtälöryhmällä
LisätiedotTalousmatematiikan perusteet: Luento 8. Vektoreista ja matriiseista Vektorien peruslaskutoimitukset Lineaarinen riippumattomuus Vektorien sisätulo
Talousmatematiikan perusteet: Luento 8 Vektoreista ja matriiseista Vektorien peruslaskutoimitukset Lineaarinen riippumattomuus Vektorien sisätulo Motivointi Esim. Herkkumatikka maksaa 50 /kg. Paljonko
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 10 1 Lokaalit ääriarvot Yhden muuttujan funktion f (x) lokaali maksimi on piste x 0, jossa f (x) on suurempi kuin muualle pisteen x 0 ympäristössä, eli kun f (x 0 )
Lisätiedot2.5. Matriisin avaruudet ja tunnusluvut
2.5. Matriisin avaruudet ja tunnusluvut m n-matriisi A Lineaarikuvaus A : V Z, missä V ja Z ovat sopivasti valittuja, dim V = n, dim Z = m (yleensä V = R n tai C n ja Z = R m tai C m ) Kuva-avaruus ja
LisätiedotMATEMATIIKAN PERUSKURSSI I Harjoitustehtäviä syksy Millä reaaliluvun x arvoilla. 3 4 x 2,
MATEMATIIKAN PERUSKURSSI I Harjoitustehtäviä syksy 6. Millä reaaliluvun arvoilla a) 9 =, b) + + + 4, e) 5?. Kirjoita Σ-merkkiä käyttäen summat 4, a) + 4 + 6 + +, b) 8 + 4 6 + + n n, c) + + +
Lisätiedot802320A LINEAARIALGEBRA OSA I
802320A LINEAARIALGEBRA OSA I Tapani Matala-aho MATEMATIIKKA/LUTK/OULUN YLIOPISTO SYKSY 2016 LINEAARIALGEBRA 1 / 72 Määritelmä ja esimerkkejä Olkoon K kunta, jonka nolla-alkio on 0 ja ykkösalkio on 1 sekä
LisätiedotTehtävä 1. Arvioi mitkä seuraavista väitteistä pitävät paikkansa. Vihje: voit aloittaa kokeilemalla sopivia lukuarvoja.
Tehtävä 1 Arvioi mitkä seuraavista väitteistä pitävät paikkansa. Vihje: voit aloittaa kokeilemalla sopivia lukuarvoja. 1 Jos 1 < y < 3, niin kaikilla x pätee x y x 1. 2 Jos x 1 < 2 ja y 1 < 3, niin x y
LisätiedotMatemaattinen Analyysi / kertaus
Matemaattinen Analyysi / kertaus Ensimmäinen välikoe o { 2x + 3y 4z = 2 5x 2y + 5z = 7 ( ) x 2 3 4 y = 5 2 5 z ) ( 3 + y 2 ( 2 x 5 ( 2 7 ) ) ( 4 + z 5 ) = ( 2 7 ) yhteys determinanttiin Yhtälöryhmän ratkaiseminen
LisätiedotMalliratkaisut Demot
Malliratkaisut Demot 3.2.27 Tehtävä. Valmisohjelmistolla voidaan ratkaista tehtävä min c T x s. t. Ax b x, missä x, c ja b R n ja A R m n. Muunnetaan tehtävä max x + 2x 2 + 3x 3 + x s. t. x + 3x 2 + 2x
LisätiedotInsinöörimatematiikka D, laskuharjoituksien esimerkkiratkaisut
Insinöörimatematiikka D, 29.3.2016 4. laskuharjoituksien esimerkkiratkaisut 1. Olkoon u (4,0,4,2) ja v ( 1,1,3,5) vektoreita vektoriavaruudessa R 4. Annetun sisätulon (x,y) indusoima normi on x (x,x) ja
LisätiedotLineaarialgebra ja differentiaaliyhtälöt Laskuharjoitus 1 / vko 44
Lineaarialgebra ja differentiaaliyhtälöt Laskuharjoitus 1 / vko 44 Tehtävät 1-3 lasketaan alkuviikon harjoituksissa, verkkotehtävien dl on lauantaina aamuyöllä. Tehtävät 4 ja 5 lasketaan loppuviikon harjoituksissa.
Lisätiedot