naaraat < read.table(' head=t, sep=',')

Transkriptio

1 naaraat < read.table(' head=t, sep=',') printf < function(...) { print(sprintf(...)) c_by_method < NULL # Listataan ne muuttujaparit, joilla jokin korrelaatio on itseisarvoltaan >= 0.4. for (m in c('pearson', 'kendall', 'spearman')) { printf('method: %s', m) printf(' ') c < cor(naaraat, method = m) c_by_method[[m]] < as.matrix(c) for (i in 1:(length(c[1,]) 1)) { for (j in ((i+1):length(c[,1]))) { if(abs(c[i,j]) >= 0.4) { printf("%s vs. %s: %f", names(c[1,])[i], names(c[,1])[j], c[i,j]) printf('') # Koostetaan muuttujaparikohtaisten korrelaatiokertoimien eroista MSE:t, jolloin erikoisimmat poikkeamat on helppo löytää. c_avg < as.matrix( c_by_method[['kendall']] + c_by_method[['pearson']] + c_by_method[['spearman']] ) / 3 mse < ((c_by_method[['kendall']] c_avg) ** 2 + (c_by_method[['pearson']] c_avg) ** 2 + (c_by_method[['spearman']] c_avg) ** 2) / 3 mse > 0.34 * max(mse) # Toisistaan poikkeavimpia korrelaatiokertoimia saavat X4 X5, X4 X6, X4 X8, X5 X6 ja X6 X8. for(i in list(c(4,5), c(4,6), c(4,8), c(5,6), c(6,8))) { printf('%s %s', names(c[1,])[i[1]], names(c[,1])[i[2]]) for(m in c('pearson', 'kendall', 'spearman')) { printf(' %s: %f', m, c_by_method[[m]][i[1],i[2]]) # Näille muuttujapareille yhteistä on se, että Pearsonin korrelaatiokerroin on suurin, kun taas Kendallin ja Spearmanin kertoimet ovat samalla tasolla. # Tähän eräs ilmeinen syy on se, että Pearsonin korrelaatiokerroin on herkkä outliereille. # Jännimmältä vaikuttavat arvojen perusteella parit X4 X8 ja X4 X6 (kendall ja spearman negatiivisia), piirrelläänpä ainakin ne.. plot(naaraat[,4], naaraat[,8]) #Yksi outlier. plot(naaraat[,4], naaraat[,6]) #Näemmä pari selvää outlieria. plot(naaraat[,4], naaraat[,6]) #Näemmä pari selvää outlieria. plot(naaraat[,5], naaraat[,6]) #Muutama outlier. plot(naaraat[,6], naaraat[,8]) #Pari outlieriä.

2 #b kohta # Valitaan jokin sopiva raja arvo, joka tuottaa riittävästi mielenkiintoisia pareja. sum(mse < * max(mse)) # = 25 (diagonaalialkiot + 3 muuttujaparia) mse < * max(mse) # Tarkasteltavia pareja 1 5, ja plot(naaraat[,1], naaraat[,5]) plot(naaraat[,13], naaraat[,19]) plot(naaraat[,14], naaraat[,18]) # Tarkasteltujen muuttujien nimet: names(naaraat)[c(1,5,13,14,18,19)] #1 ja 19 eivät ole edes järjestysmuuttujia. # Näissä muuttujapareissa toinen muuttujista on selvästi luokitteleva ja toinen jatkuvaluonteinen. c_by_method[['pearson']][mse < * max(mse)] #Pearsonin korrelaatiokertoimet niiden muuttujaparien osalta, joissa eri korrelaatiokerrointyypit eivät liiemmin poikkea toisistaan. # Havaitaan siis, että juuri näissä muuttujapareissa ei ole liiemmin korrelaatiotakaan (1.000 korrelaatiot ovat diagonaalialkiolta eli muuttujan korrelaatio itsensä kanssa, joka ei luonnollisestikaan meitä kiinnosta). ################################################################################ [1] "Method: pearson" [1] " " [1] "X1.vaika X13.batratio: " [1] "X2.paino X7.thymusratio: " [1] "X2.paino X9.neitsyt: " [1] "X2.paino X10.rasitus: " [1] "X2.paino X15.hanta: " [1] "X2.paino X17.vart: " [1] "X2.paino X18.painoind: " [1] "X4.maksaratio X5.pernaratio: " [1] "X4.maksaratio X6.sydanratio: " [1] "X4.maksaratio X8.umpisratio: " [1] "X5.pernaratio X6.sydanratio: " [1] "X5.pernaratio X7.thymusratio: " [1] "X6.sydanratio X7.thymusratio: " [1] "X6.sydanratio X18.painoind: " [1] "X7.thymusratio X9.neitsyt: " [1] "X7.thymusratio X13.batratio: " [1] "X7.thymusratio X15.hanta: " [1] "X7.thymusratio X17.vart: " [1] "X7.thymusratio X18.painoind: " [1] "X9.neitsyt X10.rasitus: " [1] "X9.neitsyt X15.hanta: "

3 [1] "X9.neitsyt X17.vart: " [1] "X9.neitsyt X18.painoind: " [1] "X10.rasitus X15.hanta: " [1] "X10.rasitus X17.vart: " [1] "X10.rasitus X18.painoind: " [1] "X11.gonratio X12.uusrasvaratio: " [1] "X15.hanta X17.vart: " [1] "X15.hanta X18.painoind: " [1] "X17.vart X18.painoind: " [1] "" [1] "Method: kendall" [1] " " [1] "X2.paino X7.thymusratio: " [1] "X2.paino X9.neitsyt: " [1] "X2.paino X10.rasitus: " [1] "X2.paino X15.hanta: " [1] "X2.paino X17.vart: " [1] "X2.paino X18.painoind: " [1] "X7.thymusratio X9.neitsyt: " [1] "X7.thymusratio X15.hanta: " [1] "X7.thymusratio X17.vart: " [1] "X7.thymusratio X18.painoind: " [1] "X9.neitsyt X10.rasitus: " [1] "X9.neitsyt X15.hanta: " [1] "X9.neitsyt X17.vart: " [1] "X9.neitsyt X18.painoind: " [1] "X10.rasitus X18.painoind: " [1] "X11.gonratio X12.uusrasvaratio: " [1] "X15.hanta X17.vart: " [1] "X15.hanta X18.painoind: " [1] "X17.vart X18.painoind: " [1] "" [1] "Method: spearman" [1] " " [1] "X1.vaika X13.batratio: " [1] "X2.paino X7.thymusratio: " [1] "X2.paino X9.neitsyt: " [1] "X2.paino X10.rasitus: " [1] "X2.paino X15.hanta: " [1] "X2.paino X17.vart: " [1] "X2.paino X18.painoind: " [1] "X6.sydanratio X10.rasitus: " [1] "X6.sydanratio X18.painoind: " [1] "X7.thymusratio X9.neitsyt: " [1] "X7.thymusratio X10.rasitus: " [1] "X7.thymusratio X15.hanta: "

4 [1] "X7.thymusratio X17.vart: " [1] "X7.thymusratio X18.painoind: " [1] "X9.neitsyt X10.rasitus: " [1] "X9.neitsyt X15.hanta: " [1] "X9.neitsyt X17.vart: " [1] "X9.neitsyt X18.painoind: " [1] "X10.rasitus X15.hanta: " [1] "X10.rasitus X17.vart: " [1] "X10.rasitus X18.painoind: " [1] "X11.gonratio X12.uusrasvaratio: " [1] "X15.hanta X17.vart: " [1] "X15.hanta X18.painoind: " [1] "X17.vart X18.painoind: " poikkeavuudet: [1] "X4.maksaratio X5.pernaratio" [1] " pearson: " [1] " kendall: " [1] " spearman: " [1] "X4.maksaratio X6.sydanratio" [1] " pearson: " [1] " kendall: " [1] " spearman: " [1] "X4.maksaratio X8.umpisratio" [1] " pearson: " [1] " kendall: " [1] " spearman: " [1] "X5.pernaratio X6.sydanratio" [1] " pearson: " [1] " kendall: " [1] " spearman: " [1] "X6.sydanratio X8.umpisratio" [1] " pearson: " [1] " kendall: " [1] " spearman: " samankaltaisuudet: > c_by_method[['pearson']][mse < * max(mse)] #Pearsonin korrelaatiokertoimet niiden muuttujaparien osalta, joissa eri korrelaatiokerrointyypit eivã t liiemmin poikkea toisistaan.

5 [1] [7] [13] [19] [25] [31] [37] [43] [49] [55] [61] [67] [73] [79] [85] #muuttujaparit 1 ja 5 sekä 2 ja 8

6 Siis Correctly Classified Instances arvot ovat a: b(oletus): b(0): b(15): c: d: e: f(naiivi): f(naiivi ): f(bayesnet): f(bayesnet ): = datasta poistettu painot ja ratiot hantaa ja sydanta lukuunottamatta Huomioita Bayes luokittelija vaikuttaa pärjäävän paremmin useamman muuttujan ollessa jatkuvaluonteisia. Toisaalta Bayes luokittelija hyötyy (valistuneella arvauksella) siistitystä datasta. J48 suoriutuu likimain yhtä hyvin molemmissa tapauksissa. Luulisin jollain valistuneella arvauksella / peukalosäännöllä yhden piilotason neuroverkon kykenevään jopa parempaankin tulokseen kuin ilman piilotasoa. Heikoimmat tulokset diskretoidulla datalla ajettu naiivi Bayes sekä BayesNet. Paras tulos numeerista dataa vasten ajetulla BayesNetillä. Muuten tulokset ovat melko sievästi %:n tuntumassa.

7 $ # Ensinnäkin muutama perustesti. Ensin kaksimuuttujainen data, jossa karteesisen tulon {0,1,2..63 x {0,1,2..63 kaikki alkiot. $ java cp cls Mutuali summary_testi_tas.csv 1 2 mi= e 16 $ # Kaksimuuttujainen data, jossa laskeva suora (0,0), ( 1,1),.., ( 255,255). $ java cp cls Mutuali summary_testi_ lin.csv 1 2 mi= $ cat summary_testi_ lin.csv #testi_ lin.csv 1, 255.0,0.0,3 2,0.0,255.0,4 $ nano summary_testi_ lin.csv $ cat summary_testi_ lin.csv #testi_ lin.csv 1, 255.0,0.0,4 2,0.0,255.0,4 $ java cp cls Mutuali summary_testi_ lin.csv 1 2 mi=1.0 $ # Vaikuttaisi ilmeisesti toimivan. $ # Nappasinpa kokeiltavaksi hieman kiihtyvyysdataa omasta harjoitustyöaiheesta. Ensimmäinen muuttuja (aika) on luonnollisesti tiputettu pois. $ java cp cls Mutuali summary_implant_axis.csv 3 4 mi= mi= mi= $ # Siis mitä ilmeisemmin muuttujien välillä on hieman korrelaatiota, kuten olettaa saattaa. Vähiten keskenään korreloivat x ja z muuttuja.

8 lehma < read.table(' head=t, sep=',') lehma$c < factor(lehma$c) koulutus < 1:1000 #valitaan tuhat riviä koulutusdataksi S < cov(lehma[koulutus, 6]) #kovarianssimatriisi talteen #olettamalla C järjestysmuuttujaksi voidaan lähteä kokeilemaan lineaariregressiomallia y < as.matrix(c(lehma[koulutus,6])) #selitettävä(t) muuttuja(t) x < as.matrix(cbind((rep(1, length(lehma[koulutus,6]))), lehma[koulutus, 6])) #selittävät muuttujat xtemp < solve(t(x) %*% x) %*% t(x) #hirvittävä pns häkkyrä, jollaisia laskettiin liniksessä #näillä voi vähän tutkia, mitä on saatu nyt aikaan #head(xtemp) #str(xtemp) #str(y) #mjaa, kai tarkoitus oli käyttää xtempiä, mutta käyhän se näinkin (regressiomallin mukaiset betakertoimet) betamat < solve(t(x) %*% x) %*% t(x) %*% y #tutkailuja #str(x) #str(y) #PCA: kovarianssimatriisin ominaisarvoja/ vektoreita tarvitaan PCA:han eigs < eigen(s) cumsum(eigs$values / sum(eigs$values)) #pari ekaa pääkomponenttia tuo esille valtaosan eroista #yksittäisten koordinaattien plottailut (vaihda # v tuosta vertailtavia sarakepareja, nykyisellään siis 2. ja 5. sarake luetaan x ja y koordinaateiksi) plot(lehma[koulutus,c(5,2)], col = c('blue', 'red', 'green')[lehma$c]) #PCA: vertailun vuoksi parin ekan pääkomponentin mukaan sovitellut havainnot plot(as.matrix(lehma[koulutus, 6]) %*% eigs$vectors[,1:2], col = c('blue', 'red', 'green')[lehma$c]) #näissähän alkaisi olla jo mahdollisuus karkeasti erotella toiminnot toisistaan #testataanpa jollakin yksittäisellä havainnolla as.matrix(cbind(1, lehma[1444, 6])) %*% betamat # ~1.086 lehma[1444,6] # = 1 #testataanpa loppudatalla kokonaisuudessaan (indeksoinnissa negatiivinen arvo siis meinaa "jätä pois", eli esim. lehma[ koulutus,] valitsee rivit, joita ei käytetty koulutukseen) arvatut < as.matrix(cbind(1, lehma[ koulutus, 6])) %*% betamat oikein < sum((round(arvatut) c(lehma[ koulutus,6])) == 0)

9 testilehmia < length(lehma[ koulutus,1]) #arvausprosentti: oikein / testilehmia #siis 82,26 % #################### PCA ###################### #huom! eigs laskettu jo edellä y < as.matrix(c(lehma[koulutus,6])) #selitettävä(t) muuttuja(t) x < as.matrix(cbind((rep(1, length(lehma[koulutus,6]))), as.matrix(lehma[koulutus, 6]) %*% eigs$vectors)) #selittävät muuttujat, tällä kertaa muunnettu pääkomponenttien mukaan betamat < solve(t(x) %*% x) %*% t(x) %*% y #testataanpa jollakin yksittäisellä havainnolla as.matrix(cbind(1, as.matrix(lehma[1444, 6]) %*% eigs$vectors)) %*% betamat # edelleen ~1.086 lehma[1444,6] # = 1 #testataanpa koko loppudatalla arvatut < as.matrix(cbind(1, as.matrix(lehma[ koulutus, 6]) %*% eigs$vectors)) %*% betamat oikein < sum((round(arvatut) c(lehma[ koulutus,6])) == 0) testilehmia < length(lehma[ koulutus,1]) #arvausprosentti: oikein / testilehmia #edelleen 82,26 % #################### PCA (muuttujia karsittu) ###################### #huom! eigs laskettu jo edellä y < as.matrix(c(lehma[koulutus,6])) #selitettävä(t) muuttuja(t) x < as.matrix(cbind((rep(1, length(lehma[koulutus,6]))), as.matrix(lehma[koulutus, 6]) %*% eigs$vectors[,1:2])) #selittävät muuttujat, tällä kertaa muunnettu pääkomponenttien mukaan betamat < solve(t(x) %*% x) %*% t(x) %*% y #testataanpa jollakin yksittäisellä havainnolla as.matrix(cbind(1, as.matrix(lehma[1444, 6]) %*% eigs$vectors[,1:2])) %*% betamat # nyt ~ lehma[1444,6] # = 1 #testataanpa koko loppudatalla arvatut < as.matrix(cbind(1, as.matrix(lehma[ koulutus, 6]) %*% eigs$vectors[,1:2])) %*% betamat oikein < sum((round(arvatut) c(lehma[ koulutus,6])) == 0) testilehmia < length(lehma[ koulutus,1])

10 #arvausprosentti: oikein / testilehmia #nyt 79,44 % (ennen 82,26 %) #siis typistämällä tarkasteltavia muuttujia sopivalla muunnoksella (PCA) viidestä kahteen kadotetaan tässä tapauksessa verrattain vähän luokittelutarkkuuden suhteen (alle 3 %:n ero) #parempia luokittelutuloksia ei luonnollisesti saada, mutta "luokittelutarkkuus / muuttujien lkm" lukuarvon kasvu on ainakin vaikuttava #pari esimerkkiplottausta (1 4, 5 2) muuttujapareista #PCA ja virheellisesti luokitellut havainnot

11