Puutteiden lukumäärän estimointi toisen asteen polynomin avulla

Transkriptio

1 JOENSUUN YLIOPISTO TIETOJENKÄSITTELYTIETEEN LAITOS Raorttsarja A Puuttede lukumäärä estmot tose astee olom avulla Matt Nem Reort A-3-5 ACM D.. ISSN ISBN

2 /4 Puuttede lukumäärä estmot tose astee olom avulla Matt Nem Tetojekästteltetee latos Joesuu losto PL, 8 Joesuu Tvstelmä Ohjelmstotuotaossa vodaa estmoda uuttede lukumäärätetoja erlaslla matemaattslla mallella. Tutkmusraortssa sovtetaa tose astee olom mukae kärä regressoaals avulla havatoaestoo. Aestoa o krjallsuudesta saadut, todellsssa ohjelmstorojektessa kerätt uutetedot. Saatua malla arvodaa F-test avulla sekä verrataa aemm saatuh tutkmustuloks. Lsäks selvtetää, kuka olemassaolevaa erusmalla vodaa muuttaa ottamalla huomoo kässä oleva rojekt uutetedot el muodostamalla daame mall. Tulokset osottavat olomse mall soveltuva melko huoost tässä tutkmuksessa kätett uuteaestoo. Aemma tutkmukse erusteella saadut tulokset Norde/Ralegh-jakaumalla ovat arema daamse mall osalta. Avasaat: tose astee olome mall, regressoaals, F-test, uuttede lukumäärä estmot Johdato Tutkmukse lähtökohtaa o tutka erlaste lasketamalle sovuutta ohjelmstotuotaossa lmeeve uuttede malltamsee. Mallus jakaatuu erusmalluksee ja daamsee malluksee Neme () mukasest. Tose astee olome mall erustuu tlastoteteellse tutkmusmeetelmä, regressoaals, matemaattsee raketeesee. Regressoaals (Tlastokeskus, 3) avulla vodaa eustaa hde ta useamma muuttuja vakutusta johok muuhu muuttujaa. Regressoaalsssa esmmäe askel o hde ta useamma muuttuja meäme rumattomaks ja hde muuttuja meäme ruvaks muuttujaks. Regressomall kättö erustuu olettamuksee s-seuraussuhteesta rumattome ja ruva muuttuja välllä. Rumattomat muuttujat selttävät ruva muuttuja vahtelua. Ruva muuttuja arvot vahtelevat rumattome muuttuje arvoje mukaa. Ku ruva ja rumattomat muuttujat o mett, vodaa laskea regressosuora ta -kärä. Se avulla vodaa eustaa rumattome muuttuje muutoste vakutus ruvassa muuttujassa. Kahde muuttuja leaare regresso o muotoa a ja tose astee olome regresso o muotoa a. Kerro kuvaa muuttuje välstä muutosuhdetta: kuka aljo muuttuu, jos muuttuu hde kskö verra; term a uolestaa lmottaa, mssä kohdassa suora ta kärä lekkaa -aksel.

3 /4 Ku havatosteet asetetaa koordaatstoo, e evät leesä sjatse samalla suoralla ta kärällä satuasvahtelu vuoks, vaa hajaatuvat se märlle. Matemaatte ratkasu regressosuoralle erustuu emmä elösumma meetelmälle (Segel, 96; Mlto ja Arold, 995; Nem, ). Se avulla lödetää regressosuora ta -kärä, joka o keskmääräsest kakke lähmää havatostetä. Tämä tutkmus o jatkoa Neme () esttämälle mallukselle. Tutkmuksssa kätetää samaa aestoa, joho t sovelletaa regressoaalsa tose astee olom avulla. Luvussa estetää lee olome mall ja stä vastaave ormaalhtälöde ratkaseme matrslaskea avulla. Esmerk avulla estetää mallus tose astee olom avulla. Luvussa 3 estetää, kuka malla aalsodaa F-test avulla. Luvussa 4 tose astee olom sovtetaa krjallsuudesta saatuu aestoo erusmall ja daamse mall muodostamseks. Saatuja tuloksa arvodaa ja verrataa Neme () saam tuloks. Polome mall. Ylee mall Ylee olome -astee regressomall lmasee ruva muuttuja Y (havatoste) odotusarvo rumattoma muuttuja X (selttäjä) olomsea fuktoa (Putae, 999; Draer ja Smth, 98; Se ja Srvastava, 99). Tämä vodaa lmasta muodossa (Mlto ja Arold, 995) µ Y β β β... β, () jossa o ostve kokoasluku ja suurem ku ks. Asettamalla,, 3 3, 4 4,, mall vodaa uudellee krjottaa leseä leaarsea malla µ Y β β β... β () Parametreja β, β, β,..., β estmotaessa emmä elösumma meetelmällä muodostetaa olome mall Y β β β... β E, (3) jossa Y o ruva muuttuja, ku rumattoma muuttuja arvo o ja E o satuasvrhe (jääös, resduaal) (Mlto ja Arold, 995; Putae, 999), joka o muuttuja Y ja se odotusarvo µ Y β β β... β väle okkeama. Otokse, joka koko o, havatosteet ovat muotoa Y β... β β β E, (4) Tutkmuksessa hödetää SPSS. for Wdows -ohjelmaa.

4 3/4 ku,,,. Vastaava mall kärä saadaa Y... ˆ ˆ µ, (5) jossa ŷ o eustearvo ja,,,..., ovat arametre β, β, β,..., β emmä elösumma estmaatteja. Jotta estmaattarvot saadaa, tät kaava (6) esttämä elöde summa el jääöselösumma SSE mmoda. ( ) [ ] e SSE..., (6) Resduaal e tarkottaa havatostee ja estmaat ŷ välstä eroa. Mmot tuottaa ormaalhtälöt: (7) Tässä tutkmuksessa tarkasteltava tose astee olome mall saadaa kaavasta () ja vodaa krjottaa muotoo: Y β β β µ (8) Malla (8) vastaavat ormaalhtälöt vodaa johtaa htälöstä (7) ja krjottaa muotoo: 3 (9) 4 3

5 4/4. Matrsests Normaalhtälöde ratkasemsessa vodaa hödtää matrslasketaa. Tällö o laadttava sova mallmatrs X (model secfcato matr) ja havatovektor Y (oserved resoses vector) (Putae, 999; Mlto ja Arold, 995), jotka erustuvat lesee kaavaa (3). Malla määrttävät htälöt ovat: Y Y Y β β β β E β β β β E ()... β β β... β E Yhtälöstä () vodaa äätellä mallmatrs X, joka kuk rv esmmäe alko o kköe, ja havatovektor Y seuraavalasks (Mlto ja Arold, 995): Y Y X. Y Y Normaalhtälöde matrsestkse lötämseks tarkastellaa matrsa mallmatrs X trasoos. Nä saadaa X ' X, jossa ' X o X ' X

6 5/4 Matrsestkse lötämseks mall arametre β, β, β,..., β k emmä elösumma estmaatt ratkastaa htälöllä: ' ' ( X X ) X () Yhtälöstä () saadaa emmä elösumma estmaatt laskemalla: ' ' ( X X ) X ˆ β ().3 Esmerkk Tose astee mall ratkasua havaollstetaa kättäe tauluko esmerkkaesto (Mlto ja Arold, 995) havatoarvoja. Taulukko : Esmerkkaesto. Havatokohta Havao arvo 5 4, 5,5 7, 5, 5, 5,8 6, 4,9 5 3, 5 4,6 Tauluko arvolla saadaa ormaalhtälöde (9) alkoks: , jotka sjotettua atavat seuraavat ormaalhtälöt , Nä tose astee olomse mall kärä kertomks muodostuvat 7,3, 3, 33 ja, jotka sjottamalla kaavaa (5) saadaa tose astee kärä htälö esmerkktaauksessa: ( 3,33), ˆ 7,3

7 6/4 Matrslasketaa soveltae tauluko esmerkk vodaa ratkasta : 5 5 4, 5 5,5 7, 5, X 5 5, 5 5,8 4 6, 4 4, , , X X jollo kertomks saadaa X ' X X ( ) ' 7,3-3,33,, jotka ovat samat ku ormaalhtälöde ratkasua saadut kertomet. 3 Mall aalsot F-testllä Tose astee olomse mall kärä vodaa krjottaa htälö (5) erusteella muotoo ˆ (3) Tämä kärä mukase mall sovuutta aestoo vodaa testata esmerkks F-testllä ta t-testllä (Mlto ja Arold, 995). Kummatk testmallt atavat sama tulokse hde selttäjä mallssa (Draer ja Smth, 98; Korela, ). Koska tässä tutkmuksessa tarvtaa va hde selttäjä malla, kädää seuraavassa lä va F-test, joka erustuu tlastotetee huomattava kehttäjä R. A. Fsher mukaa mett teoreettsee jakaumaa (Tlastokeskus, 3). Kuk havatostee okkeama havatostede keskarvosta vodaa lmasta muodossa Ratkasu o suortettu Matla v. 6.-ohjelmstolla.

8 7/4 ( ) ( ˆ ) ˆ (4) josta saadaa ( ) ( ˆ ) ( ˆ ) (5) Yhtälö (5) vodaa tulkta: kokoasvahtelusumma SST jääöselösumma SSE seltettelösumma SSR. Nä mall selttämä osuus vodaa laskea R ( ˆ ) ( ) ( ˆ ) ( ). (6) Tästä R -arvosta kätetää mtstä mall seltsaste 3. Mtä eemmä R okkeaa ollasta, stä arem ksee mall o el stä aremm selttää :tä. Jos R, :llä vodaa täs eustaa :tä, el kakk otokse sjatsevat mall kärällä. Mall seltsaste araee, ku selttäve muuttuje joukkoo lsätää mkä hväsä uus muuttuja. Mall seltsastetta vo ss kasvattaa lsäämällä mall tareeks aljo 'turha' muuttuja. Tästä johtue malle seltsasteta e vo verrata keskeää, ku mallessa o er määrä selttävä muuttuja. Seltsastee R sjasta ok use arem tarkastella korjattua seltsastetta R a (Adjusted R Square, Adjusted R ), koska tämä huomo selttäve muuttuje määrä. Korjaus o teht ottae huomoo mallssa oleve selttäje sekä havatoje lukumäärä. Korjattuja seltsasteta vo vertalla keskeää, mutta korjattu seltsaste vo laskea, jos seltettäväks muuttujaks lsätää huoost selttävä muuttuja. Korjattu seltsaste R a vodaa laskea (Se ja Srvas- tava, 99) seuraavast: Ra ( ˆ ) /( v ) (7) ( ) /( ) 3 Seltsaste kertoo, kuka mota rosetta mall selttää ruva muuttaja vahtelusta. Eustamsessa vaadtaa erttä korkeata seltsastetta, vähtää luokkaa,6 (Maurae et al., 993). Yhde selttävä muuttuja taauksessa seltsaste o hteeväe korrelaatokertome elö kassa: R. r.

9 8/4 Mall hvttä testattaessa F-testllä vodaa kättää vaktueea esttämstaaa ANOVA taulukkoa. Taulukko : ANOVA taulukko (Draer ja Smth, 98; Korela, ). Vahtelulähde Nelösumma Vaausaste 4 Varassestmaatt F-arvo Seltett SSE SSR ( ˆ ) v ( ˆ ) F s. MSR v Jääös s. SSE ( ˆ ) -v- ( ˆ ) v Kokoas SST ( ) - Tutkmukse hotees testaukse leseä deaa o, että muotollaa hotees, joka o vasto alkuerästä oletusta ja se jälkee tutktaa, vodaako tämä hotees kumota emrse aesto erusteella. Tätä alkueräse oletukse vastasta hoteesa kutsutaa mellä ollahotees (ull hothess). Nollahoteesa o taaa merktä H. Nollahotees lsäks tarvtaa vastahotees (alteratve hothess), joka hväkstää, jos ollahotees sttää kumoamaa. Tätä hoteesa merktää H (Mlto ja Arold, 995). F-test hoteest ovat (Korela, ; Mlto ja Arold, 995): H : R el e seltä : vahtelua el β β, H : R > el selttää : vahtelua el β aak hdelle, ku,. SSR / v Hoteese testaamseks lasketaa F-jakauma arvo. Jos F-arvoks saadaa SSE /( v ) suur arvo suhteessa F-jakauma raja-arvoo ja -arvoks 5 e arvo suhteessa merktsevstasoo α, H hlätää ja todetaa : selttävä : vahtelua. Vastaavast, jos F-arvo o e ja -arvo o so, seltet määrä vodaa katsoa mahdollsest stee sattumasta johtue. 4 Vaausasteella tarkotetaa k. vaade havatoje lukumäärää. Tlastollse tuusluvu vaausastede lukumäärä o havatoje lukumäärä ja varatut vaausasteet v o tuusluvu estmomsta varte aestosta laskettuje arametre lukumäärä (Purae, 3). Esmerkks kaavaa (3) vastaavalle malllle v, koska ja tulktaa er arametreks kaava () mukasest. 5 Jokase tlastollse test tuloksea saadaa s. -arvo, joka o e taso, joks α votas asettaa H - hotees hlkäämseks. Jos α, H -hotees vodaa hlätä merktsevstasolla α (Mlto ja Arold, 995).

10 9/4 F-arvot o taulukotu aak luottamusvälelle 6 9 %, 95 % ja 99 %. Taulukko 3: Mall F-jakauma taulukosta ( ), 95 P F v, v f (Draer ja Smth, 98; Mlto ja Arold, 995). -v- \ v ,448 99,5 5, , ,5 8,53 9, 9, , ,487 3,8 9,55 9, , , , 3,5,758...,534..., ,93 3,7,668...,49...,35 Tauluko esmerkkaesto erusteella vodaa johtaa tauluko 5 ANOVA-taulukko, välvaheea tauluko 4 laskelmat. Taulukko 4: ANOVA-tauluko edellttämät laskelmat. Seltett Havatokohta Odotusarvo ŷ Keskarvo ˆ ( ) Jääös ( ŷ) Kokoas ( ) 5 3,5 8,3 57,8888,6 53,5538 5,7 8,3 6,359 3,658,738 5,58 8,3 6,65, ,498 5,44 8,3 4,47,869 4, ,85 8,3 65,4368,985 67,5658 Taulukko 5: ANOVA taulukko. Vahtelulähde Nelösumma Vaausaste Varassestmaatt F-arvo Seltett SSR5,76 MSR7,88 7,58897 Jääös SSE7,9 7 Kokoas SST,78 9 s.,74 Täte F test erusteella hotees H : R vodaa hlätä 95 %: luottamusvälllä, koska taulukosta 5 saatava F-arvo 7,58897 o suurem ku raja-arvo F 4, 737 ja,7, <,5. Samo kaavaa (6) soveltamalla seltsasteeks saadaa 5,76 R, Koska seltsaste o lähes ks, malla vodaa kättää mös eustamsee.,78 6 (-α) % luottamusväl arametrlle θ o väl [ L, L ] ste, että P [ L θ L ] -α. Yksuolese F-test P F v, v f taauksessa tarkastellaa todeäkösttä ( ) α ja Arold, 995)., mssä f o F-jakauma raja-arvo (Mlto

11 /4 4 Soveltame esmerkkaestoo Puuttede malltamseks tose astee olom avulla havatoaestoa kätetää tauluko 6 esmerkkaestoa, joka erustuu IBM Watso Research Ceter tutkmuslatoksessa erää uuteluokttelu, Orthogoal Defect Classfcato (ODC), soveltamsta varte vdestä er rojektsta hakttuh uuteluetteloh (Lu, 995). Esmerkkaesto hajotakuvo o estett kuvassa. Hajotakuvosta ähdää hv, että suhteellse eä arvoja aljo, jotka hajautuvat tasasest er ajakoht. Suur osa havaosta o kutek satuasest hajautueta. Taulukko 6: Esmerkkaesto havatusta uuttesta (Nem, ). Ajakohta Projekt T T T3 T4 T5 T6 T7 T8 T9 T T T ODC ODC ODC ODC ODC PUUTTEET AIKA Kuva : Projektaesto uutehavatoje hajotakuvo. 4. Perusmall Soveltamalla tauluko 6 aestoo luvussa 3 estettä F-testä saadaa tauluko 7 mukaset arvot 95 %: luottamusvälllä 7. Taulukossa o estett F-arvo, raja-arvo, -arvo ja seltsaste erksee kullek rojektlle ja kaklle rojektelle. Taulukosta ähdää, että ksttäsllä rojektella seltsaste o selväst suurem ku olla, mutta aoastaa rojekteja ODC ja ODC6 votas kättää eustamsee. Ottamalla mall mukaa kakk rojektt seltsaste o melke olla, el uuttede lukumäärää e voda selttää tässä esmerkktaauksessa aja 7 Lasketa o suortettu SPSS. for Wdows ohjelmalla.

12 /4 fuktoa. Taulukosta ähdää mös, että merktsevstasolla α,5 hotees H hlättäs va rojekte ODC, ODC ja ODC6 osalta. Taulukko 7. SPSS -ohjelma laskema tuuslukuja esmerkkrojektelle. Projektt / Tuusluvut F-arvo Raja-arvo F v, -v- -arvo R ODC 6,3585 4,56,94,58356 ODC 4, ,56,47,49634 ODC3,688 4,56,889,3949 ODC5,853 4,56,3,38485 ODC6 7, 4,56,35,657 Kakk rojektt, ,6,563,4664 Kuvassa o malla vastaava tose astee olom mukae kärä esmerkkaestolle kakke rojekte osalta ja kuvassa 3 o va hdelle rojektlle el rojektlle ODC. Kuva. Kakke rojekte mall. Kuva 3. Projekt ODC mall. Tuloste vertalemseks Neme () Norde/Ralegh-mall tuottame tuloste kassa o taulukkoo 8 laskettu Plla ja Nar (997) esttämät eustettavuude hvttä osottavat tuusluvut rojektetta. Verrattaessa tauluko 8 voutumasarakkee arvoja vastaav Neme () Norde/Ralegh-jakauma avulla saam arvoh ähdää, että SPSS-ohjelmsto st aremm sjottamaa kärä stejoukkoo ku Neme () esttelemä uuttede estmotohjelmsto. Se sjaa vahtelu ja RMSPE ovat taulukossa 8 samaa suuruusluokkaa ku Neme () Norde/Ralegh-jakaumalle saamat arvot.

13 /4 Taulukko 8: Mall ja havattuje uutearvoje erot. Projekt Voutuma Vahtelu RMSPE ODC -3,3333E -6,8843E,8843E ODC,E,468E,468E ODC3-8,3333E -7,37E,37E ODC5,E,866E,866E ODC6,6667E -6 4,6649E 4,6649E Kakk rojektt 7,776E -6 3,9937E 3,9937E 4. Daame mall Daamse mall tarkotus o Neme () mukaa hödtää olemassa oleva, aeme rojekte erusteella lasketu, mall stetä sekä kässä olevasta rojektsta khetkee saakka kerättjä uutetetoja. Taulukkoo 9 o laskettu kullek tauluko 6 rojektlle F-test mukaset arvot ajahetkllä T3, T6, T9 ja T ottamalla huomoo mude rojekte uuteaesto avulla lasketu mall steet ja tarkasteltava rojekt uutetedot tarkasteltavaa ajakohtaa meessä rojekt edetessä. Taulukosta ähdää, että tllsest seltsaste R eeee rojekt edetessä, el uudet uutetedot heketävät malllla eustettavuutta. Vastaavast usemmssa rojektessa uuse uutetetoje huomome malla laskettaessa kasvattaa -arvoa ja eetää F-arvoa. Taulukko 9. SPSS -ohjelma laskema tuuslukuja esmerkkrojektelle rojekt edetessä. Projektt ajakohtaa T/ Tuusluvut F-arvo Raja-arvo F v, -v- ODC / T 3,7574 3,885,49,47 ODC / T 6,3578 3,68,883,58 ODC / T 9,333 3,555,599,849 ODC / T,6457 3,467,69,3547 ODC / T 3 3,4688 3,885,65,36588 ODC / T 6,675 3,68,554,84 ODC / T 9,475 3,555,9583,473 ODC / T,6884 3,467,9337,65 ODC3 / T 3 3,787 3,885,,8455 ODC3 / T 6 8, ,68,33,5338 ODC3 / T 9,5856 3,555,3,35 ODC3 / T, ,467,85,838 ODC5 / T 3 3,79 3,885,,6845 ODC5 / T 6 3,575 3,68,669,379 ODC5 / T 9,7743 3,555,938,36 ODC5 / T 3,843 3,467,383,6698 ODC6 / T 3,568 3,885,3,63695 ODC6 / T 6 5, ,68,6,437 ODC6 / T 9, ,555,73,777 ODC6 / T,39 3,467,559,6 -arvo R Kuvssa 4 ja 5 o havaollstettu rojekt ODC vakutusta mall ajahetkllä T3 ja T9.

14 3/4 Kuva 4. Projekt ODC vakutus mall Kuva 5. Projekt ODC vakutus mall ajakohdassa T3. ajakohdassa T9. Taulukossa o laskettu mall ja havattuje uutearvoje erot rojekt edetessä. Plla ja Nar (997) esttäme tuuslukuje avulla. Taulukosta ähdää, että voutuma o lkma olla kullak ajahetkellä. Vahtelu ja RMSPE kasvavat usemmssa taauksssa rojekt edetessä, el vakutus o sama suutae ku SPSS-ohjelma tuottame tuuslukuje lmasema vakutus. Nämä tulokset ovat huoommat verrattua Neme () saam tuloks Norde/Ralegh-jakauma avulla. Taulukko : Mall ja havattuje uutearvoje erot. rojekt edetessä. Voutuma Vahtelu RMSPE Projekt T3 T6 T9 T T3 T6 T9 T T3 T6 T9 T ODC,3E-6-5,6E-8-9,5E-7-3,E-5 8,975 4,7463 9, ,759 8,975 4,7463 9, ,759 ODC,9E-6,E 9,5E-8,E-7 3,43 8,863,34 9,396 3,43 8,863,34 9,396 ODC3 6,7E-8-5,6E-8 -,4E-7 -,3E-7 5,837 8,8554,8676 3,93 5,837 8,8554,8676 3,93 ODC5,E -,E-7 4,8E-8 8,3E-8 7,68,74,39,9 7,68,74,39,9 ODC6 6,7E-8 -,E-7-4,8E-8-4,E-8,9 4,4 7,6 6,58,9 4,4 7,6 6,58 5 Yhteeveto Tässä tutkmuksessa kätet aesto hajotakuvosta (kuva ) vodaa havata, että aka ja uuttede lukumäärä evät korrelo hv el leaare ruvuus o e. Fuktoalsta tose astee ruvuutta aestossa o havattavssa jok verra, mutta varskaa eustamsee aestosta laskettua tose astee olomsta malla e vo suostella. Kuva erusteella aesto e möskää ssällä sellasa okkeava havatoja (outler), jotka os-

15 4/4 tamalla malla votas saada aremmaks. Saadut tulokset ovat uuttede mallukse kaalta huooma ku Neme () saamat tulokset Norde/Ralegh-jakaumalla daamse mall osalta. Vtteet: Draer N.R., Smth H.,98. Aled Regresso Aalss, Joh Wle & Sos, New York, ISBN Korela E.,. Regressoaals luetosarja v., Joesuu losto, Tlastotetee latos, Joesuu. htt://jo.joesuu.f/~ek/regr/regr.html. (..3). Lu, M.R. (tom.), 995. Hadook of Software Relalt Egeerg, The McGraw-Hll Comaes, Ic., New York, ISBN Maurae K., Haloe P., Jokela V., 993. SPSS-oas, Kuoo losto, ATK-keskus, Kuoo. Mlto J.S., Arold J.C., 995. Itroducto to Proalt ad Statstcs: Prcles ad Alcatos for Egeerg ad the Comutg Sceces, The McGraw-Hll, Ic., New York, ISBN Nem, M.,. Puuttede lukumäärä estmot Norde/Ralegh-jakauma ja Gammajakauma avulla, Joesuu losto, Tetojekästteltetee latos, Joesuu, ISBN (Korjattu verso saatavssa osotteesta: ft://ft.cs.joesuu.f/u/reorts/a-- 5.df) Nem M.,. PUTTE-Puuttede estmotjärjestelmä, Joesuu losto, Tetojekästteltetee latos, Joesuu, ISBN Plla K., Nar S.V.S., 997. A model for Software Develomet Effort ad Cost Estmato, IEEE Trasactos o Software Egeerg, 3(8), Putae S., 999. Regressoaals I, Tameree losto, Tamere, ISBN Purae, J., 3. Tlastotetee saastoa, Helsg losto, Tlastotetee latos, Helsk. htt://oa5.c.helsk.f/uudet/dahtm/saasto.html (..3). Se A.K., Srvastava M., 99. Regresso Aalss: Theor, Methods, ad Alcatos, Srgel-Verlag, New York, ISBN Segel M.R., 96. Theor ad Prolems of Statstc, McGraw-Hll, New York. Tlastokeskus, 3. Johdatus tlastollsee ajatteluu, Helsk. htt:// (..3).