Vastine StoNED-menetelmän epävarmuuksia ja epätasa-arvoista kohtelua koskeviin virheellisiin väittämiin. Timo Kuosmanen

Transkriptio

1 Vastine StoNED-menetelmän epävarmuuksia ja epätasa-arvoista kohtelua koskeviin virheellisiin väittämiin Timo Kuosmanen

2 1. Johdanto KSS Verkko Oy on teettänyt Gaia Consulting Oy:llä selvityksen koskien StoNED-mallia, jota Energiavirasto (EV) aikoo soveltaa sähkön jakeluverkkoyhtiöiden valvontamallissa. Gaia Consulting Oy:n liiketoimintajohtaja Tuomas Raivio (TkT) ja toimitusjohtaja Juha Vanhanen (TkT) ovat verranneet nk. Kaupunkiyhtiöiden (K), taajamayhtiöiden (T) ja haja-asutusalueiden yhtiöiden (H) tehokkuutta Energiaviraston esittämään yhtiöiden luokitteluun perustuen estimoimalla StoNED-rintaman osajoukoittain em. kolmelle ryhmälle. Saatujen tulosten pohjalta tekijät esittävät laatimassaan PowerPoint kalvosarjassa Raivio & Vanhanen (2015) seuraavat rohkeat johtopäätökset: EV:n esittämässä yhtiöjaossa tehokkuuslukujoukkojen tilastolliset ominaisuudet poikkeavat toisistaan Kun StoNED-malli ratkaistaan EV:n esittämällä yhtiöjaolla osajoukoittain, saadaan erilaiset mallin parametrien piste-estimaatit eri osajoukoissa, vaikka näin ei pitäisi olla Tämän tilastollisen evidenssin valossa on mahdollista, että oletus saman kustannusfunktion/ olosuhdetekijän soveltuvuudesta kaikille yhtiöryhmille on väärä Taajamayhtiöiden keskimääräinen tehokkuus laskee suhteessa muihin ryhmiin Tilastomatemaattisia syitä tähän on pohdittu edellä Periaatteessa on toki mahdollista, että taajamayhtiöt ovat rakenteensa takia aina tehottomampia kuin kaupunki- tai haja-asutusyhtiöt. Valvontamallin tarkoituksena ei kuitenkaan voi olla yhtiörakenteen ohjaaminen, joten jos tällainen systemaattinen ero on olemassa, se tulisi huomioida sopivalla tavalla Tämä vastine on laadittu Energiaviraston toimeksiannosta. Tapanani ei yleensä ole kommentoida konsulttien laatimia kalvosarjoja, mutta vastine on tilaajan arvion mukaan tarpeellinen, koska KSS Verkko Oy ja Energiateollisuus ry viittaavat Raivion ja Vanhasen esittämiin mielipiteisiin perustellakseen tehostamiskannustimen rajoittamista koskevia vaatimuksia. Tulen vastineessani kumoamaan Raivion ja Vanhasen selvityksessään esittämät perättömät väitteet objektiivisiin tieteellisiin argumentteihin nojautuen sekä osoittamaan kyseisten väittämien taustalla olevat alkeelliset tilastomatemaattiset ja loogiset virhepäätelmät. Aloitan tarkastelun Energiaviraston valvontamenetelmien 2. suuntaviivoissa esittämän mallin väitetyistä epävarmuuksista, jotka KSS Verkko Oy:n lausunnon mukaan vaarantavat yhtiöiden tasapuolisen käsittelyn. Osoitan, että väite on täysin perusteeton. Osoitan tämän jälkeen Raivion ja Vanhasen tilastomatemaattisiin argumenttien perättömyyden. Tarkastelen sen jälkeen osajoukkoihin perustuvan estimoinnin ongelmia ja osoitan, että Raivion ja Vanhasen malli ei paranna yhtiöiden tasapuolisuutta, vaan todellisuudessa aiheuttaa väitetyt ongelmat. 2. Ryhmien väliset tehokkuuserot Energiaviraston suuntaviivoissa esittämässä mallissa Energiaviraston suuntaviivoissa esittämä malli perustuu parhaaseen käytettävissä olevaan tutkimustietoon tehokkuusmittauksen alalta selvityksessä Kuosmanen, Saastamoinen, Keshvari, Johnson & Parmeter (2014) esitetyn estimointimenetelmän ja mallispesifikaation mukaisesti. StoNEDmenetelmästä on viime vuosina julkaistu lukuisia tieteellisiä artikkeleita alan arvostetuimpiin kuuluvissa 2

3 vertaisarvioiduissa aikakausjulkaisuissa, 1 kyseistä menetelmää on sovellettu useilla toimialoilla (energiaalan lisäksi mm. maataloudessa ja finanssialalla), ja sen pohjalta on tehty useita väitöskirjoja Suomessa ja ulkomailla. 2 Esimerkiksi FT Antti Saastamoisen väitöskirjatyön vastaväittäjänä toiminut, energia-alan tehokkuusmittauksen ehdottomiin auktoriteetteihin lukeutuva Professori Tom Weyman-Jones (Loughborough University) on todennut lausunnossaan StoNED-menetelmästä seuraavasti: In this reviewer s opinion the contribution of the stochastic nonparametric envelopment of data method is the most exciting innovation in efficiency and productivity analysis since the initial methods that emerged in 1977 associated with the names of Charnes, Cooper and Rhodes and Aigner, Lovell and Schmidt, in other words for the last 40 or so years. Myös ulkomaiset energia-alan regulaattorit mm. Saksassa ja Norjassa ovat teettäneet omia selvityksiä StoNED-menetelmän soveltamisesta regulaatiossa. Johtamani tutkimusryhmän lisäksi suuri joukko alan tutkijoita on riippumattomasti testannut menetelmää käytännössä empiirisellä tai simuloidulla aineistolla ja/tai arvioinut menetelmän tilastomatemaattisia perusteita analyyttisesti jo vuodesta 2006 lähtien. Tästä huolimatta kansainvälisessä tutkimuskirjalisuudessa ei ole tuotu esiin mitään vakavasti otettavaa kritiikkiä tai pyritty kyseenalaistamaan menetelmän toimivuutta. Energiavirasto on arvioinut tehostamiskannustimen tasapuolisuutta laskemalla keskimääräiset tehokkuusluvut edellä mainituille kolmelle ryhmälle (K, T, H) perustuen Kuosmasen ym. (2014) selvityksessä estimoituun rintamaan käyttäen vuosien keskimääräisiä yhtiökohtaisia tietoja. Luokittelun ja laskelman tarkoituksena on ollut jälkikäteen arvioida ehdotetun mallin toimivuutta ja tasapuolisuutta. Viraston esittämät tehokkuuslukujen keskiarvot ja keskihajonnat ovat seuraavat: 3 Yhtiöryhmä keskiarvo keskihajonta Kaupunkiyhtiöt (K): 85,6 % 17,0 % Taajamayhtiöt (T): 85,2 % 20,1 % Haja-asutusalueiden yhtiöt (H): 84,5 % 16,7 % Esitettyjen tulosten perusteella edellä mainitun kolmen yhtiöryhmän keskimääräinen tehokkuus on likimain samalla tasolla. Suurin poikkeama ryhmien K ja H välillä on ainoastaan 1,1 prosenttiyksikköä, mitä voidaan pitää erittäin hyvänä tuloksena tasapuolisuuden näkökulmasta. On syytä korostaa, että yhtiöiden luokittelua kolmeen ryhmään (K, H, T) ei huomioida tehokkuuslukujen laskennassa käytetyssä StoNED-mallissa, joten menetelmä ei millään lailla pakota ryhmien tehokkuuskeskiarvoja samalle tasolle. Energiaviraston laatimien laskelmien perusteella Kuosmasen ym. (2014) ehdottama menetelmä ja mallispesifikaatio ottavat ainakin vertailujen kolmen yhtiöryhmän erilaiset toimintaympäristöt huomioon erittäin tasapuolisesti. 1 Lähdeviitteistä kiinnostunut lukija voi perehtyä esim. katsausartikkeliin Kuosmanen ym. (2015). 2 StoNED-menetelmää kehitetään ja sovelletaan mm. kolmessa Aalto yliopiston kauppakorkeakoulussa tehdyssä väitöskirjassa vuonna 2014 (Antti Saastamoinen, Abolfazl Keshvari, Juha Eskelinen). 3 Raivio ja Vanhanen huomauttavat, että Energiaviraston esityksessä ryhmien H ja T otsikot ovat vaihtuneet. Tämän lisäksi Alajärven Sähkö Oy:n tehokkuusluku on esityksessä väärin, mikä vaikuttaa hieman ryhmän H keskiarvoon ja -hajontaan. Molemmat virheet on korjattu tässä vastineessa. 3

4 Gaia Consulting Oy:n Raivio ja Vanhanen kuitenkin väittävät, että EV:n esittämässä yhtiöjaossa tehokkuuslukujoukkojen tilastolliset ominaisuudet poikkeavat toisistaan. Yllä esitetyn evidenssin valossa Raivion ja Vanhasen esittämä mielipide on ristiriidassa tosiasioiden kanssa. Raivio ja Vanhanen tarkentavat väitettään seuraavasti: Mm. erot variansseissa antavat aiheen olettaa, että EV:n määrittelemät osajoukot eivät ole tilastollisilta ominaisuuksiltaan samanlaisia. Raivion ja Vanhasen laatiman kalvosarjan mukaan ryhmien tehokkuuslukujen varianssit ovat noin 300, 300 ja 400. Tämä esitys on harhaanjohtava, koska tekijät eivät tuo esiin käyttämäänsä mittayksikköä. Analyysin perusteella KSS Verkko Oy esittää Energiavirastolle jättämässään lausunnossa, että Gaian selvityksessä on havaittu, että vaikka keskiarvot ovat likimain yhtä suuret, keskihajonnat poikkeavat toisistaan. Väite ei selvästikään pidä paikkaansa. Harhakäsitys johtunee ilmeisestä väärinymmärryksestä koskien varianssin ja keskihajonnan tulkintaa. Varianssi ja keskihajonta ovat molemman ns. hajontalukuja. Keskihajonnan tulkinta on usein mielekkäämpi, koska keskihajonnan asteikko vastaa mittausten asteikkoa. Energiaviraston toimittaman aineiston perusteella varianssit ovat seuraavat: ryhmä K 2,9 % 2, ryhmä T 4,0 % 2 ja ryhmä H 2,8 % 2 (huom. mittayksikkö), mistä seuraa, että ryhmien tehokkuuslukujen keskihajonnat (ts. varianssin neliöjuuri) ovat noin 17,3 %, 20,1 % ja 16,7 %, kuten edellä esitettiin. Kun mittayksiköt esitetään vääristelemättä, havaitaan että myös tehokkuuslukujen hajonta on lähes samalla tasolla kaikkien ryhmien osalta. Tilastollisten testien perusteella voidaan arvioida, ovatko poikkeamat kolmen em. ryhmän tehokkuuslukujen otosvariansseissa niin suuret, että eroja ei voida tulkita otannasta yms. tekijöistä johtuvaksi satunnaisvaihteluksi. Valitettavasti Raivio ja Vanhanen eivät selvityksessään mainitse, ovatko esitetyt poikkeamat tehokkuuslukujen variansseissa tilastollisesti merkitseviä. Havainnollisuuden vuoksi tarkastellaan aluksi yksinkertaista F-testiä, jonka avulla voidaan testata poikkeaako ryhmän T tehokkuuslukujen populaatiovarianssi ryhmän H populaatiovarianssista. Nämä kaksi ryhmää on valittu tarkasteluun sillä perusteella, että niiden otosvarianssit poikkeavat kaikkein eniten toisistaan. Testin nollahypoteesina on, että molempien ryhmien populaatiovarianssi on sama, kun taas vaihtoehtoisen hypoteesin mukaan ryhmien populaatiovarianssit poikkeavat. Testisuureena käytetään vertailtavien ryhmien otosvarianssien osamäärää, ts. F = 4,0 % 2 / 2,8 % 2 = 1,451. Nollahypoteesin ollessa voimassa testisuureen arvo noudattaa F-jakaumaa vapausasteilla n 1 ja m 1, missä n ja m ovat ryhmiin T ja H kuuluvien havaintojen lukumäärät (molempiin ryhmiin kuuluu tässä tapauksessa 29 yhtiötä). Testin kriittiset arvot ovat 5 %:n merkitsevyystasolla 1,882 ja 1 %:n merkitsevyystasolla 2,464. Koska testisuureena käytettävä otosvarianssien osamäärä F jää huomattavasti kriittisten arvojen alapuolelle yleisesti tilastollisissa testeissä käytettävillä merkitsevyystasoilla (testin p-arvo on 0,165), nollahypoteesia ei voida tämän evidenssin perusteella hylätä. Toisin sanoen erot ryhmien T ja H tehokkuuslukujen variansseissa eivät F-testin perusteella ole tilastollisesti merkitseviä. Edellä esitetyssä F-testissä on kolme selvää puutetta: 1) testissä on käytetty vuosien keskimääräisiin tietoihin perustuvia tehokkuuslukuja (joita myös Raivio ja Vanhanen vertailevat), ei vuosittaisia tehokkuuslukuja. Keskiarvottaminen kuitenkin pienentää sekä otoskokoa että hajontaa, mikä heikentää testin voimakkuutta. 2) testissä verrataan kahden ryhmän variansseja, kun todellisuudessa ryhmiä on kolme. 3) käytetty F-testi perustuu oletukseen normaalisti jakautuneista satunnaismuuttujista, 4

5 mikä tehokkuuslukujen kohdalla ei pidä paikkaansa. Lisäksi kyseistä testiä pidetään yleisesti herkkänä normaalisuusoletukselle. Näiden puutteiden korjaamiseksi tarkastellaan seuraavaksi testiä, jossa 1) käytetään Kuosmasen ym. (2014) selvityksessä laskettuja vuosien vuosittaisia yhtiökohtaisia tehokkuuslukuja, jotta sekä hajonta että otoskoko (640 havaintoa) ovat suurimmat mahdolliset käytettävissä olevan aineiston puitteissa, 2) huomioidaan kaikki kolme ryhmää K, T ja H, sekä 3) sovelletaan Levenen (1960) esittämää testiä, joka on osoittautunut jakaumaoletusten suhteen robustiksi mm. tutkimuksissa Brown & Forsythe (1974), Conover et al. (1981) ja Lim & Loh (1996). Testin nollahypoteesi on, että kaikkien ryhmien populaatiovarianssi on yhtä suuri. Vaihtoehtoinen hypoteesi väittää, että ainakin yhden ryhmän populaatiovarianssi poikkeaa muiden ryhmien varianssista. Soveltamalla testin versiota, joka on esitetty artikkelissa Lim & Loh (1996) selvityksessä Kuosmanen ym. (2014) esitettyihin vuosittaisiin yhtiökohtaisiin tehokkuuslukuihin, saadaan testisuureen arvoksi L = 1,144. Kriittiset arvot ovat 5 %:n merkitsevyystasolla 3,010 ja 1 %:n merkitsevyystasolla 4,639. Koska testisuureen arvo jää huomattavasti alle kriittisen arvon yleisesti käytetyillä merkitsevyystasoilla, nollahypoteesia ei voida hylätä (testin p-arvo on 0,319). Siten poikkeamia ryhmien otosvariansseissa ei tämänkään testin perusteella voida pitää tilastollisesti merkitsevinä. Tilastolliset testit eivät tue Raivion ja Vanhasen väitettä, jonka mukaan Mm. erot variansseissa antavat aiheen olettaa, että EV:n määrittelemät osajoukot eivät ole tilastollisilta ominaisuuksiltaan samanlaisia. Vaikka taajamayhtiöiden T keskihajonta on hieman muita ryhmiä korkeampi, on vaikea ymmärtää millä perusteella muutaman prosenttiyksikön ero keskihajonnassa muka vaarantaa yhtiöiden tasapuolisen käsittelyn, kuten KSS Verkko Oy väittää lausunnossaan. Taajamayhtiöiden hieman suurempi hajonta voi käytännössä johtua vertailussa käytetystä luokittelusta: luokkiin K ja H kuuluvat yhtiöt vaikuttavat keskenään homogeenisemmilta ryhmiltä kuin luokka T, johon sisältyy varsin erilaisia ja erilaisissa toimintaympäristöissä toimivia yhtiöitä. Mikäli luokka T on heterogeenisempi kuin kaksi muuta vertailussa mukana olevaa luokkaa, kuten luokkiin kuuluvien yhtiöiden vertailu antaa ymmärtää, on täysin luonnollista, että kyseiseen ryhmään kuuluvien yhtiöiden tehokkuuslukujen keskihajonta on hieman suurempi kuin muissa ryhmissä. Väitetty ongelma voitaisiin korjata helposti esimerkiksi jakamalla luokka T kahteen tai useampaan osa-luokkaan, jotka muodostavat keskenään homogeenisemmat ryhmät, jolloin uusien luokkien keskihajonnat ovat pienemmät. Näiden faktojen nojalla yhden yhtiöryhmän muutaman prosenttiyksikön poikkeama tehokkuuslukujen keskihajonnassa ei tue millään tavalla väitettä StoNED-malliin sisältyvistä epävarmuuksista. Koska suuntaviivoissa esitetyn mallin tuottamien tulosten valossa ei ole mitään todellista syytä epäillä Energiaviraston ehdottaman muuttujavalinnan tasapuolisuutta, joka lähtökohtaisesti on sama kaikille yhtiöille ja yhtiöryhmille, Gaian konsultit Raivio ja Vanhanen ovat tarkoitushakuisesti itse kehittäneet epävarmuuksia estimoimalla mallin osajoukoittain keinotekoiseen luokitteluun perustuen ja arvioimalla mallin hyvyyttä kyseenalaisin, mitä ilmeisimmin konsulttien itse keksimin kriteerein. Tästä seuraavat ongelmat, joita tarkastellaan seuraavaksi, ovat luonnollisesti konsulttien omalla vastuulla. Korostan, että seuraavassa luvussa tarkasteltavilla ongelmilla ei ole mitään tekemistä StoNED-menetelmän tai Energiaviraston suuntaviivoissa esittämän mallin kanssa. 5

6 3. Tilastomatemaattisten argumenttien logiikka Kuosmasen ym. (2014) raportissa esitetystä menettelystä poiketen Raivio ja Vanhanen estimoivat rintamamallin erikseen kullekin ryhmälle K, T ja M Energiaviraston vertailun vuoksi käyttämän yhtiöiden luokittelun mukaisesti. Raivio ja Vanhanen yrittävät perustella kyseenalaista menettelyään viittaamalla ns. poikkeavien havaintojen (outlier) tunnistamisessa sovellettuihin menetelmiin, joissa poikkeavaksi epäilty yksittäinen havainto poistetaan havaintoaineistosta. Kuitenkin Raivio ja Vanhanen poistavat havaintoaineistosta kerralla noin 2/3 havaintopisteistä, jolloin rinnastus outlierien tunnistamiseen on täysin harhaanjohtava. Ylipäätään Raivion ja Vanhasen esittämät väitteet osajoukkoihin perustuvan estimoinnin tilastomatemaattisesta logiikasta ovat perättömiä, kuten osoitan seuraavassa. Raivio ja Vanhanen väittävät, että Tilastollisesti hyvässä mallissa havaintojen poistamisen mallista ei tulisi vaikuttaa merkittävästi mallin ulostuloon tai parametrien piste-estimaatteihin. Raivio ja Vanhanen eivät mainitse kalvosarjassaan lähdeviitettä väitteen tueksi, joten kyseessä on mitä ilmeisemmin konsulttien itse keksimä kriteeri tilastollisen mallin hyvyyden arviointiin. Tilastollisen mallin hyvyyden arviointi ei yleensä perustu havaintojen poistamiseen, vaan päinvastoin, tilastollisten mallien hyvyyttä tarkastellaan kaikkein yleisimmin tilanteessa, jossa havaintojen lukumäärä lähestyy ääretöntä. Kaikki tilastollisten mallien ns. asymptoottiset ominaisuudet kuten tarkentuvuus (consistency) viittaavat tapaukseen, jossa havaintojen lukumäärä ei aseta rajoitteita. Tilastollisten estimaattoreiden pienotosominaisuudet (finite sample properties) kuten harhattomuus (unbiasedness) ovat voimassa myös äärellisessä havaintoaineistossa, mutta niiden tutkiminen mm. semi- ja ei-parametristen menetelmien (kuten StoNED) tapauksessa on osoittautunut huomattavan hankalaksi. Joka tapauksessa on täysin selvää, että minkä tahansa tilastollisen mallin tarkkuus kärsii, olipa malli kuinka robusti hyvänsä, jos havaintoaineistosta pudotetaan pois 2/3 havaintopisteistä. Tilastotieteessä käytetään toki ns. resampling-menetelmiä kuten bootstrap, jackknife ja Monte Carlo - menetelmät, joissa tilastollisen mallin tarkkuutta arvioidaan alkuperäisen havaintoaineiston osajoukkoihin perustuvan estimoinnin avulla. Näissä menetelmissä osajoukko poimitaan satunnaisotannalla (erot eri bootsrap- ja jackknife-menetelmien välillä koskevat mm. käytettävän osajoukon kokoa ja sitä, poimitaanko satunnaisotos takaisinpanolla vai ilman), ja koe toistetaan lukuisia kertoja. Mikäli osajoukot poimitaan täysin satunnaisesti ja satunnaisotanta toistetaan useita kertoja, voidaan osajoukkoihin sovelletun estimoinnin odottaa tuottavan keskimäärin samanlaisia tuloksia kuin alkuperäisessä estimoinnissa saadut. Raivion ja Vanhasen analyysistä kuitenkin puuttuvat edellä mainittujen tilastollisten menetelmien kaksi keskeisintä elementtiä: satunaisotanta ja toistot. Koska osajoukot on valikoitu etukäteen homogeenisiksi, ei ole mitään syytä odottaa, että valikoituihin osajoukkoihin sovellettu estimointi tuottaisi edes likimain samankaltaisia tuloksia kuin alkuperäiseen aineistoon perustuva estimointi. Raivion ja Vanhasen esittämä analyysi on siten täysin vailla tieteellistä pohjaa. Konsulttien esittämät tulokset ovat osoitus nk. valikoitumisharhan (selection bias) olemassaolosta. Seuraava yksinkertainen esimerkki havainnollistaa Raivion ja Vanhasen esittämän kriteerin virheellisen logiikan sekä siihen liittyvän valikoitumisharhan. Otoskeskiarvo, jota myös Gaia Consulting Oy on 6

7 käyttänyt omissa selvityksissään, on tunnetusti populaation odotusarvon harhaton ja tarkentuva estimaattori. Esimerkiksi ihmispopulaation pituuden odotusarvoa voidaan arvioida poimimalla tuhannen henkilön satunnaisotos kyseisestä populaatiosta, mittaamalla henkilöiden pituus mittanauhalla, ja laskemalla mitattujen pituuksien keskiarvo. Raivio ja Vanhanen väittävät, että hyvän tilastollisen mallin kohdalla estimoinnin osajoukoittain tulisi tuottaa suurin piirtein samat ulostulot ja parametriarvot. Mikäli osajoukkoja ei kuitenkaan poimita satunnaisesti, vaan valikoidaan jonkin etukäteen määritellyn kriteerin perusteella Raivion ja Vanhasen tapauksessa kriteerinä on toimintaympäristöön perustuva luokitus, pituuskeskiarvon tapauksessa kriteerinä voi olla esimerkiksi ikä tai sukupuoli ei ole mitään syytä odottaa, että osajoukkoihin sovellettu estimointi tuottaisi samoja tuloksia. Esimerkiksi 0 9 vuotiaiden keskimääräinen pituus on yleensä selvästi alhaisempi kuin vuotiaiden pituus ja vastaavasti miesten pituus on yleensä keskimäärin korkeampi kuin naisten pituus. Raivion ja Vanhasen esittämien kriteerien perusteella otoskeskiarvo on ilmeisen huono tilastollinen malli populaation odotusarvon arviointiin, koska estimointi osajoukoittain tuottaa eri ryhmille poikkeavat tulokset. Raivion ja Vanhasen esittämä evidenssi perustuu täysin tällaiseen alkeelliseen virhepäätelmään. Otoskeskiarvoon perustuva esimerkki on tässä yhteydessä relevantti, koska kustannusrintaman estimoinnissa käytetty StoNED-estimaattori voidaan myös tulkita ehdolliseksi otoskeskiarvoksi. Ts. keskiarvon laskennassa ei käytetä kaikkia havaintoja vaan keskiarvon laskenta rajataan (tiettyjen oletusten ja reunaehtojen puitteissa) vastaavaan panos-tuotosrakenteen ja toimintaympäristön omaaviin havaintoihin. Jos rajausta tiukennetaan edelleen keinotekoiseen luokitukseen perustuen Raivion ja Vanhasen esittämällä tavalla, on täysin johdonmukaista, että tulokset muuttuvat aivan samalla tavoin kuin jos pituuden keskiarvoa laskettaessa osajoukko rajataan esimerkiksi naisiin tai 0 9 vuotiaisiin. En ryhdy tämän selvityksen puitteissa arvioimaan Raivion ja Vanhasen esittämien tulosten paikkansapitävyyttä tai niiden tulkintaa, mutta kalvosarjassa esitetyt vaikutukset ovat kaikilta osin täysin loogisia, eikä niissä ole havaittavissa mitään uutta, yllättävää saati huolestuttavaa. On syytä korostaa, että Raivion ja Vanhasen havaitsema ilmiö ei ole StoNED-menetelmän ominaisuus, vaan sama valikoitumisharha tulee esiin rintaman estimoinnissa käytettävästä menetelmästä riippumatta. Edellä esitetty yksinkertainen esimerkki osoittaa, että sama ilmiö koskee myös keskiarvoa, jota myös sovelletaan useiden Energiaviraston valvontamallin parametrien laskennassa. 4. Mallin estimointi osajoukoittain Raivion ja Vanhasen mukaan Tämän tilastollisen evidenssin valossa on mahdollista, että oletus saman kustannusfunktion/ olosuhdetekijän soveltuvuudesta kaikille yhtiöryhmille on väärä. Olen edellä tyrmännyt täysin esitetyn evidenssin todistusarvon. Jotta asiasta ei jäisi epäselvyyttä, tarkastelen seuraavaksi ongelmia, joita mallin estimointi Raivion ja Vanhasen esittämällä tavalla aiheuttaa. Ensinnäkin yhtiöiden keinotekoinen luokitteleminen etukäteen kolmeen ryhmään on sinänsä kyseenalaista. Vaikka jotkut yhtiöt kuuluvatkin selvästi joko luokkaan K tai H, rajat luokkien K ja T välillä ja toisaalta myös luokkien T ja H välillä ovat käytännössä veteen piirrettyjä viivoja. Esimerkiksi kaupunkiyhtiöiden luokkaan K luetaan yhtiöitä, jotka toimivat melko pienissä kaupungeissa (esim. Forssan Verkkopalvelut Oy, Haminan Energia Oy, Naantalin Energia Oy ja Raahen Energia Oy), kun 7

8 taas taajamayhtiöihin T sisältyy huomattavasti suuremmissa kaupungeissa toimivia yhtiöitä (esim. Lappeenrannan Energiaverkot Oy ja Vaasan Sähköverkko Oy). Mikäli ryhmään K tai T kuuluminen olisi selvästi edullisempaa, edellä mainitut yhtiöt löytävät varmasti hyviä perusteluja kyseenalaistaa luokittelu ja vaatia siirtymistä kyseisen yhtiön kannalta edullisempaan luokkaan. Lisäksi on syytä kysyä, miksi luokkia on kolme, miksi ei esimerkiksi neljä tai enemmän? Eräs keskeinen StoNED-menetelmän vahvuuksista on siinä, että se huomioi erot yritysten ja niiden toimintaympäristöjen välillä mallin sisältämien muuttujien perusteella ilman epämääräisiä ja keinotekoisia luokitteluja. Toki menetelmän puitteissa olisi mahdollista ottaa kvalitatiivinen luokittelu (esim. luokat K, H ja T) eksplisiittisesti huomioon esimerkiksi käyttämällä {0,1}-indikaattorimuuttujia toimintaympäristöä kuvaavina z-muuttujina. Mikäli tällaista luokittelua sovellettaisiin valvontamenetelmissä, luokittelun pitäisi olla erittäin täsmällisesti määritelty ja hyvin perusteltu, koska luokittelun lisääminen malliin johtaa väistämättä siihen, että eri luokkiin kuuluvia yhtiöitä kohdellaan eri tavoin (tai muussa tapauksessa luokittelu on täysin merkityksetön). Etukäteen asetetun luokittelun käyttäminen aiheuttaa eriarvoisuutta, ei suinkaan korjaa sitä. Gaia Consulting Oy:n esittämissä argumenteissa on tältä osin selvä looginen ristiriita. Edellisessä luvussa todettiin, että Energiaviraston ehdottama mallispesifikaatio tuottaa likimain samat tehokkuuslukujen keskiarvot ja samaa suuruusluokkaa olevat keskihajonnat tarkastelluille kolmelle ryhmälle, eivätkä havaitut erot ryhmille lasketuissa otossuureissa ole suoritettujen testien perusteella tilastollisesti merkitseviä. Vertailun vuoksi voidaan myös arvioida kuinka tasa-arvoisia tehokkuuslukuja Raivion ja Vanhasen tarkastelema osajoukoittain estimoitu malli tuottaisi. Tulokset esitetään alla: Yhtiöryhmä keskiarvo keskihajonta Kaupunkiyhtiöt (K): 92,4 % 17,0 % Taajamayhtiöt (T): 86,7 % 17,9 % Haja-asutusalueiden yhtiöt (H): 93,9 % 18,3 % Yllä esitetyt keskihajonnat on laskettu Raivion ja Vanhasen PowerPoint kalvosarjassa esitettyjen varianssien perusteella. Esitettyjen tulosten perusteella voidaan todeta, että Raivion ja Vanhasen lähestymistapa ei ainakaan auta ratkaisemaan Energiaviraston mallispesifikaatioon sisältyvää tasapuolisuusongelmaa (mitään ongelmaahan ei alun perinkään ollut havaittavissa), vaan se todellisuudessa aiheuttaa ongelman. On luonnollista, että rintaman estimointi erikseen homogeenisemmin määritellyille osajoukoille pienentää hieman tehokkuuslukujen keskihajontaa kunkin ryhmän sisällä, mutta tehokkuuslukujen keskiarvot poikkeavat nyt varsin huomattavasti ryhmien välillä, asettaen eri luokkiin kuuluvat yhtiöt keskenään eriarvoiseen asemaan. Erityisesti taajamayhtiöiden T tehokkuus jää Raivion ja Vanhasen mallissa huomattavasti K ja H yhtiöitä alhaisemmaksi. Raivio ja Vanhanen toteavat tämän perusteella, että Periaatteessa on toki mahdollista, että taajamayhtiöt ovat rakenteensa takia aina tehottomampia kuin kaupunki- tai haja-asutusyhtiöt. Väitetty rakenteellinen tehottomuus ei kuitenkaan ilmene millään tavalla Energiaviraston esittämässä mallissa, kuten edellisessä luvussa osoitettiin, vaan se on Raivion ja Vanhasen itse aiheuttama ongelma. 8

9 Voidaan myös ihmetellä, miksi Raivio ja Vanhanen katsovat sopivaksi käyttää omissa laskelmissaan kaikille ryhmille samoja panos- ja tuotos-muuttujia, jos he kuitenkin väittävät, että on mahdollista, että oletus saman kustannusfunktion/olosuhdetekijän soveltuvuudesta kaikille yhtiöryhmille on väärä. Mikäli kyseisillä yhtiöryhmillä on aidosti eri tuotosmuuttujiin perustuva kustannusfunktio ja/tai olosuhdetekijät, Raivion ja Vanhasen itse tarkastelema malli, jossa sovelletaan samoja muuttujia ja olosuhdetekijää kaikille yhtiöryhmille, on tällöin myöskin väärin spesifioitu. Tämän loogisen ristiriidan takia väitteiden tueksi esitetyn evidenssin todistusarvo on käytännössä olematon. Panos-tuotosmuuttujien sekä toimintaympäristöä kuvaavien tekijöiden soveltuvuutta tehostamiskannustimen laskentaan on arvioitu lukuisissa aikaisemmissa Energiaviraston teettämissä selvityksissä (mm. Korhonen ym., 2000, Syrjänen ym., 2006, ja Kuosmanen ym., 2010, 2014), joten en tässä yhteydessä katso tarpeelliseksi kommentoida muuttujien valintaa enempää. 5. Johtopäätökset On arvokasta, että StoNED-mallia ja sen toimivuutta arvioidaan ja testataan myös muiden kuin mallin kehittäjien toimesta. Johtamani tutkimusryhmän tai konsulttiyhtiö Sigma-Hat Economics Oy:n pyrkimyksenä ei ole monopolisoida StoNED-menetelmää, vaan kaikki menetelmää koskevat tutkimustulokset, ohjelmistokoodit ja aineistot ovat avoimesti ja ilmaiseksi kaikkien halukkaitten tahojen saatavissa. Valitettavasti Gaia Consulting Oy:n laatima selvitys ei tarjoa minkäänlaista lisäarvoa. Konsultit esittävät mielipiteenään useita virheellisiä väittämiä, joiden perustelut eivät kestä objektiivista tieteellistä arviointia. Olen edellä osoittanut selvitykseen sisältyvät alkeelliset tilastomatemaattiset ja loogiset virhepäätelmät, jotka käytännössä mitätöivät täysin kaikki esitetyt johtopäätökset. Väitetyt StoNED-malliin liittyvät epävarmuudet, joihin mm. KSS Verkko Oy ja Energiateollisuus ry viittaavat lausunnoissaan, osoittautuvat lähemmässä tarkastelussa Gaia Consulting Oy:n selvityksiin liittyviksi epävarmuuksiksi. Väitetyillä epävarmuuksilla ei ole mitään tekemistä StoNED-menetelmän tilastollisten ominaisuuksien kuin myöskään Energiaviraston esittämän mallin tasapuolisuuden kanssa. Energiaviraston toivomuksesta pidättäydyn kommentoimasta Gaia Consulting Oy:n selvityksen tekijöiden ammattitaitoa tai siinä paljastuneita puutteita. En myöskään halua spekuloida selvityksen tekijöiden motiiveilla. Mielestäni on kuitenkin syytä tuoda avoimesti esiin, että Gaia Consulting Oy on yhtäältä aktiivisesti osallistunut Energiaviraston valvontamenetelmien kehittämiseen, mutta toisaalta pyrkii tehostamiskannustimen osalta tahraamaan itseään huomattavasti pienemmän toimijan mainetta esittämällä täysin perusteettomia ja harhaanjohtavia väitteitä, hävittyään aiemmin kyseisestä työpaketista käydyn avoimen tarjouskilpailun keväällä Gaia Consulting Oy:n mainostaa internet-sivuillaan eettisinä normeinaan luottamusta ja rehellisyyttä, objektiivisuutta ja riippumattomuutta, sekä vastuuta laadusta. 4 Lukija voi esitetyn perusteella vetää omat johtopäätöksensä toteutuvatko Gaia Consulting Oy:n mainostamat eettiset normit käytännössä. 4 Lähde: ( ). 9

10 Lähteet Brown, M.B., & A.B. Forsythe (1974) Robust tests for equality of variances, Journal of the American Statistical Association, Conover, W.J., M.E. Johnson & M.M. Johnson (1981) A comparative study of tests for homogeneity of variances, with applications to the outer continental shelf bidding data, Technometrics 23, Korhonen, P., M. Syrjänen & M. Tötterström (2000): Sähkönjakeluverkkotoiminnan kustannustehokkuuden mittaaminen DEA-menetelmällä, Energiamarkkinaviraston julkaisuja 1/2000 Kuosmanen, T., A.J. Johnson & A. Saastamoinen (2015) Stochastic nonparametric approach to efficiency analysis: A unified framework, Ch. 7 in J. Zhu (Ed.) Data Envelopment Analysis, Springer. Kuosmanen, T., M. Kortelainen, K. Kultti, H. Pursiainen, A. Saastamoinen & T. Sipiläinen (2010) Sähköverkkotoiminnan kustannustehokkuuden estimointi StoNED-menetelmällä: Ehdotus tehostamistavoitteiden ja kohtuullisten kustannusten arviointiperusteiden kehittämiseksi kolmannella valvontajaksolla , Loppuraportti , Sigma-Hat Economics Oy. Kuosmanen, T., A. Saastamoinen, A. Keshvari, A. Johnson & C. Parmeter (2014) Tehostamiskannustin sähkön jakeluverkkoyhtiöiden valvontamallissa: Ehdotus Energiaviraston soveltamien menetelmien kehittämiseksi neljännellä valvontajaksolla , Loppuraportti Lim, T.-S., & W.-Y. Loh (1996) A comparison of tests of equality of variances, Computational Statistics & Data Analysis 22, Levene, H. (1960) Robust tests for equality of variances, in: I. Olkin, S.G. Ghurye, W. Hoeffding, W.G. Madow and H.B. Mann (Eds.), Contributions to Probability and Statistics, Stanford Univ. Press, Stanford, Raivio, T. & J. Vanhanen (2015) StoNED mallin analyysi, Gaia Consulting Oy, PowerPoint kalvosarja. Syrjänen, M., P. Bogetoft, & P. Agrell. (2006): Analogous Efficiency Measurement Model Based on Stochastic Frontier Analysis, Gaia Consulting Oy Weyman-Jones, T. (2014) Report and recommendation concerning the public examination of dissertation candidate Antti Sastamoinen, Modelling heterogeneous operating environment and production risk in modern productivity analysis, September 29,