The impact of school closings on student achievement - evidence from rural Finland Thesis Seminar Presentation Ramin Izadi
Tausta Valtionosuuksien supistaminen Maaseudun harveneva väestö Kuntien taloustilanne Kouluverkko supistunut:
Motivaatio Ei aikaisempaa empriiristä tutkimusta Suomesta Politiikkaimplikaatiot Julkinen keskustelu Päätöksissä tulisi kuitenkin ottaa huomioon myös lapsen näkökulma ja se, mitä jo koulun lopettamisen uhka saattaa merkitä lapselle Epävarmuuden sekä epäoikeudenmukaisuuden kokemusten sijaan tulee luoda psykologista turvallisuutta ja jatkuvuutta, jotta työssä jaksaminen, siihen sitoutuminen ja motivaatio pysyvät yllä. Näin voimme odottaa kouluistamme hyvinvoivia lapsia ja hyviä oppimistuloksia. Suomen Kuvalehti, Koulujen lakkautus: Lapsen näkökulma on huomioitava 3.1.2010
Aikaisempi tutkimus Brummet (2014), Journal of Public Economics Koulujen lakkauttamiset Michiganissa dif-in-dif. Koetulokset matematiikassa laskivat ennen ja jälkeen lakkautuksen, mutta palasivat muutamassa vuodessa samalle tasolle muiden kanssa. Parempiin kouluihin siirtyneiden oppilaiden tulokset paranivat ja huonompaan kouluun siirtyneiden huononivat. Sacerdote (2012), American Economic Journal Hurrikaani Katriinan takia siirtyneet oppilaat. Tulokset vastaavanlaisia kuin Brummet (2014). Engberg et al. (2012), Journal of Urban Economics Instrumenttimuuttujaregresssio. Koulun lakkauttaminen vahingoittaa arvosanoja pysyvästi. Hyvä muistaa, että instituutioiden rakenne Suomessa hyvin erilainen.
Data Kouludata 1998 2003: tilv koodi nimi kieli vuosilk ov1 ov2 ov3 ov4 ov5 ov6 ov7 ov8 ov9 ovy kev lakkautettu 1998 8862 RAUMON KOULU 1 2 0 0 0 0 0 0 83 71 79 233 225 0 1999 8862 Raumon koulu 1 3 16 18 26 11 19 10 93 82 68 343 235 0 2000 8862 Raumon koulu 1 3 19 16 13 25 11 19 56 90 79 328 345 0 lakkautusvuosi osoite postinro kunta kuntanumero latitude longitude source precision 0 Raumontie 100 95420 Tornio 851 65.85 24.22 arcgis 100 0 Raumontie 100 95420 Tornio 851 65.85 24.22 arcgis 100 0 Raumontie 100 95420 Tornio 851 65.85 24.22 arcgis 100 Yhteisvalintadata 1998 2004: Käsittelyn (treatment) määrittely: Oppilas kuulu käsittelyryhmään mikäli hänen koulunsa on lakkautettu (ei yhdistetty) vitos- tai kuutosluokalla. Käsittelyryhmä koostuu kolmesta eri kohortista: 1. 2004 vuonna ysiltä valmistuneet joiden koulu on lakkautettu vuonna 2000 (6.lk) 2. 2004 vuonna ysiltä valmistuneet joiden koulu on lakkautettu vuonna 1999 (5.lk) 3. 2003 vuonna ysiltä valmistuneet joiden koulu on lakkautettu vuonna 1999 (6.lk)
Ala-asteen määrittäminen oppilaille Ala-asteita ei tunneta. Pitää estimoida mitä ala-astetta kukin oppilas on käynyt. Koulut, jotka eivät tarjoa kaikkia ala-asteen luokkia hankaloittavat käsittelyn määrittelyä ja kouluun osoittamista. Ratkaisu: Osoitetaan luokkiin lähimmät X oppilasta missä X on luokkakoko tiettynä vuonna. Vastaako kouluihin osoitettuja määrä tunnettuja luokkakokoja?
Estimointivirhe kun ylijäämäoppilaat on poistettu aineistosta
Matching-identifikaatio ignorability Käsittelyryhmään valikoituminen on strongly ignorable ehdolla X (kovariaattivektori) joss seuraavat ehdot pitävät (Rosenbaum & Rubin (1983)): 1. { } (Unconfoundedness) Toisiin sanoen kaikki :t ovat mukana, jotka korreloivat sekä käsittelyyn joutumisen, että tuleman kanssa (selection on observables assumption, as-if randomness). Ryhmät ovat samanlaisia kaikissa sellaisissa ominaisuuksissa, jotka vaikuttavat koulumenestykseen. 2. ( ) (Common overlap)
Matching-identifikaatio balancing score Yksinkertaisin tapa ehdollistaa X:llä on etsiä täsmällinen vastine kullekin. Mikäli käsittelyryhmään valikoituminen on ignorable ehdolla, tällöin se on ignorable myös ehdolla ( ), missä ( ) on balancing score, joka toteuttaa seuraavan: ( ). Eli toisin, sanoen, :n jakauma kummassakin ryhmässä on sama. Ignorability implikoi, että käsittely- ja kontrolliryhmien välinen keskiarvojen erotus on ATE:n harhaton estimaattori, ehdolla ( ), eli matchattynä. (ATT vielä hiukan löyhemmillä ehdoilla). Matchingin etu on, että outcomia ei käytetä prosessissa. Näin ei tarvitse korjata usean testaamisen aiheuttamaa problematiikkaa.
Matching-identifikaatio Genetic matching Mitä ( ) tulisi käyttää? Tasapainon, eli oikein spesifioidun ( ):n, löytäminen ei ole triviaali ongelma. 1. Propensity score vs. 2. Genetic Matching Genetic Matching ratkaisee yhden seuraavista matching-ongelmista: 1. Kontrolliryhmäläisissä ei ole käsittelyryhmää vastaavia kovariaattien arvoja (Overlap) 2. Päällekkäisyyttä on, mutta kaikkia relevantteja X:iä ei ole havaittu (Unconfoundedness). 3. Datassa on päällekkäisyyttä ja oikeat X:t on havaittu, mutta propensity score on väärin spesifioitu tai kontrollit eivät noudata elliptistä jakaumaa (Mahalanobis distance matching). 4. Kaikki muu toimii, mutta kovariaateissa on liikaa kohinaa. 5. Kaikki toimii täydellisesti, mutta ihmiset silti epäilevät p-häkkäystä.
Kontrollipoolin määrittely 1. Potentiaalinen SUTVAn rikkominen: oppilaat vaihtavat koulua, joka vaikuttaa vastaanottavan koulun muihin oppilaisiin, vaikka ne kuuluvat kontrolliin 2. Poistetaan kontrollipoolista oppilaat, jotka käyvät vastaanottavaa ala-astetta (käsittelyryhmän toiseksi lähintä koulu). 3. Poistetaan kontrollipoolista oppilaat, jotka valmistuvat samalta yläasteelta kuin treatment oppilaat.
Millaisilla postinumeroalueilla oppilaat asuvat?
Mahdolliset confounderit ja ongelmat 1. Mitä jos perheet muuttavat lähikoulun lakkauttamisen takia? 2. Mitä jos koulut poistetaan rekisteristä ennen kuin ne lakkautetaan antaen siten väärän lakkautusvuoden. 3. Ovatko kaikki oikeat X:t mukana? Kuntatason muuttujat? 4. Ilman paneelidataa ei mahdollisuutta toteuttaa placebotestejä
Covariate balance (Viidennen luokan koulutietoja käytetään kovariaatteina koska 6. luokka ei ole kaikille pretreatment)
Kuvailevaa statistiikkaa matchingin jälkeen:
Tulokset Lukuaineiden keskiarvo: > mean(sample[mat$index.treated,"luka"]) [1] 754.76 > mean(sample[mat$index.control,"luka"]) [1] 757.59 > Estimates $est [,1] [1,] -3.2508 $se [1] 7.4365 > Confidence.interval [1] -17.826 11.325 > mean(sample[sample$treat==0,"luka"]) [1] 762.3 Toisen asteen koulutukseen hakeutuminen: > mean(sample[mat$index.treated,"koulu1.dummy"]) [1] 0.99357 > mean(sample[mat$index.control,"koulu1.dummy"]) [1] 0.98392 > Estimates $est [,1] [1,] -0.0066445 $se [1] 0.012781 > Confidence.interval [1] -0.031696 0.018407 > mean(sample[sample$treat==0,"koulu1.dummy"]) [1] 0.98788
Toisen asteen koulutukseen valituksi tuleminen : > mean(sample[mat$index.treated,"val.dummy"]) [1] 0.96463 > mean(sample[mat$index.control,"val.dummy"]) [1] 0.96945 > Estimates $est [,1] [1,] -0.0066445 $se [1] 0.012781 > Confidence.interval [1] -0.031696 0.018407 > mean(sample[sample$treat==0,"val.dummy"]) [1] 0.92512 Liikunta-arvosana: > mean(sample[mat$index.treated,"liikunta"]) [1] 7.5672 > mean(sample[mat$index.control,"liikunta"]) [1] 7.151 > Estimates $est [,1] [1,] 0.42195 $se [1] 0.16373 > Confidence.interval [1] 0.10104 0.74286