Riitta Kilpeläinen Elia Liitiäinen Belle Selene Xia University of Eastern Finland Department of Forest Sciences Department of Economics and HECER
Suorat oppimistulosten mittaamistavat Suorat mittaamistavat (mm. testit, portfoliot, arvosanatiedot, kokeelliset asetelmat, opinnäytetyöt) tuottavat tietoa opiskelijoiden tietojen ja taitojen karttumisesta tietyn aikajakson puitteissa. Tietoa oppimistuloksista voidaan suorilla mittaamistavoilla hankkia jatkuvan arvioinnin kautta, ennen ja jälkeen testausten avulla tai jonkin opetusmenetelmän vaikutuksista oppimistuloksiin. Soveltuvat hyvin koulutuksessa olevien oppimisen ja oppimistulosten arvioimiseen.
Epäsuorat oppimistulosten mittaamistavat Epäsuoria menetelmiä ovat haastattelut ja kyselyt. Soveltuvat paremmin pitkittäistutkimusasetelmiin, siis seurataan koulutuksesta valmistuneiden sijoittumista työmarkkinoille tai koulutuksen tuottamien oppimistulosten vastaavuutta työmarkkinoiden vaatimuksiin. Perustuvat yksilön omien kokemusten raportointeihin voi sisältyä monia virhelähteitä, mutta todettu aikaisimmissa tutkimuksissa validiksi tavaksi saada tietoa yksilöiden oppimisesta ja oppimistuloksista.
Oppimistulosten mittaamisen ongelmia Haastattelutilanteen keinotekoisuus ovatko vastaukset yhtä pitäviä todellisuuden kanssa (sosiaalisesti hyväksyttävien vastausten tuottaminen)? Miten tietoisia yksilöt ovat omasta oppimisprosessistaan tai tiedoistaan, taidoistaan ja asenteistaan ja kykeneviä reflektoimaan niitä? Miten vastaaja ymmärtää kyselyssä esitetyt kysymykset? Tärkeää on hankkia tietoa oppimistuloksista useammalla eri tavalla yhdistää haastattelu- ja kyselyaineistoja tai haastattelu- ja kyselyaineistoon opintosuoritustietoja trianguloida aineistoja, menetelmiä tai teorioita.
Research problem 1. How does the learning results from different modules and majors differ and how they impact on productiveness? 1) Define the differences between different modules and major. 2) Describe the reasons behind the differing learning results across the modules. 2. How does prior work experience affect productiveness? 1) Define the spread of students working prior to graduation. 2) Compare the percentages of employment between full-time students and the rest. 3. Does education and work life correspondence impact the economic efficiency? 1) Define the relationship between education and work life. 2) Compare the various factors that contribute to economic efficiency.
Model of the study Model integrates learning outcome, different working experiences and relatedness of studies and work: where on individual level A MAJOR = dummy variable for education programmes LO_Tr = learning outcomes of transferable skills LO_Ac = learning outcomes of academic skills LO_Sb = learning outcomes of subject B EXP_St = working experience during studies C PART = partial mismatch COMPL = complete mismatch D EXP_Wr = working experience after studies E y = annual income F n = non-monetary rewards of work X socioeconomic background (talent).
Frame of Reference Education period Working life A. Learning outcomes B. Working experience during studies C. Relatedness of studies and work D. Working experience after studies G. Further education X Socio-economic Background (talent) E. Earnings (y) F. nonmonetary rewards (n)
Earnings (y) Theory of Human Capital Basic wage equation specification (Becker 1962, Mincer 1974): where individual i has y i = annual income S i = the total years of schooling EXP i = working experience in years X i = determinants other than schooling β -Coefficient is the relative increase in wages following an increase in S, or rate of return to marginal year of schooling.
Variables and their Measurements Status Self-development Flexibility Knowledge sharing Life experience Grade Parents education Economic background Social surrounding Upbringing Non-monetary rewards (n) Socio-economic Background (talent)
Regression Data 1/2 Learning outcomes quantied numerically. For the competencies, we should build summary statistics (e.g. 3 variables). Factor analysis can be used. Success in study we got from study register. Should we attach competencies to the courses? This idea has some broader applications REFLEX research: people were asked to assess competencies.
Regression Data 2/2 Work experience (around 5 variables) Union Questionnaire (as in REFLEX) Fit between education and work: questionnaire (2 variables) Background variables (age, matriculation exam) Largely from questionnaire Entrance exam scores possible Around 5 variables?
Regression Method Linear regression (Robst 2007) Structural equation models (advanced) Causal relations Instrumental variables We should get along with less than 20 variables. Factor analysis or structural equations models may be used to simplify.