Tutkimus ja opetus Lastenlääkäreiden täydennyskoulutuksen arviointi Matti Korppi, Markku Heikinheimo, Minna Kaila, Matti Nuutinen ja Jukka Rajantie Suomen Lastenlääkäriyhdistys on neljän vuoden ajan arvioinut omia koulutustilaisuuksiaan. Ennen tilaisuuksia tehdystä arvioinnista on vastannut yhdistyksen nimeämä kolmihenkinen valiokunta. Tilaisuuksien aikana osanottajat ovat antaneet palautetta, jonka valiokunta on työstänyt tiivistelmäksi. Koulutustilaisuuksien jälkeistä arviointia ei ole suoritettu. Etukäteisarviointi on käsityksemme mukaan vaikuttanut myönteisesti koulutuksen laatuun ja vuorovaikutteisuuteen. Tieto arvioinnin julkistamisesta on toiminut kannustimena koulutuksen järjestäjille. Valiokunnan esittämä kritiikki on ollut avointa, ja se on liitetty kokouksen järjestäjille jaettuun, yhdistyksen ylläpitämään koulutuskansioon. Kokouksenaikaisen arvioinnin julkistamismuotoa tulee pohtia; koulutuksen kehittämistä palvelisi parhaiten tilaisuuden järjestäjille ja kouluttajille annettu henkilökohtainen palaute. Toiminnan laajentaminen vaatii suurempia ponnistuksia kuin vapaaehtoistyössä on mahdollista. Potilaat ja viranomaiset edellyttävät lääkäreiden pitävän tietonsa ja taitonsa ajan tasalla. Sama vaatimus nousee myös lääkärikunnan sisältä: ammattitaidon ylläpitäminen on lääkärin eettinen velvollisuus. Keskeinen asema ammattitaidon ylläpidossa on jatkuvalla täydennyskoulutuksella (continuous medical education, CME), jonka pitäisi olla etukäteen arvioitu ja hyväksytty. CME:n toteuttamista ja valvontaa (CME-järjestelmä) ollaan suunnittelemassa kaikissa Euroopan yhteisön maissa. Toistaiseksi valvonnasta ovat huolehtineet lääkärijärjestöt eikä viranomaisten määräämiä pakotteita ole käytössä (D Apuzzo ym. 1998). Euroopan erikoislääkärien liitto (European Union of Medical Specialists, UEMS) kehittää ja harmonisoi CME:tä Euroopan yhteisön maissa. UEMS:n pediatrinen osasto (Confederation of European Specialists in Pediatrics, CESP) julkaisi lastentautien täydennyskoulutuksen minimitavoitteet ja suuntaviivat vuonna 1997 (D Apuzzo ym. 1998). Minimisuositus on 250 tuntia viidessä vuodessa (keskimäärin 50 tuntia vuodessa). Suomen Lääkäriliitto (1999) on suositellut, että lääkärin tulisi osallistua täydennyskoulutukseen kaksi viikkoa vuodessa ja työpaikalla järjestettyyn tai omakohtaiseen opiskeluun viisi tuntia viikossa. Suositukset eivät ole toteutuneet, eikä koulutuksen laatua ole arvioitu systemaattisesti (Halila ym. 2002). Ainoa käytetty arviointitapa on ollut lääketieteellisen tiedekunnan antama hyväksyminen erikoistuvien lääkäreiden jatkokoulutukselle, ja päätös on koskenut ainoastaan teoreettiseksi koulutukseksi hyväksyttyä tuntimäärää. Arkkiatri Risto Pelkosen ehdotuksesta Duodecim-seura, Suomen Lääkäriliitto ja Finska Läkaresällskapet ovat perustaneet täydennyskoulutuksen arviointineuvoston (Pasternack ym. 2001). Neuvoston tehtävänä on lääkärien täydennyskoulutuksen määrän ja laadun turvaaminen. Suomen Lastenlääkäriyhdistys (SLY) on toteuttanut yhteistyössä Duodecim-seuran kanssa kaksi aikaisempaa koulutusprojektia, lastenlää- Duodecim 2003;119:1223 8 1223
käreiden jatkuvan täydennyskoulutuksen kokeiluprojektin (Hoppu 1997) sekä jatko- ja täydennyskoulutuksen portfolioprojektin (Korhonen ym. 2001). Luonteva jatko näille hankkeille on tässä kirjoituksessa esiteltävä lastenlääkäreiden koulutustilaisuuksien laadunvarmistus. SLY:n piirissä aloitettiin koulutustilaisuuksien systemaattinen arviointi, koska haluttiin vaikuttaa koulutuksen laatuun ja valmistautua tulevaan CME-järjestelmään. Jos muodollinen CME käynnistyy maassamme, on mielekästä, että koulutuksen keston lisäksi arvioidaan myös koulutuksen laatua ja vaativuutta ja että on olemassa käyttökelpoiset, käytännössä testatut arviointimallit. Tässä kirjoituksessa kuvataan tähänastisia kokemuksia SLY:n koulutustilaisuuksien arvioinnista ja pohditaan niiden perusteella jatkosuunnitelmia. Mitä on tehty? Koulutustilaisuuksia on arvioitu SLY:n piirissä vuodesta 1999 alkaen. Ensimmäiseksi arvioitiin kokeilumielessä vuosikokouksen lääketieteellinen ohjelma kokouksen aikana (»on-site»-validointi). Samana vuonna aloitettiin vähitellen koulutustilaisuuksien ohjelmien etukäteisarvioinnit (»pre-site»-validointi). Kurssien jälkeisiä arviointeja (»post-site»-validointi) ei ole suoritettu pääosin resurssipulan takia. Tällainen arviointi esimerkiksi 3 6 kuukautta kurssin jälkeen antaisi mahdollisuuden selvittää koulutettavien oppimista ja koulutuksen vaikutuksia lääkärin työhön. Neljän toimintavuotensa aikana SLY:n hallituksen valitsema validaatiovaliokunta on arvioinut yhdistyksen vuosikokousten, kevätkokousten ja syksyllä pidettyjen lastenlääkäripäivien sekä kaksipäiväisten teemakurssien ohjelmat. Teemakurssit kattavat viiden vuoden jaksoissa toteutettuina koko keskeisen pediatrian. Arviot on julkaistu yhdistyksen jäsenlehdessä Lastenlääkäriuutisissa, joka ilmestyy neljä kertaa vuodessa ja lähetetään SLY:n noin 700 jäsenelle. Validaatiovaliokunnassa on kulloinkin kolme jäsentä, joista yksi toimii puheenjohtajana. Valiokunta toimii tiiviissä yhteistyössä yhdistyksen koulutusvaliokunnan kanssa. Puheenjohtajan Taulukko 1. Esimerkki koulutustilaisuuden arvioinnista: validaatiovaliokunnan suorittama syksyn 2001 valtakunnallisten lastenlääkäripäivien»pre-site»-arvioinnin tuloksia asteikolla 1 4 (lukuarvot mediaaneja). Ohjelman taso 3 Sopivuus tilaisuuteen 4 Sopivuus kohderyhmälle 4 Ajankohtaisuus 3 Interaktiivisuus 2 Sanallinen arvio (lyhennelmä): Kurssiohjelma on mielenkiintoinen ja monipuolinen ja sisältää muutakin ajankohtaista asiaa kuin perinteistä pediatriaa. Interaktiivisuus vaikuttaa niukalta. Järjestäjät pyrkivät saamaan luennot SLY:n kotisivulle, mikä mahdollistaa etukäteisvalmistautumisen. tärkein tehtävä on huolehtia yhteistyöstä kokousten järjestäjien kanssa. Koulutus- ja validaatiovaliokunta ovat laatineet ja päivittävät vuosittain kirjalliset menettelyohjeet (koulutuskansio), jotka jaetaan koulutustilaisuuksien järjestäjille vähintään vuosi ennen tilaisuutta. Koulutustilaisuuksien arviointikriteerit ja käytettävät lomakkeet on kirjattu koulutuskansioon. Ensimmäisen kerran valiokunta antaa järjestäjille palautetta ohjelmaluonnoksen valmistuttua, ja sen jälkeen valiokunta on aktiivisesti mukana ohjelman kehittelyssä. Tällä tavalla on pyritty vaikuttamaan etukäteen kurssien suunnitteluun. Kun ohjelma on valmis, siitä tehdään lopullinen arviointi. Tämä»pre-site»-arvioinnin tulos on julkaistu Lastenlääkäriuutisissa yhdessä kurssin ohjelman ja ilmoittautumisohjeiden kanssa. Koulutuksen vastuullinen järjestäjä hoitaa palautteen hankkimisen tilaisuuden aikana. Toimikunta tekee palautteista analyysin, joka julkaistaan Lastenlääkäriuutisissa. Arvioinnin menetelmät Arvioinnin eri tasoja ovat koulutuksen (tilaisuuden) arviointi, oppimisen arviointi ja koulutuksen vaikuttavuuden arviointi (muutokset lääkärin toiminnassa tai potilaiden terveydentilassa tai molemmissa) (Hutchinson 1999). Tässä hankkeessa rajoituttiin koulutustilaisuuksien arviointiin ja sen kehittämiseen. Erityisesti tarkasteltiin koulutuksen vuorovaikutteisuutta, joka on tutkimusten mukaan keskeisin tekijä koulu- 1224 M. Korppi ym.
tuksen vaikuttavuudessa lääkärin työhön (Mazamanian ja Davis 2002).»Pre-site»-arviointia varten koulutuksen järjestäjät toimittavat valiokunnalle tilaisuuden ohjelman, luonnehtivat koulutustavoitteita ja ilmoittavat tilaisuuden kohderyhmän, odotetun osallistujamäärän ja suunnitelman»on-site»-arvioinnin suorittamiseksi.»pre-site»-arviointi on pyritty tekemään viimeistään kuusi kuukautta ennen koulutustilaisuutta. Järjestäjät vastaavat seuraaviin kysymyksiin: Kuuluuko kurssiin etukäteisvalmistautumista, pienryhmäopetusta ja seminaarityöskentelyä? Miten osallistujat osallistuvat luento-opetukseen? Minkälaista materiaalia kurssilla jaetaan? Kuuluuko kurssiin oppimisen arviointi, ja miten palaute annetaan osallistujille? Saamiensa tietojen perusteella validaatiovaliokunta on arvioinut kurssien yleisen tason, ajankohtaisuuden, sopivuuden jatko- ja täydennyskoulutukseen sekä erityisesti vuorovaikutteisuuden (taulukko 1). Tarvittaessa sopivuus eri kohderyhmille ja mahdollisuudet koulutuksen tavoitteiden toteutumiseen on arvioitu erikseen. Arvio on yleensä annettu numeerisena (asteikolla 1 4), mutta sitä on aina täydennetty vapaamuotoisella tekstillä. Yhtenä keskeisenä tavoitteena on ollut lisätä kursseilla tapahtuvaa monimuotoista, vuorovaikutteista opiskelua.»on-site»-arvioinnin on suorittanut otos erikoislääkäreitä ja erikoistuvia lääkäreitä kurssin aikana. Yleensä on arvioitu tietty kokonaisuus, muutaman luennon sessio, muttei yksittäisiä luentoja. Osanottajilta on pyydetty sekä numeerinen (asteikolla 1 4) että vapaamuotoinen palaute. Kurssilaiset ovat arvioineet esitysten ja aineiston tason sekä henkilökohtaisen oppimisen ja vaikutukset käytännön työhön (taulukko 2). Lisäksi kurssilaisia on pyydetty arvioimaan, miten kurssi vastasi ennakkoilmoitusten muovaamia odotuksia, miten kouluttajat määrittivät luennon (harjoituksen) tavoitteet ja miten nämä tavoitteet toteutuivat. Yhtenä keskeisenä päämääränä on ollut vaikuttaminen kouluttajiin erityisesti siten, että he määrittäisivät etukäteen opetuksen tavoitteet, esittäisivät ne kuulijoille opetuksen alussa, ja pyrkisivät seuraamaan niiden toteutumista opetuksen aikana tai lopuksi.»on-site»-arvioinnin tulos on pyritty julkaisemaan Lastenlääkäriuutisten koulutustilaisuutta seuraavassa numerossa. Tuloksia Neljän vuoden aikana on tehty 17»pre-site»- ja 21»on-site»-arviointia. Pääosin ohjelmat on saatu kuusi kuukautta ennen koulutustilaisuutta. Kahden kurssin ohjelmien saanti viivästyi; ohjelmat tulivat vasta 2 3 kuukautta ennen kokousta, eikä»pre-site»-arviointia ehditty julkaista. Vuosien 1999 ja 2000»pre-site»-arvioinneissa toistui huoli koulutuksen interaktiivisuudesta, vuoden 2001 arvioinneissa se oli vähäistä, ja vuoden 2002 arvioinneissa huolta ei enää ilmaistu. Vuorovaikutteisuuden lisääntyminen näkyy myönteisenä palautteena»on-site»-arvioinneissa. Koulutuksiin on osallistunut noin 40 120 lääkäriä (mediaani 60). Koulutuksen aikaisen arvioinnin on suorittanut 15 50 osanottajaa (mediaani 16), joista noin kaksi kolmasosaa on ollut erikoislääkäreitä. Suosituksemme on ollut, että vähintään 16 osanottajaa ja vähintään kahdeksan erikoistunutta lastenlääkäriä suorittaisi arvioinnin. Vastausosuus on vaihdellut välillä 40 100 % (mediaani 80 %). Merkitsevää muutosta arviointitulosten yleisessä tasossa ei ole näiden vuosien aikana tapahtunut. Lähes poikkeuksetta keskimääräiset arviot ovat olleet ylintä tai toiseksi ylintä tasoa (3 4). Parhaat pisteet on annettu kevätkokouksessa vuonna 2001, jolloin aiheena oli tavallista hematologiaa: erikoistuvien lääkäreiden antamat keskiarvot olivat 3,0 3,4 ja erikoislääkäreiden 3,2 3,7 (asteikolla 1 4). Taulukoissa 1 ja 2 on esitetty tiivistettyinä syksyn 2001 lastenlääkäripäivien»pre-site»- ja»on-site»-arvioinnit.»pre-site»-arvioinnissa valiokunta esitti huolensa interaktiivisuuden vähäisyydestä, ja kehotti järjestäjiä kiinnittämään siihen huomiota. Ohjelman taso ja ajankohtaisuus arvioitiin hyviksi ja ohjelman sopivuus kohderyhmälle ja tilaisuuden tarkoitukseen erinomaiseksi. Erityisinä ansioina tuotiin esiin ohjelman monitieteisyys ja lastenlääkärikunnan ulkopuolelta pyydetyt luennoitsijat.»on-site»-arvioinnin perusteella koulutus onnistui erittäin Lastenlääkäreiden täydennyskoulutuksen arviointi 1225
Taulukko 2. Esimerkki koulutustilaisuuden arvioinnista: syksyn 2001 valtakunnallisten lastenlääkäripäivien»on-site»-arvioinnin tuloksia. Luvut ovat mediaaneja asteikolla 1 4. Arvioinnin suoritti 16 osanottajaa. Aiheet Esityksen Aineiston Henkilökohtainen Vaikuttavuus taso taso oppiminen käytännön työhön Lasten sairaanhoidon järjestelmät 3 3 3 2 Lasten infektiokierre 4 3 3 3 Neonatologian pitkäaikaistuloksia 3 3 3 3 Erilaiset lapset koulussa 3 3 2 3 Akutologiaa 4 4 3 3 Sanallinen arvio (lyhennelmä): Lastenlääkäripäivät saivat erittäin hyvän palautteen sekä kokonaisuutena että eri luentokokonaisuuksien osalta. Kurssi vastasi hyvin annettua informaatiota ja sen luomia odotuksia. Suurin osa luennoista oli saatavilla SLY:n kotisivuilla. Viisi luennoitsijaa sai suurimman pistemäärän (mediaani yli 3,5). hyvin. Esitysten ja aineiston taso saivat enemmän pisteitä kuin henkilökohtainen oppiminen ja vaikuttavuus käytännön työhön. Tällä kertaa arvioitiin jokainen luennoitsija erikseen, ja suurimman pistemäärän (mediaani yli 3,5) sai viisi luennoitsijaa. Samat luennoitsijat nousivat esiin myös vapaamuotoisessa palautteessa. Pohdinta Tässä kirjoituksessa kuvataan neljän vuoden käytännön kokemukset lastenlääkäreiden jatkoja täydennyskoulutustilaisuuksien systemaattisesta arvioinnista. Arviointia ei ole tehty tieteellisen tutkimusprojektin puitteissa. Esimerkiksi koulutustilaisuuksien ohjelmat eivät perustuneet tarveanalyyseihin, eikä osallistuneiden lääkäreiden oppimista tai koulutuksen vaikuttavuutta selvitetty objektiivisin menetelmin (Hutchinson 1999, Mazmanian ja Davis 2002). Arvioinnissa käytettyjä menetelmiä, kuten järjestäjien tai osanottajien täyttämiä lomakkeita, ei myöskään systemaattisesti testattu eikä tutkittu. Erityistä huomiota kiinnitettiin koulutuksen monimuotoisuuteen ja vuorovaikutteisuuteen, joilla tiedetään olevan vaikutusta lääkärin työhön (Puolakkainen ym. 2001, Mazmanian ja Davis 2002). Palautteiden mukaan koulutustilaisuuksien vuorovaikutteisuus lisääntyi neljän seurantavuoden aikana. Ennen koulutustilaisuutta tehtävä arviointi on ollut enemmän ohjausta ja neuvottelua kuin tiukkaa arviointia. Validaatiovaliokunta on antanut vähintään kahdessa vaiheessa ennen tilaisuutta järjestäjille korjaavaa palautetta. Ensisijaisesti on pyritty koulutuksen laadunvarmistukseen. Menettelytapaa voidaan kutsua kehittäväksi arvioinniksi (Ovreveit 2002). Koulutustilaisuuden aikana osanottajat ovat arvioineet omaa oppimistaan ja todennäköistä muutosta omassa työskentelyssään. Nämä osat ovat saaneet kaikissa arvioinneissa vähemmän pisteitä kuin annetun koulutuksen ja käytetyn aineiston laatu. Tähän asti on arvioitu kokonaisuuksia, kuten muutaman luennon sessioita, ja niissä saattaa olla suuria eroja kouluttajien välillä. Arvioinnin monipuolistaminen, käytettyjen menetelmien luotettavuuden seuraaminen samoin kuin arvioinnin laajentaminen luento-, harjoitus- tai opettajakohtaiseksi ei ole mahdollista ilman lisäresursseja. Hyvin onnistuneet luennot ja harjoitukset ovat nousseet esiin vapaissa kommenteissa, ja ne on pyritty kirjaamaan myös palautteeseen. Validoinnin vaikuttavuutta on vaikea arvioida, eikä sitä ole edes yritetty tehdä systemaattisesti. Neljän vuoden aikana on tapahtunut paljon arvioinnista riippumattomia muutoksia jatko- ja täydennyskoulutuksessa. Nykyaikaisten audiovisuaalisten laitteiden kuten mikrotietokoneiden ja videotykkien käyttö on laajentunut. Tiedottaminen Internetin välityksellä on tullut yleiseksi tavaksi. Näiden muutosten ansiosta aineistojen tuottaminen ja toimittaminen osallistujille on helpottunut. Etukäteen jaettava materiaali helpottaa koulutukseen valmistautumista, 1226 M. Korppi ym.
ja aineistoon voi kuulua ennakkoon valmisteltavia tehtäviä. Internetin kautta on mahdollista järjestää interaktiivista koulutusta etäopetuksena, joko itsenäisenä koulutuksena tai koulutustilaisuuksiin liittyvänä monimuotoisena opiskeluna (Hoppu 1997). Kansainvälisissä kokouksissa edellytetään, että luennoitsijat määrittävät etukäteen luennon tarkoituksen. Lisäksi niissä tehdään entistä enemmän ryhmätöitä ja annetaan vuorovaikutukseen perustuvaa koulutusta. Tästä yleisestä kehityksestä huolimatta uskomme, että validoinnilla on ollut myönteistä vaikutusta kurssien suunnitteluun ja toteuttamiseen. Validointi on koulutuksen laadunvarmistusta. Koulutuksen hyvä laatu mahdollistaa hyvät oppimistulokset mutta ei takaa niitä; tämä jää aina oppijan vastuulle. Aikuiskoulutuksessa korostuu aktiivisen osallistumisen ja itseohjautuvan opiskelun merkitys (Tynjälä 1999). Nykyisen käsityksen mukaan koulutuksen menestystekijät ovat käytännön ja teoreettisen tiedon yhdistäminen (taitotieto), oman toiminnan ja oppimisen arviointi (reflektio) ja oppimisympäristö, joka tukee oppimista (Tynjälä 1999). Kliinistä työtä tekevälle lääkärille potilastapaukset ja soveltamista vaativat ongelmat tai harjoitukset muodostavat luontevan oppimisympäristön ja stimuloivat myös teoreettisen tiedon päivittämiseen. Oppimisen ja vaikuttavuuden arvioinnin välineitä ovat koulutuksen jälkeen tehtävät arvioinnit (Pitkälä ym. 2000). Henkilökohtaisen oppimisen voi kirjata esimerkiksi koulutuskansioon (Korhonen ym. 2001). Vaikuttavuus tarkoittaa muutosta työtavoissa tai potilaiden terveydentilassa, ja sen arviointi on vaikeaa ja työlästä (Hutchinson 1999). SLY:n käynnistämä validointitoiminta on ollut maassamme pioneerityötä. Samanlaista toimintaa on parhaillaan viriämässä myös muissa erikoislääkäriyhdistyksissä, vaikka virallinen CME-järjestelmä ei vielä olekaan ajankohtainen. Pioneeriluonteensa takia toiminta on ollut asiasta innostuneiden vapaaehtoisten käsissä, eikä Validaatiovaliokunta on arvioinut etukäteen kurssien yleisen tason, ajankohtaisuuden, sopivuuden jatko- ja täydennyskoulutukseen sekä erityisesti interaktiivisuuden. sitä ole ollut mahdollista laajentaa kaikkeen lastenlääkäreiden jatko- ja täydennyskoulutukseen. SLY:n koulutustilaisuuksien arvioinnin periaatteet ovat olleet samanlaisia kuin myöhemmin julkaistu eri- koislääkärikoulu- tuksen laatua, vaativuutta ja niiden arviointia koskeva ehdotus (Puolakkainen ym. 2001). Jatko- ja täydennyskoulutus eroavat toisistaan sekä tavoitteidensa että koulutettavien odotusten osalta. Tästä huolimatta Puolakkainen ym. ehdottavat, että sama koulutus ja koulutuksen arviointi kohdistetaan molempiin koulutusryhmiin, kuten on tehty myös SLY:n piirissä. SLY:n omien jaostojen ja muiden yhdistysten kuten Perinatologisen seuran ja Kardiologisen seuran lastenlääkäreille suunnatut tilaisuudet ovat jääneet arvioinnin ulkopuolelle. Lääketeollisuuden tuella toteutettava koulutus tulisi myös saattaa arvioinnin piiriin; tästä saatava etu on lääkäreiden ja teollisuuden yhteinen. SLY:n validointitoiminnan tulevaisuus Validaatiovaliokunnan toivomaa keskustelua arviointityöstä ja sen kehittämisestä ei ole käyty ainakaan Lastenlääkäriuutisten palstoilla. Lehdessä on julkaistu varsinaisten arvioiden lisäksi katsaus ensimmäisen vuoden toiminnasta ja tuore katsaus neljän vuoden toiminnasta (Korppi ym. 1999 ja 2003). SLY:n hallituksen, koulutusvaliokunnan ja validaatiovaliokunnan seminaarissa marraskuussa 2002 pidettiin»pre-site»-arvioinnin jatkamista aiheellisena, koska sen uskottiin vaikuttavan eniten koulutuksen laatuun. Sen sijaan nykyisen»on-site»-arvioinnin mielekkyyttä epäiltiin. Palaute kurssista tulee julkaistavaksi myöhään, ja sen vaikutus kohdistuu enintään yksittäisiin kouluttajiin. Yhdistyksen kotisivut tarjoavat nopean ja nykyaikaisen ratkaisun, mutta niiden käyttö on toistaiseksi ollut vähäistä. Vaihtoehtoiseksi malliksi ehdotettiin luennoitsijakohtaista»on-site»-arviointia, jonka Lastenlääkäreiden täydennyskoulutuksen arviointi 1227
tulos toimitetaan ainoastaan luennoitsijalle ilman varsinaista tiivistelmää.»post-site»-arviointi olisi hyödyllinen osa lääkärin koulutuskansiota, joka on hyvä väline ammattitaidon osoittamiseen (Korhonen ym. 2001). Jälkikäteisarvioinnin järjestäminen erillisenä on liian työlästä ilman siihen erikseen suunnattuja resursseja. Ainoa realistinen vaihtoehto on»postsite»-arvioinnin saaminen osaksi Duodecim-seuran hoitamaa nimikirja- tai muuta järjestelmää, joka tulisi aikanaan olemaan myös osa virallista CME-toimintaa. Arvioinnin laajentamista pidettiin aiheellisena, mutta nykyisellä organisaatiolla se ei ole mahdollista. Kirjallisuutta D Apuzzo D, Helvig H, Siimes M. Charter on continuing medical education in Paediatrics in the European Union. Confederation of European Specialists Working group on CME. Eur J Pediatr 1998;157:192 3. Halila H, Mattila K, Kumpusalo E, ym. Lääkärien ammatillisen koulutuksen rajoitus työnantajan ja lääkärin oma panostus. Suom Lääkäril 2002;57:301 4. Hoppu K. Lastenlääkärien jatkuvan täydennyskoulutuksen kokeiluprojekti. Duodecim 1997;113:135 43. Hutchinson L. Evaluating and researching the effectiveness of educational interventions. BMJ 1999;318:1267 9. Korhonen M, Ashorn M, Lavonius M, ym. Kehityskansio lastentautien jatko- ja täydennyskoulutuksessa. Duodecim 2001;117:170 5. Korppi M, Heikinheimo M, Rajantie J. Validaation vuosi takana kuka meitä arvioi seuraavalla vuosituhannella. Lastenlääkäriuutiset: marraskuu 1999, s. 8. Korppi M, Kaila M, Nuutinen M. Mitä kuuluu SLY:n validaatiotoiminnalle neljä vuotta pioneerityötä. Lastenlääkäriuutiset: maaliskuu 2003, s. 13. Mazamanian P, Davis D. Continuing medical education and the physician as a learner. Guide to evidence. J Am Med Assoc 2002;288:1057 60. Ovreveit J. Producing useful research about quality improvment. Int J Health Care Qual Ass 2002;15:294 302. Pasternack A, Ashorn M, Turunen JP, Halila H, Klockars M. Lääkärijärjestöt perustavat täydennyskoulutuksen arviointineuvoston. Suom Lääkäril 2001;56:2688 9. Pitkälä K, Mäntyranta T, Pauna A-R, Korhonen M, Vainikainen T. Portfolio oppimisen välineenä lääketieteessä. Duodecim 2000;116; 137 43. Puolakkainen P, Turunen JP, Kivisaari L, Kekki P. Kurssimuotoisen koulutuksen laatu ja vaikuttavuus ja niiden arviointi erikoislääkärikoulutuksessa. Suom Lääkäril 2001;56:5295 300. Suomen lääkäriliitto. Lääkäreiden täydennyskoulutusta koskevat suositukset. Suom Lääkäril 1999;54:2568 71. Tynjälä P. Konstruktiivinen oppimiskäsitys ja asiantuntijuuden edellytysten rakentaminen koulutuksessa. Kirjassa: Eteläpelto A, Tynjälä P, toim. Oppiminen ja asiantuntijuus. Porvoo: WSOY 1999, s. 160 9. MATTI KORPPI, ma. professori matti.korppi@uku.fi Kuopion yliopisto ja KYS:n lastenklinikka 70210 Kuopio MARKKU HEIKINHEIMO, professori Tampereen yliopisto, TAYS:n lastenklinikka ja Helsingin yliopiston lasten- ja nuortenklinikka 00029 Helsinki MINNA KAILA, dosentti Suomalainen Lääkäriseura Duodecim, Tampereen yliopisto ja TAYS:n lastentautien tutkimuskeskus 33014 Tampere MATTI NUUTINEN, dosentti, ylilääkäri HYKS, Jorvin sairaala Turuntie 150 02740 Espoo 1228