TOIMINNANTARKASTUKSEN KÄSIKIRJA

TOIMINNANTARKASTUKSEN KÄSIKIRJA YLEISKATSAUS Sivunumero TOIMINNANTARKASTUKSEN KÄSIKIRJAN LUVUT Sivu 2 Johdanto Sivu 7 Luku 1 Euroopan tilintarkastustuomioistuimen toimittamien toiminnantarkastusten viitekehys Sivu 15 Luku 2 Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus Sivu 32 Luku 3 Tarkastuksen suunnittelu Sivu 61 Luku 4 Toteutusvaihe Sivu 79 Luku 5 Raportointivaihe Sivu 100 Sisällysluettelo Yhteystiedot Toiminnantarkastuksen soveltamista koskevista ohjeista, parhaista käytänteistä, esimerkeistä, tuesta ja opastuksista vastaa Euroopan tilintarkastustuomioistuimen tarkastustoimintaa ja kertomusten laadinnan kehittämisestä vastaava ADAR-osasto. Lisätietoja ADARin intranet-sivustolta tai sähköpostitse: ADAR CONTACT/ECA tai adar.contact@eca.europa.eu Käsikirjaa saa kopioida ja jakaa pyytämättä lupaa tilintarkastustuomioistuimelta.

TOIMINNANTARKASTUKSEN KÄSIKIRJA JOHDANTO Toiminnantarkastuksen käsikirjan luvut SISÄLLYS Johdanto TOIMINNANTARKASTUKSEN KÄSIKIRJAN TAVOITE JA SISÄLTÖ RAKENNE KÄSITTEET JA ERIKOISSANASTO Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien toiminnantarkastusten viitekehys Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus Luku 3: Tarkastuksen suunnittelu Luku 4: Toteutusvaihe Luku 5: Raportointivaihe Yhteystiedot Lisätietoja aiheesta: Euroopan tilintarkastustuomioistuin CEAD-ryhmä Tarkastustoiminnan ja kertomusten laadinnan kehittämisestä vastaava osasto (ADAR-osasto) Menetelmätiimi Sähköposti: ADAR CONTACT/ECA tai adar.contact@eca.europa.eu

TOIMINNANTARKASTUKSEN KÄSIKIRJAN TAVOITE JA SISÄLTÖ Tavoite - Laatu Sisältö Ammattitaitoon kuuluva harkinta on välttämätöntä Toiminnantarkastuksen käsikirja on osa tilintarkastustuomioistuimen soveltamien menettelyjen ja ohjeistojen kokoelmaa. Käsikirjan avulla on tarkoitus: auttaa tarkastajia toimittamaan laadukkaita toiminnantarkastuksia lisätä tarkastajien ammattitaitoa toiminnantarkastusten osalta. Käsikirja laadittiin tarkastajien ja tarkastuksista vastaavan hallinnon tarpeisiin. Siinä selitetään yleisellä tasolla, miten toiminnantarkastukset on suunniteltava ja toteutettava ja miten niistä on raportoitava. Käsikirja perustuu yleisesti hyväksyttyihin toiminnantarkastuksen periaatteisiin, kuten INTOSAIn toiminnantarkastuksen sovellusohjeisiin 1, ja alalla sovellettavaan hyvään käytäntöön. Tarkastajaa kannustetaan käyttämään ammattitaitoonsa kuuluvaa harkintaa kaikissa tarkastusvaiheissa; tämä on välttämätöntä, kun otetaan huomioon mahdollisten tarkastusaiheiden ja -tavoitteiden sekä tietojenkeruu- ja analysointimenetelmien moninaisuus toiminnantarkastuksissa. ja menettelyjä on sovellettava. Tarkastajien on sovellettava kyseisiä tilintarkastustuomioistuimen tarkastusperiaatteisiin ja -standardeihin perustuvia toiminnantarkastusmenettelyjä. RAKENNE Käsikirja sisältää viisi lukua. Kahdessa ensimmäisessä luvussa annetaan toiminnantarkastusta koskevat perustiedot ja luvuissa 3 5 annetaan yksityiskohtaiset ohjeet kutakin eri toiminnantarkastuksen vaihetta suunnittelua, toteutusta ja raportointia varten. Käsikirjan rakenne on seuraava: LUKU 1: Toiminnantarkastus EU-toimielimissä ja tilintarkastustuomioistuimen tehtävät ja tavoitteet toiminnantarkastusten osalta. LUKU 2: Toiminnantarkastuksen lähestymistapa, taloudellisuuden, tehokkuuden ja vaikuttavuuden käsitteiden soveltaminen EU:ssa ja asianmukaiselta toiminnantarkastukselta edellytetyt ominaisuudet. LUKU 3: Tarkastuksen suunnitteluprosessi; esiselvitys ja tarkastuksen suunnittelumuistio. LUKU 4: Tarkastuksen toteutus; tarkastuksen toimittaminen, tarkastushavainnoista tiedottaminen, tarkastusten hallinnointi ja laadunvalvonta. LUKU 5: Raportointi; kertomuksen suunnittelu, laadinta, arviointi, hyväksyminen, jakelu ja seuranta. 1 Toiminnantarkastuksen sovellusohjeet: INTOSAIn tarkastusstandardeihin ja käytännön kokemuksiin perustuvat toiminnantarkastuksen standardit ja suuntaviivat. Jodanto sivu 3

KÄSITTEET JA ERIKOISSANASTO Osa seuraavista määritelmistä perustuu Euroopan komission MEANSasiakirjakokoelman osaan 6 sisältyviin määritelmiin. Kyseisessä asiakirjassa esitetään rakennepolitiikan alan arviointien metodologinen kehys. Näitä käsitteitä sovelletaan myös muihin aloihin ja tällöin saatetaan käyttää eri terminologiaa. HANKE Jakamattoman kokonaisuuden muodostava toiminta. Hanke on toteutettava aikataulun ja budjetin mukaisesti. Hankkeesta vastaa organisaatio, joka huolehtii lähimpänä kenttää tukitoimenpidettä varten myönnettyjen resurssien käytöstä. OHJELMA Järjestelmällinen kokonaisuus, joka kattaa rahoitusvarat, organisatoriset resurssit ja henkilöstöresurssit, jotka on asetettu käyttöön tietyn tavoitteen tai tiettyjen tavoitteiden saavuttamiseksi tietyssä aikataulussa. Ohjelmaa on toteutettava aikataulun ja budjetin mukaisesti ja sen tavoitteet on määriteltävä etukäteen. Ohjelma on aina joko yhden viranomaisen tai useiden päätöksentekovallan jakavien viranomaisten vastuulla. Ohjelmat jakautuvat yleensä toimenpiteisiin ja hankkeisiin. PANOS Tukitoimenpiteen toteuttamista varten käyttöön asetetut rahoitusvarat, henkilöstöresurssit ja aineelliset resurssit. PROSESSIT Menettelyt ja toimet, joiden täytäntöönpano muuttaa panokset tuotoksiksi (esim. tuen myöntämistä ja rahoitettavien hankkeiden valintaa koskevat menettelyt). Käsite kattaa myös johtajille tarkoitettujen hallintotietojen tuottamisen ja käytön. SEURAUS Tukitoimenpiteen toteuttamisen kautta aikaansaatu muutos, joka yleensä liittyy kyseisen tukitoimenpiteen tavoitteisiin. Seurauksia ovat sekä tulokset että vaikutukset. Seuraukset voivat olla ennakoitavissa tai odottamattomia, kielteisiä tai myönteisiä (esim. uusi moottoritie houkuttelee sijoittajia alueelle, mutta nostaa lähialueiden saastemäärän liian korkealle tasolle). TARVE Asianomaisia ryhmiä koskeva ongelma tai vaikea tilanne, joka pyritään ratkaisemaan julkisen tukitoimenpiteen avulla. Jodanto sivu 4

TAVOITE Alustava määritelmä tukitoimenpiteen odotetuista seurauksista. On tehtävä ero yleisten tavoitteiden, välitavoitteiden, välittömien ja toiminnallisten tavoitteiden välillä: yleistavoite vastaa tukitoimenpiteen yleisvaikutusta ja se määritellään yleensä väljästi yhteisön lainsäädännössä (esim. tietylle kehitystasolle pääseminen); komissio ja jäsenvaltiot johtavat sen pohjalta välitavoitteita, jotka vastaavat vaikutuksia, joiden on tarkoitus ilmetä jo rahoitettavien ohjelmien toteuttamisen aikana (esim. yritysten kilpailukyvyn parantuminen) välittömissä tavoitteissa on kyse yleensä jäsenvaltioiden rahoitettavien ohjelmien toteutuksen yhteydessä määrittelemistä tukitoimenpiteen tuloksista, jotka heijastuvat tukitoimenpiteen välittömiin kohteisiin (esim. teknologista tukea saavien yritysten liikevaihdon lisääminen 20 prosentilla) toiminnallisissa tavoitteissa eritellään tuotettavaksi tarkoitetut tuotokset (esim. 500 tuntia konsulttipalveluja pk-yrityksille). TOIMENPIDE Toimintalinjakehyksessä ohjelmahallinnon perusyksikkö, joka koostuu joukosta samantyyppisiä hankkeita ja jolla on täsmällisesti määritelty budjetti. Kullakin toimenpiteellä on yleensä oma hallinnointijärjestelmänsä. TOIMINTALINJA Samaan yksittäiseen päämäärään tai yleistavoitteeseen tähtäävät toimet ja toiminnat (ohjelmat, menettelyt, lainsäädäntö, säännöt) (esim. Euroopan taloudellinen ja sosiaalinen yhteenkuuluvuus). Nämä toiminnot niveltyvät vuosien mittaan usein toisiinsa. TUKITOIMENPIDE Mikä tahansa julkisviranomaisen ja muun organisaation toteuttama toimi tai toiminta luonteesta riippumatta (toimintalinja, ohjelma, toimenpide tai hanke). Tukitoimenpiteet voivat olla avustuksia, lainoja, korkotukia, vakuuksia, osallistumista pääoma- ja riskipääomajärjestelmiin tai muita rahoitusmuotoja. TUKITOIMENPITEEN VÄLILLINEN KOHDE Henkilö tai organisaatio, jolla ei ole välitöntä yhteyttä tukitoimenpiteeseen, mutta johon tukitoimenpide vaikuttaa toimenpiteen välittömien kohteiden kautta joko myönteisellä tavalla (esim. henkilö saa työpaikan, koska jollekin toiselle henkilölle myönnettiin varhaiseläke osana toimenpidettä) tai kielteisellä tavalla (esim. yritykset menettävät markkinaosuuksiaan sellaisille yrityksille, jotka ovat toteuttaneet innovaatioita tukitoimenpiteen yhteydessä luotujen teknologian siirtoon käytettävien verkkojen avulla). Jodanto sivu 5

TUKITOIMENPITEEN VÄLITÖN KOHDE Henkilö tai organisaatio, johon tukitoimenpide vaikuttaa suoraan. Usein käytetään myös ilmaisua edunsaaja. Tukitoimenpiteen välittömille kohteille tarjotaan tukea, palveluja ja tietoa ja he saavat käyttöönsä toimenpiteen tueksi luodut järjestelmät (esim. maanviljelijät käyttävät kehityshankkeen osana luotua kastelujärjestelmää). TULOS Välittömät muutokset, jotka vaikuttavat tukitoimenpiteen välittömiin kohteisiin sen jälkeen kun heidän osallisuutensa tukitoimenpiteen toteuttamiseen on päättynyt (esim. tien rakentamisen seurauksena yhteydet tietylle alueelle paranevat; harjoittelija saa työpaikan). TUOTOS Se, mikä tuotetaan tai saavutetaan tukitoimenpidettä varten myönnetyillä varoilla (esim. maataloustuet, työttömille järjestetty ammatillinen koulutus, kehitysmaahan rakennettu tie). ULKOINEN TEKIJÄ Julkisesta tukitoimenpiteestä riippumaton tekijä, joka aiheuttaa osittain tai kokonaan tukitoimenpiteen kohteissa (esim. ilmasto-olosuhteissa, taloustilanteen kehityksessä, alihankkijoiden työsuorituksessa tai edunsaajien käytöksessä) havaitut muutokset (tulokset ja vaikutukset). VAIKUTUS Pitkäaikaiset sosiaalis-taloudelliset seuraukset, jotka ovat havaittavissa tietyn ajan kuluttua toimenpiteen päättymisestä. Seuraukset voivat vaikuttaa sekä tukitoimenpiteen välittömiin kohteisiin että sen ulkopuolelle jääviin välillisiin kohteisiin. Niistä voi olla kyseisille kohteille joko hyötyä tai haittaa. Jodanto sivu 6

TOIMINNANTARKASTUKSEN KÄSIKIRJA LUKU 1 EUROOPAN TILINTARKASTUSTUOMIOISTUIMEN TOIMITTAMIEN TOIMINNANTARKASTUSTEN VIITEKEHYS Toiminnantarkastuksen käsikirjan luvut SISÄLLYS Johdanto Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien toiminnantarkastusten viitekehys Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus 1.1 JOHDANTO 1.2 TOIMINNANTARKASTUS JA MOITTEETON VARAINHOITO EUROOPAN UNIONISSA 1.2.1 Toiminnantarkastus 1.2.2 Moitteeton varainhoito: Perustamissopimus ja varainhoitoasetus 1.2.3 Talousarvion toteuttamista koskevat hallintotavat 1.2.4 Moitteettomaan varainhoitoon tähtäävä sisäisen valvonnan järjestelmä 1.2.5 Toiminnantarkastus ja tilintarkastus 1.2.6 Toiminnantarkastus ja arviointi 1.3 TILINTARKASTUSTUOMIOISTUIMEN TEHTÄVÄ JA TOIMINNANTARKASTUKSEN TAVOITTEET 1.3.1 Tilintarkastustuomioistuimen oikeudelliset velvoitteet 1.3.2 Tilintarkastustuomioistuimen tavoitteet Luku 3: Tarkastuksen suunnittelu Luku 4: Toteutusvaihe Luku 5: Raportointivaihe Yhteystiedot Lisätietoja aiheesta: Euroopan tilintarkastustuomioistuin CEAD-ryhmä Tarkastustoiminnan ja kertomusten laadinnan kehittämisestä vastaava osasto (ADAR-osasto) Menetelmätiimi Sähköposti: ADAR CONTACT/ECA tai adar.contact@eca.europa.eu

1.1 JOHDANTO Tässä luvussa esitetään tilintarkastustuomioistuimen toiminnantarkastusten viitekehys ja kuvataan EU:n toimielimissä toimitettavia toiminnantarkastuksia sekä käsitellään tilintarkastustuomioistuimen tehtäviä ja tavoitteita toiminnantarkastusten osalta. Tekstissä esiintyvät viittaukset koskevat useimmiten Euroopan unionin yleistä talousarviota ( talousarvio ) ja komissiota, koska ne muodostavat tilintarkastustuomioistuimen pääasiallisen tarkastusalueen. Viitekehystä sovelletaan kuitenkin kaikkiin tilintarkastustuomioistuimen toimittamiin toiminnantarkastuksiin ja myös siinä tapauksessa, että ne koskevat Euroopan kehitysrahastoja, erillisvirastoja ja Euroopan keskuspankkia. 1.2 TOIMINNANTARKASTUS JA MOITTEETON VARAINHOITO EUROOPAN UNIONISSA 1.2.1 Toiminnantarkastus Määritelmä Tarkastuskohteena on varainhoidon moitteettomuus eli tarkastetaan, ovatko komissio ja/tai muut tarkastettavat organisaatiot käyttäneet EU-varoja taloudellisesti, tehokkaasti ja vaikuttavasti tehtäviään hoitaessaan. 1.2.2 Moitteeton varainhoito: Perustamissopimus ja varainhoitoasetus Perustamissopimus Varainhoitoasetus Euroopan yhteisön perustamissopimuksen 2 ( perustamissopimus ) konsolidoidun toisinnon 274 artiklan mukaisesti komissio toteuttaa talousarviota omalla vastuullaan [...] varainhoidon periaatteiden mukaisesti ja jäsenvaltiot ovat yhteistyössä komission kanssa varmistaakseen, että määrärahat käytetään moitteettoman varainhoidon periaatteiden mukaisesti. Euroopan yhteisöjen yleiseen talousarvioon sovellettavan varainhoitoasetuksen 3 ( varainhoitoasetus ) 27 artiklan mukaisesti moitteeton varainhoito käsittää taloudellisuuden, tehokkuuden ja vaikuttavuuden periaatteet, jotka määritellään seuraavasti: 2 3 EYVL C 325, 24. joulukuuta 2002. EYVL L 248, 16. syyskuuta 2002. Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien toiminnantarkastusten viitekehys sivu 8

TALOUDELLISUUDEN periaate edellyttää, että resurssit, joita toimielin käyttää toimintojensa toteuttamiseksi, asetetaan käyttöön oikeaan aikaan ja että ne ovat määrältään riittävät, laadultaan asianmukaiset sekä kustannuksiltaan mahdollisimman edulliset TEHOKKUUDEN periaatteen tarkoituksena on saavuttaa käytetyillä resursseilla parhaat mahdolliset tulokset 4 VAIKUTTAVUUDEN periaatteen tarkoituksena on saavuttaa toiminnalle asetetut tavoitteet ja siltä odotetut tulokset 4. 1.2.3 Talousarvion toteuttamista koskevat hallintotavat Talousarvion yleisestä toteuttamisesta vastaa komissio. Varainhoitoasetuksessa säädetään kolmesta eri hallintotavasta: Keskitetty hallinto keskitetty; tätä tapaa sovelletaan pääasiassa ulkoisiin toimiin ja hallintomenoihin; hallinnointi on joko suoraa (komission pääosastojen vastuulla) 5 tai epäsuoraa (komissio antaa talousarvion toteuttamisen yhteisön virastojen sekä julkisen ja yksityisen sektorin elinten vastuulle erityisesti sisäisten politiikkojen alalla) Jaettu tai hajautettu hallinto jaettu tai hajautettu; jaetussa hallinnossa toteuttamistehtävät siirretään jäsenvaltioiden vastuulle; tätä tapaa sovelletaan pääasiassa maatalouteen ja rakennetoimiin liittyviin menoihin. Hajautetussa hallinnossa toteuttamistehtävät siirretään edunsaajamaille esimerkiksi yhteisön ulkopuolelle suunnatun tuen osalta Yhteinen hallinto yhteistyössä kansainvälisten järjestöjen kanssa; toteuttamistehtävät siirretään kansainvälisille järjestöille yleensä ulkoisten toimien alalla. Hallintotavalla on merkittävä vaikutus tarkastukseen Talousarvion toteuttamiseen liittyvien tehtävien ja vastuiden jako vaihtelee eri hallintotapojen välillä; tämä on otettava asianmukaisesti huomioon toiminnantarkastuksen suunnittelussa, toteutuksessa ja raportoinnissa. 4 5 Ilmaisu tulos on ymmärrettävä tässä yhteydessä laajasti eli siten, että se kattaa tuotokset, tulokset ja vaikutukset (ks. sanasto, s. 4 6). Komission keskusyksiköt voivat siirtää toimintojen valmistelun ja täytäntöönpanon kolmansissa maissa sijaitseville lähetystöille. Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien toiminnantarkastusten viitekehys sivu 9

1.2.4 Moitteettomaan varainhoitoon tähtäävä sisäisen valvonnan järjestelmä Komission ja muiden tarkastettavien organisaatioiden on luotava asianmukainen sisäisen valvonnan järjestelmä saadakseen kohtuullisen varmuuden siitä, että moitteettoman varainhoidon tavoite on saavutettu 6. Tietotekniset järjestelmät ovat osa komission sisäisen valvonnan järjestelmää; järjestelmään sovelletaan hallintotietojen ja tietotekniikkaresurssien tietotekniikkahallintoa koskevaa COBIT-mallia 7. Komissiolla on sisäisen valvonnan järjestelmä, joka perustuu viiteen toisiinsa COSO ja toimintojohtaminen / toimintoperusteinen budjetointi liittyvään, COSO:n yksilöimään valvonnan osa-alueeseen sekä toimintojohtamiseen ja toimintoperusteiseen budjetointiin: VALVONNAN OSA-ALUE TARKOITUS Vahvistaa organisaatiorakenne sekä perustana olevat komission Valvontaympäristö säännöt ja arvot edellä mainittujen kolmen eri talousarvion toteuttamistavan osalta ja täten luoda asianmukainen kehys, jonka avulla varmistetaan kyseisen toimielimen käyttöön asetettujen resurssien hyvä hallinnointi. Viisi valvonnan osa-aluetta Riskinarviointi Yksilöidä ja analysoida komission tavoitteiden saavuttamista haittaavat sisäiset ja ulkoiset riskit. Komission sisäisen valvonnan järjestelmän yhteydessä toiminnanohjaus ja riskienhallinta kattaa toimintojohtamisen strategisten, toiminnallisten ja taktisten tavoitteiden asettamisen ja päätoimintojen osalta riskien analyysin ja hallinnan. Tavoitteiden on oltava erikseen määritettyjä, mitattavia, saavutettavissa olevia, relevantteja ja oikea-aikaisia eli SMART-tavoitteiden mukaisia (SMART on lyhenne sanoista Specific, Measurable, Achievable, Relevant ja Timely). Valvontatoimet Määrittää komission täytäntöönpanemat toimintalinjat ja erityismenettelyt, joiden tarkoituksena on varmistaa, että yksilöityjä riskejä hallitaan asianmukaisesti; niihin sisältyy moninaisia toisistaan suuresti eroavia toimia kuten hyväksynnät, luvat, tarkistukset, toiminnan tuloksen arviointi, poikkeamista raportointi ja valvonta. Tiedot ja viestintä Varmistaa asianmukainen kehys tavoitteiden asettamiselle sekä niiden saavuttamista koskevalle seurannalle ja raportoinnille. Tämä osa-alue käsittää hallintotietojärjestelmän, joka on tarpeen silloin kun vahvistetaan sekä taloudellisia että muita kuin taloudellisia tulosindikaattoreita, arvioidaan tavoitteiden saavuttamista ja laaditaan vuotuinen toimintakertomus. Seuranta Varmistaa, että toimintaa arvioidaan jatkuvasti; tämä kattaa sisäisen tarkastuksen ja arvioinnin sekä sisäisestä valvonnasta vuosittain tehtävän arvion. 6 7 COSO (The Committee of Sponsoring Organisations of the Treadway Commission) määrittelee sisäisen valvonnan seuraavalla tavalla: tietyn organisaation johtokunnan, johdon tai muun henkilöstön suorittama prosessi, jonka tarkoituksena on antaa kohtuullinen varmuus seuraaviin aloihin liittyvien tavoitteiden saavuttamisesta: toimien vaikuttavuus ja tehokkuus taloudellisen raportoinnin luotettavuus asiaa koskevien lakien ja asetusten noudattaminen. COBIT (Control Objectives for Information and related Technology) Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien toiminnantarkastusten viitekehys sivu 10

1.2.5 Toiminnantarkastus ja tilintarkastus Toiminnantarkastus eroaa monin tavoin tilintarkastuksesta; pääasiallisista eroavaisuuksista esitetään yhteenveto alla olevassa taulukossa: TEKIJÄT Toiminnantarkastus Tilintarkastus Tavoite Kohde Koulutusvaatimukset Menetelmät Tarkastuskriteerit Arvioida, onko yhteisön varoja käytetty taloudellisesti, tehokkaasti ja vaikuttavasti. Toimintalinja, ohjelma, organisaatio, toiminnot ja hallintojärjestelmät. Taloustiede, yhteiskuntatieteet, sosiologia jne. Vaihtelevat tarkastuksesta toiseen. Tarkastajalla enemmän harkintavaltaa. Tarkastuskohtaiset kriteerit. Arvioida, onko rahoitustoimet toteutettu laillisesti ja asianmukaisesti ja ovatko tilit luotettavia. Rahoitustoimet, kirjanpitomenettelyt ja keskeiset valvontamenettelyt. Kirjanpito ja oikeustiede. Vakiomenetelmät. Tarkastajalla vähemmän harkintavaltaa. Kaikkia tarkastuksia koskevat lakisääteiset vakiokriteerit. Kertomukset Erityiskertomuksia julkaistaan tapauskohtaisesti. Rakenne ja sisältö vaihtelevat tavoitteista riippuen. Vuosikertomus. Enemmän tai vähemmän vakiomuotoinen. Integroidun tarkastuksen toimittamista on harkittava tarkoin. Toiminnantarkastuksen ja tilintarkastuksen tavoitteet yhdistävää tarkastusta sanotaan integroiduksi tarkastukseksi. Tarkastajan on käytettävä ammattitaitoonsa kuuluvaa harkintaa ja päätettävä tapauskohtaisesti, toimitetaanko toiminnantarkastus vai integroitu tarkastus. Tarkastajien on oltava tietoisia siitä, että pelkän toiminnantarkastuksen toimittaminen on jo sinällään haastavaa ja että integroidun tarkastuksen toimittaminen on vielä vaativampi tehtävä. Integroidun tarkastuksen toimittamiseen ryhtymistä on näin ollen aina harkittava tarkasti ja se on toimitettava ainoastaan silloin, kun on selvää, että tällaisen tarkastuksen avulla on mahdollista saada riittävästi relevanttia ja luotettavaa todentavaa aineistoa ja antaa raportointivaiheessa selkeitä, hyödyllisiä ja oikea-aikaisia viestejä, jotka täyttävät sekä toiminnantarkastukselle että tilintarkastukselle asetetut tavoitteet. Nämä kaksi osaaluetta on pidettävä selvästi erillään toisistaan tarkastuksen suunnittelumuistiossa ja tarkastusohjelmassa, jotta tarkastustiimillä on selkeä käsitys eri tarkastustavoitteista ja jotta kyseiset tarkastustavoitteet otetaan tarkastuksessa asianmukaisesti huomioon. Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien toiminnantarkastusten viitekehys sivu 11

1.2.6 Toiminnantarkastus ja arviointi Arviointi muodostaa merkittävän osan komission sisäisen valvonnan järjestelmää. Komission 8 mukaan arvioinnilla tarkoitetaan tukitoimenpiteiden arvioimista niistä saatujen tulosten ja niiden aikaan saamien vaikutusten perusteella sekä niiden tarpeiden valossa, jotka kyseisillä toimenpiteillä on tarkoitus tyydyttää. Arvioinnin päätavoitteet ovat: myötävaikuttaa tukitoimenpiteiden suunnitteluun sekä osallistua toiminnallisten painopisteiden asettamiseen edistää resurssien tehokasta jakamista parantaa tukitoimenpiteiden laatua raportoida tukitoimenpiteen avulla saaduista tuloksista (tilivelvollisuus). Yhtäläisyydet Eroavaisuudet Toiminnantarkastuksen ja arvioinnin välillä on sekä yhtäläisyyksiä että eroavaisuuksia. Kummassakin tarkastus kohdentuu toimintalinjoihin, täytäntöönpanoprosesseihin ja niiden seurauksiin; näiden tekijöiden perusteella arvioidaan organisaation tai toiminnon taloudellisuutta, tehokkuutta ja vaikuttavuutta. Niissä edellytetään samantyyppistä tietämystä, ammattitaitoa ja kokemusta ja niihin sovelletaan samanlaisia tietojenkeruu- ja analysointimenetelmiä. Merkittävimmin ne eroavat toisistaan toteuttamisen ja tavoitteiden osalta. Toiminnantarkastus pohjautuu tilivelvollisuuteen, mikä tarkoittaa, että komissio ja muut toimielimet sekä asianomaiset organisaatiot ovat vastuussa yhteisön varojen hallinnoinnista ja että niiden on annettava tarkoituksenmukaisia ja luotettavia tietoja toimintansa tuloksista ja osoitettava, että ne kantavat toiminnastaan vastuuta odotusten mukaisesti. Toiminnantarkastuksissa tarkastajat valitsevat tarkastettavat kohteet ja päättävät itsenäisesti, millä tavoin he suorittavat tehtävänsä ja raportoivat tuloksista vastuuvapauden myöntävälle viranomaiselle (Euroopan parlamentti neuvoston suosituksen perusteella). Tilintarkastustuomioistuimen toiminnantarkastusten tavoitteena ei täten ole yhteisön toiminnan kattava arviointi. Tämä on komission, jäsenvaltioiden ja muiden yhteisön toimintoja hallinnoivien tahojen tehtävä. Toiminnantarkastuksiin kuitenkin yleensä sisältyy myös tiettyjen valittujen aiheiden arviointia. Lisäksi tarkastellaan arviointijärjestelmiä ja niiden perusteella saatuja tietoja laadunarvioinnin näkökulmasta. Jos arvioinnin perustella saadut tiedot havaitaan tyydyttäviksi ja relevanteiksi, niitä voidaan käyttää 8 Komission tiedonanto arvioinnista (SEK(2000) 1051) Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien toiminnantarkastusten viitekehys sivu 12

todentavana aineistona. Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien toiminnantarkastusten viitekehys sivu 13

1.3 TILINTARKASTUSTUOMIOISTUIMEN TEHTÄVÄ JA TOIMINNANTARKASTUKSEN TAVOITTEET 1.3.1 Tilintarkastustuomioistuimen oikeudelliset velvoitteet Perustamissopimus Yhteisön toimia koskevien tilintarkastustuomioistuimen toimittamien toiminnantarkastusten lainsäädäntökehyksestä säädetään perustamissopimuksessa. Perustamissopimuksen konsolidoidun toisinnon 248 artiklan 2 kohdan mukaisesti Tilintarkastustuomioistuin tarkastaa [...], että varainhoito on ollut moitteetonta. 1.3.2 Tilintarkastustuomioistuimen tavoitteet Tilintarkastustuomioistuimen tehtävänmäärittelyn mukaisesti: Euroopan tilintarkastustuomioistuimen tehtävänä on tarkastaa itsenäisesti Euroopan unionin varojen keruuta ja niiden käyttöä sekä arvioida tarkastuksen perusteella kuinka Euroopan unionin toimielimet toteuttavat näitä tehtäviä. Tilintarkastustuomioistuimen tehtävänä Tilintarkastustuomioistuin tutkii, onko rahoitustoimet kirjattu asianmukaisesti, tarkastaa niiden laillisen ja asianmukaisen toteuttamisen sekä varojen taloudellisen, vaikuttavan ja tehokkaan hoidon. Tilintarkastustuomioistuin pyrkii tehtävissään kehittämään osaltaan Euroopan unionin varojen hoitoa kaikilla tasoilla varmistaakseen unionin kansalaisten rahojen optimaalisen käytön. Tilintarkastustuomioistuin tiedottaa työstään ja sen tuloksista julkaisemalla tarkoituksenmukaisia ja riippumattomia kertomuksia oikea-aikaisesti. on tarjota riippumatonta tietoa taloudellisuudesta, tehokkuudesta ja vaikuttavuudesta ja antaa suosituksia. Kuten jo aiemmin todettiin, tilintarkastustuomioistuimen toiminnantarkastukset pohjautuvat tilivelvollisuuteen. Tilintarkastustuomioistuimen tavoitteena on täten tarjota vastuuvapauden myöntävälle viranomaiselle ja kaikille EU:n kansalaisille riippumatonta tietoa: siitä, miten taloudellisesti, tehokkaasti ja vaikuttavasti komissio ja muut tarkastetut yksiköt ovat käyttäneet yhteisön varoja komission ja muiden tarkastettujen elinten toiminnanohjausjärjestelmien vaikuttavuudesta ja toiminnantuloksia koskevien lausumien luottavuudesta. Tilintarkastustuomioistuin pyrkii osaltaan parantamaan yhteisön varojen hoitoa antamalla vastuuvapauden myöntävälle viranomaiselle ja komissiolle suosituksia silloin kun toiminnantarkastuksissa käy ilmi huomattavia parannusmahdollisuuksia. Kyse voi olla mm. seuraavista asioista: säästöjen aikaansaaminen työmenetelmien kehittäminen tuhlaamisen välttäminen vahvistettujen tavoitteiden saavuttaminen aiempaa kustannusvaikuttavammalla tavalla. Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien toiminnantarkastusten viitekehys sivu 14

TOIMINNANTARKASTUKSEN KÄSIKIRJA LUKU 2 TOIMINNANTARKASTUKSEN LÄHESTYMISTAPA JA TALOUDELLISUUS, TEHOKKUUS JA VAIKUTTAVUUS Toiminnantarkastuksen käsikirjan luvut SISÄLLYS Johdanto Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien toiminnantarkastusten viitekehys Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus Luku 3: Tarkastuksen suunnittelu Luku 4: Toteutusvaihe 2.1 JOHDANTO 2.2 TOIMINNANTULOKSIIN PERUSTUVA LÄHESTYMISTAPA 2.2.1 Varsinainen toiminnan tarkastaminen 2.2.2 Valvontajärjestelmien tarkastaminen 2.3 MITEN KÄSITTEITÄ TALOUDELLISUUS, TEHOKKUUS JA VAIKUTTAVUUS SOVELLETAAN? 2.3.1 Loogisten mallien käyttö toiminnantarkastuksissa 2.3.2 Käsitteiden soveltaminen TALOUDELLISUUS TEHOKKUUS VAIKUTTAVUUS 2.4 ASIANMUKAISELTA TOIMINNANTARKASTUKSELTA EDELLYTETYT OMINAISUUDET 2.4.1 Tervettä harkintaa käytetään koko tarkastusprosessin aikana 2.4.2 Tarkoituksenmukaisia menetelmiä yhdistelemällä saadaan kerätyksi monenlaista tietoa 2.4.3 Tarkastuskysymykset asetetaan siten, että niiden perusteella on mahdollista esittää päätelmiä 2.4.4 Tarkastuskertomuksen antamiseen liittyvät riskit analysoidaan ja niitä hallitaan 2.4.5 Käytetään tarkastuksen toimittamista edesauttavia välineitä 2.4.6 Tarkastushavaintojen tueksi on riittävästi relevanttia ja luotettavaa todentavaa aineistoa 2.4.7 Tarkastuskertomuksen rakennetta pohditaan suunnitteluvaiheesta alkaen 2.4.8 Tarkastuskohteeseen sovelletaan avointa lähestymistapaa ( ei yllätyksiä ) Luku 5: Raportointivaihe Yhteystiedot Lisätietoja aiheesta: Euroopan tilintarkastustuomioistuin CEAD-ryhmä Tarkastustoiminnan ja kertomusten laadinnan kehittämisestä vastaava osasto (ADAR-osasto) Menetelmätiimi Sähköposti: ADAR CONTACT/ECA tai adar.contact@eca.europa.eu

2.1 JOHDANTO Tarkastukseen on sovellettava lähestymistapaa, jonka avulla saadaan mahdollisimman tarkoituksenmukaiset tarkastustulokset mahdollisimman kustannusvaikuttavalla tavalla. Tarkastuksiin voidaan soveltaa myös eri lähestymistapojen yhdistelmää. 2.2 TOIMINNANTULOKSIIN PERUSTUVA LÄHESTYMISTAPA Toiminnantarkastusten tavoitteena on saada tietoa toiminnantuloksista; nämä tiedot kiinnostavat erityisesti Euroopan parlamenttia, neuvostoa, komissiota ja muita tarkastettuja elimiä. Tämä tarkoittaa sitä, että valvonnan ja prosessien sijaan tilintarkastustuomioistuimen toiminnantarkastusten on kohdistuttava pikemminkin toiminnantuloksiin, ja tarkastushavaintojen vaikutusta on arvioitava taloudellisuuden, tehokkuuden tai vaikuttavuuden kannalta. Toiminnantarkastuksissa yhdistyvät taulukossa esitetyt lähestymistavat, joissa painopiste asetetaan jompaan kumpaan osa-alueeseen tarkastusolosuhteista riippuen: Lähestymistapa Varsinainen toiminnan tarkastaminen Valvontajärjestelmien tarkastaminen Painopiste Panokset, tuotokset, tulokset ja vaikutukset. Hallinnoinnista vastaavien tahojen täytäntöönpanemien, toiminnan edistämiseen, seurantaan ja arviointiin tarkoitettujen toimintatapojen ja menettelyjen asianmukaisuus. 2.2.1 Varsinainen toiminnan tarkastaminen Tarkastus kohdistuu suoraan toiminnantuloksiin ja siinä keskitytään panoksiin, tuotoksiin, tuloksiin ja vaikutuksiin. Oletuksena on, että jos toiminnantulokset ovat tyydyttäviä, toiminnon tai valvontajärjestelmien rakenteessa tai täytäntöönpanossa esiintyvien vakavien ongelmien ilmenemisriski on vähäinen. Tällaisissa tarkastuksissa voidaan esimerkiksi arvioida, onko hyväksytyt toimintalinjat toteutettu kunnolla ja onko niiden avulla saavutettu asetetut tavoitteet tai onko tehdyillä toimintalinjapäätöksillä epätoivottuja rahoituksellisia ja taloudellisia seurauksia. Kriteerien on oltava sopivia Varsinainen toiminnan tarkastus on asianmukaista toimittaa silloin, kun on olemassa sopivat kriteerit, joiden avulla mitataan panosten, tuotosten, tulosten ja vaikutusten määrää, laatua ja kustannuksia. Jos toiminnantulokset havaitaan epätyydyttäviksi, toimintoja ja valvontajärjestelmiä tarkastellaan perusteellisemmin kunnes selviää, mistä tämä johtuu. Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus sivu 16

2.2.2 Valvontajärjestelmien tarkastaminen Tarkastetaan järjestelmien rakenne ja täytäntöönpano tietojärjestelmät mukaan lukien. Tarkoituksena on määrittää, ovatko komissio ja muut tarkastettavat yksiköt suunnitelleet ja toteuttaneet hallinto- ja valvontajärjestelmät siten, että ne ovat olosuhteista johtuviin rajoitteisiin nähden mahdollisimman taloudelliset, tehokkaat ja vaikuttavat. Tarkastustyöhön liittyy kyseisten järjestelmien keskeisten osa-alueiden analysointi, arviointi ja testaus. Tarkastuksen yhteydessä tutkitaan usein, ovatko valitut toimenpiteet toimintalinjaan sisältyvien tavoitteiden mukaisia ja onko kyseisten tavoitteiden pohjalta luotu toimintasuunnitelmia. Toimintasuunnitelmat sisältävät toiminnallisia tavoitteita, joiden saavuttamista mitataan jälkeenpäin. Siinä tarkistetaan myös, tuottavatko käytössä olevat järjestelmät tarkoituksenmukaista, luotettavaa ja oikea-aikaista tietoa rahoitus-, henkilöstöja muiden resurssien käyttöön asettamisesta (panokset), toimintojen toteuttamisesta (prosessit) ja tuotoksista; tätä tietoa olisi verrattava toiminnallisiin tavoitteisiin tulosindikaattoreiden avulla. Tarkastusten avulla on määritettävä, ryhdytäänkö poikkeamatapauksissa oikea-aikaisiin ja asianmukaisiin korjaaviin toimiin, joiden tarkoituksena on muuttaa toimintasuunnitelmaa, resurssien käyttöönasettamista ja/tai toimintojen toteuttamista. Tässä yhteydessä tarkastetaan usein myös arviointijärjestelmä ja sen avulla saadut tiedot laadunarvioinnin näkökulmasta. Jos havainnot, päätelmät ja suositukset katsotaan tyydyttäviksi ja tarkastustavoitteiden kannalta relevanteiksi, niitä voidaan käyttää todentavana aineistona. 2.3 MITEN KÄSITTEITÄ TALOUDELLISUUS, TEHOKKUUS JA VAIKUTTAVUUS SOVELLETAAN? 2.3.1 Loogisten mallien käyttö toiminnantarkastuksissa Määritetään tukitoimenpiteen logiikka Julkista tukitoimenpidettä voidaan sen luonteesta riippumatta (toimintalinja, ohjelma, toimenpide tai hanke) analysoida käyttöön asetettujen rahavarojen, organisatoristen resurssien ja henkilöstöresurssien muodostamana kokonaisuutena, jonka avulla on tarkoitus ratkaista kohderyhmiä koskeva ongelma tai vaikea tilanne saavuttamalla asetettu tavoite tai tavoitteet määrätyssä ajassa. Loogisten mallien käyttö voi auttaa tarkastustiimiä yksilöimään seuraavat tekijät ja pääsemään selville niiden välisistä suhteista: tukitoimenpiteen kohteena olevat sosioekonomiset tarpeet sekä tukitoimenpiteeseen liittyvät tavoitteet, panokset, prosessit, tuotokset ja seuraukset, jotka käsittävät sekä tulokset (välittömät muutokset, jotka aiheutuvat julkisen tukitoimenpiteen välittömille kohteille sen jälkeen kun heidän osallisuutensa tukitoimenpiteen toteuttamiseen on päättynyt) että vaikutukset (tukitoimenpiteen pitkäaikaisemmat vaikutukset). Seuraavassa kaaviossa esitetään esimerkki ohjelman loogisesta mallista. Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus sivu 17

Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus sivu 18

Toiminnantarkastuksissa on oltava teoreettisesti mahdollista tarkastella perusteellisesti kaikkia edellä mainittuja osa-alueita ja niiden välisiä suhteita taloudellisuuden, tehokkuuden ja vaikuttavuuden näkökulmasta. 2.3.2 Käsitteiden soveltaminen Tarkastuskysymysten muotoilussa on otettava huomioon mahdolliset taloudellisuuteen, tehokkuuteen ja vaikuttavuuteen liittyvät riskit. Tarkastajien on yksilöitävä mahdolliset taloudellisuuteen, tehokkuuteen ja vaikuttavuuteen liittyvät riskit ja muotoiltava tämän tiedon perusteella tarkastuskysymykset. Kyseiset käsitteet ovat pohjimmiltaan samanarvoiset. Tapauskohtaisesti voidaan päättää jonkin käsitteen asettamisesta ensisijaiseksi. Tarkastajia kuitenkin kehotetaan analysoimaan tarkastuskohdetta vaikuttavuuden näkökulmasta aina kun se on mahdollista. Toiminnantarkastuksessa ei ole tarkoituksena eikä pyrkimyksenä tutkia kattavasti kaikkia taloudellisuuteen, tehokkuuteen ja vaikuttavuuteen liittyviä osa-alueita samanaikaisesti. Tavoitteena on pikemminkin tutkia vain tiettyjä edellä mainittuihin osa-alueisiin liittyviä tekijöitä tai näiden tekijöiden yhdistelmää mahdollisten merkittävien riskien perusteella. Kun tutkittavien tekijöiden määrää rajataan tällä tavoin, on todennäköisempää, että tarkastusasetelmasta ei tehdä liian kunnianhimoista. Seuraavilla sivuilla käsitellään taloudellisuutta, tehokkuutta ja vaikuttavuutta koskevien käsitteiden osalta seuraavia tekijöitä: moitteettomaan varainhoitoon liittyvät yleiset riskit tarkastuksessa huomioon otettavat tekijät esimerkkejä EU:n toimintaympäristössä esiintyvistä riskeistä esimerkkejä kyseisiin käsitteisiin liittyvistä tarkastuskysymyksistä tarkastuksen kohdentaminen Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus sivu 19

TALOUDELLISUUS Taloudellisuuskysymykset tulevat esille silloin, kun organisaation tai toiminnon panoksiin liittyviä menoja voitaisiin tietyllä tuotos- tai tulostasolla vähentää huomattavasti. Yleisinä riskeinä voidaan tältä osin pitää seuraavia tekijöitä: tuhlataan eli käytetään resursseja, joita ei ole tarvetta käyttää tavoitteena olevien tuotosten tuottamiseksi tai tulosten saavuttamiseksi Pidetään kustannukset alhaisina maksetaan liikaa eli hankitaan käytettäväksi resursseja, jotka olisi voitu saada alhaisemmin kustannuksin ja korotetaan vaatimustasoa tarpeettomasti eli maksetaan korkealaatuisemmasta panoksesta kuin mitä tavoitteena olevat tuotokset tai tulokset edellyttävät. asetettujen tavoitteiden saavuttamiseksi Taloudellisuutta koskevassa tarkastuksessa näin ollen määritetään, ovatko valitut panokset vahvistettujen tavoitteiden saavuttamisen kannalta kaikkein asianmukaisimmat ja edullisimmat. Tarkastuksessa käsitellään mm. seuraavia tekijöitä: hankkiiko tarkastettava organisaatio ominaisuuksiensa, laatunsa ja määränsä puolesta tarkoitukseen sopivat resurssit mahdollisimman edullisesti? hallinnoiko tarkastettava organisaatio resurssejaan siten, että se pyrkii minimoimaan niiden kokonaiskulutuksen? olisiko tukitoimenpide voitu suunnitella tai täytäntöönpanna jollain toisella tavalla ja täten alentaa kustannuksia? Esimerkki riskistä Euroopan toimielinten työkyvyttömyyseläkejärjestelmä Joitakin harvoja poikkeuksia lukuun ottamatta tutkitut asiakirjat eivät sisältäneet viitteitä siitä, että ennalta olisi toteutettu vakavasti otettavia toimia, joiden tarkoituksena olisi ollut vaihtoehtoisen ratkaisun löytäminen. Asiantuntijalääkärin esittämiä, lähinnä toimen vaihtamista koskevia ehdotuksia ei käytännössä koskaan noudatettu. Työkyvyttömyyseläkkeelle tarjottiin vaihtoehto vain harvoin tai liian myöhään. Työkyvyttömyyseläkkeellä olevista entisistä henkilöstön jäsenistä poimittuun otokseen kuuluneista henkilöistä neljännes olisi todennäköisesti kyennyt jatkamaan työntekoa, mikäli toimielin olisi havainnut ja käsitellyt heidän tapauksiaan varhaisessa vaiheessa. Työkyvyttömyyseläkkeellä olevista henkilöstön jäsenistä poimitulle otokselle osoitetun kyselyn vastaukset vahvistavat mainitun oletuksen: 20 prosenttia entisistä henkilöstön jäsenistä katsoi, että työnteon jatkaminen olisi ollut mahdollista, jos tarjolla olisi ollut vaihtoehtoinen ratkaisu. Tällä perusteella tilintarkastustuomioistuin arvioi, että vuoden aikana myönnettävistä työkyvyttömyyseläkkeistä aiheutuvien nettokustannusten osalta voitaisiin periaatteessa saada aikaan 10 miljoonan euron vuotuinen säästö, jos käyttöön otettaisiin menettely, jonka yhteydessä toistuvat tai pitkäaikaiset sairauspoissaolot Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus sivu 20

havaittaisiin ja otettaisiin käsittelyyn ajoissa. Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus sivu 21

Esimerkkejä taloudellisuuteen liittyvistä tarkastuskysymyksistä Varsinainen toiminnan tarkastaminen Saatiinko konsulttipalvelut pk-yritysten tukiohjelmaa varten mahdollisimman edulliseen hintaan? Onko sairauspoissaoloista johtuvia menoja mahdollista vähentää kohtuullisesti? Valvontajärjestelmien tarkastaminen Ottaako komissio puuvillan tuotantotukijärjestelmää hallinnoidessaan huomioon muiden menojen lisäksi kuluttajille aiheutuvat menot ja niiden seurannan? Onko otettu käyttöön menettelyjä, joiden avulla varmistetaan, että elintarvikeavun kuljetuskulut ovat mahdollisimman alhaiset ja että ne sijoittuvat edukseen vertailtaessa niitä muille rahoittajille aiheutuneiden vastaavien kulujen kanssa? Ovatko nämä menettelyt asianmukaisia ja sovelletaanko niitä kunnolla? ja kiinnitetään usein huomiota hankintoihin. Kun asioita tarkastellaan taloudellisuuden näkökulmasta, tarkastaja usein perehtyy tarkastettavien yksiköiden sisäisiin tavara-, urakka- ja palveluhankintoihin liittyviin prosesseihin ja hallinnollisiin päätöksiin. Tarkastaja määrittää erityisesti, ovatko hankintaprosessit johtaneet mahdollisimman edulliseen laatu-hintasuhteeseen. Tarkastusalueisiin kuuluvat esimerkiksi seuraavat tekijät: käyttäjien tarpeiden yksityiskohtainen määrittely, jonka avulla määritetään, mihin tavaroiden, urakoiden ja palvelujen hankinnalla pyritään; tuotoksia koskevat laatuvaatimukset ja tavaroiden, urakoiden ja palvelujen toimitusaikataulun määrittäminen. Tarkastaja selvittää usein myös, miten valinta- ja sopimuksentekoperusteet on määritetty ja miten niitä sovelletaan. Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus sivu 22

TEHOKKUUS Tehokkuuskysymykset tulevat esille silloin, kun yksikön tai tukitoimenpiteen tuotosten määrää voitaisiin lisätä tai tulostasoa kohottaa tai niiden laatua parantaa resurssien käyttöä lisäämättä. Yleisinä riskeinä voidaan tältä osin pitää seuraavia tekijöitä: hukkakäyttö eli resurssien käyttö ei johda tavoitteena olleisiin tuotoksiin Hyödyntämällä täysimääräisesti käytössä olevat resurssit panosten ja tuotosten välinen suhde ei ole optimaalinen (esim. työn ja tehokkuuden välinen suhde on alhainen) tukitoimenpiteen täytäntöönpano on hidasta ja ulkoisia tekijöitä eli tukitoimenpiteen tai organisaation ulkopuolisille henkilöille tai yksiköille aiheutuvia kuluja ei yksilöidä eikä valvota. maksimoidaan tuloksellisuus Tehokkuutta koskevassa tarkastuksessa näin ollen arvioidaan, onko käytettyjen resurssien, tuotosten ja tulosten välinen suhde optimaalinen. Tehokkuus liittyy läheisesti tuloksellisuuden käsitteeseen ja keskeistä on selvittää, ovatko tuotokset ja tulokset optimoitu käytössä oleviin resursseihin nähden määrän, laadun ja ajoituksen osalta. Tarkastuksessa käsitellään mm. seuraavia tekijöitä: onko tuotokset tuotettu tai tulokset saavutettu kustannusvaikuttavalla tavalla? esiintyykö vältettävissä olevia pullonkauloja tai turhaa päällekkäisyyttä? Esimerkki riskistä Metsätaloustoimenpiteet maaseudun kehittämispolitiikassa Tavoitteena on lisätä metsän kattamaa maa-alaa, mutta metsitettäväksi voidaan valita erilaisia maa-alueita. Asetuksessa säädetään, että viranomaisten omistaman maatalousmaan metsityksen tuki kattaa ainoastaan varsinaisen metsitystoiminnan kustannukset ei tulonmenetyksestä maksettavaa korvausta tai ylläpitoa kuten yksityisomistuksessa olevan maan metsityksessä. Periaatteessa voitaisiinkin väittää, että metsitystoiminnan keskittäminen julkisessa omistuksessa oleviin maa-alueisiin olisi paljon tehokkaampi vaihtoehto, sillä saman rahoituksen avulla voitaisiin metsittää huomattavasti suurempi alue kuin nykyisin. Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus sivu 23

Esimerkkejä tehokkuuteen liittyvistä tarkastuskysymyksistä Varsinainen toiminnan tarkastaminen Miten yhteisön koulutusohjelman ja muiden vastaavien aloitteiden yhteydessä pitkäaikaistyöttömälle luodusta työpaikasta aiheutuvat kulut vertautuvat toisiinsa nähden? Olisiko hankkeet voitu toteuttaa jollain muulla tavalla ja näin parantaa hankkeiden oikea-aikaisuutta ja laatua? Valvontajärjestelmien tarkastaminen Onko olemassa asianmukaisia liikenneinfrastruktuurihankkeiden priorisointiin ja valintaan käytettäviä menettelyjä sen varmistamiseksi, että yhteisön varoilla aikaan saatu vaikutus on mahdollisimman suuri? Ovatko kriteerit asianmukaisia ja sovelletaanko niitä tarkoitetulla tavalla? Onko yhteisön toimielimillä tarvittavat keskeiset hallintotiedot toimistotilojen koosta, kunnosta, käytöstä ja kustannuksista ja käytetäänkö näitä tietoja johdonmukaisesti päätöksenteossa? ja otetaan tuotokset ja/tai tulokset huomioon. Kun tehokkuuteen liittyvän tarkastuksen kohteena ovat tuotokset, tarkastaja usein perehtyy prosesseihin, joiden avulla organisaatio muuttaa panokset tuotoksiksi. Arvioinnin osana voidaan laskea tuotosten yksikkökustannukset (esim. koulutuksen tuntihinta) tai työn ja tehokkuuden välinen suhde (esim. päivässä käsiteltyjen tukihakemusten määrä) ja vertailla niitä hyväksyttyihin kriteereihin, jotka voivat perustua samankaltaisten organisaatioiden käyttämiin tai edeltävinä kausina käytössä olleisiin kriteereihin tai tarkastettavan organisaation avoimesti asettamiin standardeihin. Kun tehokkuuteen liittyvän tarkastuksen kohteena ovat tulokset, tarkastuksessa on yleensä käytettävä taloudellisia välineitä, joiden avulla arvioidaan tarkastettavan organisaation, toiminnan tai ohjelman tosiasiallisia tai mahdollisia valmiuksia saavuttaa määrätyt tulokset tietyin kustannuksin. Kustannusvaikuttavuusanalyysin avulla voidaan esimerkiksi selvittää tukitoimenpiteen nettovaikutusten ja niiden edellyttämän rahoituspanoksen välinen yhteys; arvosteluperusteina voitaisiin käyttää esimerkiksi tulosten yksikkökustannuksia (esim. kustannukset luotua työpaikkaa kohti), joita verrataan verrokiksi valittujen tukitoimenpiteiden vastaaviin kustannuksiin. Tarkastuslähestymistavasta riippuen tarkastajat joko tarkastavat, onko tarkastettavan elimen suorittama analyysi luotettava, tai suorittavat kustannusvaikuttavuusanalyysin itse. Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus sivu 24

VAIKUTTAVUUS Vaikuttavuuskysymykset tulevat esille silloin, kun yksikkö tai tukitoimenpide ei tuota oletettuja tuotoksia, tuloksia tai vaikutuksia. Yleisinä riskeinä voidaan tältä osin pitää seuraavia tekijöitä: Saavutetaan vahvistetut päämäärät tai tavoitteet, toimintalinjan puutteellinen suunnittelu, esim. tarpeita ei arvioida riittävän hyvin, tavoitteet ovat epäselviä tai epäjohdonmukaisia, tukitoimenpidettä varten ei ole riittävästi keinoja eikä täytäntöönpano onnistu käytännössä hallinnoinnissa esiintyvät puutteet, esim. tavoitteita ei saavuteta eikä johdossa pidetä tavoitteiden saavuttamista ensisijaisena. Vaikuttavuuteen liittyvässä tarkastuksessa täten arvioidaan, missä määrin seuraavat tavoitteet on saavutettu: jotka voivat olla toiminnallisia (tuotokset), välittömiä (tulokset), väli- tai yleistavoitteita (vaikutukset). toiminnalliset tavoitteet: Tarkastuksessa arvioidaan, missä määrin tavoitellut tuotokset on tuotettu. Tavallisesti tarkastetaan myös tukitoimenpiteen täytäntöönpanosta vastaavien organisaatioiden sisäinen toiminta. välittömät tavoitteet: Tarkastuksessa arvioidaan, onko tukitoimenpiteellä saatu aikaan selviä ja tukitoimenpiteen välittömien kohteiden kannalta myönteisiä tuloksia sen jälkeen, kun heidän osallisuutensa tukitoimenpiteen toteuttamiseen on päättynyt. Tavallisesti tarkastuksen yhteydessä analysoidaan täytäntöönpanoelinten toimittamat seurantatiedot sekä saadaan tietoja tukitoimenpiteen välittömiltä kohteilta. välitavoitteet ja yleistavoitteet: Tarkastus ulottuu tarkastettavan yksikön ulkopuolelle ja siinä pyritään mittaamaan julkisen tukitoimenpiteen vaikutukset. Tämä edellyttää, että tarkastuksessa otetaan huomioon ulkoiset tekijät ja esitetään todentavaa aineistoa, josta käy ilmi, että havaitut vaikutukset johtuvat nimenomaan kyseisestä julkisesta tukitoimenpiteestä eivätkä ulkoisista tekijöistä. Esimerkki riskistä Kuivarehun tuotantotukijärjestelmä Järjestelyyn kuuluu kaksi eri tukitasoa: pienempää tukea maksetaan auringossa luonnollisesti kuivatusta rehusta ja suurempaa tukea konekuivatusta rehusta ylimääräisten polttoainekustannusten korvaamiseksi. Tukitasojen eriyttämisellä on ollut huomattava vaikutus siihen, miten rehua kuivataan. Espanjan liittyessä yhteisöön vuonna 1986 ainoastaan 61 000 tonnia rehua kuivattiin vuodessa koneellisesti; markkinointivuonna 1996/1997 jo 1 414 000 tonnia kuivattiin koneellisesti, koska tuottajat kokivat saavansa enemmän hyötyä korkeammasta tukitasosta. Pelkästään Espanjassa tämän järjestelyn piirissä käytetty vuotuinen energiamäärä riittäisi tyydyttämään Alicanten kokoisen kaupungin (285 000 asukasta) vuotuisen sähkötarpeen. Kuivatusprosessin aikana tuotetun ylimääräisen hiilidioksidin Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus sivu 25

sitomiseen tarvitaan yli 200 000 hehtaaria metsää. Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus sivu 26

Esimerkkejä vaikuttavuuteen liittyvistä tarkastuskysymyksistä Varsinainen toiminnan tarkastaminen Onko iäkkäiden maanviljelijöiden varhaiseläkkeelle siirtymistä ja heidän tilalleen tulevia nuoria maanviljelijöitä tukevilla järjestelmillä ollut selvä ja myönteinen vaikutus epäsuotuisten alueiden maatilojen uudenaikaistamiseen ja taloudelliseen elinkelpoisuuteen? Ovatko rahoitetut infrastruktuurihankkeet osaltaan lisänneet liikennevirtoja sen ohella, että ne ovat lyhentäneet matkustamiseen käytettyä aikaa ja lisänneet turvallisuutta? Valvontajärjestelmien tarkastaminen Ovatko jäsenvaltiot ottaneet käyttöön ja panneet asianmukaisesti täytäntöön ympäristövaikutuksia lieventäviä seurantatoimenpiteitä sokerialalla? Ovatko komissio ja jäsenvaltiot arvioineet asianmukaisesti koulunkäynnin keskeyttäjiä koskevaan ohjelmaan liittyvät tarpeet ja siitä mahdollisesti saatavan hyödyn rahoituspäätöstä varten? Vaikuttavuuteen liittyvässä tarkastuksessa keskitytään tuotoksiin, tuloksiin tai vaikutuksiin: Vaikutusten arviointi on vaikeaa, on helpompaa arvioida tuotoksia tai tuloksia. Tukitoimenpiteen vaikutusta eli sitä, missä määrin tukitoimenpiteen yleistavoitteet ja myös välitavoitteet on saavutettu, voi olla huomattavan hankalaa arvioida. Vaikeuksia esiintyy, koska tavoitteet ilmaistaan yleensä niin yleisellä tasolla, että niitä ei voida yhdistää mitattavissa oleviin indikaattoreihin, ja näin ollen niiden saavuttamisen tasoa on vaikea tarkistaa. Vaikka tavoitteet olisi yksilöity selkeämmin, tilanne on sama, jos kyseistä tietoa ei ole helposti saatavilla tarkastettavassa organisaatiossa, sillä silloin vaaditun todentavan aineiston keruu ja analysointi edellyttävät suhteettoman suuria tarkastusresursseja. Lisäksi on vaikeaa arvioida, johtuvatko havaitut vaikutukset todella tukitoimenpiteestä eivätkä ulkoisista tekijöistä. Tällaisissa tapauksissa on sovellettava tarkastuslähestymistapaa, jossa tarkistetaan, onko relevanttia ja luotettavaa arviointitietoa saatavilla ja jos on, voidaanko sitä käyttää todentavana aineistona. Realistisempana tarkastustavoitteena pidetään usein tukitoimenpiteen tuotosten tai tulosten arviointia eli arvioidaan, missä määrin toiminnalliset tai välittömät tavoitteet on saavutettu. Tämä luo selkeän ja asianmukaisen perustan vaikuttavuuden arvioinnille, mikäli tavoitteet ovat komission toiminnanohjausta ja riskinhallintaa koskevan lähestymistavan mukaisesti erikseen määritettyjä, mitattavia, saavutettavissa olevia, relevantteja ja oikea-aikaisia (eli SMART-tavoitteiden mukaisia) ja mikäli niiden saavuttamista valvotaan tulosindikaattoreiden avulla. (SMART on lyhenne sanoista Specific, Measurable, Achievable, Relevant ja Timely.) Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus sivu 27

2.4 ASIANMUKAISELTA TOIMINNANTARKASTUKSELTA EDELLYTETYT OMINAISUUDET Toiminnantarkastus käsittää kolme eri vaihetta suunnittelu, toteutus ja raportointi. Toiminnantarkastuksen onnistuminen edellyttää, että tietyt tekijät on huomioitu kyseisissä vaiheissa. Jotta tarkastuskertomukset olisivat laadukkaita ja ne annettaisiin oikeaaikaisesti tarpeettomia toimintoja välttäen, toiminnantarkastukset on toimitettava soveltamalla SMARTEST-lähestymistapaa (Sound judgement (terve harkinta), Methodologies (menetelmät), Audit question(s) (tarkastuskysymykset), Risks (riskit), Tools (välineet), Evidence (todentava aineisto), Structure (rakenne), Transparency (avoimuus)): Tarkastajan on varmistettava seuraavat asiat: Tervettä harkintaa käytetään koko tarkastusprosessin aikana. Tarkoituksenmukaisia menetelmiä yhdistelemällä saadaan kerätyksi monenlaista tietoa. Tärkeää tarkastuksen alusta loppuun Tarkastuskysymykset asetetaan siten, että niiden perusteella on mahdollista esittää päätelmiä. Tarkastuskertomuksen antamiseen liittyvät riskit analysoidaan ja niitä hallitaan. Käytetään tarkastuksen toimittamista edesauttavia välineitä. Tarkastushavaintojen tueksi on riittävästi relevanttia ja luotettavaa todentavaa aineistoa. Tarkastuskertomuksen rakennetta pohditaan suunnitteluvaiheesta alkaen. Tarkastuskohteeseen sovelletaan avointa lähestymistapaa ( ei yllätyksiä ). Näiden ominaisuuksien keskeiset osa-alueet esitetään jäljempänä. 2.4.1 Tervettä harkintaa käytetään koko tarkastusprosessin aikana Tarkastustyön ja kertomuksen laadun kannalta määräävä tekijä Toiminnantarkastus on luonteeltaan laaja-alaista ja harkinnan- ja tulkinnanvaraista toimintaa; itse asiassa toiminnantarkastuksen jokainen näkökohta edellyttää tarkastajalta ammattitaitoon kuuluvaa harkintaa ja omaaloitteellisuutta. Tilintarkastustuomioistuimen maine ja uskottavuus, tarkastuksen kustannusvaikuttavuus ja kertomuksen laatu riippuvat siitä, käytetäänkö tervettä harkintaa koko tarkastusprosessin ajan. Tervettä harkintaa on käytettävä erityisesti silloin, kun asetetaan tarkastustavoitteet (joita nimitetään myös tarkastuskysymyksiksi), määritetään tarkoituksenmukaiset tarkastuskriteerit, vahvistetaan todentavan aineiston asianmukaiseksi katsottu määrä ja laatu, esitetään tarkastushavaintoja, tehdään päätelmiä ja laaditaan kertomus. Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus sivu 28