Tuloksellisuuden tarkastuksen käsikirja

Transkriptio

1 Tuloksellisuuden tarkastuksen käsikirja Tarkastusten laatua valvova osasto Syyskuu 2017

2 TULOKSELLISUUDEN TARKASTUKSEN KÄSIKIRJA YLEISKATSAUS Sivunumero TULOKSELLISUUDEN TARKASTUKSEN KÄSIKIRJAN LUVUT Sivu 2 Johdanto Sivu 7 Luku 1 Euroopan tilintarkastustuomioistuimen toimittamien tuloksellisuuden tarkastusten viitekehys Sivu 16 Luku 2 Tuloksellisuuden tarkastus: tarkastustapa ja taloudellisuus, tehokkuus ja vaikuttavuus Sivu 32 Luku 3 Tarkastuksen suunnittelu Sivu 61 Luku 4 Toteutusvaihe Sivu 77 Luku 5 Raportointivaihe Sivu 97 Sisällysluettelo Yhteystiedot Käsikirjaa saa kopioida ja jakaa pyytämättä lupaa tilintarkastustuomioistuimelta. Tuloksellisuuden tarkastuksen käsikirjan soveltamista koskevista ohjeista, parhaista käytänteistä, esimerkeistä, tuesta ja opastuksista vastaa Euroopan tilintarkastustuomioistuimen tarkastuksen laatua valvovaa komiteaa avustava osasto. Lisätietoja tarkastuksen laatua valvovaa komiteaa avustavan osaston intranet-sivustolta tai sähköpostitse: ECA-DQC- CONTACT tai eca-dqc-contact@eca.europa.eu Johdanto sivu 1

3 TULOKSELLISUUDEN TARKASTUKSEN KÄSIKIRJA JOHDANTO Tuloksellisuuden tarkastuksen käsikirjan luvut SISÄLLYS Johdanto Tuloksellisuuden tarkastuksen käsikirjan tavoite ja sisältö Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien tuloksellisuuden tarkastusten viitekehys Rakenne Käsitteet ja erikoissanasto Luku 2: Tuloksellisuuden tarkastus: tarkastustapa ja taloudellisuus, tehokkuus ja vaikuttavuus Luku 3: Tarkastuksen suunnittelu Luku 4: Toteutusvaihe Luku 5: Raportointivaihe Yhteystiedot Lisätietoja: Euroopan tilintarkastustuomioistuin Tarkastuksen laatua valvovaa komiteaa avustava osasto Sähköposti: ECA-DQC-CONTACT tai Johdanto sivu 2

4 TULOKSELLISUUDEN TARKASTUKSEN KÄSIKIRJAN TAVOITE JA SISÄLTÖ Tuloksellisuuden tarkastuksen käsikirja on osa tilintarkastustuomioistuimen soveltamien menettelyjen ja ohjeistojen kokoelmaa. Käsikirjan avulla on tarkoitus: Tavoite Laatu auttaa tarkastajia toimittamaan laadukkaita tuloksellisuuden tarkastuksia lisätä tarkastajien ammattitaitoa tuloksellisuuden tarkastusten osalta. Sisältö Tarkastusperiaatteet Ammattitaitoon kuuluva harkinta on välttämätöntä ja menettelyjä on sovellettava. Käsikirja laadittiin tarkastajien ja tarkastuksista vastaavan hallinnon tarpeisiin. Siinä selitetään yleisellä tasolla, miten tuloksellisuuden tarkastukset on suunniteltava ja toteutettava ja miten niistä on raportoitava. Euroopan tilintarkastustuomioistuimen tehtävään sisältyvistä velvollisuuksista ja vastuista säädetään perussopimuksessa ja varainhoitoasetuksessa. Tilintarkastustuomioistuin toimittaa tehtäviinsä kuuluvat tarkastukset INTOSAIn kansainvälisten tarkastusstandardien ja ammattietiikkaa koskevan säännöstön mukaisesti Euroopan unionin toimintaympäristöön soveltuvin osin. Tarkastajien on noudatettava tilintarkastustuomioistuimen laatimaa tuloksellisuuden tarkastuksen käsikirjaa ja kaikkia tilintarkastustuomioistuimen hyväksymiä tarkastustoimenpiteitä. Käsikirjassa kannustetaan käyttämään ammattitaitoon kuuluvaa harkintaa kaikissa tarkastusvaiheissa; tämä on välttämätöntä, kun otetaan huomioon mahdollisten tarkastusaiheiden ja tavoitteiden sekä tietojenkeruu- ja analysointimenetelmien moninaisuus tuloksellisuuden tarkastuksissa. Tarkastajien on sovellettava tuloksellisuuden tarkastuksen menettelyjä. Johdanto sivu 3

5 RAKENNE Käsikirja sisältää viisi lukua. Kahdessa ensimmäisessä luvussa annetaan tuloksellisuuden tarkastusta koskevat perustiedot ja luvuissa 3 5 annetaan yksityiskohtaiset ohjeet kutakin eri tuloksellisuuden tarkastuksen vaihetta suunnittelua, toteutusta ja raportointia varten. Käsikirjan rakenne on seuraava: LUKU 1: Tuloksellisuuden tarkastus EU toimielimissä ja tilintarkastustuomioistuimen tehtävät ja tavoitteet tuloksellisuuden tarkastusten osalta. LUKU 2: Tuloksellisuuden tarkastukseen sovellettava tarkastustapa, taloudellisuuden, tehokkuuden ja vaikuttavuuden käsitteiden soveltaminen EU:ssa ja asianmukaiselta tuloksellisuuden tarkastukselta edellytetyt ominaisuudet. LUKU 3: Tarkastuksen suunnitteluprosessi ja tarkastuksen suunnittelumuistio. LUKU 4: Tarkastuksen toteutus; tarkastuksen toimittaminen, tarkastushavainnoista tiedottaminen, tarkastusten hallinnointi ja laadunvalvonta. LUKU 5: Raportointi; kertomuksen suunnittelu, laadinta, arviointi, tarkastaminen ja hyväksyminen, jakelu ja seuranta. Johdanto sivu 4

6 KÄSITTEET JA ERIKOISSANASTO Osa seuraavista määritelmistä perustuu Euroopan komission MEANSasiakirjakokoelman osaan 6 sisältyviin määritelmiin. Kyseisessä asiakirjassa esitetään rakennepolitiikan alan arviointien metodologinen kehys. Näitä käsitteitä sovelletaan myös muihin aloihin ja tällöin saatetaan käyttää eri terminologiaa. TUKITOIMENPITEEN VÄLITÖN KOHDE Henkilö tai organisaatio, johon tukitoimenpide vaikuttaa suoraan. Usein käytetään myös ilmaisua edunsaaja.tukitoimenpiteen välittömille kohteille tarjotaan tukea, palveluja ja tietoa, ja he saavat käyttöönsä toimenpiteellä luodut järjestelmät (esim. maanviljelijät käyttävät kehityshankkeessa luotua kastelujärjestelmää). ULKOINEN TEKIJÄ Julkisesta toimenpiteestä riippumaton tekijä (esim. ilmasto-olosuhteet, taloustilanteen kehitys, alihankkijoiden työsuoritus tai edunsaajien käytös), joka osittain tai kokonaan aiheuttaa tukitoimenpiteen kohteissa havaitut muutokset (tulokset ja vaikutukset). VAIKUTUS Pitkäaikaiset sosiaalis-taloudelliset seuraukset, jotka ovat havaittavissa tietyn ajan kuluttua toimenpiteen päättymisestä. Seuraukset voivat vaikuttaa sekä tukitoimenpiteen välittömiin kohteisiin että sen ulkopuolelle jääviin välillisiin kohteisiin. Niistä voi olla kyseisille kohteille joko hyötyä tai haittaa. TUKITOIMENPITEEN VÄLILLINEN KOHDE Henkilö tai organisaatio, jolla ei ole välitöntä yhteyttä tukitoimenpiteeseen, mutta johon tukitoimenpide vaikuttaa toimenpiteen välittömien kohteiden kautta joko myönteisellä tavalla (esim. henkilö saa työpaikan, koska jollekin toiselle henkilölle myönnettiin varhaiseläke osana toimenpidettä) tai kielteisellä tavalla (esim. yritykset menettävät markkinaosuuksiaan sellaisille yrityksille, jotka ovat toteuttaneet innovaatioita tukitoimenpiteen yhteydessä luotujen teknologian siirtoon käytettävien verkkojen avulla). PANOS Tukitoimenpiteen toteuttamista varten käyttöön asetetut taloudelliset, henkilöstöja aineelliset resurssit. TUKITOIMENPIDE Mikä tahansa julkisviranomaisen ja muun organisaation toteuttama toimi tai toiminta sen luonteesta riippumatta (toimintalinja, ohjelma, toimenpide tai hanke). Tukitoimenpiteet voivat olla avustuksia, lainoja, korkotukia, vakuuksia, osallistumista pääoma- ja riskipääomajärjestelmiin tai muita rahoitusmuotoja. TOIMENPIDE Toimintalinjakehyksessä ohjelmahallinnon perusyksikkö, joka koostuu joukosta samantyyppisiä hankkeita ja jolla on täsmällisesti määritelty budjetti. Kullakin toimenpiteellä on yleensä oma hallinnointijärjestelmänsä. TARVE Asianomaisia ryhmiä koskeva ongelma tai vaikea tilanne, joka pyritään ratkaisemaan julkisen tukitoimenpiteen avulla. Johdanto sivu 5

7 TAVOITE Alustava määritelmä tukitoimenpiteen odotetuista seurauksista. On tehtävä ero yleisten tavoitteiden, välitavoitteiden, välittömien ja toiminnallisten tavoitteiden välillä: yleistavoite vastaa tukitoimenpiteen yleisvaikutusta ja se määritellään yleensä väljästi EU:n lainsäädännössä (esim. tietylle kehitystasolle pääseminen); komissio ja jäsenvaltiot johtavat sen pohjalta välitavoitteita, jotka vastaavat vaikutuksia, joiden on tarkoitus ilmetä jo rahoitettavien ohjelmien toteuttamisen aikana (esim. yritysten kilpailukyvyn parantuminen) välittömissä tavoitteissa on kyse yleensä jäsenvaltioiden rahoitettavien ohjelmien toteutuksen yhteydessä määrittelemistä tukitoimenpiteen tuloksista, jotka heijastuvat tukitoimenpiteen välittömiin kohteisiin (esim. teknologista tukea saavien yritysten liikevaihdon lisääminen 20 prosentilla) toiminnallisissa tavoitteissa eritellään tuotettavaksi tarkoitetut tuotokset (esim. 500 tuntia konsulttipalveluja pk-yrityksille). SEURAUS Tukitoimenpiteen toteuttamisen kautta aikaansaatu muutos, joka yleensä liittyy kyseisen tukitoimenpiteen tavoitteisiin. Seurauksia ovat sekä tulokset että vaikutukset. Seuraukset voivat olla ennakoitavissa tai odottamattomia, kielteisiä tai myönteisiä (esim. uusi moottoritie houkuttelee sijoittajia alueelle, mutta nostaa lähialueiden saastemäärän liian korkealle tasolle). TUOTOS Se, mikä tuotetaan tai saavutetaan tukitoimenpidettä varten myönnetyillä varoilla (esim. maataloustuet, työttömille järjestetty ammatillinen koulutus, kehitysmaahan rakennettu tie). TOIMINTALINJA Samaan yksittäiseen päämäärään tai yleistavoitteeseen tähtäävät toimet ja toiminnat (ohjelmat, menettelyt, lainsäädäntö, säännöt) (esim. Euroopan taloudellinen ja sosiaalinen yhteenkuuluvuus). Nämä toiminnot niveltyvät vuosien mittaan usein toisiinsa. PROSESSIT Menettelyt ja toimet, joiden täytäntöönpano muuttaa panokset tuotoksiksi (esim. tuen myöntämistä ja rahoitettavien hankkeiden valintaa koskevat menettelyt). Käsite kattaa myös johtohenkilöstölle tarkoitettujen hallintotietojen tuottamisen ja käytön. OHJELMA Järjestelmällinen kokonaisuus, joka kattaa rahoitusvarat, organisatoriset resurssit ja henkilöstöresurssit, jotka on asetettu käyttöön tietyn tavoitteen tai tiettyjen tavoitteiden saavuttamiseksi tietyssä aikataulussa. Ohjelmaa on toteutettava aikataulun ja budjetin mukaisesti ja sen tavoitteet on määriteltävä etukäteen. Ohjelma on aina joko yhden viranomaisen tai useiden päätöksentekovallan jakavien viranomaisten vastuulla. Ohjelmat jakautuvat yleensä toimenpiteisiin ja hankkeisiin. HANKE Jakamattoman kokonaisuuden muodostava toiminta. Hanke on toteutettava aikataulun ja budjetin mukaisesti. Hankkeesta vastaa organisaatio, joka huolehtii lähimpänä kenttää tukitoimenpidettä varten myönnettyjen resurssien käytöstä. TULOS Välittömät muutokset, jotka vaikuttavat tukitoimenpiteen välittömiin kohteisiin sen jälkeen kun heidän osallisuutensa tukitoimenpiteen toteuttamiseen on päättynyt (esim. tien rakentamisen seurauksena yhteydet tietylle alueelle paranevat; harjoittelija saa työpaikan). Johdanto sivu 6

8 TULOKSELLISUUDEN TARKASTUKSEN KÄSIKIRJA LUKU 1 EUROOPAN TILINTARKASTUSTUOMIOISTUIMEN TOIMITTAMIEN TULOKSELLISUUDEN TARKASTUSTEN VIITEKEHYS Tuloksellisuuden tarkastuksen käsikirjan luvut SISÄLLYS Johdanto Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien tuloksellisuuden tarkastusten viitekehys Luku 2 Tuloksellisuuden tarkastus: tarkastustapa ja taloudellisuus, tehokkuus ja vaikuttavuus Luku 3: Tarkastuksen suunnittelu Luku 4: Toteutusvaihe Luku 5: Raportointivaihe 1.1 Johdanto 1.2 Tuloksellisuuden tarkastus ja moitteeton varainhoito Euroopan unionissa Tuloksellisuuden tarkastus Moitteeton varainhoito: Perussopimus ja varainhoitoasetus Talousarvion toteuttamista koskevat hallintotavat Moitteettomaan varainhoitoon tähtäävä sisäisen valvonnan järjestelmä Tuloksellisuuden tarkastus tilintarkastukseen ja säännönmukaisuuden tarkastukseen verrattuna Tuloksellisuuden tarkastus arviointiin verrattuna 1.3 Tilintarkastustuomioistuimen tehtävä ja tuloksellisuuden tarkastuksen tavoitteet Tilintarkastustuomioistuimen oikeudelliset velvoitteet Tilintarkastustuomioistuimen tavoitteet Yhteystiedot Lisätietoja: Euroopan tilintarkastustuomioistuin Tarkastuksen laatua valvovaa komiteaa avustava osasto Sähköposti: ECA-DQC-CONTACT tai eca-dqc-contact@eca.europa.eu Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien tuloksellisuuden tarkastusten viitekehys sivu 7

9 1.1 JOHDANTO Tässä luvussa esitetään tilintarkastustuomioistuimen tuloksellisuuden tarkastusten viitekehys ja kuvataan Euroopan unionissa toimitettavia tuloksellisuuden tarkastuksia sekä käsitellään tilintarkastustuomioistuimen tehtäviä ja tavoitteita tuloksellisuuden tarkastusten osalta. Tekstissä esiintyvät viittaukset koskevat useimmiten Euroopan unionin yleistä talousarviota ( talousarvio ) ja komissiota, koska ne muodostavat tilintarkastustuomioistuimen pääasiallisen tarkastusalueen. Viitekehystä sovelletaan kuitenkin kaikkiin tilintarkastustuomioistuimen toimittamiin tuloksellisuuden tarkastuksiin ja myös siinä tapauksessa, että ne koskevat Euroopan kehitysrahastoja, erillisvirastoja ja Euroopan keskuspankkia. 1.2 TULOKSELLISUUDEN TARKASTUS JA MOITTEETON VARAINHOITO EUROOPAN UNIONISSA Tuloksellisuuden tarkastus Määritelmä Tuloksellisuuden tarkastus on riippumaton, objektiivinen ja luotettava arvio siitä, toimivatko yritykset, järjestelmät, tukitoimenpiteet, ohjelmat, toiminnot tai organisaatiot taloudellisuuden, tehokkuuden ja vaikuttavuuden periaatteiden mukaisesti. Lisäksi arvioidaan, onko toimintaa aihetta parantaa Moitteeton varainhoito: Perussopimus ja varainhoitoasetus Perussopimus Varainhoitoasetus Euroopan unionintoiminnasta tehdyn sopimuksen (SEUT) konsolidoidun toisinnon317 artiklan mukaisesti Komissio toteuttaa talousarviota omalla vastuullaan [ ] moitteettoman varainhoidon periaatteiden mukaisesti ja jäsenvaltiot ovat yhteistyössä komission kanssa varmistaakseen, että määrärahat käytetään moitteettoman varainhoidon periaatteiden mukaisesti. Euroopan unionin yleiseen talousarvioon sovellettavan varainhoitoasetuksen 2 30 artiklan mukaisesti moitteeton varainhoito käsittää taloudellisuuden, tehokkuuden ja vaikuttavuuden periaatteet, jotka määritellään seuraavasti: TALOUDELLISUUDEN periaate edellyttää, että varat, joita tarkastettava organisaatio käyttää toimintojensa toteuttamiseksi, otetaan käyttöön oikeaan aikaan ja että ne ovat määrältään riittävät, laadultaan asianmukaiset ja kustannuksiltaan mahdollisimman edulliset. TEHOKKUUDEN periaatteen tarkoituksena on saavuttaa käytetyillä varoilla parhaat mahdolliset tulokset 3. VAIKUTTAVUUDEN periaatteen tarkoituksena on saavuttaa toiminnalle asetetut tavoitteet ja siltä odotetut tulokset ISSAI 300. EUVL L 298, 26. lokakuuta 2012 (viimeksi muutettuna: EUVL L 286, 30. lokakuuta 2015). Tulokset on tulkittava tehokkuuden ja vaikuttavuuden yhteydessä laajemmin siten, että ne kattavat tuotokset, tulokset ja vaikutukset (ks. Sanasto, s. 5 ja 6). Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien tuloksellisuuden tarkastusten viitekehys sivu 8

10 1.2.3 Talousarvion toteuttamista koskevat hallintotavat Talousarvion yleisestä toteuttamisesta vastaa komissio. Varainhoitoasetuksessa (VHA, 58 artikla, 2012) säädetään kolmesta eri hallintotavasta: Suora hallinnointi suora hallinnointi komission osastoissa; tätä tapaa sovelletaan pääasiassa ulkoisiin toimiin ja hallintomenoihin; hallinnointi on suoraa eli komission pääosastojen vastuulla 4. Yhteishallinnointi (VHA, 59 artikla) Välillinen hallinnointi (VHA, 60 artikla) Hallintotavalla on merkittävä vaikutus tarkastukseen yhteinen hallinnointi; yhteisessä hallinnoinnissa toteuttamistehtävät siirretään jäsenvaltioiden vastuulle; tätä tapaa sovelletaan pääasiassa maatalouteen ja rakennetoimiin liittyviin menoihin. välillinen hallinnointi kolmansien maiden ja nimettyjen elinten, kansainvälisten järjestöjen, Euroopan investointipankin, Euroopan investointirahaston ja muiden 58 artiklan 1 kohdan c alakohdan (VHA, 2012) mukaisten elinten kanssa; talousarvion toteuttamistehtäviä siirretään edunsaajamaille ja kansainvälisille järjestöille yleensä ulkoisten toimien alalla tai EU:n virastojen sekä julkisen ja yksityisen sektorin elinten vastuulle erityisesti sisäisten politiikkojen alalla. Talousarvion toteuttamiseen liittyvien tehtävien ja vastuiden jako vaihtelee eri hallintotapojen välillä; tämä on otettava asianmukaisesti huomioon tuloksellisuuden tarkastuksen suunnittelussa, toteutuksessa ja raportoinnissa. 4 Komissio voi siirtää vastuun valmistelu- ja täytäntöönpanotoimista kolmansissa maissa sijaitseville edustustoille. Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien tuloksellisuuden tarkastusten viitekehys sivu 9

11 1.2.4 Moitteettomaan varainhoitoon tähtäävä sisäisen valvonnan järjestelmä Komission ja muiden tarkastettavien organisaatioiden on luotava asianmukainen sisäisen valvonnan järjestelmä 5 saadakseen kohtuullisen varmuuden siitä, että moitteettoman varainhoidon tavoite saavutetaan. Tietotekniset järjestelmät ovat osa komission sisäisen valvonnan järjestelmää; järjestelmään sovelletaan tietojen ja tietotekniikkaresurssien tietotekniikkahallintoa koskevaa COBIT-mallia 6. COSO Komissio siirtyi vuonna 2017 periaatepohjaiseen järjestelmään. Tarkoituksena oli varmistaa perusteellinen sisäinen valvonta komission jatkuvalla arvioinnilla. Samalla osastoille annettiin tarpeeksi liikumavaraa mukauttaa valvonta ominaispiirteitään ja olosuhteitaan vastaavaksi. Uusi sisäisen valvonnan kehys koostuu viidestä sisäisen valvonnan osa-alueesta ja 17 periaatteesta, jotka perustuvat COSO:n vuonna 2013 laatimaan yhtenäiseen sisäisen valvonnan kehykseen seuraavasti: Komission sisäisen valvonnan kehyksen 7 rakenne Sisäisen valvonnan osa-alueet ja periaatteet komissiossa Sisäisen valvonnan osa-alue Valvontaympäristö Riskien arviointi Valvontatoiminnot Informaatio ja viestintä Seuranta Sisäisen valvonnan periaate 1. Osoittaa olevansa sitoutunut toimimaan rehellisesti ja eettisten arvojen mukaan 2. Harjoittaa vastuullaan olevaa valvontaa 3. Luo rakenteen, auktoriteetin ja vastuun 4. Osoittaa arvostavansa pätevyyttä 5. Valvoo tilivelvollisuuden noudattamista 6. Määrittää sopivat tavoitteet 7. Yksilöi ja analysoi riskejä 8. Arvioi petosriskin 9. Yksilöi ja analysoi merkittävää muutosta 10. Valikoi ja kehittää valvontatoimia 11. Valikoi ja kehittää yleisiä tietojärjestelmien kontrolleja 12. Toteuttaa toiminnot toimintapolitiikkojen ja menettelyjen avulla 13. Hyödyntää relevanttia tietoa 14. Viestii sisäisesti 15. Viestii ulkoisesti 16. Tekee jatkuvia ja/tai erillisiä arviointeja 17. Arvioi puutteita ja kommunikoi puutteista COSO (Committee of Sponsoring Organisations of the Treadway Commission) määrittelee sisäisen valvonnan seuraavalla tavalla: tietyn organisaation johtokunnan, johdon ja muun henkilöstön suorittama prosessi, jonka tarkoituksena on antaa kohtuullinen varmuus seuraaviin aloihin liittyvien tavoitteiden saavuttamisesta: toimien vaikuttavuus ja tehokkuus taloudellisen raportoinnin luotettavuus sovellettavien säädösten ja määräysten noudattaminen. Control Objectives for Information and Related Technology (COBIT) (tiedon ja tietotekniikan valvontatavoitteita koskevat COBIT-standardit) Tiedonanto komission jäsen Oettingerilta komissiolle Revision of the Internal Control Framework, C(2017) 2373 lopullinen, Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien tuloksellisuuden tarkastusten viitekehys sivu 10

12 1.2.5 Tuloksellisuuden tarkastus tilintarkastukseen ja säännönmukaisuuden tarkastukseen verrattuna Tuloksellisuuden tarkastus eroaa monin tavoin tilintarkastuksesta; pääasiallisista eroavaisuuksista esitetään yhteenveto alla olevassa taulukossa: TEKIJÄT Tavoite Kohde Koulutusvaatimuks et Menetelmät Tarkastuskriteerit Kertomukset Tuloksellisuuden tarkastus Arvioida, onko unionin varoja käytetty taloudellisesti, tehokkaasti ja vaikuttavasti. Toimintalinja, ohjelma, organisaatio, toiminnot ja hallintojärjestelmät. Taloustiede, yhteiskuntatieteet, sosiologia jne. Vaihtelevat tarkastuksesta toiseen. Tarkastajalla enemmän harkintavaltaa. Tarkastuskohtaiset kriteerit. Erityiskertomuksia julkaistaan tapauskohtaisesti. Rakenne ja sisältö vaihtelevat tavoitteista riippuen. EU:n talousarvion tuloksellisuutta tarkastellaan laajemmin asianomaisessa vuosikertomuksen luvussa. Tilintarkastus ja säännönmukaisuuden tarkastus Arvioida, onko rahoitustoimet toteutettu laillisesti ja sääntöjenmukaisesti ja ovatko tilit luotettavia. Rahoitustoimet, kirjanpitomenettelyt ja keskeiset valvontamenettelyt. Kirjanpito ja oikeustiede. Vakiomenetelmät. Tarkastajalla vähemmän harkintavaltaa. Kaikkia tarkastuksia koskevat lakisääteiset vakiokriteerit. Vuosikertomus. Enemmän tai vähemmän vakiomuotoinen. Integroidun tarkastuksen toimittamista Tilintarkastuksen ja säännönmukaisuuden tarkastuksen näkökohtia 8 (mm. ympäristönäkökohdat kestävän kehityksen yhteydessä) voidaan sisällyttää myös tuloksellisuuden tarkastukseen 9. Kyseiset näkökohdat yhdistävää tarkastusta kutsutaan integroiduksi tarkastukseksi.tarkastajan on käytettävä ammattitaitoonsa kuuluvaa harkintaa ja päätettävä tapauskohtaisesti, toimitetaanko tuloksellisuuden tarkastus vai integroitu tarkastus. Tarkastajien on oltava tietoisia siitä, että pelkän tuloksellisuuden tarkastuksen toimittaminen on jo sinällään haastavaa ja että integroidun tarkastuksen toimittaminen on vielä vaativampi tehtävä. 8 9 Tarkastusstandardit ISSAI sarja ja ISSAI Tarkastusstandardi ISSAI 3000/16. Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien tuloksellisuuden tarkastusten viitekehys sivu 11

13 on harkittava tarkoin. Integroidun tarkastuksen toimittamiseen ryhtymistä on näin ollen aina harkittava tarkasti ja se on toimitettava ainoastaan silloin, kun on selvää, että tällaisen tarkastuksen avulla on mahdollista saada riittävästi relevanttia ja luotettavaa evidenssiä ja antaa raportointivaiheessa selkeitä, hyödyllisiä ja oikea-aikaisia viestejä, jotka täyttävät tuloksellisuuden, säännönmukaisuuden ja/tai tilintarkastukselle asetetut tavoitteet. Nämä eri osa-alueet on pidettävä selvästi erillään toisistaan tarkastuksen suunnittelumuistiossa ja tarkastusohjelmassa, jotta tarkastustiimillä on selkeä käsitys eri tarkastustavoitteista ja jotta kyseiset tarkastustavoitteet otetaan tarkastuksessa asianmukaisesti huomioon. Kun muiden tarkastustyyppien ja tuloksellisuuden tarkastuksen välillä esiintyy päällekkäisyyksiä, tarkastustoimeksiannon luokittelu on määritettävä kyseisen tarkastuksen ensisijaisen tavoitteen mukaisesti Tuloksellisuuden tarkastus arviointiin verrattuna Arviointi muodostaa merkittävän osan komission sisäisen valvonnan järjestelmää. Komission 11 mukaan arvioinnilla tarkoitetaan tukitoimenpiteiden arvioimista niistä saatujen tulosten ja niiden aikaan saamien vaikutusten perusteella sekä niiden tarpeiden valossa, jotka kyseisillä toimenpiteillä on tarkoitus tyydyttää. Arvioinnin päätavoitteet ovat: myötävaikuttaa tukitoimenpiteiden suunnitteluun sekä osallistua poliittisten painopisteiden asettamiseen edistää resurssien tehokasta jakamista parantaa tukitoimenpiteiden laatua raportoida tukitoimenpiteen avulla saaduista tuloksista (tilivelvollisuus). Yhtäläisyydet Tuloksellisuuden tarkastuksen ja arvioinnin välillä on sekä yhtäläisyyksiä että eroavaisuuksia. Kummassakin tarkastus kohdentuu toimintalinjoihin, täytäntöönpanoprosesseihin ja niiden seurauksiin; näiden tekijöiden perusteella arvioidaan organisaation tai toiminnon taloudellisuutta, tehokkuutta ja vaikuttavuutta. Niissä edellytetään samantyyppistä tietämystä, ammattitaitoa ja kokemusta ja niihin sovelletaan samanlaisia tietojenkeruu- ja analysointimenetelmiä. Merkittävimmin ne eroavat toisistaan toteuttamisen ja tavoitteiden osalta Sama. Komission tiedonannot arvioinnista: (SEC(2000) 1051), Focus on Results: Strengthening Evaluation of Commission Activities ja SEC(2007)213, Responding to Strategic Needs: Reinforcing the use of evaluation. Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien tuloksellisuuden tarkastusten viitekehys sivu 12

14 Eroavaisuudet Tuloksellisuuden tarkastus pohjautuu tilivelvollisuuteen, mikä tarkoittaa, että komissio ja muut toimielimet sekä asianomaiset organisaatiot ovat vastuussa EU:n varojen hallinnoinnista ja että niiden on annettava tarkoituksenmukaisia ja luotettavia tietoja toimintansa tuloksista ja osoitettava, että ne kantavat tuloksellisuudestaan vastuuta odotusten mukaisesti. Tuloksellisuuden tarkastuksissa tarkastajat valitsevat tarkastettavat kohteet, päättävät itsenäisesti, millä tavoin he suorittavat tehtävänsä, ja raportoivat tuloksista vastuuvapauden myöntävälle viranomaiselle (Euroopan parlamentti neuvoston suosituksen perusteella). Tilintarkastustuomioistuimen tuloksellisuuden tarkastusten tavoitteena ei täten ole EU: n toiminnan kattava arviointi. Tämä on komission, jäsenvaltioiden ja muiden EU:n toimintoja hallinnoivien tahojen tehtävä. Tuloksellisuuden tarkastuksiin kuitenkin yleensä sisältyy myös tiettyjen valittujen aiheiden arviointia. Lisäksi tarkastellaan arviointijärjestelmiä ja niiden perusteella saatuja tietoja laadunarvioinnin näkökulmasta. Jos arvioinnin perustella saadut tiedot havaitaan tyydyttäviksi ja relevanteiksi, niitä voidaan käyttää tarkastusevidenssinä. 1.3 TILINTARKASTUSTUOMIOISTUIMEN TEHTÄVÄ JA TULOKSELLISUUDEN TARKASTUKSEN TAVOITTEET Tilintarkastustuomioistuimen oikeudelliset velvoitteet Perussopimus EU:n toimia koskevien tilintarkastustuomioistuimen toimittamien tuloksellisuuden tarkastusten lainsäädäntökehyksestä säädetään perussopimuksessa. Perussopimuksen konsolidoidun toisinnon 287 artiklan 2 kohdan mukaisesti Tilintarkastustuomioistuin tarkastaa [ ], että varainhoito on ollut moitteetonta. Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien tuloksellisuuden tarkastusten viitekehys sivu 13

15 1.3.2 Tilintarkastustuomioistuimen tavoitteet Tilintarkastustuomioistuimen tehtävänmäärittelyn mukaisesti: Tehtävä ja rooli pääsy järjestelmiin ja menettelyihin jäsenvaltioissa pääsy järjestelmiin ja menettelyihin muissa kuin jäsenvaltioissa Tehtävä EU:n riippumaton ulkoinen tarkastaja EU:n riippumattomana ulkoisena tarkastajana tilintarkastustuomioistuin kehittää osaltaan EU:n varainhoitoa, edistää tilivelvollisuutta ja avoimuutta sekä toimii unionin kansalaisten taloudellisten etujen riippumattomana valvojana. Tilintarkastustuomioistuin tarkastaa, onko Euroopan unionin talousarviota toteutettu asianmukaisesti ja onko EU:n varat kerätty ja käytetty laillisesti ja varainhoidon moitteettomuuden periaatetta noudattaen. Euroopalla on edessään yhä suurempia haasteita, ja sen julkistalouteen kohdistuu kasvavia paineita. Tilintarkastustuomioistuimen roolin merkitys kasvaa tämän vuoksi entisestään. Rooli Ulkoiset tarkastajat Demokraattisissa yhteiskunnissa on tärkeää, että niissä on kattavasti ja helposti saatavilla talousarvion ja toimintapolitiikkojen toteuttamista koskevaa oikeellista tietoa, jota voidaan käyttää vaikuttavasti keskustelun ja päätöksenteon perustana. Tämä edistää osaltaan asianmukaista varainhoitoa ja muodostaa perustan tilivelvollisuudelle. Jokaisen jäsenvaltion tapaan myös EU tarvitsee ulkoisen tarkastajan, joka toimii kansalaisten taloudellisten etujen riippumattomana valvojana. EU:n talouden valvoja Euroopalla on edessään yhä suurempia haasteita, ja sen julkistalouteen kohdistuu kasvavia paineita. Euroopan tilintarkastustuomioistuimen roolin merkitys kasvaa tämän vuoksi entisestään. Tilintarkastustuomioistuin varoittaa riskeistä ja tuo varmuutta. Lisäksi tilintarkastustuomioistuin auttaa EU:n päättäjiä parantamaan julkistalouden hallinnointia ja varmistamaan, että EU:n kansalaiset saavat tietoa siitä, miten heidän varojaan käytetään. Nimenomaan näillä tavoin tilintarkastustuomioistuin osaltaan vahvistaa Euroopan unionin demokraattista legitimiteettiä ja kestävyyttä. Tilintarkastustuomioistuimen jäsenvaltiossa toimittamalla järjestelmien tarkastuksella voidaan arvioida ainoastaan unionin tulojen ja menojen hallinnointiin tarkoitettuja järjestelmiä ja menettelyjä. Tilintarkastustuomioistuimen tehtäviin ei kuulu tarkastaa puhtaasti kansallisia menettelyjä, jotka on rahoitettu kansallisesta talousarviosta ja jotka eivät liity unionin tulojen ja menojen hallinnointiin. Tilintarkastustuomioistuimella on kuitenkin oikeus tehdä jäsenvaltioihin tiedonkeruumatkoja, jos vain sillä tavoin on mahdollista saada varmuus siitä, miten unioni huolehtii unionin tulojen ja menojen hallinnointitehtävästään. Tilintarkastustuomioistuimen pääsylle muiden kuin jäsenvaltioiden järjestelmiin ja menettelyihin ei ole selkeää oikeusperustaa, vaikka EU:n rahoitusta koskevan asetuksen mukaisesti komissiolla on toimivaltuudet antaa asiantuntijoille valvontatehtäviä eli teettää tarkastuksia paikalla. Kutakin toimintalinjaa koskevaa asetusta on tarkasteltava yksitellen. Tilintarkastustuomioistuin voi kuitenkin oikeutetusti pyytää komissiota olemaan läsnä kyseisissä paikalla tehtävissä tarkastuksissa. Osallistumisesta on sovittava komission kanssa. Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien tuloksellisuuden tarkastusten viitekehys sivu 14

16 Tarkoituksena on tarjota riippumatonta tietoa taloudellisuudesta, tehokkuudesta ja vaikuttavuudesta ja esittää suosituksia. Kuten jo aiemmin todettiin, tilintarkastustuomioistuimen tuloksellisuuden tarkastukset pohjautuvat tilivelvollisuuteen. Tilintarkastustuomioistuimen tavoitteena on täten tarjota vastuuvapauden myöntävälle viranomaiselle ja kaikille EU:n kansalaisille riippumatonta tietoa: siitä, miten taloudellisesti, tehokkaasti ja vaikuttavasti komissio ja muut tarkastetut yksiköt ovat käyttäneet EU:n varoja komission ja muiden tarkastettujen elinten toiminnanohjausjärjestelmien vaikuttavuudesta ja toiminnantuloksia koskevien lausumien luottavuudesta. Tilintarkastustuomioistuin pyrkii omalta osaltaan parantamaan EU:n varojen hoitoa esittämällä suosituksia. Kyse voi olla mm. seuraavista asioista: säästöjen aikaansaaminen työmenetelmien kehittäminen tuhlaamisen välttäminen vahvistettujen tavoitteiden saavuttaminen aiempaa kustannusvaikuttavammalla tavalla. Tarkastettavan organisaation toimintaan liittyvä kansalaisen näkökulma on otettava tarvittaessa huomioon. Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien tuloksellisuuden tarkastusten viitekehys sivu 15

17 TULOKSELLISUUDEN TARKASTUKSEN KÄSIKIRJA LUKU 2 TULOKSELLISUUDEN TARKASTUS: TARKASTUSTAPA JA TALOUDELLISUUS, TEHOKKUUS JA VAIKUTTAVUUS Tuloksellisuuden tarkastuksen käsikirjan luvut SISÄLLYS Johdanto Luku 1: Euroopan tilintarkastustuomioistuimen toimittamien tuloksellisuuden tarkastusten viitekehys Luku 2: Tuloksellisuuden tarkastus: tarkastustapa ja taloudellisuus, tehokkuus ja vaikuttavuus Luku 3: Tarkastuksen suunnittelu Luku 4: Toteutusvaihe Luku 5: Raportointivaihe 2.1.Johdanto 2.2 Toiminnantuloksiin perustuva tarkastustapa Varsinainen tuloksellisuuden tarkastaminen Valvontajärjestelmien tarkastaminen 2.3 Miten käsitteitä taloudellisuus, tehokkuus ja vaikuttavuus sovelletaan? Loogisten mallien käyttö tuloksellisuuden tarkastuksissa Käsitteiden soveltaminen Taloudellisuus Tehokkuus Vaikuttavuus 2.4 Asianmukaiselta tuloksellisuuden tarkastukselta edellytetyt ominaisuudet Tervettä harkintaa käytetään koko tarkastusprosessin aikana Tarkoituksenmukaisia menetelmiä yhdistelemällä saadaan kerätyksi monenlaista tietoa Tarkastuskysymykset asetetaan siten, että niiden perusteella on mahdollista tehdä johtopäätöksiä Tarkastuskertomuksen antamiseen liittyvät riskit analysoidaan ja niitä hallitaan Käytetään tarkastuksen toimittamista edesauttavia välineitä Tarkastushavaintojen tueksi on riittävästi relevanttia ja luotettavaa evidenssiä Mahdollisia johtopäätöksiä ja suosituksia lopulliseen kertomukseen pohditaan suunnitteluvaiheesta alkaen Tarkastuskohteeseen ja muihin sidosryhmiin sovelletaan avointa lähestymistapaa ( ei yllätyksiä ) 2.5 Laadunvalvonta Yhteystiedot Lisätietoja: Euroopan tilintarkastustuomioistuin Tarkastuksen laatua valvovaa komiteaa avustava osasto Sähköposti:ECA-DQC-CONTACT/ECA tai eca-dqc-contact@eca.europa.eu Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 16

18 2.1.JOHDANTO Tarkastukseen on sovellettava tarkastustapaa, jonka avulla saadaan mahdollisimman tarkoituksenmukaiset tarkastustulokset mahdollisimman kustannusvaikuttavalla tavalla. Tarkastuksiin voidaan soveltaa myös eri tarkastustapojen yhdistelmää. 2.2 TOIMINNANTULOKSIIN PERUSTUVA TARKASTUSTAPA Tuloksellisuuden tarkastuksilla on saatava tietoa toiminnantuloksista; nämä tiedot kiinnostavat erityisesti Euroopan parlamenttia, neuvostoa, komissiota ja muita tarkastettavia elimiä. Tämä tarkoittaa sitä, että valvonnan ja prosessien sijaan tilintarkastustuomioistuimen tuloksellisuuden tarkastusten on kohdistuttava pikemminkin toiminnantuloksiin, ja tarkastushavaintojen vaikutusta on arvioitava taloudellisuuden, tehokkuuden tai vaikuttavuuden kannalta. Tuloksellisuuden tarkastuksissa yhdistyvät taulukossa esitetyt tarkastustavat, joissa painopiste asetetaan jompaankumpaan osa-alueeseen tarkastusolosuhteista riippuen: Tarkastustapa Varsinainen tuloksellisuuden tarkastaminen Valvontajärjestelmien tarkastaminen Kohde Panokset, tuotokset, tulokset ja vaikutukset. Hallinnoinnista vastaavien tahojen täytäntöönpanemien, toiminnan edistämiseen, seurantaan ja arviointiin tarkoitettujen toimintatapojen ja menettelyjen asianmukaisuus Varsinainen tuloksellisuuden tarkastaminen Tarkastus kohdistuu suoraan toiminnantuloksiin ja siinä keskitytään panoksiin, tuotoksiin, tuloksiin ja vaikutuksiin. Oletuksena on, että jos toiminnantulokset ovat tyydyttäviä, toiminnon tai valvontajärjestelmien rakenteessa tai täytäntöönpanossa esiintyvien vakavien ongelmien riski on vähäinen. Tällaisissa tarkastuksissa voidaan esimerkiksi arvioida, onko hyväksytyt toimintalinjat toteutettu kunnolla ja onko niiden avulla saavutettu asetetut tavoitteet tai onko tehdyillä toimintalinjapäätöksillä epätoivottuja rahoituksellisia, taloudellisia, sosiaalisia ja ympäristöllisiä seurauksia. Kriteerien on oltava sopivia Varsinainen tuloksellisuuden tarkastus on asianmukaista toimittaa silloin, kun on olemassa sopivat kriteerit, joiden avulla mitataan panosten, tuotosten, tulosten ja vaikutusten määrää, laatua ja kustannuksia. Jos toiminnantulokset havaitaan epätyydyttäviksi, toimintoja ja valvontajärjestelmiä tarkastellaan perusteellisemmin kunnes selviää, mistä tämä johtuu. Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 17

19 2.2.2 Valvontajärjestelmien tarkastaminen Tarkastetaan järjestelmien rakenne ja täytäntöönpano tietojärjestelmät mukaan lukien. Tarkoituksena on määrittää, ovatko komissio ja muut tarkastettavat yksiköt suunnitelleet ja toteuttaneet hallinto- ja seurantajärjestelmät siten, että ne ovat olosuhteista johtuviin rajoitteisiin nähden mahdollisimman taloudelliset, tehokkaat ja vaikuttavat. Tarkastustyöhön liittyy kyseisten järjestelmien keskeisten osa-alueiden analysointi, arviointi ja testaus. Tarkastuksen yhteydessä tutkitaan usein, ovatko valitut toimenpiteet toimintalinjaan sisältyvien tavoitteiden mukaisia ja onko kyseisten tavoitteiden pohjalta luotu toimintasuunnitelmia. Toimintasuunnitelmat sisältävät toiminnallisia tavoitteita, joiden saavuttamista mitataan jälkeenpäin. Siinä tarkistetaan myös, tuottavatko käytössä olevat järjestelmät tarkoituksenmukaista, luotettavaa ja oikea-aikaista tietoa rahoitus-, henkilöstöja muiden resurssien käyttöön asettamisesta (panokset), toimintojen toteuttamisesta (prosessit) ja tuotoksista; tätä tietoa on verrattava toiminnallisiin tavoitteisiin tulosindikaattoreiden avulla. Tarkastusten avulla on määritettävä, ryhdytäänkö poikkeamatapauksissa oikea-aikaisiin ja asianmukaisiin korjaaviin toimiin, joiden tarkoituksena on muuttaa toimintasuunnitelmaa, resurssien käyttöönasettamista ja/tai toimintojen toteuttamista. Tässä yhteydessä tarkastetaan usein myös arviointijärjestelmä ja sen avulla saadut tiedot laadunarvioinnin näkökulmasta. Jos havainnot, johtopäätökset ja suositukset katsotaan tyydyttäviksi ja tarkastustavoitteiden kannalta relevanteiksi, niitä voidaan käyttää tarkastusevidenssinä. 2.3 MITEN KÄSITTEITÄ TALOUDELLISUUS, TEHOKKUUS JA VAIKUTTAVUUS SOVELLETAAN? Loogisten mallien käyttö tuloksellisuuden tarkastuksissa Määritetään tukitoimenpiteen logiikka Julkista tukitoimenpidettä voidaan sen luonteesta riippumatta (toimintalinja, ohjelma, toimenpide tai hanke) analysoida käyttöön asetettujen rahavarojen, organisatoristen resurssien ja henkilöstöresurssien muodostamana kokonaisuutena, jonka avulla on tarkoitus ratkaista kohderyhmiä koskeva ongelma tai vaikea tilanne saavuttamalla asetettu tavoite tai tavoitteet määrätyssä ajassa. Loogisten mallien käyttö voi auttaa tarkastustiimiä yksilöimään seuraavat tekijät ja pääsemään selville niiden välisistä suhteista: tukitoimenpiteen kohteena olevat sosioekonomiset tarpeet sekä tukitoimenpiteeseen liittyvät tavoitteet, panokset, prosessit, tuotokset ja seuraukset, jotka käsittävät sekä tulokset (välittömät muutokset, jotka aiheutuvat julkisen tukitoimenpiteen välittömille kohteille sen jälkeen kun heidän osallisuutensa tukitoimenpiteen toteuttamiseen on päättynyt) että vaikutukset (tukitoimenpiteen pitkäaikaisemmat vaikutukset). Seuraavassa kaaviossa esitetään esimerkki ohjelman loogisesta mallista. Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 18

20 Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 19

21 Tuloksellisuuden tarkastuksissa on oltava teoreettisesti mahdollista tarkastella perusteellisesti kaikkia edellä mainittuja osa-alueita ja niiden välisiä suhteita taloudellisuuden, tehokkuuden ja vaikuttavuuden näkökulmasta Käsitteiden soveltaminen Tarkastuskysymysten muotoilussa on otettava huomioon mahdolliset taloudellisuuteen, tehokkuuteen ja vaikuttavuuteen liittyvät riskit. Tarkastajien on yksilöitävä mahdolliset taloudellisuuteen, tehokkuuteen ja vaikuttavuuteen mahdollisesti liittyvät riskit ja muotoiltava tämän tiedon perusteella tarkastuskysymykset. Kyseiset käsitteet ovat pohjimmiltaan samanarvoiset. Tapauskohtaisesti voidaan päättää jonkin käsitteen asettamisesta ensisijaiseksi. Tarkastajia kuitenkin kehotetaan analysoimaan tarkastuskohdetta vaikuttavuuden näkökulmasta aina kun se on mahdollista. Tuloksellisuuden tarkastuksessa ei ole tarkoituksena eikä sillä ole pyrittävä tutkimaan kattavasti kaikkia taloudellisuuteen, tehokkuuteen ja vaikuttavuuteen liittyviä osa-alueita samanaikaisesti. Tavoitteena on pikemminkin tutkia vain tiettyjä edellä mainittuihin osa-alueisiin liittyviä tekijöitä tai näiden tekijöiden yhdistelmää mahdollisten merkittävien riskien perusteella. Kun tutkittavien tekijöiden määrää rajataan tällä tavoin, on todennäköisempää, että tarkastusasetelmasta ei tehdä liian kunnianhimoista. Seuraavilla sivuilla käsitellään taloudellisuutta, tehokkuutta ja vaikuttavuutta koskevien käsitteiden osalta seuraavia tekijöitä: moitteettomaan varainhoitoon liittyvät yleiset riskit tarkastuksessa huomioon otettavat tekijät esimerkkejä EU:n toimintaympäristössä esiintyvistä riskeistä esimerkkejä kyseisiin käsitteisiin liittyvistä tarkastuskysymyksistä tarkastuksen kohdentaminen Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 20

22 Taloudellisuus Taloudellisuuskysymykset tulevat esille silloin, kun organisaation tai toiminnon panoksiin liittyviä menoja voitaisiin tietyllä tuotos- tai tulostasolla vähentää huomattavasti. Yleisinä riskeinä voidaan tältä osin pitää seuraavia tekijöitä: Pidetään kustannukset alhaisina asetettujen tavoitteiden saavuttamiseksi tuhlataan eli käytetään resursseja, joita ei ole tarvetta käyttää tavoitteena olevien tuotosten tuottamiseksi tai tulosten saavuttamiseksi maksetaan liikaa eli hankitaan käytettäväksi resursseja, jotka olisi voitu saada alhaisemmin kustannuksin ja korotetaan vaatimustasoa tarpeettomasti eli maksetaan korkealaatuisemmasta panoksesta kuin mitä tavoitteena olevat tuotokset tai tulokset edellyttävät. Taloudellisuutta koskevassa tarkastuksessa näin ollen määritetään, ovatko valitut panokset vahvistettujen tavoitteiden saavuttamisen kannalta kaikkein asianmukaisimmat ja edullisimmat. Tarkastuksessa käsitellään mm. seuraavia tekijöitä: hankkiiko tarkastettava organisaatio ominaisuuksiensa, laatunsa ja määränsä puolesta tarkoitukseen sopivat resurssit mahdollisimman edullisesti? hallinnoiko tarkastettava organisaatio resurssejaan siten, että se pyrkii minimoimaan niiden kokonaiskulutuksen? olisiko tukitoimenpide voitu suunnitella tai panna täytäntöön jollakin toisella tavalla ja täten alentaa kustannuksia? Esimerkki riskistä Euroopan toimielinten työkyvyttömyyseläkejärjestelmä Joitakin harvoja poikkeuksia lukuun ottamatta tutkitut asiakirjat eivät sisältäneet viitteitä siitä, että ennalta olisi toteutettu vakavasti otettavia toimia, joiden tarkoituksena olisi ollut vaihtoehtoisen ratkaisun löytäminen. Asiantuntijalääkärin esittämiä, lähinnä toimen vaihtamista koskevia ehdotuksia ei käytännössä koskaan noudatettu. Työkyvyttömyyseläkkeelle tarjottiin vaihtoehto vain harvoin tai liian myöhään. Työkyvyttömyyseläkkeellä olevista entisistä henkilöstön jäsenistä poimittuun otokseen kuuluneista henkilöistä neljännes olisi todennäköisesti kyennyt jatkamaan työntekoa, mikäli toimielin olisi havainnut ja käsitellyt heidän tapauksiaan varhaisessa vaiheessa. Kyselyn vastaukset vahvistavat tämän: 20 prosenttia entisistä henkilöstön jäsenistä katsoi, että työnteon jatkaminen olisi ollut mahdollista, jos tarjolla olisi ollut vaihtoehtoinen ratkaisu. Tällä perusteella tilintarkastustuomioistuin arvioi, että vuoden aikana myönnettävistä työkyvyttömyyseläkkeistä aiheutuvien nettokustannusten osalta voitaisiin periaatteessa saada aikaan 10 miljoonan euron vuotuinen säästö, jos käyttöön otettaisiin menettely, jonka yhteydessä toistuvat tai pitkäaikaiset sairauspoissaolot havaittaisiin ja otettaisiin käsittelyyn ajoissa. Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 21

23 Esimerkkejä taloudellisuuteen liittyvistä tarkastuskysymyksistä Varsinainen tuloksellisuuden tarkastaminen Saatiinko konsulttipalvelut pk-yritysten tukiohjelmaa varten mahdollisimman edulliseen hintaan? Onko sairauspoissaoloista johtuvia menoja mahdollista vähentää kohtuullisesti? Valvontajärjestelmien tarkastaminen Ottaako komissio puuvillan tuotantotukijärjestelmää hallinnoidessaan huomioon muiden menojen lisäksi kuluttajille aiheutuvat menot ja niiden seurannan? Onko otettu käyttöön menettelyjä, joiden avulla varmistetaan, että elintarvikeavun kuljetuskulut ovat mahdollisimman alhaiset ja että ne sijoittuvat edukseen vertailtaessa niitä muille rahoittajille aiheutuneiden vastaavien kulujen kanssa? Ovatko nämä menettelyt asianmukaisia ja sovelletaanko niitä kunnolla? ja kiinnitetään usein huomiota hankintoihin. Kun asioita tarkastellaan taloudellisuuden näkökulmasta, tarkastaja usein perehtyy tarkastettavien organisaatioiden sisäisiin tavara-, urakka- ja palveluhankintoihin liittyviin prosesseihin ja hallinnollisiin päätöksiin. Tarkastaja määrittää erityisesti, ovatko hankintaprosessit johtaneet mahdollisimman edulliseen laatu-hintasuhteeseen. Tarkastusalueisiin kuuluvat esimerkiksi seuraavat tekijät: käyttäjien tarpeiden yksityiskohtainen määrittely, jonka avulla määritetään, mihin tavaroiden, urakoiden ja palvelujen hankinnalla pyritään; tuotoksia koskevat laatuvaatimukset ja tavaroiden, urakoiden ja palvelujen toimitusaikataulun määrittäminen. Tarkastaja selvittää usein myös, miten valinta- ja sopimuksentekoperusteet on määritetty ja miten niitä sovelletaan. Tehokkuus Tehokkuuskysymykset tulevat esille silloin, kun yksikön tai tukitoimenpiteen tuotosten määrää voitaisiin lisätä tai tulostasoa kohottaa tai niiden laatua parantaa resurssien käyttöä lisäämättä. Yleisinä riskeinä voidaan tältä osin pitää seuraavia tekijöitä: Hyödyntämällä täysimääräisesti käytössä olevat resurssit maksimoidaan tuottavuus hukkakäyttö eli resurssien käyttö ei johda tavoitteena olleisiin tuotoksiin panosten ja tuotosten välinen suhde ei ole optimaalinen (esim. työn ja tehokkuuden välinen suhde on alhainen) tukitoimenpiteen täytäntöönpano on hidasta ja ulkoisia tekijöitä eli tukitoimenpiteen tai organisaation ulkopuolisille henkilöille tai yksiköille aiheutuvia kuluja ei yksilöidä eikä valvota. Tehokkuutta koskevassa tarkastuksessa näin ollen arvioidaan, onko käytettyjen resurssien, tuotosten ja tulosten välinen suhde optimaalinen. Tehokkuus liittyy läheisesti tuottavuuden käsitteeseen ja keskeistä on selvittää, ovatko tuotokset ja tulokset optimoitu käytössä oleviin resursseihin nähden määrän, laadun ja ajoituksen osalta. Tarkastuksessa käsitellään mm. seuraavia tekijöitä: onko tuotokset tuotettu tai tulokset saavutettu kustannusvaikuttavalla tavalla? esiintyykö vältettävissä olevia pullonkauloja tai turhaa päällekkäisyyttä? Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 22

24 Esimerkki riskistä Metsätaloustoimenpiteet maaseudun kehittämispolitiikassa Tavoitteena on lisätä metsän kattamaa maa-alaa, mutta metsitettäväksi voidaan valita erilaisia maa-alueita. Asetuksessa säädetään, että viranomaisten omistaman maatalousmaan metsityksen tuki kattaa ainoastaan varsinaisen metsitystoiminnan kustannukset ei tulonmenetyksestä maksettavaa korvausta tai ylläpitoa kuten yksityisomistuksessa olevan maan metsityksessä. Periaatteessa voitaisiinkin väittää, että metsitystoiminnan keskittäminen julkisessa omistuksessa oleviin maa-alueisiin olisi paljon tehokkaampi vaihtoehto, sillä saman rahoituksen avulla voitaisiin metsittää huomattavasti suurempi alue. Esimerkkejä tehokkuuteen liittyvistä tarkastuskysymyksistä Varsinainen tuloksellisuuden tarkastaminen Miten EU:n koulutusohjelman ja muiden vastaavien aloitteiden yhteydessä pitkäaikaistyöttömälle luodusta työpaikasta aiheutuvat kulut vertautuvat toisiinsa nähden? Olisiko hankkeet voitu toteuttaa jollakin muulla tavalla ja näin parantaa hankkeiden oikea-aikaisuutta ja laatua? Valvontajärjestelmien tarkastaminen Käytetäänkö liikenneinfrastruktuurihankkeiden priorisointiin ja valintaan asianmukaisia menettelyjä sen varmistamiseksi, että EU:n varoilla aikaan saatu vaikutus on mahdollisimman suuri? Ovatko kriteerit asianmukaisia ja sovelletaanko niitä tarkoitetulla tavalla? Onko EU:n toimielimillä tarvittavat keskeiset hallintotiedot toimistotilojen koosta, kunnosta, käytöstä ja kustannuksista ja käytetäänkö näitä tietoja johdonmukaisesti päätöksenteossa? ja otetaan tuotokset ja/tai tulokset huomioon. Kun tehokkuutta koskeva tarkastustavoite liittyy tuotoksiin, tarkastaja usein perehtyy prosesseihin, joiden avulla organisaatio muuttaa panokset tuotoksiksi. Arvioinnin osana voidaan laskea tuotosten yksikkökustannukset (esim. koulutuksen keskimääräinen tuntihinta) tai työn ja tehokkuuden välinen suhde (esim. päivässä käsiteltyjen tukihakemusten määrä) ja vertailla niitä hyväksyttyihin kriteereihin, jotka voivat perustua samankaltaisten organisaatioiden käyttämiin tai edeltävinä kausina käytössä olleisiin kriteereihin tai tarkastettavan organisaation avoimesti asettamiin standardeihin. Kun tehokkuuteen liittyvän tarkastuksen kohteena ovat tulokset, tarkastuksessa on yleensä käytettävä taloudellisia välineitä, joiden avulla arvioidaan tarkastettavan organisaation, toiminnan tai ohjelman tosiasiallisia tai mahdollisia valmiuksia saavuttaa määrätyt tulokset tietyin kustannuksin. Kustannusvaikuttavuusanalyysin avulla voidaan esimerkiksi selvittää tukitoimenpiteen nettovaikutusten ja niiden edellyttämän rahoituspanoksen välinen yhteys; arvosteluperusteina voitaisiin käyttää esimerkiksi tulosten yksikkökustannuksia (esim. kustannukset luotua työpaikkaa kohti), joita verrataan verrokiksi valittujen tukitoimenpiteiden vastaaviin kustannuksiin. Tarkastustavasta riippuen tarkastajat joko tarkastavat, onko tarkastettavan elimen suorittama analyysi luotettava, tai suorittavat kustannusvaikuttavuusanalyysin itse. Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 23

25 Vaikuttavuus Vaikuttavuuskysymykset tulevat esille silloin, kun yksikkö tai tukitoimenpide ei tuota oletettuja tuotoksia, tuloksia tai vaikutuksia. Yleisinä riskeinä voidaan tältä osin pitää seuraavia tekijöitä: Saavutetaan vahvistetut päämäärät tai tavoitteet, toimintalinjan puutteellinen suunnittelu, esim. tarpeita ei arvioida riittävän hyvin, tavoitteet ovat epäselviä tai epäjohdonmukaisia, tukitoimenpidettä varten ei ole riittävästi keinoja eikä täytäntöönpano onnistu käytännössä hallinnoinnissa esiintyvät puutteet, esim. tavoitteita ei saavuteta eikä johdossa pidetä tavoitteiden saavuttamista ensisijaisena. Vaikuttavuuteen liittyvässä tarkastuksessa täten arvioidaan, missä määrin seuraavat tavoitteet on saavutettu: jotka voivat olla toiminnallisia (tuotokset), välittömiä (tulokset), väli- tai yleistavoitteita (vaikutukset). toiminnalliset tavoitteet: Tarkastuksessa arvioidaan, missä määrin tavoitellut tuotokset on tuotettu. Tavallisesti tarkastetaan myös tukitoimenpiteen täytäntöönpanosta vastaavien organisaatioiden sisäinen toiminta. välittömät tavoitteet: Tarkastuksessa arvioidaan, onko tukitoimenpiteellä saatu aikaan selviä ja tukitoimenpiteen välittömien kohteiden kannalta myönteisiä tuloksia sen jälkeen, kun heidän osallisuutensa tukitoimenpiteen toteuttamiseen on päättynyt. Tavallisesti tarkastuksen yhteydessä analysoidaan täytäntöönpanoelinten toimittamat seurantatiedot sekä saadaan tietoja tukitoimenpiteen välittömiltä kohteilta. välitavoitteet ja yleistavoitteet: Tarkastus ulottuu tarkastettavan yksikön ulkopuolelle ja siinä pyritään mittaamaan julkisen tukitoimenpiteen vaikutukset. Tämä edellyttää, että tarkastuksessa otetaan huomioon ulkoiset tekijät ja esitetään evidenssiä, josta käy ilmi, että havaitut vaikutukset johtuvat nimenomaan kyseisestä julkisesta tukitoimenpiteestä eivätkä ulkoisista tekijöistä. Esimerkki riskistä Kuivarehun tuotantotukijärjestelmä Järjestelyyn kuuluu kaksi eri tukitasoa: pienempää tukea maksetaan auringossa luonnollisesti kuivatusta rehusta ja suurempaa tukea konekuivatusta rehusta ylimääräisten polttoainekustannusten korvaamiseksi. Tukitasojen eriyttämisellä on ollut huomattava vaikutus siihen, miten rehua kuivataan. Espanjan liittyessä yhteisöön vuonna 1986 ainoastaan tonnia rehua kuivattiin vuodessa koneellisesti; markkinointivuonna 1996/1997 jo tonnia kuivattiin koneellisesti, koska tuottajat kokivat saavansa enemmän hyötyä korkeammasta tukitasosta. Pelkästään Espanjassa tämän järjestelyn piirissä käytetty vuotuinen energiamäärä riittäisi tyydyttämään Alicanten kokoisen kaupungin ( asukasta) vuotuisen sähkötarpeen. Kuivatusprosessin aikana tuotetun ylimääräisen hiilidioksidin sitomiseen tarvitaan yli hehtaaria metsää. Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 24

26 Esimerkkejä vaikuttavuuteen liittyvistä tarkastuskysymyksistä Varsinainen tuloksellisuuden tarkastaminen Onko iäkkäiden maanviljelijöiden varhaiseläkkeelle siirtymistä ja heidän tilalleen tulevia nuoria maanviljelijöitä tukevilla järjestelmillä ollut selvä ja myönteinen vaikutus epäsuotuisten alueiden maatilojen uudenaikaistamiseen ja taloudelliseen elinkelpoisuuteen? Ovatko rahoitetut infrastruktuurihankkeet osaltaan lisänneet liikennevirtoja sen ohella, että ne ovat lyhentäneet matkustamiseen käytettyä aikaa ja lisänneet turvallisuutta? Valvontajärjestelmien tarkastaminen Ovatko jäsenvaltiot ottaneet käyttöön ja panneet asianmukaisesti täytäntöön ympäristövaikutuksia lieventäviä seurantatoimenpiteitä sokerialalla? Ovatko komissio ja jäsenvaltiot arvioineet asianmukaisesti koulunkäynnin keskeyttäjiä koskevaan ohjelmaan liittyvät tarpeet ja siitä mahdollisesti saatavan hyödyn rahoituspäätöstä varten? Vaikuttavuuteen liittyvässä tarkastuksessa keskitytään tuotoksiin, tuloksiin tai vaikutuksiin: Vaikutusten arviointi on vaikeaa, on helpompaa arvioida tuotoksia tai tuloksia. Tukitoimenpiteen vaikutusta eli sitä, missä määrin tukitoimenpiteen yleistavoitteet ja myös välitavoitteet on saavutettu, voi olla huomattavan hankalaa arvioida. Vaikeuksia esiintyy, koska tavoitteet ilmaistaan yleensä niin yleisellä tasolla, että niitä ei voida yhdistää mitattavissa oleviin indikaattoreihin, ja näin ollen niiden saavuttamisen tasoa on vaikea tarkistaa. Vaikka tavoitteet olisi yksilöity selkeämmin, tilanne on sama, jos kyseistä tietoa ei ole helposti saatavilla tarkastettavassa organisaatiossa, sillä silloin vaaditun evidenssin keruu ja analysointi edellyttävät suhteettoman suuria tarkastusresursseja. Lisäksi on vaikeaa arvioida, johtuvatko havaitut vaikutukset todella tukitoimenpiteestä eivätkä ulkoisista tekijöistä. Tällaisissa tapauksissa on sovellettava tarkastustapaa, jossa tarkistetaan, onko relevanttia ja luotettavaa arviointitietoa saatavilla ja jos on, voidaanko sitä käyttää tarkastusevidenssinä. Realistisempana tarkastustavoitteena pidetään usein tukitoimenpiteen tuotosten tai tulosten arviointia eli arvioidaan, missä määrin toiminnalliset tai välittömät tavoitteet on saavutettu. Tämä luo selkeän ja asianmukaisen perustan vaikuttavuuden arvioinnille, mikäli tavoitteet ovat komission toiminnanohjausta ja riskinhallintaa koskevan lähestymistavan mukaisesti erikseen määritettyjä, mitattavia, saavutettavissa olevia, relevantteja ja oikea-aikaisia (eli SMART-tavoitteiden mukaisia; SMART on lyhenne sanoista Specific, Measurable, Achievable, Relevant and Timely) ja mikäli niiden saavuttamista valvotaan tulosindikaattoreiden avulla. Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 25

27 2.4 ASIANMUKAISELTA TULOKSELLISUUDEN TARKASTUKSELTA EDELLYTETYT OMINAISUUDET Tuloksellisuuden tarkastus käsittää kolme eri vaihetta suunnittelu, toteutus ja raportointi. Tuloksellisuuden tarkastuksen onnistuminen edellyttää, että tietyt tekijät on huomioitu kyseisissä vaiheissa. Jotta tarkastuskertomukset olisivat laadukkaita ja ne annettaisiin oikeaaikaisesti tarpeettomia toimintoja välttäen, tuloksellisuuden tarkastukset on toimitettava soveltamalla SMARTEST-lähestymistapaa (Sound judgement (terve harkinta), Methodologies (menetelmät), Audit question(s) (tarkastuskysymykset), Risks (riskit), Tools (välineet), Evidence (evidenssi), Structure (rakenne), Transparency (avoimuus)): Tärkeää tarkastuksen alusta loppuun Tarkastajan on varmistettava seuraavat asiat: Tervettä harkintaa käytetään koko tarkastusprosessin aikana. Tarkoituksenmukaisia menetelmiä yhdistelemällä saadaan kerätyksi monenlaista tietoa. Tarkastuskysymykset asetetaan siten, että niiden perusteella on mahdollista tehdä johtopäätöksiä. Tarkastuskertomuksen antamiseen liittyvät riskit analysoidaan ja niitä hallitaan. Käytetään tarkastuksen toimittamista edesauttavia välineitä. Tarkastushavaintojen tueksi on riittävästi relevanttia ja luotettavaa evidenssiä. Merkittäviä/oleellisia johtopäätöksiä ja suosituksia lopulliseen kertomukseen pohditaan suunnitteluvaiheesta alkaen. Tarkastuskohteeseen sovelletaan avointa lähestymistapaa ( ei yllätyksiä ). Näiden ominaisuuksien keskeiset osa-alueet kuvataan seuraavassa Tervettä harkintaa käytetään koko tarkastusprosessin aikana Tarkastustyön ja kertomuksen laadun kannalta määräävä tekijä Tuloksellisuuden tarkastus on luonteeltaan laaja-alaista ja harkinnan- ja tulkinnanvaraista toimintaa; itse asiassa tuloksellisuuden tarkastuksen jokainen näkökohta edellyttää tarkastajalta ammattitaitoon kuuluvaa harkintaa ja omaaloitteellisuutta. Tilintarkastustuomioistuimen maine ja uskottavuus, tarkastuksen kustannusvaikuttavuus ja kertomuksen laatu riippuvat siitä, käytetäänkö tervettä harkintaa koko tarkastusprosessin ajan. Tervettä harkintaa on käytettävä erityisesti silloin, kun asetetaan tarkastustavoitteet (joita nimitetään myös tarkastuskysymyksiksi), määritetään tarkoituksenmukaiset tarkastuskriteerit, vahvistetaan tarkastusevidenssin asianmukaiseksi katsottu määrä ja laatu, esitetään tarkastushavaintoja, tehdään johtopäätöksiä ja laaditaan kertomus. Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 26

28 2.4.2 Tarkoituksenmukaisia menetelmiä yhdistelemällä saadaan kerätyksi monenlaista tietoa Menetelmien yhdistely parantaa evidenssin laatua Menetelmät valitaan tarkastuskysymysten mukaan Menetelmällä tarkoitetaan tietojenkeruu- tai analysointitekniikkaa, jonka avulla saadaan evidenssiä, jonka perusteella tarkastustyöstä voidaan tehdä johtopäätöksiä. Tarkastuksessa on ihanteellista käyttää useita eri menetelmiä, jotta tietoja ja havaintoja vahvistavaa evidenssiä kerätään monesta eri lähteestä. Näin parannetaan tarkastushavaintoja, johtopäätöksiä ja suosituksia tukevan tarkastusevidenssin laatua ja luotettavuutta. Menetelmiä ovat esimerkiksi tiedostojen tai viiteasiakirjojen läpikäyminen, haastattelut ja kyselyt. Tuloksellisuuden tarkastusten yhteydessä sovelletaan yleensä myös määrällisten ja laadullisten tietojen saamiseen tähtääviä menetelmiä yhdessä. Määrälliset tiedot ovat numerotietoja ja laadulliset tiedot muita kuin numerotietoja. Tarkastuksen kannalta tarkoituksenmukaisin menetelmien yhdistelmä on määritettävä aiheen ja tarkastuskysymysten mukaan Tarkastuskysymykset asetetaan siten, että niiden perusteella on mahdollista tehdä johtopäätöksiä Tuloksellisuuden tarkastuksen tavoitteet on otollista esittää kysymyksinä, joihin tarkastuksessa on tarkoitus vastata. Jotta tarkastus kohdennettaisiin oikein eikä tarkastustiimi ottaisi tehtäväkseen liian suurta työmäärää, sen on esitettävä yksi yleinen tarkastuskysymys sekä rajoitettu määrä osakysymyksiä, joiden perusteella on mahdollista tehdä johtopäätöksiä. Kysymysten sanamuodolla on tarkastuksen tulosten kannalta ratkaiseva merkitys, sillä nimenomaan näihin peruskysymyksiin tarkastaja pyrkii löytämään vastauksen. Moniselitteisiä tai epäselviä kysymyksiä on täten vältettävä. Tarkastuskysymykset on vielä muutettava alemman tason kysymyksiksi; kaikkein alimman tason muodostavat ne kysymykset, joihin voidaan vastata soveltamalla erityisiä tarkastustoimenpiteitä. Osakysymysten on oltava kullakin tasolla toisensa poissulkevia ja sellaisia, että ne riittävät yhdessä tarjoamaan vastauksen edeltävän ylemmän tason kysymykseen. Kysymyksiin on voitava tasosta riippumatta antaa kyllä/ei -vastaus, jotta tarkastustyö voidaan suunnata tietyn lopullisen vastauksen saamiseksi. Tämä ei kuitenkaan tarkoita sitä, että ainoa mahdollinen vastaus kyseiseen kysymykseen olisi kyllä tai ei, vastauksen on tietenkin oltava paljon yksityiskohtaisempi. Ilmaisuja kyllä tai ei ei ole tarkoitus sisällyttää tarkastuskertomukseen; kyseinen lähestymistapa on pelkkä väline, joka tekee tarkastuskysymysten käytöstä kurinalaisempaa ja helpottaa tarkastustyön kohdentamista. Tarkastuskysymykset on muotoiltava selkeästi ja vältettävä arvioidaan missä määrin tyyppisiä kysymyksiä; niissä on vaarana, että tarkastustyön sisältöä ei määritellä selvästi ja siten tarkastustyöstä saattaa tulla liian laaja-alaista ja aikaavievää. Helpottaakseen asianmukaisen tarkastuskysymysten hierarkian kehittämistä tarkastustiimin on analysoitava ongelmat ennen tarkastuksen suunnittelumuistion 12 laadintaa. 12 CH 324/11, 30. syyskuuta 2011, tarkastuksen laadun hallinnoinnista; prosessia koskevat tarkat ohjeet esitetään asiakirjassa Audit Guideline on Issue Analysis and Drawing Conclusions (molemmat ovat sisäisiä asiakirjoja). Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 27

29 2.4.4 Tarkastuskertomuksen antamiseen liittyvät riskit analysoidaan ja niitä hallitaan Tilintarkastustuomioistuimen on varmistettava, että tarkastuksen suunnittelumuistion hyväksymisestä erityiskertomuksen hyväksymiseen ei yleensä kulu enemmän kuin 13 kuukautta 13. Aloitusajankohdaksi katsotaan tarkastuksen suunnittelumuistion hyväksyminen (tai myöhempi päivä, jona tarkastus on tarkastuksen suunnittelumuiston mukaan suunniteltu alkavaksi); jakso päättyy, kun erityiskertomuksen APC-versio 14 hyväksytään. Laadukkaan tarkastuskertomuksen oikea-aikaisen ilmestymisen osalta riskit ovat seuraavat: tiedonsaanti on vaikeaa, käytettävissä ei ole tarpeeksi henkilöstöä eikä tarkastuskohde tee tarkastajien kanssa yhteistyötä. Tarkastustiimi pystyy paremmin hallitsemaan riskit ja käsittelemään niitä ongelmatilanteissa, jos se laatii riskienhallintastrategian, joka jaetaan tiedoksi kaikille tarkastustiimin jäsenille ja jota käytetään tarkastuksen edetessä. Tarkastustiimin on määritettävä kaikissa tarkastuksen vaiheissa mahdolliset ongelmat ongelmien todennäköisyys ongelmien vaikutus mahdollisuudet alentaa ongelmien riskiä ja riskienhallintakeinot, mikäli riskit toteutuvat Käytetään tarkastuksen toimittamista edesauttavia välineitä Asianmukaisten välineiden käyttö auttaa osaltaan varmistamaan, että laadittu suunnitelma on realistinen, ja auttaa seuraamaan ja arvioimaan jatkuvasti, onko tarkastuksessa edistytty suunnitelmien mukaisesti. Pääasiallinen suunnitteluväline tarkastuksen suunnittelumuistio on kertomuksesta vastaavan jäsenen ja tarkastusjaoston välinen sopimus. Suunnittelumuistiossa määritetään, mistä tarkastuksessa on kysymys, millainen tuote on tarkoitus saada aikaan, mitä resursseja siihen on käytettävissä ja mihin määräaikaan mennessä kertomus on laadittava. Siihen sisältyvät moitteettomaan varainhoitoon liittyvien riskien arviointi, tarkastuskysymykset, tarkastuskriteerit, kerättävä tai tuotettava evidenssi ja sovellettavat menetelmät. 13 Vuoden 2016 tammikuun 1 päivästä alkaen sovellettavan varainhoitoasetuksen 163 artiklan 1 kohdan mukaan tilintarkastustuomioistuin varmistaa, että erityiskertomukset laaditaan ja hyväksytään asianmukaisen ajanjakson kuluessa, joka on yleensä enintään 13 kuukautta. 14 APC Après procedure contradictoire (kuulemismenettelyn jälkeen). Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 28

30 Tarkastuksen onnistumista helpottavat mm. seuraavat välineet ja toiminnot: Ongelmien analysointi ja johtopäätösten tekeminen, jotta tuotetaan laadukkaita kertomuksia, jotka ovat selkeitä, lyhyitä ja täsmällisiä ja joilla on vaikutusta selvästi ilmaistut ja määritellyt vastuualueet työsuunnitelma, josta käyvät ilmi tarkastusryhmän jäsenet ja keskeisten välietappien ajoitus seurantavälineet, joiden avulla varmistetaan, että työ etenee tavoitteiden mukaisesti tilannearviot ja tarvittaessa korjaavat toimet asiakirjahallinto paperitositteita ja sähköisessä muodossa olevaa aineistoa (ASSYST) varten kaikkiin tarkastusprosessin eri osa-alueisiin sisällytetyt laadunvalvontamenettelyt Tarkastushavaintojen tueksi on riittävästi relevanttia ja luotettavaa evidenssiä Tarkastuksen aikana kerätty evidenssi toimii huomautusten ja tarkastuskysymysten pohjalta tehtävien johtopäätösten tietopohjana. Evidenssin avulla asiat tai kohdat on mahdollista perustella vakuuttavalla tavalla. Evidenssin on tuettava tarkastuskertomuksen sisältöä ja erityisesti kaikkia suosituksiin johtavia huomautuksia ja johtopäätöksiä. Kerättyä evidenssiä on täten oltava (määrältään) riittävästi ja sen on oltava (tarkastuskysymyksiin nähden) relevanttia ja luotettavaa (objektiivista ja todenmukaista). Tarvittavan evidenssin määrä ja laatu riippuvat aiheesta ja tarkastuskysymyksistä. Evidenssin merkitys kasvaa, jos se on peräisin tarkastajalta tai monesta eri lähteestä ja sille on saatu vahvistus Mahdollisia johtopäätöksiä ja suosituksia lopulliseen kertomukseen pohditaan suunnitteluvaiheesta alkaen Tarkastustiimin on arvioitava aikaisessa vaiheessa, millä todennäköisyydellä heidän työnsä johtaa selkeisiin johtopäätöksiin ja suosituksiin. Tämä kannustaa heitä ajattelemaan heti alusta alkaen kohdeyleisölle mahdollisesti annettavia viestejä ja keinoja, joiden avulla maksimoitaisiin kertomuksesta saatava hyöty ja sen vaikutus. Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 29

31 2.4.8 Tarkastuskohteeseen ja muihin sidosryhmiin sovelletaan avointa lähestymistapaa ( ei yllätyksiä ) 15 Hyvien ja asianmukaisten suhteiden luominen sidosryhmiin on olennaista, jotta tuloksellisuuden tarkastuksesta saadaan vaikuttavia ja tehokkaita tuloksia. Tuloksellisuuden tarkastuksia ei yleensä kohdisteta samoihin tarkastettaviin yksiköihin säännöllisesti (esim. kerran vuodessa), joten viestintäkanavia ei kenties vielä ole olemassa. Tarkastajien on niin olleen pyrittävä luomaan ja ylläpitämään hyviä ammatillisia suhteita kaikkiin tarkastuksessa mukana oleviin sidosryhmiin, edistämään vapaata ja välitöntä tiedonkulkua luottamuksellisuusvaatimusten rajoissa ja keskusteltava keskinäisen luottamuksen ilmapiirissä sekä ymmärrettävä kunkin sidosryhmän keskinäiset roolit ja vastuualueet. Tarkastajan ja tarkastuskohteen välinen viestintäprosessi alkaa tarkastuksen suunnitteluvaiheessa ja jatkuu läpi tarkastusprosessin rakentavana vuorovaikutuksena havaintoja, väitteitä ja näkökulmia arvioitaessa. Kun tarkastuksesta keskustellaan tarkastuskohteen kanssa mahdollisimman varhain jo suunnitteluvaiheessa, erimielisyyksien todennäköisyys tarkastuksen seuraavissa vaiheissa vähenee. Keskustelu auttaa tarkastuskohdetta ymmärtämään paremmin tarkastuksen tarkoituksen, valitut tarkastuskysymykset sekä sovellettavat kriteerit ja menetelmät. Tarkastettavalle asiakokonaisuudelle ei useinkaan ole määritelty ennalta tarkastuskriteerejä, joten tarkastettavan organisaation kanssa on keskusteltava kaikista tarkastukseen liittyvistä seikoista. Keskustelu auttaa myös määrittämään heti alusta alkaen, onko aihe todella relevantti ja onko sitä mahdollista tarkastaa. Lisäksi aikaisin alkanut yhteydenpito auttaa luomaan rakentavan keskusteluyhteyden, jota on pidettävä yllä tarkastusprosessin kaikissa eri vaiheissa. Tämä lähestymistapa on hyvän tarkastuskäytännön ja tilintarkastustuomioistuimen soveltaman ei yllätyksiä -lähestymistavan mukainen. Erityisesti tarkastustavoitteesta, tarkastuskysymyksistä, kriteereistä ja tarkastuksen laajuudesta on tiedotettava tarkastuskohteelle mieluiten kirjallisesti. On suotavaa, että kertomuksesta vastaava jäsen ja kyseisen komission pääosaston pääjohtaja sopivat tarkastuskysymyksistä ja kriteereistä, mikäli mahdollista jo ennen kuin tarkastuksen suunnittelumuistio esitellään tarkastusjaostolle. Tarkastuksen aikana tehdyistä merkittävistä tarkastushavainnoista on tiedotettava oikea-aikaisesti hallinnointi- ja ohjausjärjestelmästä vastaaville tahoille. Edellä mainitusta vaatimuksesta huolimatta tarkastajat eivät saa välittää kirjallisesti eikä suullisesti mitään tarkastuksen aikana saatuja tietoja kolmansille osapuolille; tietoja saa välittää ainoastaan siinä tapauksessa, että tämä on tilintarkastustuomioistuimelle säädöksissä ja määräyksissä osoitettujen tehtävien toteuttamisen kannalta tarpeen. Tällaisesta viestinnästä on määrättävä tilintarkastustuomioistuimen työjärjestyksessä. Tarkastajat saavat kuitenkin vaihtaa tietoja hallinnoinnin puutteista sisäisten tarkastajien kanssa, jos tiedot eivät liity tietoturvaan tai ole luottamuksellisia. Pyrkimyksenä on varmistaa, että yksilöityihin puutteisiin puututaan. 15 ISSAI 300 Fundamental principles of performance auditing (tuloksellisuuden tarkastusta koskevat perusperiaatteet) kohta 29. Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 30

32 2.5 LAADUNVALVONTA Tarkastusstandardissa ISSAI 40 vahvistetaan seuraavat laadunvalvontajärjestelmän kuusi osa-aluetta: esimiestaidot relevantit eettiset vaatimukset tarkastuskohteeseen luotujen suhteiden ja yksittäisten toimeksiantojen hyväksyminen ja jatkaminen henkilöresurssit tarkastusten toteutus ja muut työt ks. selitys jäljempänä seuranta tilintarkastustuomioistuimessa seurannalla tarkoitetaan tarkastuksen laatua valvovaa komiteaa avustavan osaston jälkikäteen tekemää vuotuista laadunvarmennustoimintaa. Viides osa-alue, tarkastuksen toteutus ja muut työt, käsittää kaksi päätoimintoa: valvonta ja tehdyn työn läpikäynti sekä toimeksiantokohtainen laadunvalvontatarkastus. Valvonnalla ja tehdyn työn läpikäynnillä tarkoitetaan tavanomaista tarkastustiimin tekemän työn hierarkkista seurantaa. Tehtävävastaavan kuuluu valvoa tiimin jäsenten työtä käytännön tasolla; tehtävävastaavan työtä valvoo esittelevä jäsen. Tarkastustiimi voi kuitenkin sopia suoraan johtajan alaisuudessa työskentelevän yksikön tiimin kanssa, että valvontaan ja tehdyn työn läpikäymiseen saadaan lisätukea (mm. toimialapäällikön antama neuvonta ja ohjeistus tai alan asiantuntijan asiantuntemus). Toinen tämän laadunvalvonnan osa-alueen toiminnoista on toimeksiantokohtainen laadunvalvontatarkastus. Tarkoituksena on arvioida objektiivisesti tarkastustiimin tekemiä merkittäviä harkintaan perustuvia ratkaisuja sekä kertomuksen laadinnan yhteydessä tehtyjä johtopäätöksiä. Tuloksellisuuden tarkastuksissa toimeksiantokohtainen laadunvalvontatarkastus suoritetaan (ainakin) tarkastuksen suunnittelumuistion ja alustavien huomautusten yhteydessä. Tarkastuksen suorittaa tarkastustiimistä riippumaton henkilöstö. Tarkoituksena on, että jaosto saa lisävarmuutta siitä, että tarkastukset on toimitettu ammatillisten standardien ja säädöksiin ja määräyksiin perustuvien vaatimusten mukaisesti ja että kertomukset ovat olosuhteisiin nähden tarkoituksenmukaisia. Lisätietoja toimeksiantokohtaisesta laadunvalvontatarkastuksesta esitetään asiakirjassa Vademecum of General Audit Procedures Audit Quality Management Framework (sisäinen asiakirja). Luku 2: Tuloksellisuuden tarkastus: tarkastustapa sivu 31

33 TULOKSELLISUUDEN TARKASTUKSEN KÄSIKIRJA LUKU 3 TARKASTUKSEN SUUNNITTELU Tuloksellisuuden tarkastuksen käsikirjan luvut SISÄLLYS Johdanto Luku 1: Euroopan tilintarkastustuomioistuime n toimittamien toiminnantarkastusten viitekehys Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus Luku 3: Tarkastuksen suunnittelu Luku 4: Toteutusvaihe Luku 5: Raportointivaihe 3.1 Johdanto 3.2 Tarkastuksen suunnitteluvaihe Tarkastuksen suunnittelun tarkoitus Alustava työ Ajantasaisten tietojen hankkiminen tarkastettavasta alasta Yksilöidään tukitoimenpiteen tavoitteet ja logiikka sekä vastaavat indikaattorit Määritetään tukitoimenpiteeseen kohdennetut resurssit Määritetään eri toimijoiden vastuualueet Yksilöidään keskeiset hallinto- ja valvontaprosessit, mukaan lukien it-järjestelmät Määritetään hallinto- ja valvontaprosesseissa tarvittavat tiedot Yksilöidään varainhoidon moitteettomuuteen kohdistuvat riskit Tarkastusasetelman luominen Otetaan huomioon aiemmat tarkastukset ja arvioinnit Pohditaan mahdollisia tarkastuskysymyksiä ja kriteereitä, evidenssiä, menetelmiä, laajuutta ja vaikutusta Pohditaan ehdotetun tarkastuksen aikataulua ja siihen osoitettavia resursseja Arvioidaan, onko tarkastus realistinen, toteutettavissa ja todennäköisesti hyödyllinen 3.3 Tarkastuksen suunnittelumuistio Tarkastuksen suunnittelumuistion tarkoitus ja sisältö Muotoillaan tarkastuskysymykset Rajataan tarkastuksen laajuus Määritetään tarkastuskriteerit Yksilöidään tarvittava tarkastusevidenssi ja sen lähteet Määritetään käytettävät tarkastusmenetelmät Pohditaan mahdollisia huomautuksia, suosituksia ja tarkastuksen vaikutusta Määritetään aikataulu, resurssit sekä valvontaa ja tehdyn työn läpikäymistä koskevat järjestelyt Pidetään yhteyttä tarkastuskohteeseen Tarkastuksen suunnittelumuistion laatiminen 3.4. Nopeasti laadittavat erityiskertomukset Liite I: Tarkastuksen suunnittelumuistion sisältö Liite II: Evidenssin keruusuunnitelma Liite III: Tarkastusasetelma Yhteystiedot Lisätietoja saa osoitteesta: Euroopan tilintarkastustuomioistuin Tarkastuksen laatua valvovaa komiteaa avustava osasto Sähköposti: ECA-DQC- CONTACT tai eca-dqc-contact@eca.europa.eu Luku 3: Tarkastuksen suunnittelu sivu 32

34 3.1 JOHDANTO Tarkastus on suunniteltava perusteellisesti Tuloksellisuuden tarkastukset ovat luonteeltaan hyvin erilaisia, joten ne on suunniteltava erityisen huolellisesti. Suunnittelun avulla määritetään tarkastuksen hyödyllisyys ja toteutettavuus, asetetaan selkeät ja kohtuulliset tavoitteet, määritellään realistinen ja perusteltu tarkastustapa sekä selvitetään tarvittavat resurssit. Ilman asianmukaista suunnittelua vaarana on, että tarkastustyö ei etene tehokkaasti ja vaikuttavasti. Tarkastuksen suunnittelu käsittää seuraavat osa-alueet: ja se muodostaa tarkastuksen suunnittelumuistion perustan. Arvioidaan merkittävät riskit, jotka vaarantavat varainhoidon moitteettomuuden, selvitetään mahdolliset tarkastuksen tavoitteet, tarkastustavat ja menetelmät ja määritetään, onko tarkastus realistinen, toteutettavissa ja todennäköisesti hyödyllinen. Tarkastusjaosto hyväksyy tarkastuksen suunnittelumuistion, jossa määritetään ehdotetun tarkastuksen laajuus, tavoite/tavoitteet ja menetelmät, resurssit sekä keskeiset välietapit. Seuraavassa kaaviossa esitetään tarkastuksen suunnitteluvaihe. Tarkastuksen suunnittelua ja tarkastuksen suunnittelumuistiota kuvataan tarkemmin tässä luvussa. Luku 3: Tarkastuksen suunnittelu sivu 33

35 Luku 3: Tarkastuksen suunnittelu sivu 34

36 3.2 TARKASTUKSEN SUUNNITTELUVAIHE Tarkastuksen suunnittelun tarkoitus Alustava työ tarkastuksen suunnittelumuistion valmistelua varten Tilintarkastustuomioistuimessa tarkastusjaostojen on ehdotettava tarkastuksia jokaisen ensisijaiseksi katsotun aihepiirin osalta 16. Ehdotuksissa annetaan sellaiset oleelliset tiedot, joiden perusteella voidaan päättää, pitäisikö tilintarkastustuomioistuimen harkita kyseisen tarkastuksen sisällyttämistä vuotuiseen työohjelmaansa. Alustavan työn yhteydessä aihetta tarkastellaan perusteellisemmin ja tietoja täydennetään. Tämän perusteella saatetaan arvioida uudelleen, toimitetaanko tarkastus vuotuisen työohjelman mukaisesti Alustava työ Olemassa olevien tietojen hyödyntäminen Alustavan työn laajuus riippuu siitä, kuinka hyvin tarkastustiimi tuntee tarkastettavan alan. Alustavan työn pohjalta on kuitenkin oltava mahdollista laatia tarkastuksen suunnittelumuistio. Jotta tarkastaja voi arvioida, onko tarkastus realistinen, toteutettavissa ja todennäköisesti hyödyllinen, hänen on hankittava ajantasaiset tiedot tarkastettavasta alasta. Jos tarkastusala ja mahdolliset tarkastuskysymykset tunnetaan hyvin tai jos tarkastusaihe on peräisin tehdyistä tilin- tai säännönmukaisuuden tarkastuksista, alustava työ saattaa osoittautua tarpeettomaksi. Tässä vaiheessa ei ole syytä toteuttaa yksityiskohtaisia testejä, vaan keskitytään tietojen saatavuuteen ja menetelmien soveltuvuuteen. 16 ECA work programming: instructions and guidelines 2016 up-date, CA 018/16 (sisäinen asiakirja). Luku 3: Tarkastuksen suunnittelu sivu 35

37 Alustavan työn tekeminen AJANTASAISTEN TIETOJEN HANKKIMINEN TARKASTUKSEN KOHTEENA OLEVASTA ALASTA Yksilöidään tukitoimenpiteen tavoitteet ja logiikka sekä vastaavat indikaattorit Määritetään tukitoimenpiteeseen kohdennetut resurssit Määritetään eri toimijoiden vastuualueet Yksilöidään keskeiset hallinto- ja valvontaprosessit, mukaan lukien it-järjestelmät Määritetään hallinto- ja valvontaprosesseissa tarvittavat tiedot Yksilöidään varainhoidon moitteettomuuteen kohdistuvat riskit TARKASTUSASETELMAN LUOMINEN Otetaan huomioon aiemmat tarkastukset ja arvioinnit Pohditaan mahdollisia tarkastuskysymyksiä ja kriteereitä, evidenssiä, menetelmiä, laajuutta ja vaikutusta Pohditaan ehdotetun tarkastuksen aikataulua ja siihen osoitettavia resursseja TARKASTUKSEN REALISTISUUDEN, TOTEUTETTAVUUDEN JA TODENNÄKÖISEN HYÖDYLLISYYDEN ARVIOINTI Kukin näistä vaiheista kuvataan erikseen seuraavissa kohdissa. Luku 3: Tarkastuksen suunnittelu sivu 36

38 3.2.3 Ajantasaisten tietojen hankkiminen tarkastettavasta alasta Tiedonkeruun laajuus ja tietolähteet vaihtelevat. Tärkeintä on hankkia riittävä tarkasteltavana olevan aiheen tuntemus. Tällöin sovellettavat lähestymistavat vaihtelevat aiheen luonteesta ja tiimin lähtötiedoista riippuen, ottaen huomioon saatavissa olevat pysyväistiedot ja tilintarkastustuomioistuimen tilintarkastajien jo keräämät tiedot. Jos aihe tunnetaan entuudestaan hyvin, pelkkä asiakirjatarkastus ja yksi ideointikokous saattavat riittää; jos taas aihe on uusi tai moniulotteinen, tietoja on kerättävä paljon laajemmalti. Tietoja voidaan saada kolmansilta osapuolilta (lainsäädäntö; alan asiantuntijoiden näkemykset; tieteelliset tutkimukset ja selvitykset; viralliset tilastot) taikka tarkastuksen kohteelta (tehtävänmäärittelyt; strategiset suunnitelmat ja toimintasuunnitelmat; komission pääosastojen vuotuiset toimintakertomukset ja toimintoselvitykset; organisaatiokaaviot; sisäiset ohjeet ja käsikirjat sekä keskustelut tarkastuskohteen johdon kanssa). Tarkastajan on syytä suhteuttaa tiedonhankintaan tarvittava aika ja siitä aiheutuvat kustannukset tiedoista tarkastukselle koituvaan lisäarvoon. Yksilöidään tukitoimenpiteen tavoitteet ja logiikka sekä vastaavat indikaattorit Tarkastuksen lähtökohdaksi otetaan tukitoimeen sovellettavat tavoitteet ja indikaattorit. Komissio soveltaa hallinto- ja toimintaresursseihinsa toimintojohtamista, joka pohjautuu toimintolohkojen täytäntöönpanoon tarkoitettuihin toimintoihin. Komission toiminnan ja talousarvion hallinnoinnin vastuuketjut perustuvat ensisijaisesti toimintojohtamisen toimintoihin. Jotta komissio voi perustaa soveltamansa moitteettoman varainhoidon lähestymistavan toimintojohtamiseen, sen menojen on täytettävä SMART-tavoitteet 17. Lisäksi kunkin pääosaston on seurattava tavoitteiden toteuttamista tuotosta ja vaikutusta mittaavien RACER-indikaattoreiden 18 avulla jokaisen toimintolohkon ja toiminnon osalta, ja johdon on korjattava kaikki tavoitteiden saavuttamisessa ilmenevät puutteet. Tuloksellisuuden tarkastusta suunniteltaessa lähtökohdaksi otetaan tukitoimenpiteen tavoitteet ja logiikka. Tarkastuskohteelta voidaan kenties saada tukitoimenpiteen logiikkaa kuvaavia kaavioita (panokset, prosessit sekä tuotokset ja tavoitteet) tai tarkastaja voi laatia sellaisia käsityksen saamisen helpottamiseksi. Määritetään tukitoimenpiteeseen kohdennetut resurssit Tarkastuksen kohteena olevalle alalle osoitetut henkilöstö-, hallinto- ja taloudelliset resurssit on määritettävä alan olennaisuuden vahvistamiseksi. Myönnetyt talousarviovarat sekä sidotut ja maksetut määrät on analysoitava Tarkasti määritellyt, mitattavissa ja toteutettavissa olevat, relevantit ja ajallisesti määrätyt tavoitteet (Specific, Measurable, Achievable, Relevant and Timely). Tulosindikaattoreiden on oltava merkitykselliset, hyväksytyt, uskottavat, selkeät ja kestävät (RACER, relevant, accepted, credible, easy and robust). Luku 3: Tarkastuksen suunnittelu sivu 37

39 Määritetään eri toimijoiden vastuualueet Määritetään, kuka vastaa tukitoimen hallinnoinnista. Tämä puolestaan vaikuttaa siihen, miten ja missä tarkastus toimitetaan. Tuloksellisuuden tarkastuksen perusajatuksiin kuuluu, että tarkastuskohteen johdon katsotaan olevan vastuussa ainoastaan sellaisista asioista, jotka ovat sen hallittavissa; siksi on välttämätöntä rajata tarkastuskohde. Tämä on erityisen tärkeää, jos kyse on yhteishallinnoinnista tai välillisestä hallinnoinnista, jossa ovat mukana toisaalta komissio ja toisaalta jäsenvaltiot, edunsaajavaltiot tai kansainväliset organisaatiot. Tällaisissa tapauksissa komission suora osallistuminen yhteisrahoitettujen tukitoimien päivittäiseen hallinnointiin ja toteuttamiseen saattaa tosiasiassa olla vähäistä, vaikka sillä aina on kokonaisvastuu talousarvion hallinnoinnista 19. Niin ollen tilintarkastustuomioistuimen tuloksellisuuden tarkastusten lähtökohdaksi on otettava komission toteuttama hallinnointi sekä menetelmät, joilla komissio varmistaa jäsenvaltioiden toteuttaman hallinnoinnin asianmukaisuuden. Tarkastustiimin on eriteltävä komissiossa, jäsenvaltioissa, edunsaajavaltioissa ja kansainvälisissä organisaatioissa tukitoimenpiteen hallintovastuun kantavat tahot haastatteluin sekä käymällä läpi organisaatiokaavioita ja säännöksiä. Yksilöidään keskeiset hallinto- ja valvontaprosessit, mukaan lukien it-järjestelmät Tarkastustiimin on määritettävä keskeiset hallinto- ja valvontaprosessit, joita sovelletaan mahdollisen tarkastusaiheen kattamiin toimintoihin. Tämä voidaan tehdä käymällä läpi säännöksiä ja sisäisiä käsikirjoja sekä tekemällä haastatteluja. Tässä yhteydessä on tärkeää ottaa huomioon tarkastuskohteen käyttämät it-järjestelmät ja niihin kohdistetun sisäisen valvonnan määrä. Määritetään hallinto- ja valvontaprosesseissa tarvittavat tiedot Käydään läpi seuranta sekä hankkeiden valintakriteerit. Otetaan huomioon it-järjestelmien sisältämät tiedot ja niiden vaikutus tarkastustapaan. Tarkastustiimin on yksilöitävä, minkä tyyppistä tietoa ja millaisia raportteja tarkastuskohde nykyään käyttää toimintansa hallinnointiin ja valvontaan. Huomioon otetaan toiminnan yleiseen seurantaan tarkoitetut raportit ja tarvittaessa selvitetään, mitkä ovat rahoitettavien hankkeiden valintakriteerit. Erityistä huomiota on kiinnitettävä it-järjestelmissä olevien tietojen yksilöimiseen ja siihen, miten tiedot vaikuttavat tarkastustapaan. On suositeltavaa ottaa jo varhaisessa vaiheessa yhteyttä tarkastuksen laatua valvovaa komiteaa avustavaan osastoon it-tuen saamiseksi. 19 Ks. SEUT, 287 artikla. Luku 3: Tarkastuksen suunnittelu sivu 38

40 Yksilöidään varainhoidon moitteettomuuteen kohdistuvat riskit Mitkä ovat toimintariskit? Mitkä ovat kontrolliriskit? Riskejä koskevaa tietoa saadaan monista lähteistä. Riskillä tarkoitetaan todennäköisyyttä, jolla tapahtumasta tai toimesta saattaa aiheutua organisaatiolle haittaa: sille voi koitua taloudellisia menetyksiä, sen maine saattaa kärsiä taikka se voi epäonnistua toimintalinjan tai ohjelman toteuttamisessa taloudellisella, tehokkaalla ja vaikuttavalla tavalla. Tarkastaja voi edellä kuvattujen tietojen avulla analysoida merkittävimmät varainhoidon moitteettomuutta uhkaavat riskit. Keskeisiä riskejä saattavat olla toimintariskit (joiden vuoksi varainhoidon moitteettomuutta on vaikea saavuttaa riippumatta siitä, kuinka hyvin organisaatiota hallinnoidaan) tai kontrolliriskit (se, kuinka hyvin organisaatio hallinnoi toimintaansa). Lisäksi tarkastustiimin on perehdyttävä riskianalyysiin ja riskienhallintaan, jotka pääosasto on kehittänyt keskeisiä toimintojaan varten komission sisäisen valvonnan järjestelmään kuuluvan, sisäisen valvonnan standardin 6 Riskienhallinta mukaisesti. Myös toimintojohtamiseen kuuluvat osatekijät etenkin toimintoselvitykset ja vuotuiset toimintakertomukset ovat riskien osalta hyödyllisiä tietolähteitä. Jokaisen pääosaston on järjestelmällisesti analysoitava keskeisiin toimintoihinsa kohdistuvat riskit ainakin kerran vuodessa, kehitettävä asianmukaiset toimintasuunnitelmat riskien huomioonottamiseksi ja osoitettava henkilöstöä vastaamaan toimintasuunnitelmien täytäntöönpanosta. Tarkastaja esittää seuraavat kysymykset: millaisia ongelmia voi ilmetä? millä todennäköisyydellä tällaisia ongelmia ilmenee? mitä seurauksia ongelmilla olisi? millaista strategiaa tarkastuskohde soveltaa minimoidakseen tai hallitakseen riskit? Riskitekijöihin vaikuttavat muun muassa: toimintalinjan, ohjelman tai toimien luonne ja moniulotteisuus organisaation tavoitteiden ja päämäärien moninaisuus, johdonmukaisuus ja selkeys asianmukaisten tuloksellisuuden mittaustapojen olemassaolo ja käyttö käytettävissä olevat resurssit organisaatiorakenteen monimutkaisuus ja vastuualueiden selkeys valvontajärjestelmien olemassaolo ja laatu johdon käytettävissä olevien tietojen monipuolisuus ja laatu. Keskitytään suurimpiin riskeihin. Tarkastusta suunniteltaessa tarkastustiimin on analysoitava näiden riskien merkitys suhteuttamalla riskien todennäköisyys oletettuun määrälliseen ja laadulliseen vaikutukseen. Tarkastajat keskittyvät yleensä niihin riskeihin, joiden toteutuminen on todennäköisintä ja joiden vaikutus siinä tapauksessa olisi suurin. Samalla otetaan huomioon toimet, jotka tarkastuskohde on toteuttanut riskien lieventämiseksi (riskeiltä suojautuminen). Luku 3: Tarkastuksen suunnittelu sivu 39

41 3.2.4 Tarkastusasetelman luominen Otetaan huomioon aiemmat tarkastukset ja arvioinnit Perehdytään tarkastus- ja arviointikertomuksiin. Tarkastustiimin on käsiteltävä aihealueesta aiemmin tehtyjä tarkastuksia ja arviointeja, jotta vältetään päällekkäisyydet ja voidaan toteuttaa seurantaa mahdollisiin tarkastuskysymyksiin liittyvien merkittävien havaintojen ja suositusten osalta. Huomioon voidaan ottaa tilintarkastustuomioistuimen tai komission sisäisen tarkastuksen osaston toimittamat tarkastukset. Mahdolliset arviointikertomukset on myös huomioitava. Pohditaan mahdollisia tarkastuskysymyksiä ja kriteereitä, evidenssiä, menetelmiä, laajuutta ja vaikutusta Mahdollisten tarkastuskysymysten ideointi on ratkaisevan tärkeää. Tuloksellisuuden tarkastuksen tavoitteet on tarkoituksenmukaista esittää kysymyksinä, joihin tarkastuksen odotetaan vastaavan. Siksi vastedes käytetään nimenomaan termiä tarkastuskysymys. Edellä mainittu riskianalyysi auttaa rajaamaan mahdolliset tarkastuskysymykset ja tarkastuksen laajuuden. Tarkastuksen suunnittelumuistiota laadittaessa voidaan harkita erilaisia tarkastuskysymyksiä. Tarkastaja voi haastatella henkilöitä, joilla on tarkastusaihetta koskevaa erityisasiantuntemusta, sekä perehtyä taustamateriaaliin ja muuhun alan kirjallisuuteen. Tämän jälkeen tarkastustiimin on määriteltävä, mitkä tarkastuskysymyksistä ovat sellaisia, joihin voidaan saada vastaus. Tätä varten selvitetään, ovatko kysymykset tarkastettavissa eli ovatko tarvittavat tarkastuskriteerit olemassa tai voidaanko sellaiset kehittää, onko olemassa tarkastusevidenssiä tai voiko tarkastaja tuottaa sitä ja voiko hän saada tarvittavan evidenssin käyttöönsä. Tarkastaja selvittää myös, onko olemassa tarkastusmenetelmiä, jotka soveltuvat asianomaisen evidenssin keruuseen ja analysointiin. Helpottaakseen tätä prosessia ja yksilöidäkseen tarkastuskysymykset, joita voitaisiin käsitellä tehokkaammin erillisessä tarkastuksessa, tarkastustiimien on analysoitava ongelmat ennen tarkastuksen suunnittelumuistion laadintaa CH 324/11, 30. syyskuuta 2011, tarkastuksen laadun hallinnoinnista; prosessia koskevat tarkat ohjeet esitetään asiakirjassa Audit Guideline on Issue Analysis and Drawing Conclusions (sisäisiä asiakirjoja). Luku 3: Tarkastuksen suunnittelu sivu 40

42 Pohditaan ehdotetun tarkastuksen aikataulua ja siihen osoitettavia resursseja Tarkastukseen käytetään enintään 13 kuukautta. Tarkastustiimin on otettava huomioon tarkastuksen aikataulu sekä alustava työ ja käytettävissä olevat resurssit. Tässä yhteydessä on pidettävä mielessä, että tarkastukseen saa kulua 13 kuukautta laskien suunnittelumuistion hyväksymisestä (tai myöhemmästä päivästä, jona tarkastus on tarkastuksen suunnittelumuiston mukaan suunniteltu alkavaksi) kertomuksen APC-version julkaisemiseen. Kokemus on osoittanut, että tarkastuksen kuhunkin vaiheeseen tarvittava aika on suunniteltava mahdollisimman realistisesti aiemman toiminnan pohjalta. Lisäksi on pohdittava, millainen vaikutus kertomuksella saattaa tulevaisuudessa olla lainsäädännön muuttumisen kannalta. Kertomukset on ajoitettava mahdollisuuksien mukaan siten, että niillä on lainsäädännön muutosten kannalta merkitystä. Ajoituksessa on otettava huomioon Euroopan parlamentin ja neuvoston toiminnan ajoitus. Tarkastustiimin on pohdittava myös sitä, onko ehdotettua tarkastusta toteuttamaan osoitettavissa tarkastajia, joilla on tarvittava asiantuntemus ja kokemus Arvioidaan, onko tarkastus realistinen, toteutettavissa ja todennäköisesti hyödyllinen Epävirallinen kuuleminen alustavasta työstä tai tarvittaessa suullisia esityksiä Suunnitteluprosessin tehokkuus varmistetaan siten, että alustavan työn päätteeksi jaostolle ei esitetä erillistä kertomusta. Sen sijaan on suosittava epävirallista kuulemista alustavasta työstä. Kertomuksesta vastaava jäsen voi tarpeen vaatiessa pitää suullisen esityksen jaostolle; näin lisätään avoimuutta ja saadaan tietoja tarkastuksen suunnittelumuistiosta myöhemmin käytäviä keskusteluja varten. Alustavan työn on rajoituttava siihen, mikä on olennaista realistisen, toteuttamiskelpoisen ja hyödyllisen tarkastuksen edellyttämän tutkimuksen ja suunnittelun sekä tarkastuksen suunnittelumuistion valmistelun ja esittämisen kannalta. Luku 3: Tarkastuksen suunnittelu sivu 41

43 3.3 TARKASTUKSEN SUUNNITTELUMUISTIO Tarkastuksen suunnittelumuistion tarkoitus ja sisältö Tarkastuksen suunnittelumuistio on vakiomuotoinen ja sisältää evidenssin keruusuunnitelman sekä tarkastusasetelman. Tarkastus suunnitellaan yksityiskohtaisesti tarkastuksen suunnittelumuistiossa. Suunnittelumuistio on kertomuksesta vastaavan jäsenen ja tarkastusjaoston välinen sopimus, jolla jäsen sitoutuu tuottamaan laatustandardien mukaisen tuotteen (tarkastustulokset) asetetussa määräajassa vastineeksi resursseista, jotka tarkastusjaosto antaa käytettäväksi tarkastukseen. Suunnittelumuistiossa on eriteltävä tarkastustyö, resurssit ja määräajat sekä tarkastuksen oletettu vaikutus selkeästi ja tiiviisti. Kertomuksesta vastaavan jäsenen on esitettävä tarkastusjaoston hyväksyttäväksi suunnittelumuistio, joka on laadittu liitteessä II annetun mallin mukaisesti. Tarkastuksen suunnittelumuistiosta on käytävä ilmi (esim. evidenssin keruusuunnitelma ks. liite III), miten tarkastuskysymyksiin vastaamisen mahdollistava evidenssi saadaan ja analysoidaan. Siinä on myös mainittava sellaiset tietojen keruuseen ja analysointiin tarkoitetut tarkastustoimenpiteet, joiden ansiosta tarkastajat voivat tehdä pitäviä johtopäätöksiä 21 (ks. liitteessä IV esitetty tarkastusasetelma). Tarkastusasetelman ei tarvitse olla kovin yksityiskohtainen, sillä osa testeistä voidaan määrittää kunnolla vasta, kun tarkastustyö on aloitettu, ja tarvittavat yksityiskohtaiset testit saattavat muuttua tarkastuksen mittaan. Jotta tuloksellisuuden tarkastuksen toteutuksen yhteydessä edistettäisiin suunnittelun tehokkuutta sekä luovuutta ja joustavuutta, tarkastustiimin on yleensä vältettävä liian yksityiskohtaisten ja hienostuneiden tarkastuksen suunnittelumuistioiden laadintaa. Tarkastustyö aloitetaan vasta, kun tarkastuksen suunnittelumuistio on hyväksytty. Tarkastuksen yhteydessä suoritettavaa testausta ei saa aloittaa ennen kuin tarkastusjaosto on hyväksynyt tarkastuksen suunnittelumuistion. Resurssit on virallisesti sidottu tarkastustehtävään vasta, kun suunnittelumuistio on hyväksytty. Tarkastus on suunniteltava siten, että se voidaan toimittaa sovitussa aikataulussa ja sovituin resurssein. Tarkastuksen yksityiskohtaisen suunnittelun tulokset esitetään suunnittelumuistiossa. Suunnittelun aikana käsiteltävät osatekijät käyvät ilmi seuraavasta kaaviosta. 21 Ks. tarkastuksen laatua valvovaa komiteaa avustavan osaston intranetissä tuloksellisuuden tarkastuksen osalta esitetyt käytännön esimerkit evidenssin keruusuunnitelmista ja tarkastusohjelmista. Luku 3: Tarkastuksen suunnittelu sivu 42

44 Tarkastuksen suunnittelumuistion laatiminen TARKASTUKSEN YKSITYISKOHTAISEN SUUNNITTELUN YHTEYDESSÄ KÄSITELTÄVÄT NÄKÖKOHDAT Muotoillaan tarkastuskysymys ja osakysymykset Rajataan tarkastuksen laajuus Määritetään tarkastuskriteerit Yksilöidään tarvittava tarkastusevidenssi ja sen lähteet Määritetään käytettävät tarkastusmenetelmät Pohditaan mahdollisia tarkastushavaintoja, suosituksia ja tarkastuksen vaikutusta Määritetään aikataulu, resurssit sekä laadunvalvonta Pidetään yhteyttä tarkastuskohteeseen ARVIOIDAAN, ONKO TARKASTUKSELLE MÄÄRITETTY RIITTÄVÄ PERUSTA LAADITAAN SUUNNITTELUMUISTIO Seuraavassa on eritelty kukin edellä mainituista keskeisistä näkökohdista. Luku 3: Tarkastuksen suunnittelu sivu 43

45 Muotoillaan tarkastuskysymykset Varmistetaan, että tarkastuskysymyksiin on mahdollista saada vastaus, ne kohdistuvat yhteen aiheeseen, Tarkastuksen suunnittelumuistiossa on muotoiltava tarkastuskysymykset 22 ongelmien analysoinnista saatujen tulosten perusteella. Tarkastuskysymysten sanamuoto on tarkastuksen kannalta erittäin tärkeä ja sen on perustuttava järkeviin ja objektiivisiin seikkoihin. Jos kysymyksiä ei ole muotoiltu selkeästi, niihin vastaamisen edellyttämän riittävän, olennaisen ja luotettavan tarkastusevidenssin kerääminen saattaa osoittautua vaikeaksi. Jotta varmistettaisiin, että tarkastuksen tavoitteet liittyvät aiheensa puolesta toisiinsa, täydentävät toisiaan ja ovat toisensa poissulkevia, tarkastuskysymykset voidaan esittää kysymyspyramidina, jossa on yksi yleinen tarkastuskysymys ja rajallinen määrä osakysymyksiä. Kysymysten on kohdistuttava yhteen aiheeseen, ja niissä on yksilöitävä selkeästi tarkastuksen aihe (esim. ohjelma, toimintalinja tai pääosasto) ja tarkastettavat tuloksellisuuteen liittyvät näkökohdat. Ihanteellista on, jos tarkastuksen kohteeseen sisältyy mahdollisuuksien mukaan yksittäisiä toimintalohkoja tai näiden osatekijöitä, kuten yksi tai useampia toimintoperusteisen budjetoinnin tai toimintojohtamisen yhteydessä määriteltyjä toimintoja tai toimia, taikka yksittäisiä toimintayksiköitä, kuten EU:n virastoja. Tämä helpottaa tarkastamista ja auttaa varmistamaan, että kertomus on käyttökelpoinen ja asianmukaisesti kohdennettu. Tarkastuskysymyksiä muodostettaessa on otettava huomioon seuraavat seikat: ovat relevantteja ja tarkastettavissa, Kysymysten relevanttius Tarkastettavuus Onko aihe olennainen? Onko tarkastuksen mahdollinen vaikutus olennainen? Onko se tärkeä toimijoille (mukaan lukien budjettivallan käyttäjä ja kansalaiset yleensä)? Onko varainhoidon moitteettomuus vaarassa? Voidaanko kaikkiin kysymyksiin vastata? Voidaanko tarkastus toimittaa ja johtopäätöksiä tehdä, kun otetaan huomioon tarvittavien tietojen saatavuus, tarkastusmenetelmät, resurssit ja tarkastajien osaaminen? Onko ajankohta otollinen? 22 Tarkastuksen laatua valvovaa komiteaa avustava osasto on laatinut tarkastuskysymysten muotoilua koskevat ohjeet (sisäinen asiakirja). Luku 3: Tarkastuksen suunnittelu sivu 44

46 ja että niissä korostetaan tarkoituksenmukaisella tavalla valvontajärjestelmiä ja/tai tuloksellisuutta. Tarkastuskysymykset voidaan keskittää valvontajärjestelmiin tai varsinaiseen tuloksellisuuden tutkimiseen taikka näihin kumpaankin. Valvontajärjestelmien tarkastus: Useimmiten tuloksellisuuden tarkastuksessa käydään läpi seuraavat osatekijät: tarkastellaan tukitoimenpiteen tavoitteiden muotoilua ja selvitetään, ovatko tavoitteet realistisia, relevantteja ja merkityksellisiä perehdytään indikaattoreihin ja arvioidaan, mittaavatko ne tarkoituksenmukaisella tavalla tukitoimenpiteelle asetettujen tavoitteiden saavuttamista tutkitaan ohjelmien, hankkeiden yms. hallinnointiin käytetyt itjärjestelmät sen selvittämiseksi, saadaanko järjestelmien avulla ajantasaisia, oikeellisia ja oleellisia tietoja; lisäksi arvioidaan, hyödynnetäänkö saatuja tietoja tarkoituksenmukaisesti tarkastellaan perustana olevia tietoja järjestelmien luotettavuuden varmistamiseksi ja selvitetään, mitkä ovat ne kriteerit, joiden perusteella hankkeet valitaan rahoitettaviksi. Varsinaisessa tuloksellisuuden tarkastamisessa keskitytään siihen, onko tarkastuskohde saavuttanut tavoitteensa. Jos tavoitteet todetaan tarkoituksenmukaisesti määritellyiksi, tarkastuskohteen tuloksellisuutta verrataan niihin. Samoin jos indikaattoreiden katsotaan olevan tarkoituksenmukaiset, niitä voidaan käyttää edistymisen arvioimiseen. Tarkastuskysymyksestä osakysymyksiin Tarkastuskysymys voidaan tämän jälkeen jakaa osakysymyksiksi, jotka jaetaan edelleen yksityiskohtaisemmiksi osakysymyksiksi. Tavallisesti näitä tasoja on neljä, pääasiallisesta tarkastuskysymyksestä (taso 1) aina sellaisiin yksityiskohtaisiin kysymyksiin (taso 4) asti, joihin saadaan vastaus erityisten tarkastustoimenpiteiden avulla. Erityiset tarkastustoimenpiteet muodostavat evidenssin lähteiden perustan. Osakysymysten täytyy jokaisella tasolla olla keskenään erilaisia (toisensa poissulkevia), kuitenkin niin, että ne yhdessä kattavat edellisen ylemmän tason kysymyksen keskeiset näkökohdat (yhteiskattavuus) 23. Kun jokainen tarkastuskysymys jaetaan osakysymyksiksi, muodostuu pyramidi 24. Tämä ohjaa tarkastajan pohtimaan kysymyksiä loogisesti ja kurinalaisesti ja auttaa varmistamaan, että kaikki kysymysten ja osakysymysten näkökohdat otetaan huomioon Lisätietoja tarkastuskysymysten ja osakysymysten muotoilusta esitetään seuraavissa ohjeissa: Audit Guideline on Issue Analysis ja Drawing Conclusions and the Guideline on Developing Audit Questions. Minto B., The Minto Pyramid Principle, Ed. Minto International, Inc., Luku 3: Tarkastuksen suunnittelu sivu 45

47 Tarkastuksen pääkysymysten jakaminen osakysymyksiksi: TASO 1 Tarkastuskysymys TASO 2 Osakysymys TASO 3 Yksityiskohtaisempi osakysymys TASO 4 Tarkastustoimenpiteet Evidenssin lähteet Luku 3: Tarkastuksen suunnittelu sivu 46

48 Esimerkki kysymyspyramidista (muokattu hallinnoinnin hajauttamista koskevan tarkastuksen suunnittelumuistiosta) Taso 1: Tarkastuskysymys Onko komissio hallinnoinut hajauttamismenettelyä onnistuneesti? Taso 2 Taso 3 Taso Määriteltiinkö hajautettuun hallintoon osallistuville edustustoille osoitetut tehtävät selkeästi? 1. Valmisteltiinko edustustoja hyvin hallinnon hajauttamiseen? 2 Valmisteltiinko keskusyksiköitä hyvin hallinnon hajauttamiseen? 3. Onko komissiolla vaikuttavat menettelyt hajautetun hallinnon tuloksellisuuden seuraamiseksi? 1.1 Arvioitiinko edustustojen tarpeet asianmukaisesti hallinnon hajauttamista valmisteltaessa? 1.2 Vastattiinko edustustojen tarpeisiin asianmukaisesti hallinnon hajauttamisen toteutusvaiheessa? 2.1 Arvioitiinko päätoimipaikan tarpeet asianmukaisesti hallinnon hajauttamista valmisteltaessa? 2.2 Vastattiinko päätoimipaikan tarpeisiin asianmukaisesti hallinnon hajauttamisen toteutusvaiheessa? 3.1 Seurattiinko hallinnon hajauttamista asianmukaisesti sen jälkeen, kun vastuuta oli siirretty edustustoille? 3.2 Seurattiinko hallinnon hajauttamista asianmukaisesti sen jälkeen, kun vastuuta oli siirretty päätoimipaikalta? 3.3 Hallinnoitiinko hanketta tehokkaasti? Määriteltiinkö tehtävät toimintaa ohjaavan periaatteen mukaisesti? Tiedotettiinko määritelmästä selvästi ja ymmärsikö henkilöstö sen tarkoitetulla tavalla? Analysoitiinko edustustoissa jo ennen hallinnon hajauttamista olleet resurssit? Analysoitiinko selvästi resurssit, joita edustustot tarvitsevat uusien tehtävien ja päämäärien toteuttamiseksi hajauttamisen jälkeen? Vastattiinko edustustojen tarpeisiin riittävällä tavalla, oikea-aikaisesti ja talousarviota ylittämättä? Ottiko komissio selvästi tarkasteltavaksi kysymyksen siitä, oliko tarpeista (henkilöstö, koulutus, ohjaus, toimitilat ja it-järjestelmät) huolehdittu? Ilmenikö tarpeisiin vastattaessa vaikeuksia ja ratkaistiinko ongelmat? Määriteltiinkö päätoimipaikan keskeiset seuranta- ja tukitoiminnot selkeästi? Noudattiko määritelmä toimintaa ohjaavaa periaatetta? Tiedotettiinko määritelmästä selvästi ja ymmärsikö päätoimipaikan ja edustustojen henkilöstö sen tarkoitetulla tavalla? Analysoitiinko päätoimipaikan olemassa olevat resurssit selvästi? Analysoitiinko selvästi resurssit, joita päätoimipaikka tarvitsee uusien tehtävien ja päämäärien toteuttamiseksi hajauttamisen jälkeen? Vastattiinko päätoimipaikan tarpeisiin riittävällä tavalla, oikea-aikaisesti ja talousarviota ylittämättä? Ottiko komissio selvästi tarkasteltavaksi kysymyksen siitä, oliko tarpeista huolehdittu ennen hallinnon hajauttamista? Ilmenikö tarpeisiin vastattaessa vaikeuksia ja ratkaistiinko ongelmat? Varmistaako komissio, että tarpeisiin vastataan edelleen vastuun siirtämisen jälkeen ja että edustustot toimivat vaikuttavasti hajautettua hallinnointia toteutettaessa? Varmistaako komissio, että toimintaa ohjaavaa periaatetta noudatetaan? Varmistaako komissio, että päätoimipaikan tarpeisiin vastataan edelleen vastuun siirtämisen jälkeen? Varmistaako komissio, että toimintaa ohjaavaa periaatetta noudatetaan? Käytettiinkö hajauttamisprosessin hallinnointiin hanketason hallinnointivälineitä ja käytettiinkö niitä tarkoituksenmukaisesti ja vaikuttavasti? Hyödynnettiinkö hallinnon hajauttamisen ensimmäisestä ja toisesta vaiheesta saatuja kokemuksia toisessa ja kolmannessa vaiheessa? Arvioitiinko hallinnon hajauttamisen kustannukset selkeästi ja oikein? Vastaavatko arviot todellisia kustannuksia? Seurattiinko kustannuksia ja raportointiinko niistä asianmukaisesti? Luku 3: Tarkastuksen suunnittelu sivu 47

49 Rajataan tarkastuksen laajuus Tarkastuksen laajuus määrittää tarkastuksen rajat ja kytkeytyy tiiviisti tarkastuskysymyksiin. Tarkastajan on määriteltävä etenkin: MIKÄ KUKA MISSÄ MILLOIN tarkastettavat ohjelmat, toimintojohtamisen toiminnot sekä toimet ja budjettikohdat tarkastuksen kattamat komission osastot ja/tai muut organisaatiot tarkastuksen maantieteellinen kohdealue tarkastuksen kattama ajanjakso Tarkastuksen laajuus on rajattava, jotta sen toimittaminen voidaan varmistaa. Tarkastajan täytyy perustella laajuutta koskevat päätöksensä. Koska yhdessä tarkastuksessa ei ole realistista eikä tehokasta kattaa kaikkia mahdollisia näkökohtia, tarkastustoimenpiteiden luonne, laajuus ja ajankohta on rajoitettava kattamaan tietty määrä merkittäviä osatekijöitä. Nämä osatekijät kytkeytyvät tarkastuskysymyksiin, ne voidaan tarkastaa käytettävissä olevien resurssien ja asiantuntemuksen avulla ja ne ovat ratkaisevia tarkastuskohteen osalta asetettujen tavoitteiden saavuttamiselle. Kun säädöksillä ja määräyksillä sekä muilla tarkastettavaan organisaatioon liittyvillä säännönmukaisuusvaatimuksilla voi olla merkittävä vaikutus tarkastuskysymyksiin, tarkastus on suunniteltava siten, että näitä asioita käsitellään, jotta tarkastuskysymysten perusteella voidaan esittää johtopäätöksiä. Määritetään tarkastuskriteerit Tarkastuskohtaisesti mukautetut kriteerit ovat oleellisia tuloksellisuuden arvioinnin kannalta. Tarkastuskriteerit ovat standardeja, joihin tosiasiallista tuloksellisuutta (järjestelmien ja käytäntöjen tarkoituksenmukaisuus sekä toimien taloudellisuus, tehokkuus ja vaikuttavuus) verrataan tai joihin nähden tuloksia arvioidaan. Kriteereitä tarvitaan olemassa olevan tilanteen arvioimiseen ja tarkastushavaintojen tekemiseen (vallitseva tilanne verrattuna siihen, millainen tilanteen pitäisi olla). On tärkeää, että tarkastuskriteerit ovat mahdollisimman objektiiviset, jotta subjektiiviset tulkinnat minimoidaan. Yleiskäsitteitä taloudellisuus, tehokkuus ja vaikuttavuus on tulkittava suhteessa aihealueeseen, joten tarkastuskriteerit vaihtelevat tuloksellisuuden tarkastuksesta toiseen, ja tarkastaja valitsee kriteerit yleensä lukuisten mahdollisten kriteerien joukosta. Tarkastuskriteerit on kuitenkin johdettava yleisesti tunnustetuista lähteistä, ja niiden on oltava objektiivisia, relevantteja, kohtuullisia ja täytettävissä. Kriteerit ovat objektiivisia, relevantteja, kohtuullisia ja täytettävissä; ne ovat peräisin yleisesti hyväksytyistä lähteistä Tarkastuskriteerien sopivuuden varmistamiseen tarvittava työ määrittyy tarkastuskriteerien lähteen mukaisesti seuraavasti: Muun muassa lainsäädäntöön, asetuksiin tai yleisesti tunnustettuihin ammattistandardeihin perustuvista kriteereistä ollaan yleensä yksimielisiä. Yleisesti hyväksyttyjä kriteereitä voidaan saada myös esimerkiksi eri ammattialojen järjestöiltä, yleisesti hyväksytyiltä asiantuntijaelimiltä ja tieteellisistä julkaisuista. Muita tuloksellisuuden tarkastuksen kriteerien keskeisiä lähteitä ovat tarkastuskohteen johdon hyväksymät standardit, mittausmenetelmät ja tulossitoumukset, mukaan lukien komission toimintoperusteisen budjetoinnin tai toimintojohtamisen yhteydessä asettamat erityiset tavoitteet ja vaatimukset. Jos kriteereitä ei saada edellä mainituista lähteistä, tarkastaja voi hyödyntää vastaavanlaisissa organisaatioissa saavutettuja tuloksia, vertailevan arvioinnin tai konsultoinnin avulla määritettyjä parhaita käytäntöjä taikka tarkastajan toimintaanalyysin perusteella kehittämiä standardeja. Luku 3: Tarkastuksen suunnittelu sivu 48

50 Jos organisaatio on määritellyt tarkoituksenmukaisia mittaustapoja tulostensa arvioimista varten, tarkastuksen kannalta hyödylliset mittaustavat on käytävä läpi, jotta varmistetaan niiden sopivuus ja kattavuus. ja niistä on mahdollisuuksien mukaan sovittava tarkastuskohteen kanssa. Jos kriteerit eivät ole ilmeisiä, vaan tarkastuskohteen johto saattaa asettaa ne kyseenalaisiksi, niiden relevanttiudesta ja hyväksyttävyydestä on mahdollisuuksien mukaan sovittava yhdessä. Sopiminen on osoitus siitä, että tarkastuksessa ei ole kyse pelkästään puutteiden esiin tuomisesta. Jos sopivia kriteereitä ei voida määrittää eikä niistä päästä yhteisymmärrykseen, yksityiskohtaista tarkastuskysymystä voi olla tarpeen pohtia uudelleen. Jos asiasta ei tästäkään huolimatta päästä sopuun, kriteerit on selitettävä tarkastuskertomuksessa. Missään tapauksessa tarkastusta ei voida toimittaa käyttäen kriteereitä, jotka voivat johtaa puolueellisiin tai harhaanjohtaviin tarkastustuloksiin. Yksilöidään tarvittava tarkastusevidenssi ja sen lähteet Tarkastuskysymyksiin vastaamiseksi tarvittava tarkastusevidenssi ja sen lähteet on yksilöitävä. Lisäksi on selvitettävä, onko evidenssi sellaisessa muodossa, että se voidaan kerätä ja analysoida helposti. Yksilöidään riittävä, relevantti ja luotettava evidenssi ja muistetaan tietosuoja henkilötietojen keruussa Evidenssin lähteet Evidenssin on oltava: RIITTÄVÄÄ, jotta tarkastuksen pääkysymykseen voidaan vastata kaikilta osin RELEVANTTIA, jotta esitettyyn tarkastuskysymykseen voidaan vastata LUOTETTAVAA, jotta sitä voidaan pitää puolueettomana ja vakuuttavana. Erityistä huomiota on kiinnitettävä tarkastustehtäviin, joissa henkilötietoja käytetään tarkastusevidenssinä. Asetuksen (EY) N:o 45/ artiklan mukaisesti rekisterinpitäjän (eli henkilötietojen käsittelystä vastaavan henkilön) on annettava tietosuojasta vastaavalle henkilölle ilmoitus ennalta. Tarkastuksen suunnittelumuistiossa on viitattava henkilötietojen käsittelyyn 25. Epävarmoissa tapauksissa on pohdittava, miten tarkastukseen mahdollisesti vaikuttaisi se, että evidenssiä ei saataisi kohtuullisin kustannuksin, vaan olisi harkittava vaihtoehtoisia lähteitä. Jos on olemassa huomattava riski, ettei tarvittavaa evidenssiä saada, tarkastuskysymystä on muokattava uudelleen. Määritetään käytettävät tarkastusmenetelmät Tuloksellisuuden tarkastuksissa evidenssiä voidaan kerätä ja analysoida hyvin monenlaisilla, usein yhteiskuntatieteissä käytetyillä menetelmillä: kyselyin, haastatteluin, havainnoimalla ja asiakirjoja tutkimalla. Tarkastajan on valittava menetelmä tarkastuksen tarkoituksen ja tarkastuskysymysten ohjaamana. Riittävän, relevantin ja luotettavan tarkastusevidenssin saamiseksi on yksilöitävä selkeät, kurinalaiset ja käytännölliset menetelmät, jotta voidaan tehdä kohtuullisen varmoja johtopäätöksiä. 25 Esimerkiksi: Täten vahvistetaan, että tarkastuksen aikana ei käsitellä henkilötietoja tai Täten vahvistetaan, että X:ltä saatuja henkilötietoja (esim. EU:n osarahoittamaa tukea saavaa perusjoukkoa koskevat tiedot) käytetään tarkastuksen aikana. Tietosuojavastaavalle on tehty (päiväys) ilmoitus, joka on rekisteröity tietosuojakäsittelynä nro XXX. Tietosuojavastaava hyväksyi ilmoituksen ilman huomautuksia/seuraavin huomautuksin XXX. Luku 3: Tarkastuksen suunnittelu sivu 49

51 Laadulliset ja määrälliset menetelmät Tarkastusmenetelmien yhdistelmä riippuu tarkastuskysymyksistä Tarkastuksen eri vaiheissa voidaan käyttää erilaisia menetelmiä eri tarkoituksiin (ks. eri tarkastusohjeet). Laadulliset menetelmät soveltuvat erityisesti merkittävien osatekijöiden yksilöimiseen, alustavien ideoiden kehittelyyn ja oletusten muodostamiseen tarkastuksen alkuvaiheissa. Lisäksi laadulliset menetelmät ovat omiaan käytettäväksi etenkin monitahoisten ongelmien yhteydessä. Määrällinen analyysi, johon kuuluu numerotietojen tutkiminen, on eräs parhaita tarkastusvälineitä johtopäätösten tekemiseksi evidenssin perusteella. Tällainen analyysi tuottaa tarkastustyöhön huomattavaa lisäarvoa, koska sen avulla kustannukset, hyödyt ja tulokset voidaan mitata tarkasti. Onnistuneessa tuloksellisuuden tarkastuksessa hyödynnetään tavallisesti useita menetelmiä erilaisten tietojen keräämiseksi ja eri lähteisiin perustuvien havaintojen vahvistamiseksi. Siinä myös yhdistetään laadullisia ja määrällisiä tietoja. Eri menetelmien yhdistäminen on välttämätöntä, jotta johtopäätösten ja suositusten pohjaksi saadaan pitävä evidenssi. Määrällisten tietojen ansiosta tilintarkastustuomioistuin voi osoittaa, että sen huomautukset ja suositukset ovat merkityksellisiä. Joitakin menetelmiä voidaan joutua testaamaan, jotta saadaan varmuus siitä, että niiden avulla on mahdollista koota tarkastuskysymyksiin vastaamiseksi tarvittava evidenssi. Pohditaan mahdollisia huomautuksia, suosituksia ja tarkastuksen vaikutusta Ennakoidaan tuloksia. Tarkastajan on pohdittava todennäköisiä huomautuksia ja suosituksia. Tämä auttaa luonnostelemaan tarkastuskertomuksen rakenteen ja määrittämään, johtavatko asetetut tarkastuskysymykset todennäköisesti rakentaviin suosituksiin. Tarkastustiimillä on alusta lähtien oltava selvyys siitä, että kyseisen tarkastuksen avulla voidaan tuottaa käytännönläheisiä suosituksia. Tiimiä rohkaistaan ennakoimaan jatkuvasti tilanteen kehittymistä ja ottamaan huomioon, missä vaiheessa komission ohjelman etenemistä tarkastuskertomus julkaistaan. Tämä auttaa määrittämään lopullisen kertomuksen todennäköiset vaikutukset ja hyödyllisyyden. Määritetään aikataulu, resurssit sekä valvontaa ja tehdyn työn läpikäymistä koskevat järjestelyt Tarkastajien on arvioitava realistisesti tarkastuksen edellyttämät henkilöstö- ja taloudelliset resurssit. Heidän on varmistettava, että tarkastustiimillä on tarvittava osaaminen ja kokemus sekä mahdollisesti ennakoitava ulkoisen asiantuntemuksen tarve. Tarkastuksen suunnittelumuistiossa on suunniteltava tarkastuksen ajaksi vakaa ydintiimi ja nimitettävä pysyvä tiiminvetäjä, apulaistiiminvetäjä ja kertomuksesta vastaava jäsen. On harkittava, voitaisiinko toimintaa tehostaa ja tarkastuksen kestoa lyhentää tiimin kokoa suurentamalla. Luku 3: Tarkastuksen suunnittelu sivu 50

52 Ydintiimi Ja tarvitaan realistinen suunnitelma, jossa julkaisu on ajoitettu siten, että tarkastuksen suunnittelumuistion hyväksymisestä kertomuksen hyväksymiseen kuluu enintään 13 kuukautta. jossa käsitellään tarkastuksen toimittamiseen kohdistuvat riskit Tarkastus on suunniteltava ja hallinnoitava yhtenä hankkeena tarkastuksen suunnittelumuistiosta kertomuksen APC-versioon saakka tilintarkastustuomioistuimessa käytettävien tarkastuksen hallinnointi- ja dokumentointivälineiden avulla (Audit Management System (AMS) ja ASSYST II). On vahvistettava realistinen suunnitelma, mainittava resurssit ja vastuualueet kunkin keskeisen tehtävän kohdalla koko tarkastuksen ajalta. Suunnitelmassa on ilmoitettava tarkasti tarvittavien resurssien määrä, tarkastustiimin pätevyys ja alan asiantuntemus ja mahdollinen tarvittava ulkoinen asiantuntijuus. On myös mainittava tarkastusprosessin kunkin vaiheen yksityiskohtainen aikataulu (mukaan lukien kertomuksen julkaiseminen). Jokaiseen vaiheeseen on sisällytettävä välietappeja raportointia varten ja kohdistettava tarvittaessa huomio ulkoisiin määräaikoihin (esimerkiksi uusien asetusten voimaantulo tarkastettavalla alalla). Paikalla tehtäviä tarkastuksia toimitetaan yleensä tarkastuksen aikana enintään viidessä jäsenvaltiossa (tai edunsaajamaassa). Tarkastettavien jäsenvaltioiden joukkoon on automaattisesti valittava (väestön, maantieteellisen koon tai saadun rahoitustuen puolesta) pienempiä jäsenvaltioita. Jos katsotaan, että näistä yleisistä säännöistä on tarpeen poiketa, syy poikkeamaan on selvitettävä tarkastuksen suunnittelumuistiossa. Tarkastuksen suunnittelumuistiossa on vahvistettava tarkastuksen koko aikataulu, joka alkaa tarvittavasta alustavasta työstä ja jatkuu kertomuksen suunniteltuun julkaisupäivään saakka. Tarkastuksen suunnittelumuistion hyväksymisestä erityiskertomuksen hyväksymiseen (kuulemismenettelyn jälkeen) saa näin ollen kulua enintään 13 kuukautta. Kokemus on osoittanut, että tarkastuksen kuhunkin vaiheeseen tarvittava aika on suunniteltava mahdollisimman realistisesti aiemman toiminnan pohjalta. Enemmän aikaa vaativat poikkeustapaukset on perusteltava tarkastusjaostolle, jolta täytyy saada hyväksyntä. Tarkastuksen onnistumiseen kohdistuvat merkittävät riskit on eriteltävä, samoin kuin paras tapa hallita niitä. Tarkastuksen kriittistä polkua suunniteltaessa saattaa olla hyödyllistä yksilöidä mahdollisesti suuren riskin sisältävät osatekijät, joiden kohdalla viivästyksiä aiheuttavien tai laadun vaarantavien vaikeuksien ilmeneminen on todennäköisempää kuin muilta osin. Lisäksi on aina otettava huomioon tarkastajien käytettävissäoloon liittyvät ennalta arvattavat rajoitteet (heitä voidaan tarvita muissa tarkastustehtävissä) sekä seuraukset, joita voi aiheutua, jos tarkastustulosten tai tarkastuskertomuksen esittäminen viivästyy. Tarkastuksen kenttätyötä kannattaa mahdollisesti jouduttaa osoittamalla iso tiimi keräämään nopeasti tietoja, kun taas kertomuksen luonnosteluun ja asiasisällöstä keskustelemiseen (erityisesti kuulemismenettelyn aikana) voi osallistua huomattavasti pienempi tiimi. Tarkistamalla kullekin tarkastajalle osoitetun viikkomäärän kohtuullisuus voidaan varmistua siitä, että työviikkoja on allokoitu realistisesti suhteessa ehdotettuun aikatauluun. ja johon on otettu mukaan laadunvalvonta, Tarkastustyön johtamiseen, valvontaan ja arviointiin sekä oikea-aikaisen palautteen antamiseen ja säännölliseen seurantaan liittyvien vastuualueiden osoittaminen ja hahmottaminen edellyttää, että laadunvalvontajärjestelyistä (ks. Audit Quality Management Framework VGAP sisäinen asiakirja) on sovittava asianmukaisesti. Luku 3: Tarkastuksen suunnittelu sivu 51

53 tilanneselvitys mukaan lukien. Tilanneselvityksestä on sovittava ennalta: kertomuksesta vastaava jäsen raportoi tarkastusjaostolle suullisesti tai kirjallisesti, jotta tarkastusjaostolla on mahdollisuus pohtia tarkastusta asianmukaisesti ja tuoda lisäarvoa esittämällä omat näkemyksensä. Tilanneselvityksen ajoitus voi vaihdella hieman tarkastuksesta toiseen, mutta mielekkäintä on ajoittaa raportointi keskeisen välietapin saavuttamiseen (esimerkiksi ensimmäisen tarkastuskäyntisarjan päätyttyä). Kyseiseen raporttiin sisällytetään mahdollisuuksien mukaan luonnehdinnat jo muotoutuneista keskeisistä huomautuksista ja johtopäätöksistä sekä lopullisen kertomuksen rakenne pääpiirteittäin. Tarkastuksen suunnittelumuistiossa on viitattava tarkastuksen dokumentointija hallinnointiprosesseihin liittyviin järjestelyihin sekä laadunvalvontamenettelyihin. Pidetään yhteyttä tarkastuskohteeseen Tarkastajien ja tarkastuskohteen henkilöstön välistä jatkuvaa vuorovaikutusta ja keskinäistä ymmärrystä korostetaan tilintarkastustuomioistuimen lähestymistavassa, jonka mukaan tarkastuskertomukseen ei saa sisältyä yllätyksiä. Yhteydenpito on oleellista tarkastuskertomuksessa esitettyjen johtopäätösten ja suositusten myönteisen vastaanoton kannalta. Säännöllinen yhteydenpito tarkastuskohteeseen on olennaisen tärkeää. Yhteydenpito tarkastuskohteen henkilöstön kanssa on suunniteltava jatkuvaksi niin, että tarkastuskohteessa saadaan koko tarkastuksen ajan ajantasaista tietoa tarkastuksen etenemisestä. Tavallisesti yhteydenpito ajoittuu seuraavasti ja kohdistuu seuraaviin seikkoihin: YHTEYDENPIDON AJANKOHTA Tarkastuksen aloittaminen Ennen tarkastuskäyntejä Tarkastuskäynnin aikana Alustavia tarkastushavaintoja koskeva kirje Ennen kuulemismenettelyä ja sen aikana Tarkoitus Tarkastajat selittävät tarkastettavan organisaation johdolle tarkastuksen syyt, ehdotetut tarkastuskysymykset, tarkastuksen laajuuden, kriteerit, menetelmät, aikataulun ja työmenettelyt. Lisäksi saattaa väärinkäsitysten ja virheellisten odotusten vähentämiseksi olla hyödyllistä ilmoittaa yksiselitteisesti, mitä tarkastus ei kata. Tarkastajat kertovat tarkastuskohteen henkilöstölle tarkastuskäynnin tarkoituksesta, mahdollisesti tarvittavista tiedoista, järjestettävistä kokouksista sekä tarkastuskäynnin aikataulusta. Tarkastajat keskustelevat tarkastustoimenpiteistä tarkastuskohteen henkilöstön kanssa, pitävät sen ajan tasalla tarkastuksen etenemisestä sekä pitävät päättökokouksen, jossa käsitellään tarkastuksessa tehtyjä havaintoja. Tarkastuksen aikana tehdyt havainnot dokumentoidaan ja lähetetään tarkastuskohteelle (ks. luku 4). Varmistetaan yhteisymmärrys tarkastushavainnoista (ks. luku 5). Luku 3: Tarkastuksen suunnittelu sivu 52

54 3.3.2 Tarkastuksen suunnittelumuistion laatiminen Kertomuksesta vastaavan jäsenen on varmistuttava riittävän perustan luomisesta, jotta ehdotettava tarkastus olisi realistinen ja toteutettavissa ja tuottaisi lisäarvoa. Tarkastuskysymyksistä ja -kriteereistä on tiedotettava ja mahdollisuuksien mukaan sovittava kertomuksesta vastaavan jäsenen ja komission pääjohtajan kesken ennen kuin tarkastuksen suunnittelumuistio esitetään tarkastusjaostolle. Jaostolle toimitetulle tarkastuksen suunnittelumuistiolle tehdään tilintarkastustuomioistuimen laadunvalvontakehykseen (ks. osa 2.5) kuuluva toimeksiantokohtainen laadunvalvontatarkastus. Yksityiskohtaiset toimeksiantokohtaisen laadunvalvontatarkastuksen menettelyt käyvät ilmi asiakirjasta Vademecum of General Audit Procedures Audit Quality Management Framework EQCR ja jaostojen vahvistamista käytännön järjestelyistä Sisäisiä asiakirjoja. Luku 3: Tarkastuksen suunnittelu sivu 53

55 3.4. NOPEASTI LAADITTAVAT ERITYISKERTOMUKSET Kapea-alaisesti määriteltyjen tarkastusaiheiden käsittely Poikkeukselliset tuotteet eivät edellytä tarkastuksen suunnittelumuistiota tai tarkkaa alustavaa työtä mutta niistä on ilmoitettava tarkastuskohteelle Ei tarkastuskäyntejä Tulosten nopea raportointi Joskus saattaa olla tarpeen toimittaa lyhyellä varoitusajalla ja tavallista nopeammin tarkastuksia, jotka eivät sisälly vuotuiseen työohjelmaan. Syynä välitöntä tutkimista ja raportointia vaativiin tarkastuksiin saattaa olla olosuhteiden muuttuminen (esim. Euroopan parlamentin tai neuvoston pyyntö). Niissä on tarkoitus käsitellä kapea-alaisesti määriteltyjä tarkastusaiheita tiukalla aikataululla ja tiedottaa tuloksista tarkastuskohteille ja sidosryhmille ripeästi. Tarkastustehtävän tavoitteiden ja laajuuden on niin ollen oltava luonteeltaan rajallisia (esim. yksi ainoa ongelma). Nopeasti laadittavia erityiskertomuksia on niiden erityisestä alkuperästään johtuen pidettävä poikkeuksellisina tuotteina tilintarkastustuomioistuimen erityiskertomusten joukossa eikä niiden katsota olevan osa tilintarkastustuomioistuimen tavanomaista tarkastusprosessia. Näiden kertomusten tilannekohtaisesta luonteesta johtuen päätös nopeasti laadittavasta erityiskertomuksesta aiheuttaa mitä suurimmalla todennäköisyydellä muiden tehtävien uudelleenjärjestelyä. Päätös on tehtävä tarkastusjaostossa tai tilintarkastustuomioistuimen jäsenten kollegiossa. Alustavaa työn tuloksia tai tarkastuksen suunnittelumuistiota koskeva esittely tai raportointi ei ole kiireellisyyden vuoksi välttämätöntä. Esittelevän jäsenen on sitä vastoin esitettävä tarkastusjaostolle toimeksiantokirje, jossa selvitetään selkeästi ja ytimekkäästi kiireellisen käsittelyn tarve, tehtävä tarkastustyö, tarvittavat resurssit ja aikataulu sekä tarkastuksen ennakoitu vaikutus. Toimeksiantokirjeessä on myös ilmoitettava, mitkä mahdolliset hallinnolliset järjestelyt ovat tässä tarkastuksessa erilaiset ja onko näistä järjestelyistä keskusteltu etukäteen asianomaisten komission osastojen kanssa. Tarkastuskohteelle on annettava yleiskuva tilintarkastuksen suunnitellusta laajuudesta ja ajoituksesta ja varmistettava tehokas kaksisuuntainen kommunikointi tarkastuksen aikana 27. Nopean tarkastusprosessin yhteydessä tarkastuskäynnit jäsenvaltioihin tai kolmansiin maihin ovat epätodennäköisiä. Tämä riippuu kuitenkin viime kädessä tarkastuksen erityisolosuhteista. Nopeiden tarkastusten toimittaminen edellyttää tiukkaa seurantaa, joten ASSYST- ja AMS-välineiden käyttö on myös näiden tarkastusten yhteydessä pakollista. Samoin toimeksiantokohtaista laadunvalvontatarkastusta sovelletaan kuten muihinkin tarkastuksiin, mutta se voidaan aloittaa tarkastustyön ollessa kesken. Tarkastushavainnoista ei tiedoteta tarkastuskohteelle virallisesti. Ennen tarkastuskertomuksen hyväksymistä tarkastuskohteelle on annettava tilaisuus kommentoida tarkastushavaintoja, johtopäätöksiä ja suosituksia. Havainnot tarkastetaan ja hyväksytään kuulemismenettelyissä tai muilla tavoin, ja tarkastusjaoston (tai tarvittaessa tilintarkastustuomioistuimen kollegion) on hyväksyttävä alustavat huomautukset ja erityiskertomus. 27 ISSAI 100/43 Effective communication throughout the audit process. Luku 3: Tarkastuksen suunnittelu sivu 54

56 Kertomuksen laadinta Hyväksyminen Julkaiseminen Tarpeettomien viipeiden välttämiseksi raportointivaiheen ajoituksesta on sovittava tarkastuksen laatua valvovaa komiteaa avustavan osaston kanssa. Tarkastustiimin, johtajan ja esittelevän jäsenen kabinetin henkilöstön (tai esittelevän jäsenen) on pidettävä kokous johtopäätösten tekoa varten; kokoukseen voi osallistua tarkastuksen laatua valvovaa komiteaa avustava osasto, jonka tehtävänä on määrittää kertomuksessa esiintyvä keskeinen sanoma. Nopeasti laadittavat erityiskertomukset voidaan hyväksyä kirjallisella menettelyllä ilman asianomaisen jaoston virallista kokousta. Ajanjakso ( hätäjarrumenettelyt 28 ), jonka jälkeen jaoston päätöksestä tulee lopullinen, on myös lyhennetty kahteen päivään. Nopeasti laadittavista erityiskertomuksista voidaan myös julkaista internetissä alkuperäinen kieliversio heti sen jälkeen, kun kertomus on hyväksytty ja tarkastuskohteen lopulliset vastaukset on saatu. Niitä ei yleensä julkaista paperiversiona. Nopeasti laadittavan kertomuksen edellyttämä kokonaisaika toimeksiantokirjeen hyväksymisestä kertomuksen julkaisemiseen on arviolta kuudesta kahdeksaan kuukautta. 28 Ilmaisulla hätäjarrumenettely viitataan tilintarkastustuomioistuimen työjärjestyksen 26 artiklan 4 kohtaan. Luku 3: Tarkastuksen suunnittelu sivu 55

57 LIITE I: TARKASTUKSEN SUUNNITTELUMUISTION SISÄLTÖ 29 Yhteenveto Yhteenveto on sivun mittainen, ja siinä päivitetään ja syvennetään vuotuista työohjelmaa varten laadittua tarkastusehdotusta ottaen mukaan tarkastuksen suunnittelumuistion valmisteluvaiheessa kerätyt uudet tiedot ja huomiot. Yhteenvedossa esitetään tarkastuksen toimittamisen perusteet mukaan lukien tarkastuksen tausta, tarkastuskysymys, tarkastustapa ja laajuus, oletettu vaikutus, suunnitellut resurssit sekä raportoinnin aikataulu. Mikä on tarkastettava alue ja miksi haluamme kohdistaa tarkastuksen siihen? Tarkastusalan kuvaus Olennaisuus ja varainhoidon moitteettomuuteen kohdistuvat riskit Merkityksellisyys Oletettu vaikutus Ilmoitetaan yksiselitteisesti, millä perusteella aihe on valittu. Esitetään lyhyesti tarkastusaihetta (esimerkiksi toimintalinja, ohjelma tai pääosasto) koskevat tarpeelliset taustatiedot, joita saattavat olla keskeiset toimet, taloudelliset tiedot, lainsäädäntö ja säännökset, tarkastuskohteen tavoitteet (joita voidaan tarkastella ohjelman loogisen mallin avulla) sekä päätoimijoiden roolit ja vastuualueet. Ilmoitetaan kyseessä olevat rahamäärät ja varainhoidon moitteettomuuteen kohdistuvat pääasialliset riskit, jotka yksilöitiin tarkastuksen suunnitteluvaiheessa. Eritellään parlamentin, neuvoston, komission, suuren yleisön, tiedotusvälineiden tai muiden tahojen ilmaisema kiinnostus aihetta kohtaan, sillä tarkastuksella saadaan todennäköisemmin aikaan myönteisiä muutoksia, jos toimijat ovat sitoutuneita aiheeseen. Esiteltäviä oletettuja vaikutuksia ovat muun muassa merkitys tulevien toimintalinjojen ja ohjelmien kannalta, mahdolliset kustannussäästöt sekä hyvien käytäntöjen esiintuominen. Mitkä ovat tarkastuskysymykset ja mikä on tarkastuksen laajuus? Tarkastuskysymykset Tarkastuksen laajuus Tarkastuskysymykset määritetään mahdollisimman täsmällisesti niin, että tarkastus saadaan kohdennettua, vältetään tarpeetonta ja kallista työtä ja tarkastustiimin on mahdollista tehdä johtopäätöksiä kysymysten perusteella. Tarkastuskysymykset yksilöidään, ja jos kysymyksiä on vain yksi, se jaotellaan osakysymyksiin. Kuvataan lyhyesti, miksi nämä tarkastuskysymykset valittiin ja toisia hylättiin. Tarkastus rajataan ja selitetään, mihin organisaation/ohjelman/toimintalinjan osiin tarkastus kohdistuu, sekä yksilöidään tarkastettava ajanjakso ja maantieteelliset alueet. Mainitaan myös tarkastusalueet, joiden sisällyttämistä tarkastukseen harkittiin ja jotka kuitenkin lopulta rajattiin sen ulkopuolelle (esimerkiksi koska ne olisivat vieneet liian paljon aikaa tai ne eivät olleet riittävän oleellisia). 29 Tarkastuksen laatua valvovaa komiteaa avustavan osaston intranetissä on saatavilla tarkastuksen suunnittelumuistion malli. Luku kolme: Tarkastuksen suunnittelu Liite I sivu 56

58 Miten saadaan vastauksia? Tarkastustapa Tarkastuskriteerit Tarkastusmenetelmät Tarkastuksen todennäköiset seuraukset Ilmoitetaan yksiselitteisesti tarkastustapa eli se, missä määrin painotetaan varsinaista tuloksellisuuden tarkastamista, jolloin lähtökohtana ovat panokset ja tuotokset, suhteessa valvontajärjestelmien tarkastamiseen, jolloin lähtökohtana ovat järjestelmät ja kontrollit. Ilmoitetaan selvästi tarkastuskriteerit, joihin todellista tilannetta on tarkoitus verrata, ja mainitaan asianomainen lainsäädäntö tai kriteerien muut lähteet. Kuvaillaan lyhyessä tekstikohdassa, miten kutakin tietojenkeruu- ja analysointimenetelmää aiotaan käyttää. Tarkemmat tiedot menetelmistä voidaan esittää suunnittelumuistion liitteessä. Todennäköisten seurausten yhteydessä eritellään ne osa-alueet, joilla voidaan tehdä havaintoja ja johtopäätöksiä ja esittää suosituksia. Seuraukset kytkeytyvät tarkastuskysymyksiin, niitä ei pidä käsitellä liian yksityiskohtaisesti eivätkä ne saa luoda katteettomia odotuksia tarkastuksen kauaskantoisen merkityksen osalta. Millaiset resurssit tarkastukseen kohdennetaan ja miten tarkastusta valvotaan ja seurataan? Resurssit, kulut ja aikataulu Tarkastustiimi muodostetaan mainiten kunkin tarkastajan nimi, palkkaluokka ja hänelle osoitettu aikamäärä. Lisäksi ilmoitetaan tarkastukseen varattu budjetti, konsultoinnista 30 ja tarkastusmatkoista aiheutuvat kulut mukaan lukien. Aikatauluun kirjataan tarkastuksen aloitus- ja päätöspäivä sekä tarkastuskäyntien päivämäärät ja kohteet, keskeisten välietappien määräpäivät (vahvistamalla realistiset etappikohtaiset määräajat ja ottaen huomioon lomat, kurssit ynnä muut sellaiset), tilanneselvityksen esittämisajankohta sekä lopullisen kertomuksen julkaisemisen ajankohta. Tilintarkastustuomioistuimen sähköistä tarkastuksen hallinnointijärjestelmää (Audit Management System AMS) on pakko käyttää tehtäväsarjan suunnittelussa ja raportoinnissa tarkastusprosessin kunkin osan kohdalla. Tässä välineessä esitetään graafisesti tehtävien kesto suhteessa ajankulkuun ja prosessin eri vaiheiden väliset suhteet. Sen yhteydessä on myös kriittisen polun analyysi, jonka avulla lasketaan koko tarkastukseen tarvittava vähimmäisaika sekä eritellään toiminnot, jotka on asetettava etusijalle, jotta tarkastus voidaan saada päätökseen ajoissa. Kertomuksen aikatauluun ja budjettiin kohdistuvat riskit Laadunvalvonta Yksilöidään pääasialliset riskit, jotka voivat vaarantaa tarkastuskertomuksen valmistumisen määräaikaan mennessä ja ennakoitujen resurssien ja kulujen rajoissa. Lisäksi eritellään kunkin pääasiallisen riskin toteutumisen todennäköisyys sekä mahdolliset vaikutukset ja hallintatavat. Kertomuksesta vastaava jäsen antaa tarkastuksen suunnittelumuistion mukaisesti tarkastusjaostolle tilanneselvityksen, kun jokin keskeinen välietappi on saavutettu. Lisäksi selvityksessä viitataan tarkastusjaoston raportointijärjestelmän kautta välitettyihin tarkastustehtävän edistymistä koskeviin tietoihin sekä ASSYST II-järjestelmässä dokumentoituihin tarkastushavaintoihin ja työpapereihin. 30 Ulkoisille asiantuntijoille tarkoitettuja talousarviomäärärahoja koskevat pyynnöt on tehtävä tarkastuksen laatua valvovaa komiteaa avustavalle osastolle heti kun asiantuntijoiden käyttö on otettu suunnitelmiin. Luku 3: Tarkastuksen suunnittelu Liite I sivu 57

59 Onko tarkastuskohteelle ilmoitettu? Viittaukset keskusteluihin Tarkastuksen suunnittelumuistiossa mainitaan, onko tarkastuksen tavoitteista, tarkastuskysymyksistä, laajuudesta ja kriteereistä keskusteltu tarkastuskohteen johdon kanssa tarkastuksen suunnittelumuistiota laadittaessa ja onko tarkastuskohteen reaktiot otettu asianmukaisesti huomioon. Tarkastuksen suunnittelumuistioon on lisäksi sisällytettävä tarkastuskohteen ja ulkoisten asiantuntijoiden kanssa suunniteltu yhteydenpito koko tarkastuksen ajalta (sekä ennakoidut kertomusten esittelyt parlamentille, neuvostolle ja tiedotusvälineille) lyhyen tiedotussuunnitelman muodossa; tiedotussuunnitelmassa on mainittava, kuka vastaa mistäkin tiedotustoimesta, millaista tiedotustoimesta on kyse ja milloin tiedotustoimi todennäköisesti toteutetaan. Johtopäätös Ehdotamme, että tarkastus toimitetaan. Täten pyydämme tarkastusjaostolta lupaa toimittaa tarkastus edellä kuvatulla tavalla, mainittujen resurssien ja esitetyn aikataulun rajoissa. Luku 3: Tarkastuksen suunnittelu Liite I sivu 58

60 LIITE II: EVIDENSSIN KERUUSUUNNITELMA Tarkastuskysymykset Tason 2 kysymykset Tason 3 kysymykset Tason 4 kysymykset Kriteerit Evidenssi Evidenssin lähteet Tietojen keruumenetelmät Tietojen analysointimenetelmät MITÄ HALUAMME TIETÄÄ? MIHIN STANDARDEIHIN TILANNETTA VERRATAAN? MILLAISEN EVIDENSSIN AVULLA KYSYMYKSIIN VOIDAAN VASTATA? MISTÄ EVIDENSSI SAADAAN? MITEN EVIDENSSI HANKITAAN? MITÄ EVIDENSSILLÄ TEHDÄÄN, KUN SE ON SAATU? Vastaus voi olla kyllä, ei, kyllä mutta tai ei mutta. Vastattavissa Loogisia Lainsäädäntöön, säännöksiin, ammattistandardeihin Tarkastuskohteen asettamiin standardeihin, merkkipaaluihin tai tulossitoumuksiin Vastaavanlaisten organisaatioiden toiminnan tuloksiin, parhaisiin käytäntöihin tai tarkastajan kehittämiin standardeihin Tosiasiat (numeerinen tai kuvaileva evidenssi taikka laadulliset tiedot) Kokemusten / vaikutelmien / näkemysten avulla Tarkastettavalta organisaatiolta, muilta julkisilta organisaatioilta, tutkimusjulkaisuista, edunsaajilta, tavaran tai palvelun toimittajilta taikka intressiryhmiltä Suoraan (havainnointi, asiakirjoihin perehtyminen, haastattelut, ohjatut teemakohtaiset focus group ryhmäkeskustelut) Postitse, puhelimitse tai sähköpostilla (asiakirjapyynnöt, kyselylomakkeet) Otantatutkimuksin (joko suoraan taikka postitse tai sähköpostilla) Vertaamalla vastaavanlaisiin organisaatioihin (vertaileva arviointi) Määrällinen aineisto (esim. trendit, vertailut ja suhdeluvut) Laadullinen evidenssi (koodaus, matriisit) Järjestelmäanalyysit (esim. vuokaaviot) Tapaustutkimukset Luku 3: Tarkastuksen suunnittelu Liite II sivu 59

61 LIITE III: TARKASTUSASETELMA Tarkastustehtävä: Valmistellut: Tarkistanut: Hyväksynyt: Päiväys: Päiväys: Päiväys: Tarkastuskysymykset Tarkastustoimenpiteet Huomiot Viittaukset työpapereihin Luku 3: Tarkastuksen suunnittelu Liite III sivu 60

62 TULOKSELLISUUDEN TARKASTUKSEN KÄSIKIRJA LUKU 4 TOTEUTUSVAIHE Tuloksellisuuden tarkastuksen käsikirjan luvut SISÄLLYS Johdanto Luku 1: Euroopan tilintarkastustuomioistuime n toimittamien toiminnantarkastusten viitekehys Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus Luku 3: Tarkastuksen suunnittelu Luku 4: Toteutusvaihe Luku 5: Raportointivaihe 4.1. Johdanto 4.2 Riittävän, relevantin ja luotettavan evidenssin hankkiminen Toteutusvaiheen tarkoitus ja lähestymistapa Tuloksellisuuden tarkastuksissa tarvittavan evidenssin luonne Evidenssin riittävyys, relevanttius ja luotettavuus Evidenssin lähteet Evidenssin tyypit 4.3 Tietojen kerääminen ja analysointi Tietojen keräämisen ja analysoinnin tarkoitus sekä siihen sovellettava lähestymistapa Tiedonkeruuprosessi Muiden työn hyödyntäminen Tiedonkeruu ja etiikka Tietojen analysointi 4.4 Pitävien tarkastushavaintojen tekeminen Tarvitaan vakaa perusta Tarkastushavaintojen laatiminen 4.5 Tarkastushavainnoista tiedottaminen 4.6 Tarkastuksen dokumentointi Tarkoitus ja lähestymistapa Tarkastuksen dokumentointiin liittyvät viitemerkinnät 4.7 Tarkastuksen hallinnointi ja laadunvalvonta Tarkastuksen hallinnointi, mukaan lukien valvonta ja tehdyn työn läpikäynti Liite I: Tietojen keruu- ja analysointimenetelmät Yhteystiedot Lisätietoja saa osoitteesta: Euroopan tilintarkastustuomioistuin Tarkastuksen laatua valvovaa komiteaa avustava osasto Sähköposti: ECA-DQC- CONTACT tai eca-dqc-contact@eca.europa.eu Luku 4: Toteutusvaihe sivu 61

63 4.1. JOHDANTO Tarkastuksen suunnittelumuistion hyväksymisestä alustavien havaintojen tarkastamiseen ja hyväksymiseen Tarkastuksen toteutusvaihe alkaa, kun tarkastustyö käynnistetään suunnittelumuistion hyväksymisen jälkeen, ja se päättyy loppukertomuksen laatimisen alkaessa. Siihen siis sisältyvät tarkastustoimenpiteiden toteuttaminen tietojen keräämistä ja analysoimista varten, todellisen tilanteen vertaaminen ennalta asetettuihin kriteereihin sekä tarkastushavaintojen laatiminen ja selvittäminen. Prosessi on kuvattu kaaviossa jäljempänä. Tarkastus toteutetaan suunnittelun yhteydessä laadittujen asiakirjojen pohjalta (tarkastuksen suunnittelumuistio, evidenssin keruusuunnitelma ja tarkastusasetelma). Suunnitelmaa on noudatettava mahdollisimman tarkasti tarkastustyön, resurssien, aikataulujen ja laadun osalta. Joitakin tarkastuksen osia saatetaan kuitenkin joutua pohtimaan uudelleen toteutusvaiheessa, jos tarkastaja havaitsee evidenssin keräämisen vaikeaksi. Yleisesti ottaen tarkastuksen organisoinnin on myös täytettävä hyvän hankehallinnoinnin vaatimukset 31. objektiivisuutta ja harkintaa painottaen. On hyvin tärkeää, että tarkastaja pohtii tarkastettavaa toimintaa useista näkökulmista ja suhtautuu saamiinsa tietoihin puolueettomasti tarkastellen samalla avoimin mielin eri näkemyksiä ja perusteluja. Ammattitaitoon kuuluvaa tervettä harkintaa tarvitaan erityisesti arvioitaessa, onko evidenssi määrältään ja laadultaan sellaista, että sen perusteella voidaan vastata tarkastuskysymyksiin pitävästi, sekä määritettäessä tarkastushavaintojen merkittävyyttä. 31 Tarkastusstandardi ISSAI 300, kohta 37; ISSAI 3000, kohdat 96 ja 97, ja ISSAI 3200 good project management and submitting the plan to supervisors and SAI management, kohdat Luku 4: Toteutusvaihe sivu 62

64 Luku 4: Toteutusvaihe sivu 63

65 4.2 RIITTÄVÄN, RELEVANTIN JA LUOTETTAVAN EVIDENSSIN HANKKIMINEN Toteutusvaiheen tarkoitus ja lähestymistapa Hankitaan evidenssiä tarkastushavaintojen perustaksi Toteutusvaiheen tarkoitus on kerätä riittävä, relevantti ja luotettava evidenssi, jonka perusteella tarkastaja voi tehdä johtopäätöksiä tarkastuskysymyksiin vastaamiseksi ja joka tarjoaa perusteet kaikille tarkastuskertomuksessa esitetyille huomautuksille. Toteutusvaiheessa kerätään ja analysoidaan tietoja tarkastustoimenpiteiden avulla, ja näin saatua evidenssiä tai faktoja (miten asiat ovat) verrataan ennalta asetettuihin tarkastuskriteereihin (miten asioiden pitäisi olla) tarkastushavaintojen tekemiseksi. Lisäksi määritetään havaintojen syyt ja vaikutukset. Tarkastushavainnoissa on niin ollen kyse (tarkastuskysymyksen tai kriteerin muodossa ilmaistuihin) standardeihin verratusta evidenssistä ja sen analysoinnista. Havainnoista tiedotetaan tarkastuskohteelle, jota pyydetään ilmoittamaan kirjallisesti, pitääkö se havaintoja aiheellisina tai millä perusteella se kiistää ne. Tarkastustyössä on sekä analyyttinen että viestinnällinen näkökulma. Analyyttinen prosessi koskee tietojen keräämistä, analysointia ja arviointia. Viestinnällinen prosessi puolestaan alkaa, kun tarkastuksesta ensimmäisen kerran ilmoitetaan tarkastuskohteelle, ja jatkuu sitä mukaa, kun tarkastuksen mittaan esiin tulevia havaintoja, väitteitä ja näkökulmia arvioidaan Tuloksellisuuden tarkastuksissa tarvittavan evidenssin luonne Raakatiedot, tiedot ja evidenssi kytkeytyvät toisiinsa seuraavasti: KAAVIO: Raakatiedoista evidenssiksi jos evidenssi ei riitä, kerätään lisää raakatietoa RAAKA- TIEDOT kootaan ja analysoidaan TARKASTUS- EVIDENSSI käytetään perustana TIEDOT Evidenssin luonne vaihtelee, mutta yleensä se on vakuuttavaa Vaaditun evidenssin luonne riippuu yksinomaan aihealueesta ja tarkastuskysymyksistä, jotka yleensä vaihtelevat huomattavasti tuloksellisuuden tarkastuksesta toiseen. Lisäksi tuloksellisuuden tarkastukset perustuvat suurelta osin harkintaan, joten evidenssi on tavallisemmin luonteeltaan vakuuttavaa ( johtaa johtopäätökseen, jonka mukaan ) kuin ehdotonta ( oikein/väärin ). Näiden eri osatekijöiden yhteisvaikutuksen vuoksi tarkastajan on oltava luova ja joustava pohtiessaan, minkä tyyppistä evidenssin on oltava. Luku 4: Toteutusvaihe sivu 64

66 Tiedontarve on analysoitava yksityiskohtaisesti sekä tarkastuksen suunnittelu- että toteutusvaiheessa, jotta tarkastajat eivät kuormitu liiallisesta tietomäärästä. Näin helpotetaan sivuseikkojen ja epätarkoituksenmukaisten tarkastustapojen eliminoimista sekä edistetään kerättyjen tietojen luokittelua ja järjestelyä. Saattaa olla hyödyllistä keskustella ennalta asiantuntijoiden kanssa siitä, minkä luonteisia tietoja kannattaa kerätä ja miten tarkastaja analysoi ja tulkitsee tiedot. Tällä tavoin vähennetään väärinkäsitysten riskiä ja kenties nopeutetaan prosessia Evidenssin riittävyys, relevanttius ja luotettavuus Evidenssin on tuettava tarkastuskertomuksen sisältöä ja oltava määrältään ja laadultaan vaaditun mukaista. Evidenssiä koskevat käytännön rajoitteet On hankittava riittävä, relevantti ja luotettava evidenssi, jonka pohjalta voidaan vastata tarkastuskysymyksiin ja jota voidaan hyödyntää tarkastushavaintojen ja johtopäätösten perustana. Tällä tavoin varmistetaan, että tarkastuskertomuksen sisältö kestää kriittisen tarkastelun. Puhuttaessa evidenssistä määrällisiä (riittävyys) ja laadullisia (relevanttius ja luotettavuus) näkökohtia on tarkasteltava samanaikaisesti, sillä niiden välillä vallitsee käänteinen yhteys. Jos evidenssi on laadukasta, sitä ei kenties tarvita suuria määriä. Suuri evidenssimäärä voi puolestaan joskus ei kuitenkaan aina olla vakuuttava, vaikka yksittäiset osatekijät eivät ole laadukkaita. Tällaisissa tapauksissa tarvitaan välttämättä ammattitaitoon kuuluvaa harkintaa, sillä tarkkoja ohjeita vaadittavan näytön mittaamisesta ei ole. Evidenssi on riittävää, jos sen määrä vakuuttaa järkevän henkilön tarkastushavaintojen ja johtopäätösten oikeellisuudesta sekä suositusten asianmukaisuudesta. Evidenssi on relevanttia, jos se selvästi ja loogisesti liittyy tarkastuskysymyksiin, -kriteereihin ja -havaintoihin. Evidenssi on luotettavaa, mikäli useiden testien yhteydessä tehdään samat havainnot tai tieto saadaan useista lähteistä. Seuraavat periaatteet ovat usein käyttökelpoisia evidenssin laatua arvioitaessa, mutta tietyt seikat saattavat rajoittaa periaatteiden soveltamista käytännössä: Alkuperäinen evidenssi on todistusvoimaisempi kuin valokopiot, faksit tai muut vastaavat. Kirjallinen evidenssi on todistusvoimaisempaa kuin suullinen. Kirjeenvaihto, muistiot ja kertomukset saattavat kuitenkin olla epätäydellisiä, monitulkintaisia tai jopa virheellisiä, kun taas haastattelujen avulla voidaan saada perusteellista faktatietoa sekä tietoa ongelmatekijöistä ja toimintaympäristöstä. Haastatteluin kootulle evidenssille on joka tapauksessa saatava vahvistus muista lähteistä. Kolmannen tahon tuottama evidenssi on todistusvoimaisempaa kuin tarkastettavalta organisaatiolta hankittu. Tuloksellisuuden tarkastuksissa kolmannen tahon vahvistuksia voidaan kuitenkin hyödyntää rajoitetusti, sillä tarvittava tieto on kenties saatavissa vain tarkastettavalta organisaatiolta. Lisäksi tehokkaat sisäiset kontrollit tarkastettavassa organisaatiossa voivat parantaa siltä saatavien tietojen laatua. Tarkastajan suoriin havaintoihin, yksityiskohtaisiin tarkastuksiin ja laskelmiin perustuva evidenssi on todistusvoimaisempaa kuin epäsuorasti saatu evidenssi. Luku 4: Toteutusvaihe sivu 65

67 Evidenssin määrää ja laatua arvioidessaan tarkastajan on otettava huomioon seuraavat kriteerit: Kriteerit evidenssin riittävyyden, relevanttiuden ja luotettavuuden arvioimiseksi Evidenssin käyttötarkoitus Tarkastushavainnon rahamääräinen olennaisuuden taso tai havainnon merkittävyys Evidenssin lähteen riippumattomuuden taso Lisäevidenssin hankkimisesta aiheutuvat kustannukset suhteessa todennäköiseen hyötyyn, joka evidenssistä saadaan havaintojen ja johtopäätösten perustana Virheellisten havaintojen ja johtopäätösten riski Huolellisuus tietojen keräämisessä ja analysoinnissa Tarkastushavaintojen perusteena käytettävälle evidenssille asetetaan tiukemmat vaatimukset kuin tarkastuskertomuksessa esitettävälle taustatiedolle. Mitä olennaisempi tai merkittävämpi havainto on, sitä suuremmat vaatimukset evidenssiin yleensä kohdistetaan. Riippumattomasta lähteestä saatu evidenssi on luotettavampaa kuin muunlaisista lähteistä peräisin oleva. Tietyssä vaiheessa lisäevidenssin hankintakustannukset ylittävät koko evidenssiaineiston vakuuttavuuden parantamisesta saatavan hyödyn. Mitä suurempi on tarkastushavainnon raportointiin liittyvä oikeustoimien, erimielisyyden tai yllätyksellisyyden riski, sitä laadukkaampaa evidenssiä tarvitaan. Huomioon on otettava myös tarkastajan keruu- ja analysointitaidot. Tuloksellisuuden tarkastuksissa tärkeät tiedot eivät useinkaan ole yksittäisiä, vaan koostuvat ennemminkin monista toisiinsa kytkeytyvistä seikoista. Kun tarkastaja arvioi evidenssin määrää ja laatua, hänen täytyy muistaa, että usean seikan yhteismerkitys saattaa olla yhtä suuri ellei suurempi kuin yksittäisten tosiseikkojen painoarvo. Lisäksi tarkastajan täytyy varmistua siitä, että evidenssin määrä ja laatu minimoivat virheellisten tai epäoleellisten havaintojen, johtopäätösten tai suositusten esittämisen riskin. Jos keruuprosessi ei tuota riittävää, relevanttia ja luotettavaa evidenssiä, tarkastushavaintoja ja johtopäätöksiä ei pidä tehdä. Luku 4: Toteutusvaihe sivu 66

68 4.2.4 Evidenssin lähteet Todistusvoimaisempi evidenssi useita lähteitä käyttämällä Evidenssiä kerättäessä on hyödynnettävä useita eri lähteitä evidenssin vahvistamiseksi ja siihen perustuvien tarkastushavaintojen luotettavuuden parantamiseksi. Siten myös varmistetaan, että eri näkökulmat otetaan huomioon. Tuloksellisuuden tarkastuksissa on kolme pääasiallista evidenssin lähdettä: Lähde Tarkastaja tuottaa evidenssin Evidenssi on peräisin tarkastuskohteelta Evidenssi on peräisin kolmannelta taholta Haastattelut, kyselytutkimukset, focus group -ryhmäkeskustelut, suora yksityiskohtainen tarkastus sekä havainnointi. Tarkastaja määrittää, millä menetelmillä saadaan laadukkain evidenssi kussakin tarkastuksessa. Evidenssin laatu riippuu kuitenkin siitä, kuinka tarkastaja osaa suunnitella ja soveltaa menetelmiä. Esimerkiksi tietokannoista, asiakirjoista, toimintoselvityksistä ja tiedostoista peräisin olevat tiedot (kuten sisäisen tarkastuksen yksikön kertomukset, vaikutusarvioinnit ja jälkiarvioinnit). Tarkastajan täytyy määrittää tarkastuskysymysten kannalta merkittävien tietojen luotettavuus arvioimalla ne ja saamalla niille vahvistus sekä testaamalla tietoihin liittyvät tarkastuskohteen sisäiset kontrollit, mukaan lukien tietokoneella käsiteltyjä tietoja koskevat yleiset ja sovelluskohtaiset kontrollit. Muu taho on saattanut tarkistaa evidenssin tai evidenssin laatu on yleisesti tunnettu (esimerkiksi jäsenvaltioiden tilastot). Tietojen hyödyntäminen evidenssinä riippuu siitä, miltä osin niiden laadusta voidaan varmistua ja mikä on niiden merkitys tarkastushavaintojen kannalta Evidenssin tyypit Edellä kuvatuista lähteistä voidaan saada neljänlaista evidenssiä: fyysistä, asiakirjoihin perustuvaa, suullista tai analyyttistä. Evidenssiä voidaan hankkia ja dokumentoida seuraavasti: Luku 4: Toteutusvaihe sivu 67

69 HUOMIOON OTETTAVIA NÄKÖKOHTIA TARKASTUS- TOIMENPITEET EVIDENSSIN SAAMISEKSI DOKUMENTOINTI FYYSINEN Fyysinen evidenssi on tavallisesti kaikista vakuuttavinta, mutta tarkastajan on oltava tietoinen siitä, että hänen läsnäolonsa saattaa vääristää tilannetta tavanomaisesta, mikä huonontaa evidenssin laatua. Asiakirjoihin perustuvaa evidenssiä voidaan saada sähköisessä tai paperitulosteen muodossa. Kaikkea hyödyllistä tietoa ei kuitenkaan aina dokumentoida, joten muitakin lähestymistapoja on syytä hyödyntää. Suullinen evidenssi on yleensä tuloksellisuuden tarkastuksissa tärkeää, koska suullinen tieto on ajantasaista eikä kyseisiä tietoja välttämättä saa muista lähteistä. Tiedoille sekä evidenssinä käytettäville lausunnoille on kuitenkin saatava vahvistus. Analyyttinen evidenssi saadaan arvioimalla fyysistä, asiakirjoihin perustuvaa tai suullista evidenssiä ammattitaitoon kuuluvaa harkintaa käyttäen. Henkilöihin, omaisuuseriin tai tilanteisiin kohdistuva suora yksityiskohtainen tarkastus tai havainnointi paikalla. Muistiinpanot, valokuvat, kaaviot, kartat, piirustukset, otannat tai audiovisuaalinen aineisto. ASIAKIRJOIHIN PERUSTUVA Asiakirjojen, kertomusten, käsikirjojen, kirjallisuuden, Internet-lähteiden tutkiminen taikka postitse tai sähköisesti tehdyt kyselyt. Toiminnanohjausta koskevat kertomukset, toimintalinjat ja menettelyt, järjestelmäkuvaukset, kirjeet, sopimukset, kyselyiden tulokset. SUULLINEN Kyselyt tarkastuskohteen henkilöstöltä tai kolmansilta tahoilta taikka näiden haastatteleminen, focus group -ryhmäkeskustelut, asiantuntijapaneel it. Yhteenveto näillä keinoilla saaduista tiedoista. ANALYYTTINEN Päättelyn, uudelleen luokittelun, laskelmien ja vertailun avulla tapahtuva analysointi. Yhteenveto analyyttisistä tiedoista, mukaan lukien suhdeluku- ja regressioanalyysi, vertaileva arviointi sekä koodaus. Vakuuttavuus lisääntyy, kun yhdistetään eri tyyppisiä evidenssejä Evidenssin laatu paranee huomattavasti, kun sen keräämiseen käytetään useita menetelmiä. Laajaa menetelmävalikoimaa on hyödynnettävä, kunhan otetaan lukuun tarkastuskysymykset ja aihealue sekä toisaalta pidetään mielessä kustannus- ja aikarajoitteet. Luku 4: Toteutusvaihe sivu 68

70 4.3 TIETOJEN KERÄÄMINEN JA ANALYSOINTI Tietojen keräämisen ja analysoinnin tarkoitus sekä siihen sovellettava lähestymistapa 32 Vaikka tiedot analysoidaan vasta keräämisen jälkeen, tarkastajan on ennen keruustrategian kehittämistä tiedettävä, mitä analyysimenetelmiä aiotaan käyttää (käytetäänkö esimerkiksi kyselyitä). Muutoin saattaa käydä niin, että kerättyjä tietoja ei voidakaan analysoida. Käytettävät analyysimenetelmät voivat olla määrällisiä (kuten trendi- tai regressioanalyysi) tai laadullisia (esimerkiksi haastattelujen tai asiakirjojen analysointi ja tulkinta). Ymmärrä, arvioi, dokumentoi. Määrällisiä ja laadullisia tietoja voidaan kerätä eri tarkoituksiin, muun muassa osana tarkastusaiheeseen perehtymistä, toiminnan tulosten arvioimista ja mittaamista tai jo tiedossa olevien (esimerkiksi suunnitteluvaiheessa havaittujen) virheiden tai ongelmien dokumentointia. Tietojen keräämisen luonne tavallisesti muuttuu tarkastuksen edetessä. Aluksi, esimerkiksi suunnitteluvaiheessa, tarkastaja on kiinnostunut yleisluonteisista tiedoista, kun taas tarkastuksen edetessä tarvitaan täsmällisempää tietoa. Arvioi sisäisen valvonnan järjestelmä. Ennen tietojen keräämistä on suoritettava sisäisen valvonnan järjestelmän ja it-järjestelmän yleinen arviointi, jotta tietojen eheyden vaarantavat riskit voidaan yksilöidä Tiedonkeruuprosessi Prosessi on iteratiivinen, menetelmät valitaan tarkastusaiheen ja -kysymysten perusteella ja jos mahdollista, käytetään CAATmenetelmiä. Evidenssin kerääminen on iteratiivinen päätöksentekoprosessi, jossa tarkastaja hankkii tietoja, tutkii niiden kattavuuden ja tarkoituksenmukaisuuden, analysoi tiedot ja päättää, tarvitaanko vielä lisätietoja. Tietojen keruumenetelmät (ks. liite I) voidaan asettaa jatkumolle, jonka toisessa päässä ovat tilanteesta tai perusjoukosta yleiskuvan antavat menetelmät (esimerkiksi kyselyt) ja toisessa päässä pienestä tapahtumajoukosta syvällisiä tietoja antavat menetelmät (esimerkiksi tapaustutkimukset). Näiden ääripäiden väliin jää muita menetelmiä, kuten haastatteleminen, asiakirjojen läpikäynti ja focus group -ryhmäkeskustelut. Kussakin tuloksellisuuden tarkastuksessa hyödynnettävät menetelmät riippuvat tarkastusaiheesta ja -kysymyksistä sekä käytettävissä olevista resursseista ja ajasta. Tarkastajia kannustetaan keräämään ja analysoimaan evidenssiä tietokoneavusteisilla tarkastusmenetelmillä (CAAT) aina, kun niiden käyttö lisää tarkastuksen tehokkuutta. 32 Ks. Tarkastuksen laatua valvovaa komiteaa avustavan osaston intranet, ohjeet yksittäisistä tietojen keruu- ja analysointimenetelmistä. Luku 4: Toteutusvaihe sivu 69

71 4.3.3 Muiden työn hyödyntäminen Muiden tekemään työtä hyödynnetään vain, kun se on relevanttia, arvioitua ja vahvistettua. Tuloksellisuuden tarkastuksia tekevät tarkastajat voivat mahdollisuuksien mukaan hyödyntää muiden tekemää työtä, kun se liittyy tarkastuskysymyksiin. Tilintarkastustuomioistuimen tarkastajat saattavat käyttää komission sisäisen tarkastuksen osaston tuottamia tietoja ja havaintoja sekä komission arviointikertomuksia. Kun tilintarkastustuomioistuin teettää työn muilla osapuolilla (joko tarkastajilla tai asiantuntijoilla), sen on tiedotettava kyseisille osapuolille eettisistä periaatteistaan ja laadunvalvontamenettelyistään ja saatava vahvistus siitä, että niillä on tehokas laadunvalvontajärjestelmä. Sen on myös tarkistettava, että niillä on työn suorittamiseen tarvittava pätevyys ja että niitä sitovat asianmukaiset luottamuksellisuusjärjestelyt. Jos tarkastaja aikoo käyttää sisäisten tarkastajien tai arvioijien työtä tiettyjen tarkastushavaintojen tukena, työ on arvioitava ja sille on saatava vahvistus, jotta tiedetään, täyttääkö se evidenssiin sovellettavat riittävyyttä, relevanssia ja luotettavuutta koskevat standardit. Tämä voidaan tehdä arvioimalla työn tehneiden maine, pätevyys ja riippumattomuus sekä käymällä läpi heidän laatimansa kertomukset ja työpaperit. Läpikäynnin luonne ja laajuus riippuu muiden tekemän työn merkityksestä tarkastuskysymysten kannalta sekä siitä, missä määrin tarkastaja aikoo tukeutua kyseiseen työhön 33. Kun tarkastaja sisällyttää tällaisia osatekijöitä tarkastuskertomukseensa, havaintojen lähde on mainittava. Lisäksi voidaan palkata ulkoisia asiantuntijoita huolehtimaan niistä teknisistä tehtävistä, joita tarkastajan asiantuntemus ei kata tai jotka ulkoinen asiantuntija voi suorittaa taloudellisemmin. Asiantuntijoita palkattaessa on noudatettava asianmukaisia menettelyjä: Ennen palkkausta on arvioitava asiantuntijan riippumattomuus, puolueettomuus ja ammatillinen pätevyys; lisäksi on varmistettava sopimusehtojen ja työn sisällön tarkoituksenmukaisuus sekä arvioitava nimenomaan se työ, jota tarkastaja aikoo hyödyntää evidenssinä, ja saatava vahvistus sille. Jatkuvan vuoropuhelun käyminen asiantuntijan kanssa työn kuluessa auttaa tarkastajaa pysymään jatkuvasti ajan tasalla siitä, millaisia kysymyksiä tulee esiin. 33 Lisätietoja ks. arviointiohjeet (tarkastuksen laatua valvovaa komiteaa avustavan osaston intranet). Luku 4: Toteutusvaihe sivu 70

72 4.3.4 Tiedonkeruu ja etiikka Tarkastuksen kuluessa tarkastaja saattaa saada työhönsä liittyen tai sattumalta tietoonsa arkaluonteisia tietoja. Niitä on käsiteltävä luottamuksellisina ja tietosuojasäännöksiä on noudatettava. Tarkastajien on keskusteltava asioista ainoastaan keskenään ja oltava valppaana sellaisten tilanteiden, valvontapuutteiden, virheiden ja epätavallisten toimien tai tulosten varalta, jotka saattavat viitata laittomuuksiin tai väärinkäytöksiin, kuten petoksiin, epäasianmukaisuuksiin, lahjontaan tai sääntöjenvastaisuuksiin. Kun toteutetaan riskienarviointimenettelyjä tai niihin liittyviä toimintoja, tarkastajien on määritettävä, miten ja missä petos saattaa tapahtua ja missä määrin kyseiset toimet vaikuttavat tarkastuksen tulokseen 34. Tällaisissa tapauksissa on noudatettava sääntöjenvastaisuuksia ja petoksia koskevia tilintarkastustuomioistuimen vakiomenettelyjä. Tarkastajalla on oltava kyseenalaistava asenne, ja hänen on pysyttävä ammatillisesti skeptisenä. Vaikka tarkastajalla on aiempaa kokemusta organisaation johdon rehellisyydestä ja vilpittömyydestä, hänen on otettava huomioon, että sääntöjenvastaisuuksia ja petoksia voi esiintyä. Tarkastuksen suunnittelussa on oltava jonkin verran aikaa ja resursseja odottamattomien tapahtumien varalle Tietojen analysointi Analyysiin on varattava riittävästi aikaa ja siinä on hyödynnettävä useita käytettävissä olevia menetelmiä. Tiedot on analysoitava, jotta tiedetään, mitä on havaittu, ja voidaan selvittää syy-seuraussuhteet. Tarkastajan on pidettävä mielessä, että tiedonkeruusta ei ole hyötyä, jos tietoja ei voida analysoida tarkoituksenmukaisesti. Siksi analyysiä ja sen tulosten arviointia varten on syytä varata riittävästi aikaa ja resursseja. Tietokoneavusteiset tarkastusmenetelmät (CAAT) ovat usein olennainen osa analyysin tekoa. Tietojen analysoinnilla tarkoitetaan yleensä sekä tietojen koontia (koodausta ja esittämistä taulukkomuodossa) että varsinaista analysoimista. Tietojen määrälliseen tai laadulliseen analysointiin kuuluu tulosten tarkasteleminen eri näkökulmista tai muiden tietojen yhteydessä. Määrällisen analyysin tekemiseksi voidaan käyttää yksinkertaisia menetelmiä (esimerkiksi frekvenssilaskelmia) tai kehittyneempiä menetelmiä (kuten trendi-, regressiotai varianssianalyysiä) ks. liite II. Laadullinen analyysi voidaan tehdä haastattelujen tai asiakirjojen analysoimiseksi tai tulkitsemiseksi taikka tarkastuskertomuksessa mahdollisesti käytettävän kuvailevan aineiston yksilöimiseksi. Tietojen analysoinnin viimeiseen vaiheeseen sisältyy eri tyyppisistä lähteistä peräisin olevien tulosten yhdistäminen, kuten kyselytulosten liittäminen tapaustutkimusten tuloksiin. Tähän ei ole olemassa yleispätevää menetelmää, mutta tavallisesti asiaan kuuluu perusteiden punnitseminen ja tarvittaessa asiantuntijoiden konsultoiminen. 34 Tarkastusstandardi ISSAI 1240 (ISA 240, kohdat 15 24). Luku 4: Toteutusvaihe sivu 71

73 4.4 PITÄVIEN TARKASTUSHAVAINTOJEN TEKEMINEN Tarvitaan vakaa perusta Evidenssi arvioidaan suhteessa kriteereihin ja puutteet eritellään. Tarkastaja käyttää kerättyjä tietoja todellisen tuloksellisuuden ja tarkastuskriteerien objektiiviseen vertailuun. Jos tuloksellisuus ei täytä kriteereitä, tarvitaan lisätutkimuksia varmuuden saamiseksi siitä, että tarkastushavainnot ja johtopäätökset ovat merkittäviä, oikeudenmukaisia ja hyvin perusteltuja. Lisäevidenssin kerääminen tai asian käsitteleminen tarkastuskohteen johdon kanssa saattaa olla tarpeen, jotta voidaan selvittää, onko puute yksittäinen vai osoitus systemaattisesta ongelmasta. Samalla voidaan yksilöidä puutteen syy. Lisäksi voidaan määrittää, voiko tarkastuskohde ratkaista ongelman vai onko ongelma sen hallinnan ulkopuolella, sekä arvioida ongelman mahdollinen vaikutus. Monissa tapauksissa havainnon vaikutukset voidaan esittää määrällisesti: panokset tai menettelyt ovat kalliita, tilat ja laitteet tuottamattomia, on aiheutunut viivästyksiä ja niin edelleen. Silti myös laadulliset vaikutukset, kuten valvonnan puute, virheelliset päätökset ja välinpitämättömyys, ovat merkityksellisiä ja ne on otettava huomioon. Tarkastuskohteen kanssa on käytävä aktiivista vuoropuhelua ja mahdollisista tarkastushavainnoista on keskusteltava sitä mukaa, kun niitä ilmenee. Rakentava keskustelu alustavista tarkastushavainnoista tarkastuskohteen kanssa auttaa määrittämään, ovatko evidenssin määrä ja laatu riittävät Tarkastushavaintojen laatiminen Selkeä looginen kokonaisuus, Tarkastushavainnot on esitettävä osana selkeää ja loogista kokonaisuutta niin, että on helpompi ymmärtää tarkastuskriteerit, evidenssiin pohjautuvat tosiasiat sekä tarkastajan analyysi ongelman luonteesta, merkityksestä ja syistä tai odotettua paremmista tuloksellisuudesta. Vaikutuksia taloudellisuuteen, tehokkuuteen ja/tai vaikuttavuuteen täytyy myös käsitellä, koska siten voidaan osoittaa korjaavien toimien tarve. Muodostaessaan tarkastushavaintoja tarkastajan täytyy arvioida, missä määrin havaintoon voi luottaa, kun otetaan huomioon evidenssin pitävyys. Arviointituloksen on käytävä yksiselitteisesti ilmi havainnon sanamuodosta, johon sisällytetään kuvailevia ilmauksia (esimerkiksi yleensä tai usein ). Tuloksellisuuden tarkastuksessa on keskityttävä antamaan tasapuolinen kuva aiheesta ja tuotava puutteiden lisäksi tarvittaessa esiin myönteisiä havaintoja sekä hyviä käytäntöjä. Yleisesti ottaen tarkastushavainnot on muotoiltava rakentaviksi ja tasapuolisiksi. johon sisältyy rakentavia ja tasapuolisia havaintoja. Lisäksi tarkastajan täytyy määrittää, missä määrin tarkastuskohteen johto on tietoinen käsiteltävistä seikoista. Jos johto on selvillä ongelmasta ja on jo käynnistänyt korjaavat toimet, tämä on aiheellista kirjata ylös ja ottaa huomioon kertomusta laadittaessa. Luku 4: Toteutusvaihe sivu 72

74 4.5 TARKASTUSHAVAINNOISTA TIEDOTTAMINEN Kuten osassa mainittiin, tarkastajan ja tarkastuskohteen välinen viestintäprosessi alkaa tarkastuksen suunnitteluvaiheessa ja jatkuu rakentavana vuorovaikutuksena arvioitaessa tarkastuksen mittaan esiin tulevia havaintoja, väitteitä ja näkökulmia. Lisäksi, kuten edellisessä osassa todettiin, tarkastajan on tehtävä tarkastuskohde tietoiseksi alustavista tarkastushavainnoista, jotta voitaisiin määrittää ja tarkistaa, onko jo toteutettu korjaavia toimia ja ottaa mahdolliset toteutetut korjaavat toimet huomioon raportoinnissa. Alustavia tarkastushavaintoja koskeva kirje (standardit, tosiseikat ja analyysi) lähetetään tarkastuskohteelle myös siksi, että tältä saataisiin vahvistus esitettyjen tosiasioiden ja havaintojen oikeellisuudesta. Vahvistus voidaan saada esimerkiksi jäsenvaltion viranomaisilta ja sen yhteydessä on mahdollista saada lisää evidenssiä tai tietoja, jotka eivät olleet käytettävissä tai joita ei täysin ymmärretty tarkastuskäynnin aikana. Alustavat tarkastushavainnot on arvioitava ottaen huomioon tarkastuskohteen vastaukset. Tiedotuksen ja vahvistuksen saamisen tulokset on dokumentoitava osana tarkastusprosessia. Tämän prosessin jälkeen havaintojen asiasisällöstä ei periaatteessa enää pidä olla erimielisyyttä. Lisäksi ne seikat, jotka saattavat jatkossa komission kanssa käytävän kuulemismenettelyn aikana johtaa erimielisyyksiin, on yksilöitävä ja analysoitava huolellisesti. Tarkastuskriteerien tai analyysin osalta ilmaistuja eriäviä käsityksiä on pohdittava tarkasti ja lopullisissa tarkastushavainnoissa on aina tuotava esiin, miksi tarkastuskohteen näkemyksiä ei ole otettu huomioon. Lopulliseen kertomukseen on sisällytettävä ainoastaan ne havainnot, joista on ilmoitettu tarkastuskohteelle. 4.6 TARKASTUKSEN DOKUMENTOINTI Tarkoitus ja lähestymistapa Auttaa evidenssin ymmärtämisessä, Evidenssin dokumentointia ohjaa periaate, jonka mukaan kokeneen tarkastajan, jolla ei ole aiempaa yhteyttä kyseiseen tarkastukseen, on voitava dokumentoinnin perusteella eritellä ja ymmärtää tarkastajan keskeisten arvioiden ja johtopäätösten perustana oleva evidenssi. Koko tarkastustyö on dokumentoitava ASSYST-järjestelmään. Evidenssin asianmukainen dokumentointi on ratkaisevan tärkeää, ja se on saatava valmiiksi ennen kuin havainnot tarkastetaan ja hyväksytään. Näin pyritään varmistamaan, että tarkastushavainnot perustuvat evidenssiin. Tarkastuskansioiden ja työpapereiden täytyy sisältää tiedot tarkastuskysymyksiin vastaamiseksi käytetystä lähestymistavasta ja tehdystä työstä. Niiden on myös oltava rakenteeltaan loogisia niin, että evidenssiin on helppo perehtyä. Tarkastuskansioihin ei pidä liittää epäoleellista eikä tarpeetonta aineistoa. muodostaa tarkastuskertomuksen perustan Hyvin dokumentoidun evidenssin avulla voidaan varmistaa, että: tarkastushavaintojen ja lopullisen kertomusluonnoksen sisältö on perusteltu (mikä on erityisen tärkeää kuulemismenettelyn aikana) tarkastushavainnot, johtopäätökset ja suositukset voidaan selittää laadunvalvonnasta on huolehdittu kurinalaisesti tarkastuksen aikana ja sen jälkeen (laadunvarmennus ja vertaisarvioinnit). Luku 4: Toteutusvaihe sivu 73

75 ja sisältää tarvittaessa pöytäkirjoja. Tarkastajan on laadittava pöytäkirja kaikista kokouksista, joissa on mukana tarkastuskohteen henkilöstöä ja joiden kuluessa hän aikoo saada evidenssiä. On harkintakysymys, pidetäänkö evidenssin laadun parantamiseksi tarpeellisena, että tarkastuskohteen edustaja allekirjoittaa kokouksen pöytäkirjan. Samoin on harkittava, kuinka tarkasti kokouksen sisältö kirjataan. Usein riittää pelkkä muistio, jossa esitetään yhteenveto useiden kokousten keskeisistä kohdista. Joka tapauksessa on suositeltavaa, että tarkastaja ilmoittaa tarkastuskohteelle tarkastuksen alussa, että joidenkin kokousten pöytäkirjoja saatetaan hyödyntää tarkastusevidenssinä ja että tällaisissa tapauksissa tarkastuskohdetta pyydetään hyväksymään pöytäkirja Tarkastuksen dokumentointiin liittyvät viitemerkinnät Tarkastustyön kytkeminen havaintoihin. Koska useimmissa tuloksellisuuden tarkastuksissa tuotetaan runsaasti paperilla olevaa evidenssiä, dokumentoinnissa on tärkeää käyttää viitemerkintöjä tarkastustyön yhdistämiseksi tehtyihin havaintoihin. On luotava pelkistetty jäljitysketju. Ketjun keskeinen osatekijä on se, että tarkastushavainnot yhdistetään evidenssiin viitemerkinnöin ennen kuin tarkastushavainnot toimitetaan tarkistajalle/hyväksyjälle. Haluttaessa voidaan tämän lisäksi laatia lyhyt yhteenveto tarkastusmenetelmien käytöstä sekä evidenssin luonteesta, laajuudesta ja analysoinnista. Yhteenveto voidaan laatia keskeisten havaintojen mukaan ryhmiteltynä taulukkona. Tärkeimmät asiakirjat on luetteloitava ja niihin on merkittävä asiaankuuluvat ristiinviittaukset. Tällaisia asiakirjoja ovat muun muassa tarkastustyöhön ja sen hallinnointiin vaikuttavat merkittävimmät päätökset, keskeinen kirjeenvaihto ja muu yhteydenpito tarkastuskohteeseen, tärkein evidenssi ja sen lähteet ja analyysit sekä näyttö tarkastajien esimiesten toteuttamasta valvonnasta. Luku 4: Toteutusvaihe sivu 74

76 4.7 TARKASTUKSEN HALLINNOINTI JA LAADUNVALVONTA Tarkastuksen hallinnointi, mukaan lukien valvonta ja tehdyn työn läpikäynti Henkilöstöä on valvottava asianmukaisesti. Seurantaa toteutetaan eri tasoilla. Toteutetaan korjaavia toimia. Tarkastajien esimiesten ja tehtävävastaavan on varmistettava, että: tarkastustyötä valvotaan asianmukaisesti tarkastustyö tehdään laatuvaatimusten mukaisesti ja dokumentoidaan huolellisesti edistymistä seurataan suhteessa aikatauluun ja resursseihin jos korjaavia toimia tarvitaan, ne toteutetaan oikea-aikaisesti. Lisäksi on hyvin tärkeää, että he ovat tietoisia olosuhteiden muutoksista, esimerkiksi uudesta lainsäädännöstä ja huomattavista uudistusehdotuksista. Näin he voivat arvioida kriittisesti uudelleen tarkastuksen relevanssia ja tarkastustavan pitävyyttä sekä tietyissä tapauksissa sitä, kannattaako tarkastusta jatkaa. Valvonta kohdistuu muun muassa tarkastukseen osoitetun henkilöstön työhön, jolloin tarkoituksena on varmistaa, että tarkastuskysymyksiin on vastattu. Valvonnan osatekijöitä ovat esimerkiksi henkilöstön riittävä ohjaus, pysyminen selvillä merkittävistä ongelmista ja tehdyn työn tarkistaminen. Jos henkilöstö on kokenutta, valvojat voivat määrittää työn keskeisen sisällön ja jättää yksityiskohdat henkilöstön huolehdittaviksi. Mikäli henkilöstöllä ei ole paljon kokemusta, valvonnasta vastaavat täsmentävät, mitä tarkastusmenetelmiä sekä tietojen keruu- ja analysointimenetelmiä käytetään. Tarkastuksen etenemistä on tarpeen seurata jatkuvasti, jotta taataan tarkastustyön valmistuminen aikataulussa ja siihen osoitetuin resurssein. Tehtävävastaava ja kertomuksesta vastaava jäsen suorittavat tarkkaa seurantaa tarkastuksen hallinnointijärjestelmän (AMS-välineen) avulla. Myös tarkastusjaostolla on tuloksellisuuden seurantaan liittyviä tehtäviä. Korjaavia toimia toteutetaan, jos seurannassa käy ilmi, että tarkastustyön laatu ei vastaa vaatimuksia taikka on olemassa riski, että työtä ei saada päätökseen aikataulussa ja siihen osoitetuin resurssein. Luku 4: Toteutusvaihe sivu 75

77 LIITE I: TIETOJEN KERUU- JA ANALYSOINTIMENETELMÄT Tietojen keruumenetelmät Haastattelut Tapaustutkimukset Kyselyt Asiakirjojen läpikäynti Focus group -ryhmäkeskustelut Vertailuanalyysi Yksityiskohtainen tarkastus Tietojen analysointimenetelmät Suhdelukuanalyysi Frekvenssilaskelmat Regressioanalyysi Vertaileva analyysi Koodaus ja yleistäminen Varianssianalyysi Trendianalyysi Havainnointi Tiedustelut Luku 4: Toteutusvaihe Liite I sivu 76

78 TULOKSELLISUUDEN TARKASTUKSEN KÄSIKIRJA LUKU 5 RAPORTOINTIVAIHE Tuloksellisuuden tarkastuksen käsikirjan luvut SISÄLLYS Johdanto Luku 1: Euroopan tilintarkastustuomioistuime n toimittamien toiminnantarkastusten viitekehys Luku 2: Toiminnantarkastuksen lähestymistapa ja taloudellisuus, tehokkuus ja vaikuttavuus Luku 3: Tarkastuksen suunnittelu Luku 4: Toteutusvaihe Luku 5: Raportointivaihe 5.1 Johdanto 5.2 Kertomusten laatu Tavoite Täydellinen Selkeä Vakuuttava Relevantti Oikeellinen Rakentava Tiivis 5.3 Kertomuksen suunnittelu Mieti kenelle kertomus on osoitettu Kertomuksen suunnittelutapa Kertomusluonnoksen laatiminen 5.4 Kertomuksen laadinta Kertomuksen laadintatapa Rakenne ja asettelu Tiivistelmä Johdanto Tarkastuksen laajuus, tarkastustapa ja menetelmät Huomautukset Johtopäätökset ja suositukset Logiikka ja perustelut Painopiste tarkastuskysymyksiin Esimerkkien käyttö Kolmansien osapuolten nimen mainitseminen tilintarkastustuomioistuimen kertomuksissa Minkä tyyppisiä tietoja kertomuksessa voidaan esittää? Tyyli Muuhun kuin tekstiin perustuvan tiedon käyttö Taulukot, kaaviot ja grafiikat Kartat ja kuvat Luvut ja prosenttiosuudet 5.5 Kertomuksen tarkastaminen 5.6 Kertomuksen tarkastaminen ja hyväksyminen 5.7 Kertomuksen jakelu 5.8 Kertomusten seuranta Kertomuksessa esitettyjen suositusten ja havaintojen seuranta Tarkastuskertomuksen saaman vastaanoton seuranta Yhteystiedot Lisätietoja saa osoitteesta: Euroopan tilintarkastustuomioistuin Tarkastuksen laatua valvovaa komiteaa avustava osasto Sähköposti: ECA-DQC CONTACT tai eca-dqc-contact@eca.europa.eu Luku 5: Raportointivaihe sivu 77

79 5.1 JOHDANTO Tuloksellisuuden tarkastuksen raportointivaihe alkaa alustavien huomautusten laatimisella ja päättyy yleensä erityiskertomuksen 35 julkaisemiseen tai toisinaan presidentin kirjeen 36 lähettämiseen. Raportointiin kuuluvat seuraavat vaiheet: alustavien huomautusten laadinta ja niiden hyväksyminen tarkastusjaostossa, komission kuulemismenettely, lopullisen kertomuksen hyväksyminen jaostossa, kertomuksen kääntäminen, esittely vastuuvapauden myöntävälle viranomaiselle 37 ja julkaiseminen. Raportointivaihe on esitetty jäljempänä graafisesti. Tehokas viestintä joka saa aikaan muutoksen ja joka perustuu hyvään tarkastukseen. Erityiskertomuksen tarkoituksena on raportoida tarkastuksen tuloksista vastuuvapauden myöntävälle viranomaiselle, tarkastuskohteelle ja muille tahoille. Hyvän kertomuksen edellytyksenä on tehokas viestintä, toisin sanoen kertomuksessa esitetään selkeästi ja puolueettomasti tarkastuskysymysten perusteella tehdyt keskeiset havainnot ja johtopäätökset, joiden johdosta lukijalle selviää mitä, miksi ja miten jotakin on tehty, ja joiden perusteella voidaan esittää käytännön suosituksia. On pantava merkille, että erityiskertomuksessa esitettyjen kysymysten on oltava ne samat kysymykset, joiden perusteella kertomuksessa esitetään johtopäätöksiä. Kysymysten ei tarvitse vastata täysin tarkastuksen suunnittelumuistiossa 38 esitettyjä alkuperäisiä tarkastuskysymyksiä. Julkaisemisen avulla voidaan varmistua siitä, että tilintarkastustuomioistuimen työ saa aikaan todellisen muutoksen ja että EU:n varojen hoito on avointa. Tilintarkastustuomioistuimen maine ja uskottavuus tuloksellisuuden tarkastuksen alalla ansaitaan julkaisemalla selkeitä, käyttökelpoisia ja oikeaaikaisia erityiskertomuksia, joilla pyritään parantamaan EU:n varainkäytön taloudellisuutta, tehokkuutta ja vaikuttavuutta. Koska tilintarkastustuomioistuimen kertomuksia luetaan unionin toimielimissä ja tiedotusvälineiden välityksellä myös muualla, lainsäädäntö- ja budjettiviranomaiset sekä suuri yleisö arvioivat tilintarkastustuomioistuimen tuotoksia näiden kertomusten perusteella. Tarkastuskertomus on koko tarkastusprosessin lopputulos. Asianmukaisesti suunniteltu ja toteutettu tarkastus on hyvän kertomuksen perusta ja vastaavasti on epätodennäköistä, että huonon tarkastuksen lopputuloksena olisi hyvä kertomus Tuloksellisuuden tarkastusten tuloksista tiedotetaan yleensä raportoimalla niistä erityiskertomuksissa. Presidentin kirje käsittää kertomuksen ja tilintarkastustuomioistuimen presidentin saatekirjeen, jotka lähetetään tarkastuskohteelle. Sitä ei aina ole tarpeen kääntää tai julkaista. Tilintarkastustuomioistuin päättää presidentin kirjeen julkaisemisesta tapauskohtaisesti. Euroopan parlamentti talousarvion valvontavaliokuntansa (CONT) kautta. Erityiskertomukset esitellään myös budjettivaliokunnalle ja mahdollisesti myös muille neuvoston ja Euroopan parlamentin erityisvaliokunnille/-komiteoille. Tarkastustyön tarkoituksena on vastata tarkastuksen suunnittelumuistiossa esitettyihin tarkastuskysymyksiin. Usein käy niin, että kysymykset eivät muodosta sopivinta perustaa tilintarkastustuomioistuimen johtopäätösten esittämiselle erityiskertomuksessa. Näissä tilanteissa tarkastustiimien ei tarvitse pitäytyä tiukasti tarkastuksen suunnittelumuistion kysymyksissä erityiskertomuksia laatiessaan. Luku 5: Raportointivaihe sivu 78

80 Luku 5: Raportointivaihe sivu 79

81 5.2 KERTOMUSTEN LAATU INTOSAIn tarkastusstandardien ja tuloksellisuuden tarkastusta koskevien ohjeiden (sekä kertomusten laadintaa koskevien tarkastusohjeiden) perusteella tilintarkastustuomioistuimen kertomusten on oltava objektiivisia, täydellisiä, selkeitä, vakuuttavia, relevantteja, oikeellisia, rakentavia ja tiiviitä. Tehokkaan laadunvalvontajärjestelmän tarkoituksena on varmistaa, että kertomuksilla on mainitut ominaisuudet. Tavoite Tasapuolinen, neutraali, oikeudenmukainen. Tarkastuskertomukset on laadittava riippumattomasta ja puolueettomasta näkökulmasta siten, että tosiasiallinen tuloksellisuus arvioidaan objektiivisten (ja mieluiten yhdessä sovittujen) kriteereiden perusteella. Kertomuksen on oltava sisällöltään tasapuolinen ja sävyltään neutraali, sen tulisi olla oikeudenmukainen eikä harhaanjohtava, ja tarkastustulokset tulisi säilyttää asiayhteydessään. Objektiivisissa kertomuksissa annetaan asianmukaista tunnustusta toiminnan myönteisille osa-alueille ja niissä esitetään tosiasiallisesti havaitut seikat puutteellista toimintaa ylikorostamatta tai liioittelematta. Tulkintojen tulee perustua tosiseikkojen ja olosuhteiden tuntemiseen ja ymmärtämiseen. Tämä auttaa osaltaan sitä, että tarkastuskohteen on helpompi hyväksyä kertomus. Täydellinen Kaikki asiaankuuluvat tiedot. Jotta kertomus olisi täydellinen, sen on sisällettävä kaikki tarvittavat tiedot ja perustelut, joiden avulla pystytään vastaamaan esitettyihin tarkastuskysymyksiin ja jotka edistävät raportoitujen seikkojen ja olosuhteiden ymmärtämistä asianmukaisesti ja oikein. Ymmärtämisen helpottamiseksi tarkastuskysymysten, tarkastuskriteereiden, huomautusten ja johtopäätösten on oltava keskenään loogisia ja havaintojen, johtopäätösten ja suositusten välillä on oltava selkeä yhteys. Selkeä Selkeä sanoma, joka on helppo ymmärtää. Selkeys edellyttää, että kertomus on helppo lukea ja ymmärtää ja että siinä käytetään mahdollisimman paljon yleisesti käytössä olevaa, ei erikoisalan, kieltä; lyhenteet ja erikoissanasto on selitettävä, mikäli niiden käyttö katsotaan tarpeelliseksi, ja moniselitteisyyttä on vältettävä. Keskeisen sanoman on oltava selkeä, asiaankuuluva ja helposti tunnistettava (sanoman selkeys) eikä se saa antaa aihetta väärinymmärrykseen. Aineiston looginen järjestys sekä asioiden ja johtopäätösten täsmällinen esittäminen ovat selkeyden ja ymmärtämisen kannalta tärkeitä. Tehokas otsikointi helpottaa kertomuksen lukemista ja ymmärtämistä. Tilintarkastustuomioistuimen kaikkien kertomusten otsikossa on oltava aina kun se on mahdollista sana Eurooppa tai eurooppalainen, jotta olisi todennäköisempää, että internetin hakukoneet tunnistavat helposti tilintarkastustuomioistuimen kertomukset; tämä lisää kertomusten näkyvyyttä ja vaikutusta. Visuaalisia apukeinoja (kuten kuvia, kaavioita, kuvioita ja karttoja) voidaan käyttää apuna moniulotteisen aineiston havainnollistamisessa ja yhteenvedossa. Myös hyvin valitut esimerkit selventävät tekstiä. Luku 5: Raportointivaihe sivu 80

82 Vakuuttava Vakuuttaa lukijan kertomuksen sisällöstä. On ehdottoman tärkeätä, että tarkastustulokset vastaavat mainittuja tarkastuskysymyksiä ja että huomautukset esitetään vakuuttavasti ja niiden perusteiksi esitetään riittävästi tietoa ja selvennyksiä. Näin lukija pystyy ymmärtämään huomautusten laajuuden ja merkityksen. Lisäksi on tärkeää, että johtopäätökset ja suositukset ovat esitettyihin tietoihin ja väittämiin nähden loogisia. Lukijan on vakuututtava annettujen tietojen perusteella havaintojen pitävyydestä, johtopäätösten aiheellisuudesta ja suositusten täytäntöönpanon hyödyllisyydestä. Yksi lähestymistapa loogisen ja vakuuttavan esittämistavan luomiseksi on käyttää johdattelevaa logiikkaa. Tällä menetelmällä havainnot yhdistetään suosituksiin kysymällä, miksi suositus on tehty. Suositus Tarvitsemme vahvistetut ja eristetyt ikkunat MIKSI? Suositukseen liittyvät havainnot Toimistoihin kuuluu melua kun ikkunat ovat kiinni Toimistoissa vetää kun ikkunat ovat kiinni Toimistoihin tulee pakokaasuja kun ikkunat ovat kiinni Relevantti Oikea-aikainen ja lisäarvoa tuottava. Kertomuksen sisällön on vastattava mainittuja tarkastuskysymyksiä, sen on oltava lukijalle tärkeää ja mielenkiintoista ja sen on tuotettava lisäarvoa, esimerkiksi siten, että aiheesta kerrotaan uutta tietoa. Tärkeä tekijä relevanssin kannalta on kertomuksen ajoitus; ollakseen mahdollisimman käyttökelpoinen ja auttaakseen muutoksen toteuttamisessa tarkastuskertomuksen on tarjottava ajan tasalla olevaa ja asianmukaista tietoa riittävän ajoissa, jotta se vastaa käyttäjien tarpeita. Tarkastajien on suunniteltava työnsä ja toteutettava tarkastus siten, että kertomus annetaan oikeaan aikaan. Oikeellinen Evidenssin on oltava oikeellista. Esitetyn evidenssin on oltava oikeellista ja kaikkien havaintojen on oltava esitetty oikein. Lukijat on saatava vakuuttuneiksi siitä, että kertomuksessa esitetyt seikat ovat uskottavia ja luotettavia, sillä yksikin kertomuksessa väärin esitetty seikka saattaa heikentää koko kertomuksen pitävyyttä ja uskottavuutta sekä viedä huomion varsinaisesta asiasta. Lisäksi virheellisyydet saattavat syödä tilintarkastustuomioistuimen uskottavuutta ja heikentää sen kertomusten vaikutusta. Rakentava Auttaa ja rohkaisee. Kertomuksen on autettava johtoa ongelmien ratkaisemisessa tai välttämisessä tulevaisuudessa siten, että siinä yksilöidään selvästi, kuka on vastuussa havaituista puutteista, ja esitetään käytännön suosituksia tilanteen korjaamiseksi. On asiatonta arvostella johtoa asioista, jotka ovat sen valvonnan ulottumattomissa. Tasapuoliset kertomukset, joissa annetaan asianmukaista tunnustusta myönteisille suorituksille, saattavat edesauttaa sitä, että tarkastuskohteen on helpompi hyväksyä kertomus. Luku 5: Raportointivaihe sivu 81

83 Tiivis Ei tarpeettoman pitkä. Kertomus ei saa olla pidempi kuin mitä tarvitaan sanoman perille saamiseksi ja perustelemiseksi. Liialliset yksityiskohdat tai epäolennaiset havainnot saattavat heikentää kertomusta ja peittää todellisen sanoman sekä hämmentää tai johtaa harhaan lukijoita. Erityiskertomuksen vaikutus on yleensä parempi silloin, kun kertomus on niin tiivis kuin asian käsittelyn kannalta on mahdollista. 5.3 KERTOMUKSEN SUUNNITTELU Mieti kenelle kertomus on osoitettu Tilintarkastustuomioistuimen kertomusten lukijakunta on laaja-alainen, siihen kuuluvat esimerkiksi vastuuvapauden myöntävä viranomainen, tarkastuskohde 39 ja suuri yleisö. Vastuuvapauden myöntävä viranomainen Tarkastuskohteet Euroopan unionin kansalaiset Vastuuvapauden myöntävä viranomainen Euroopan parlamentti, joka toimii neuvoston suositusten perusteella on kriittinen kohderyhmä, joka hyödyntää tilintarkastustuomioistuimen kertomuksia suoraan ja käytännöllisellä tavalla arvioidessaan varainhoitoa, tehdessään vastuuvapautta koskevia päätöksiä sekä esittäessään huomautuksia ja pyyntöjä. Tarkastuskohteet ovat talousarvion hallinnoijia ja alan asiantuntijoita. Koska yksityiskohtaiset havainnot on ilmoitettava tarkastuskohteelle tarkastusprosessin aikana, kertomuksessa voidaan keskittyä yleisten havaintojen ja keskeisen sanoman kertomiseen. Euroopan unionin kansalaiset tavoitetaan suurelta osin kertomuksista uutisoivien tiedotusvälineiden avulla. Tässä kohderyhmässä on harvoin tarkastuksen alan asiantuntijoita. Jotta kertomukset vastaisivat lukijan tarpeita, ne on laadittava asiasta kiinnostuneelle lukijalle, joka ei kuitenkaan ole asiantuntija eikä välttämättä perehtynyt yksityiskohtaisesti EU:n asioihin tai tarkastustoimintaan. Tällaisella lähestymistavalla voidaan välttää sensaatiohakuisuutta ja perustietojen liian yksityiskohtaista selvittämistä. Samalla edellytetään, että asiat on esitetty tekstissä mielenkiintoisella tavalla ja että havaintojen asiayhteys ja vaikutukset käyvät selkeästi ilmi Kertomuksen suunnittelutapa Kertomuksen suunnittelu on aloitettava samaan aikaan tarkastuksen yleisen suunnittelun kanssa. Tarkastuskysymykset on esitettävä siten, että niiden perusteella on helppo laatia relevantti ja mielenkiintoinen kertomus. Tarkastajalla on yleensä jo suunnitteluvaiheessa käsitys kertomuksen rakenteesta ja sisällöstä. Laaditaan tarkastuksen varhaisessa vaiheessa kertomusrunko, Tuloksellisuuden tarkastuksessa on aiheellista laatia jo tarkastuksen varhaisessa vaiheessa tarkastuskysymyksiin perustuva kertomusrunko, jossa yksilöidään keskeiset havainnot ja alustavat johtopäätökset. Tätä kertomusrunkoa, jonka yleensä laatii tehtävävastaava, on tarkistettava säännöllisesti koko tarkastuksen ajan. 39 Useammin Euroopan unionin toimielin, virasto tai elin kuin yksittäiset edunsaajat tai jäsenvaltiot. Luku 5: Raportointivaihe sivu 82

84 joka esitetään tarkastuksen edistymistä koskevassa kertomuksessa. Osana tarkastusjaoston toteuttamaa tarkastuksen seurantaa on laadittava tarkastuksen suunnittelumuistion mukaisesti tilanneselvitys, joka esitellään tarkastusjaostolle. Tilanneselvityksen laatii yleensä tehtävävastaava. Siihen on mahdollisuuksien mukaan sisällytettävä keskeiset huomautukset ja johtopäätökset, jotka ovat jo käyneet ilmi tarkastuksessa, sekä yleisluonnos lopullisesta kertomuksesta. Tähän saattaa liittyä johtopäätöksiin johtaneiden tarkastuskysymysten, tehdyn työn, havaintojen, johtopäätösten sekä keskeisen sanoman viestintätavan kriittistä tarkastelua Kertomusluonnoksen laatiminen Kun tarkastus on saatu tehtyä, laaditaan kertomusluonnos, jossa keskitytään keskeiseen sanomaan ja joka on hyväksyttävä asianmukaisesti. Tarkastustiimien on tehtävä johtopäätökset tarkastustyön päättymisen ja kertomuksen laadinnan välillä 40. Kertomusrunkoa on kehitettävä johtopäätösten tekemisen jälkeen yksityiskohtaisemmaksi kertomusluonnokseksi. Kertomusluonnoksen laatii yleensä tehtävävastaava, ja se perustuu keskeisiin tarkastushavaintoihin ja johtopäätöksiin. Kertomusluonnoksessa vahvistetaan kertomuksen rakenne, sävy sekä keskeinen sanoma ja siinä keskitytään muutamiin olennaisiin asioihin. Sen on oltava lyhyt ja täsmällinen. Kertomusluonnos perustuu toimitettuun tarkastustyöhön ja siinä otetaan huomioon tarkastuskysymyksiin saadut vastaukset, evidenssi, keskeiset johtopäätökset ja tarve esittää olennaiset huomautukset siten, että ne ovat asiaan perehtymättömän lukijan kannalta mahdollisimman hyödyllisiä ja tähdellisiä. Kertomuksen suunnitteluprosessin avulla pystytään yksilöimään ja poistamaan sellaiset johtopäätökset, joiden pohjaksi ei ole esittää perusteluja. Keskeisten sanomien tulee olla selkeitä ja käyttökelpoisia ja niiden perustaksi on oltava evidenssiä. Tässä vaiheessa on syytä laatia myös käytännöllisiä ja käyttökelpoisia suosituksia. Tehtävävastaavan ja jäsenen on arvioitava ja hyväksyttävä kertomusluonnos tarkastamalla, ovatko huomautukset ja johtopäätökset olennaisia, ja onko huomautusten, johtopäätösten ja suositusten perustana oleva evidenssi riittävä, relevantti ja luotettava. Yksityiskohtaisempaan kertomuksen laadintaan on ryhdyttävä vasta kertomusluonnoksen hyväksymisen jälkeen. 5.4 KERTOMUKSEN LAADINTA Kertomuksen laadintatapa Pääpaino olennaisiin ja merkityksellisiin seikkoihin, Tarkastuskertomuksessa ei ole tarkoitus esittää kaikkia tarkastushavaintoja, vaan ne käyvät ilmi sekä sähköisessä muodossa että paperilla olevista tarkastuskansioista. Kertomuksessa on tuotava esiin olennaiset ja merkitykselliset huomautukset ja johtopäätökset siten, että näiden välinen yhteys on helppo havaita. Tämä auttaa selkeän kertomuksen laatimista, jossa pääpaino asetetaan tarkastuskysymyksiin nivellettyihin keskeisiin sanomiin. 40 CH 324/11, 30. syyskuuta 2011, tarkastuksen laadun hallinnoinnista; prosessia koskevat tarkat ohjeet esitetään asiakirjassa Guidelines on issue analysis and drawing conclusions (sisäinen asiakirja). Luku 5: Raportointivaihe sivu 83

85 jotka perustuvat kertomusluonnokseen ja jotka yhdistetään viitemerkinnöin tarkastushavaintoihin. Kertomuksen on noudatettava kokonaisuudessaan kertomusluonnoksen rakennetta, vaikka siihen saatetaan joutua tekemään muutoksia varsinaisen kertomuksen laatimisen aikana. On syytä muistaa, että kirjoittaminen on iteratiivinen prosessi, mikä merkitsee, että kertomusluonnos on käytävä läpi useampia kertoja ja siihen on tehtävä muutoksia ja parannuksia. Tehtävävastaavan on varmistettava, että alustavat huomautukset laaditaan ja että esittelevän jäsenen, jaoston jäsenten ja tilintarkastustuomioistuimen kollegion ehdottamat muutokset tulevat otetuiksi huomioon. Asiakirjan Vademecum of General Audit Procedures Audit Quality Management Framework lisäyksissä 1.2 a c (sisäisiä asiakirjoja) olevassa tarkistuslistassa esitettyjä kysymyksiä on pohdittava tarkastustulosten laadun varmistamiseksi ennen alustavien huomautusten laatimista. Alustavia huomautuksia koskevan luonnoksen liitteenä on oltava asiakirja, jonka avulla jokainen huomautus (kunkin tarkastuskohteen osalta) voidaan yhdistää vastaaviin tarkastushavaintoihin. Tällaisen asiakirjan avulla tarkastustiimin on helpompi varmistaa, että kaikki huomautukset ovat yhdistettävissä tarkastushavaintoihin. Tämä asiakirja on välttämätön myös kuulemista edeltävien kokousten valmistelussa Rakenne ja asettelu Kertomusten on noudatettava vakiomuotoista, jäljempänä esitettyä viiteen osaan jaettua asettelua siten, että rakenteen avulla lukija pystyy seuraamaan ja ymmärtämään esitettyjä asioita. Yleisesti ottaen tämä tarkoittaa kertomuksen kokoamista tarkastuskysymysten (tai osakysymysten, jos on kyse pelkästään yhdestä keskeisestä tarkastuskysymyksestä) ympärille siten, että tarkastuksen tarkoituksen, huomautusten ja johtopäätösten kesken muodostuu looginen yhteys. Esityksen on edettävä loogisesti asianmukaisten otsikoiden ja alaotsikoiden avulla. Tilintarkastustuomioistuimen tarkastuskertomusten viisi osaa: 1. Tiivistelmä 2. Johdanto 3. Tarkastuksen laajuus ja tarkastustapa 4. Huomautukset 5. Johtopäätökset ja suositukset Tiivistelmä Heijastelee kertomuksen sisältöä Tiivistelmä on yksi kertomuksen keskeisistä osista, koska se on kertomuksen luetuin osa; lisäksi tiedote (lehdistötiedote) tehdään usein sen perusteella. Sen vuoksi on välttämätöntä, että tiivistelmä antaa oikean vaikutelman. Tiivistelmän on noudatettava tarkasti ja kattavasti kertomuksen sisältöä ja johdatettava lukija tarkastuskysymyksiin ja niiden vastauksiin. Luku 5: Raportointivaihe sivu 84

86 keskeisiä johtopäätöksiä ja suosituksia korostaen tasapuolisella tavalla. Kertomuksen kuvailevat osat eivät saa olla pidempiä kuin asian ymmärtämiseksi on tarpeen. Tarkastuksen laajuutta ja tarkastustapaa voidaan kuvata lyhyesti keskeisten huomautusten yhteydessä. Tärkeimmälle sijalle tulee asettaa tarkastuksen keskeiset johtopäätökset ja suositusten pääkohdat. Tätä tarkoitusta varten siinä on oltava selkeitä lauseita, kuten Tarkastuksen tavoitteena oli ", Tarkastus kattoi kauden ", Tarkastuksen yhteydessä tutkittiin ", Tarkastuksen yhteydessä havaittiin ja Tarkastuksen perusteella suositetaan ". Teksti ei saa olla kovin pitkä (noin kaksi sivua). Lukijan kannalta suositaan sujuvaa ja helppolukuista tyyliä, jossa vältetään pitkiä kappaleita ja jossa asiat esitetään tarvittaessa luetelmakohtina. Tiivistelmä kannattaa laatia vasta kun havainnot ja johtopäätökset on laadittu ja tarkistettu, jotta vältytään tarpeettomilta muutoksilta ja epäjohdonmukaisuuksilta. Erityistä huomiota olisi kiinnitettävä siihen, että tiivistelmä on tasapuolinen ja ettei kielteisiä havaintoja ylikorosteta. Johdanto Kertomuksen johdannossa esitetään tarkastuksen asiayhteys, joka auttaa lukijaa ymmärtämään sekä tarkastuksen että huomautukset. Siinä kuvaillaan tarkastuksen ala ja esitellään: Kuvailee tarkastuksen alan ytimekkäästi. tukitoimenpiteen tavoitteet ja keskeiset piirteet keskeinen lainsäädäntö talousarvioon liittyvät järjestelyt ja vaikutukset keskeiset järjestelmät ja prosessit hanketyyppien ja/tai rahoitettujen ohjelmien kuvaus. Johdanto ei saa olla liian pitkä ja yksityiskohtainen. Siinä on esitettävä kannanotto, mutta siihen ei saa sisällyttää tarkastushavaintoja. Mikäli lisätietoja pidetään lukijan kannalta hyödyllisinä, ne voidaan esittää liitteessä. Lisäksi voidaan kertoa, miten lukija voi saada lisätietoja (esim. viittaukset internet-sivustoihin). Tarkastuksen laajuus, tarkastustapa ja menetelmät Auttaa ymmärtämään, mitä tarkastuksella pyrittiin saavuttamaan. Tarkastuksen laajuus ja tarkastustapa auttavat lukijaa ymmärtämään, mitä hän voi kertomukselta odottaa, miten tuloksia ja johtopäätöksiä voi hyödyntää ja missä määrin niihin voi luottaa. Lukijoilla on erilaiset tarpeet ja odotukset. Etulinjan lukijat, kuten vastuuvapauden myöntävä viranomainen ja tiedotusvälineet, eivät kenties lue kertomuksesta kuin tiivistelmän. Tarkastusalan ja akateemisen yhteisön lukijat haluavat yleensä yksityiskohtaisempia tietoja erityisesti erityiskertomuksen perustana olevan tarkastustyön laajuudesta ja tarkastusmenetelmistä. Kertomuksen keskeisessä osassa olevassa osuudessa on niin ollen mainittava ilman tarpeettomia kuvauksia ja ytimekkäästi seuraavat seikat: tarkastuksen aihe, syyt tarkastukseen, vastattavat tarkastuskysymykset, tarkastuksen laajuus, tarkastuskriteerit, tarkastusmenetelmät ja tarkatustapa, tietolähteet ja käytettyjä tietoja koskevat rajoitteet. Yksityiskohtaisemmat tiedot on esitettävä liitteissä. Yksityiskohtia esitettäessä on keskityttävä siihen, mitä tarkastuksella pyrittiin saavuttamaan, eikä pelkästään siihen, mitä on tehty. Tarkastuksen laajuuden ja tarkastustavan määrittely on tuloksellisuuden tarkastuksen yhteydessä erityisen tärkeätä, sillä ne vaihtelevat paljon enemmän kuin tilintarkastuksissa. Luku 5: Raportointivaihe sivu 85

87 Huomautukset Rakenne, joka perustuu tarkastustavoitteisiin ja joka seuraa argumentoinnin etenemistä, Huomautuksia käsittelevä osa muodostaa kertomuksen keskeisimmän osan ja sisältää tarkastushavainnot ja tarkastusevidenssin. Huomautukset on laadittava mahdollisuuksien mukaan tarkastuskysymysten ympärille, sillä tarkastuskysymykset ovat koko tarkastuksen ja sen johtopäätösten keskiössä. Tämä lähestymistapa palauttaa lukijoiden mieliin tarkastuksen tarkoituksen ja antaa heille mahdollisuuden muodostaa realistisia odotuksia kertomuksen osalta ja sijoittaa huomautukset, johtopäätökset ja suositukset oikeaan asiayhteyteen. Tässä yhteydessä on kuitenkin tärkeämpää esittää tulokset niin, että lukija pystyy seuraamaan argumentoinnin etenemistä. Lukijalle on esimerkiksi selvempää, että huomautukset esitetään hallinnoinnin näkökulmasta (esimerkiksi hankkeen valinta ja hyväksyminen) kuin tietyltä hallinnontasolta tarkasteltuna (esimerkiksi komissio, jäsenvaltion keskushallinto, jäsenvaltion paikallishallinto). Näin ollen toisiinsa liittyvät huomautukset voidaan esittää samassa yhteydessä (esimerkiksi asetusten vaatimusten täytäntöönpano) eikä lainsäädäntökehystä tarvitse toistaa kullakin tasolla erikseen. Tämä edesauttaa selkeyttä ja esityksen sujuvuutta. Tarkastukseen perustuvista huomautuksista on käytävä lukijalle selväksi seuraavat seikat: nämä seikat samalla yksilöiden. standardi tehty tarkastustyö tosiseikat vaikutus ja seuraukset perusta, johon verrattuna todellista tilannetta arvioitiin lainsäädäntöön tai tavanomaiseen käytäntöön perustuvat vaatimukset taikka johdon tai tarkastajan asettamat standardit mitä tutkittiin ja miksi testaamisen sisältö ja alue todettu tilanne tilanteen syy ja olennaisuus mukaan lukien tuodaan esille evidenssin lähde ja laajuus havaintojen merkitys EU:n talousarvioon kohdistuva vaikutus mukaan lukien ja perustelut sille, miksi havainnot ovat tärkeitä. Johtopäätökset ja suositukset 41 Antaa tarkastuskysymyksiin selkeät vastaukset. Antaa keskeisten ongelmien ratkaisemiseksi suosituksia, Tämän osan ensisijainen tarkoitus on esittää selkeitä vastauksia johtopäätöksiä tarkastuskysymyksiin ja antaa niihin liittyviä suosituksia tilanteen parantamiseksi. Näin ollen olennaisiin huomautuksiin perustuvien johtopäätösten on oltava sidoksissa tarkastuskysymyksiin. Johtopäätöksissä on annettava vastaus esitettyihin kysymyksiin sen sijaan, että esitettäisiin pelkästään huomautuksia koskeva yhteenveto. Kertomukseen on sisällyttävä suosituksia, jotka koskevat havaittujen vakavien puutteiden korjaamiseksi tarvittavia muutoksia, mikäli huomautukset ovat osoittaneet, että toimia ja tuloksellisuutta voidaan merkittävästi parantaa. Jos korjaaviin toimiin on jo ryhdytty, tämä on hyvän käytännön mukaisesti syytä ilmoittaa 41 Lisätietoja esitetään tarkastussuositusten laatimista koskevissa lisäohjeissa, QA 012/16 (sisäinen asiakirja). Luku 5: Raportointivaihe sivu 86

88 jotka on osoitettu oikeille tarkastuskohteille ja jotka ovat käytännöllisiä ja myönteisiä. Tilintarkastustuomioistuimen pääasiallinen tarkastuskohde on komissio. Kuitenkin erityisesti yhteiseen hallinnointiin kohdistuvissa tarkastuksissa suositukset voidaan tarvittaessa osoittaa jäsenvaltioille (tai jopa tietylle jäsenvaltiolle tai jäsenvaltion viranomaiselle (ks ) 42. Suosituksia on syytä antaa vain silloin, jos tarkastuksessa on yksilöity käytännön parannuskeinoja todettuihin puutteisiin. Niiden on perustuttava asiaankuuluviin johtopäätöksiin, ja niistä on käytävä selville, mikä taho on vastuussa suosituksiin liittyvien parannustoimien toteuttamisesta. Vaikka suosituksissa todetaan mitä on tehtävä, ne eivät sisällä yksityiskohtaisia täytäntöönpanosuunnitelmia, joiden laatiminen kuuluu johdolle. Jotta suositukset olisivat rakentavia, niiden yhteydessä on ilmaistava tarvittavien muutosten keskeiset osatekijät. Suositusten vaikutus on suurempi, jos ne ovat sävyltään ja sisällöltään myönteisiä ja tuloksiin pyrkiviä (antavat esimerkiksi viitteitä tavoitelluista seurauksista), niissä otetaan huomioon kustannusnäkökohdat ja jos niistä on keskusteltu ja päästy yhteisymmärrykseen tarkastuskohteen kanssa Logiikka ja perustelut Painopiste tarkastuskysymyksiin Kertomus käsittelee kysymyksiä, joihin on saatu vastaus. Luotettavia ja olennaiseen keskittyviä esimerkkejä. Tarkastuskysymykset ovat kertomuksen keskeisiä tekijöitä, sillä ne määrittelevät tarkastuksen tarkoituksen ja auttavat jäsentämään huomautukset ja kysymykset, joihin johtopäätökset antavat vastauksen. Tarkastuskysymykset auttavat lukijaa ymmärtämään tarkastuksen ja sen havainnot. Sen sijaan, että kertomuksessa esitetään tarkastuksen suunnittelumuistiossa alustavasti hyväksytyt, mutta vastaamatta jääneet kysymykset, kertomuksessa on esitettävä kysymykset, joihin on tosiasiassa vastattu, toisin sanoen ne, joiden perusteella on esitetty johtopäätöksiä. Tarkastajien on viitattava kaikkiin tarkastuksen aikana tai sen yhteydessä havaittuihin merkittäviin tapauksiin, joissa on esiintynyt sääntöjenvastaisuuksia ja väärinkäytöksiä 43. Vaikka tapaukset eivät ole tarkastuskysymysten kannalta olennaisia, niistä on joka tapauksessa tiedotettava tarkastuskohteelle mieluiten kirjallisesti asianmukaisella tasolla. Esimerkkien käyttö Esimerkein voidaan havainnollistaa ja elävöittää tehokkaasti teknisiä tai teoreettisia niin myönteisiä kuin kielteisiäkin havaintoja niin, että aiheeseen perehtymätön lukija pystyy ymmärtämään asian. On kuitenkin olennaista, että esimerkkejä käytetään säästeliäästi ja harkiten, sillä valikoiva lukija saattaa helposti erottaa ne asiayhteydestään. Esimerkkien on oltava pitäviä, koska niitä tullaan tutkimaan tarkasti, ja havaintojen perustana on oltava riittävästi evidenssiä. Esimerkit on myös laadittava selkeästi, olennaiseen keskittyen eikä liian yksityiskohtaisesti. 42 Lisätietoja suositusten esittämisestä jäsenvaltioille annetaan asiakirjassa DEC 094/15 Recommendations to Member States for special reports and annual reports (sisäinen asiakirja). 43 Tarkastussrandardi ISSAI 1240/P6 Abuse involves behaviour that is deficient or improper when compared with behaviour that a prudent person would consider reasonable (väärinkäytöksessä on kyse käytöksestä, joka on puutteellista tai epäasianmukaista verrattuna varovaisen henkilön järkevänä pitämään käytökseen). Luku 5: Raportointivaihe sivu 87

89 Kolmansien osapuolten nimen mainitseminen tilintarkastustuomioistuimen kertomuksissa Suurta varovaisuutta noudattaen ja antaen kolmannelle osapuolelle mahdollisuuden esittää huomautuksensa. Tuomioistuin antoi Ismeri-tapauksessa 44 kolmansien osapuolten nimien mainitsemisesta tilintarkastustuomioistuimen kertomuksissa seuraavan tuomion: tilintarkastustuomioistuin voi joissakin tapauksissa mainita nimeltä toimielinten ulkopuoliset, vakavassa väärinkäytöksessä suoraan mukana olleet henkilöt ( ). EU [yhteisö] saattaa tällaisessa tilanteessa joutua kyseisistä henkilöistä esitettyjen arviointien perusteella vastuuseen, jos kerrotut seikat eivät pidä aineellisesti paikkaansa tai jos niistä tehty tulkinta on virheellinen. Näin ollen on olennaisen tärkeätä, että asioiden todentamisessa ja niiden tulkitsemisessa on noudatettava suurta varovaisuutta silloin, kun kolmannen osapuolen nimi on joko suoraan mainittu tilintarkastustuomioistuimen kertomuksessa tai jos lukija voi tämän helposti tunnistaa. On tärkeätä panna merkille, että mainitulla kolmannella osapuolella on myös oikeus esittää vastauksensa Tuomiossa todettiin, että: tilintarkastustuomioistuimen kertomusten [ ] julkaiseminen [ ], voi aiheuttaa näille henkilöille sellaisia seurauksia, että näiden on voitava ennen kyseisten kertomusten lopullista hyväksymistä esittää huomautuksensa niistä kohdista, joissa heidät on nimenomaisesti mainittu. Tarkastajien on varmistuttava siitä, että kolmannelle osapuolelle annetaan mahdollisuus esittää kyseiset huomaukset ennen kertomuksen hyväksymistä Minkä tyyppisiä tietoja kertomuksessa voidaan esittää? Esitä tiedot kertomuksessa ainoastaan, jos niistä on hyötyä asian ymmärtämiseksi, talousarviomenoja koskevat tiedot mukaan lukien. Tarkastuskertomuksessa on esitettävä ainoastaan sellaisia tietoja, joista on lukijalle hyötyä tarkastuksen tai sen tulosten ymmärtämisen kannalta. Tietoja ei esitetä tiedon kattavuuden vuoksi, vaan esille otetun erityisen seikan kuvaamiseksi. Mikäli tietoja annetaan, ne on kuvailtava ja analysoitava tekstissä siten, että tietojen tarkoitus selviää lukijalle. Lukijoiden mahdollisuudet perehtyä tietoihin ovat parantuneet merkittävästi nykyaikaisen teknologian sekä komissiossa toteutettujen parempien ja avoimempien kirjanpitomenetelmien myötä. Näin ollen riittääkin usein, että mainitaan mistä voi saada yksityiskohtaisempia tietoja (esimerkiksi viittaus internet-sivustolle), sen sijaan, että kyseiset tiedot esitettäisiin varsinaisessa kertomuksessa. On tärkeätä, että tarkastus esitetään oikeassa asiayhteydessä antamalla tietoja talousarviomenoista (sitoumukset ja maksut) sekä tarkastuksen laajuudesta ja kattavuudesta. Tietoja ei tule esittää liian yksityiskohtaisesti, vaan ne on esitettävä siten, että niiden lähde (esimerkiksi budjettinimikkeistö) voidaan jäljittää. Lisäksi niiden tulee olla mahdollisimman hyvin ajan tasalla. 44 Unionin ensimmäisen oikeusasteen tuomioistuimen tuomio 15 päivänä kesäkuuta 1999 asiassa T 277/97 Ismeri Europa vastaan tilintarkastustuomioistuin tilintarkastustuomioistuimen MED-ohjelmista annetussa erityiskertomuksessa nro 1/96 Ismeriin kohdistaman arvostelun vuoksi. Luku 5: Raportointivaihe sivu 88

90 5.4.5 Tyyli Helppolukuinen, johdonmukainen, yksiselitteinen, Hyvin laadittu kertomus auttaa varmistamaan, että havaintoihin suhtaudutaan vakavasti, kun taas heikosti laadittu kertomus saattaa hämmentää lukijaa ja saada tämän kyseenalaistamaan havaintojen laadun. Tilintarkastustuomioistuimen kertomusten on oltava mielenkiintoisia ja helppolukuisia, ja niiden on annettava myönteinen kuva tilintarkastustuomioistuimen työstä. Vaikka on mahdotonta välttää kertomusten teknisyyttä, on todennäköisempää, että satunnainen lukija kiinnostuu lukemaan kertomuksia jatkossakin, mikäli kertomukset ovat helppolukuisia. Johdonmukaisuus on tärkeää kertomus, jonka lähestymistavan ja ilmaisun tyyli vaihtelee, on vaikealukuinen. On suositeltavaa, että yksi henkilö nimetään vastaamaan kertomuksen johdonmukaisuudesta, vaikka useammat henkilöt osallistuvat sen eri osien kirjoittamiseen. Tyylin on oltava selkeä ja yksiselitteinen. Sanoman merkityksen on käytävä välittömästi ilmi tekstistä siten, ettei lukijan tarvitse tulkita sanomaa. Erityisesti on huomattava seuraavat seikat: Pitkät kappaleet ovat raskaita lukea, joten niitä on vältettävä. Pitkät ja monimutkaiset virkkeet, joissa on monia lauseita ja sivulauseita, ovat vaikeita lukea, ymmärtää ja kääntää. Kirjoita mahdollisuuksien mukaan lyhyitä virkkeitä. Aktiivimuodossa olevien verbien ja todellisten subjektien käytöllä voidaan välttyä moniselitteisyydeltä, silloin kun on tarkoitus kertoa kuka tekee ja mitä. Asiat voidaan luetella jatkuvan tekstin sijaan luetelmakohdissa (mutta ei liiallisesti). Oikeaoppisella välimerkkien käytöllä autetaan lukijaa ja vältytään väärinymmärryksiltä. Kertomuksen kielen on oltava ammattimaista, mutta ammattislangia on vältettävä. Tekstin on kuitenkin oltava riittävän täsmällistä, jotta sen voi ymmärtää ja sen perusteella voidaan ryhtyä toimiin. ja sitova. Lukija olettaa tilintarkastustuomioistuimen kertomusten olevan sitovia. Väittämien on oltava varmoja, eikä niiden tule herättää kysymyksiä, oletuksia tai epäselvyyttä. On tärkeätä, että toteamukset perustuvat evidenssiin, eikä käytetä sellaisia ilmaisuja kuin saattaa olla tai näyttää siltä, että, ellei selitetä, miksi tilintarkastustuomioistuin ei voi tehdä asiasta lopullista johtopäätöstä. Jos väittämä edustaa tilintarkastustuomioistuimen kantaa, tämä on tuotava esille yhdessä kantaan johtaneiden perusteluiden kanssa. Mikäli väittämä perustuu toiseen lähteeseen, kuten arviointikertomukseen, asia on nimenomaisesti mainittava. Luku 5: Raportointivaihe sivu 89

91 5.4.6 Muuhun kuin tekstiin perustuvan tiedon käyttö Parantaa kertomuksen esitystapaa. Huolella valitut diagrammit, kaaviot, raakatiedot ja kuvat voivat parantaa kertomuksen esitystapaa ja auttaa lukijaa ymmärtämään taustoja ja havaintoja. Tarkastuksen laatua valvovaa komiteaa avustava osasto antaa teknistä apua grafiikan käytössä. Lisäksi tilintarkastustuomioistuimen ja ylimpien kansallisten tarkastuselinten viimeaikaisista kertomuksista voi saada ideoita grafiikan käytössä. Taulukot, kaaviot ja grafiikat Taulukoita ja kaavioita käytetään tärkeän sanoman perille saamiseksi tai monimutkaisen tiedon, kuten organisatoristen tai rahoituksellisten suhteiden esittämiseksi yksinkertaisesti. Auttaa monimutkaisen tiedon esittämisessä. Kiinnostavampi ja houkuttelevampi. Mikäli kertomuksessa on selitettävä kahden tai useamman muuttujan välisiä suhteita, paras tapa niiden esittämiseksi on käyttää grafiikkaa, jolloin suhteet voidaan kuvata visuaalisesti. Kaaviot on otsikoitava selkeästi eikä niissä saa antaa liikaa tietoja tai muuttujia. On tärkeää, että saman kertomuksen kaaviot esitetään yhdenmukaisella ja vertailukelpoisella tavalla. Kartat ja kuvat Kuvia ja karttoja käyttämällä kertomuksista saadaan käyttäjäystävällisempiä. Vaikka toisia kertomuksia voidaan elävöittää helpommin kuvien ja selventävien karttojen avulla, kaikista kertomuksista voidaan tehdä näillä keinoilla lukijalle kiinnostavampia ja houkuttelevampia. Valokuvat voivat muodostaa visuaalisen teeman läpi koko kertomuksen tai niitä voidaan käyttää kuvaamaan erityisiä kohtia. Muuhun kuin tekstiin perustuva tieto, kuten kuvat ja kartat, on osa kertomusta ja niin ollen materiaalin on sisällyttävä kaikkiin alustavien tarkastushavaintojen ja erityiskertomuksen hyväksyntävaiheisiin sekä kuulemismenettelyyn. Luvut ja prosenttiosuudet Luvut ja prosenttiosuudet on esitettävä asianmukaisella tarkkuudella ja niiden on oltava johdonmukaisia samassa virkkeessä tai kohdassa. Pyöristettyjä lukuja on yleensä helpompi lukea. Tarkastuksen laatua valvovaa komiteaa avustava osasto on julkaissut lukuja ja prosenttiosuuksia koskevia ohjeita. 5.5 KERTOMUKSEN TARKASTAMINEN Toimeksiantokohtainen laadunvalvontatarkastus, jonka suorittavat esittelevä jäsen, tarkastustiimi ja jaosto Esittelevä jäsen vastaa laadukkaiden kertomusten toimittamisesta jaostolle. Jäsenen on tätä varten arvioitava kertomuksen selkeys, oikeudenmukaisuus, tasapuolisuus ja evidenssin olemassaolo, päätettävä, vastaako kertomus totuudenmukaisesti tarkastuksen tuloksia, ja todettava, esitetäänkö tarkastuskohteen tuloksellisuus luonnoksessa oikeassa asiayhteydessä. Luku 5: Raportointivaihe sivu 90

92 Vaikuttava valvonta ja tarkistaminen tarkastustiimissä (osa 2.5) on erityisen tärkeää tuettaessa esittelevää jäsentä laadukkaan kertomuksen aikaansaamisessa. Toimeksiantokohtainen laadunvalvontatarkastus tehdään koko tarkastuskertomusluonnokselle (alustaville tarkastushavainnoille) siinä vaiheessa, kun se toimitetaan jaostolle ensimmäistä kertaa. Tarkastustiimi tekee alustavan itsearvioinnin, minkä lisäksi vastuu toimeksiantokohtaisesta laadunvalvontatarkastuksesta jakautuu jaoston johtajan (lähinnä evidenssin osalta) ja tarkastuksen laatua valvovaa komiteaa avustavan osaston (lähinnä esitystavan osalta) välille. Laadunvalvontajärjestelyihin liittyvät yksityiskohtaiset menettelyt esitetään asiakirjassa Vademecum of General Audit Procedures Audit Quality Management Framework EQCR (sisäinen asiakirja). Tarkastusjaosto Tämän jälkeen tarkastusjaoston on tarkistettava ja hyväksyttävä alustavien huomautusten luonnos. Luku 5: Raportointivaihe sivu 91

93 5.6 KERTOMUKSEN TARKASTAMINEN JA HYVÄKSYMINEN 45 Ensimmäisestä käsittelystä lopulliseen hyväksymiseen, Kertomuksen tarkastamis- ja hyväksymismenettely alkaa siitä, kun alustavia huomautuksia koskevaa luonnos toimitetaan tarkastusjaostolle ensimmäistä kertaa, jatkuu komission kanssa käydyllä kuulemismenettelyllä ja päättyy jaoston lopulliseen hyväksymiseen. Kun jaosto on hyväksynyt alustavia huomautuksia koskevan luonnoksen, asiakirja toimitetaan tarkastuskohteelle, jonka kanssa siitä keskustellaan. Jotta varmistutaan siitä, että kertomusluonnoksen tarkastamis- ja hyväksymismenettely tarkastuskohteen kanssa on mahdollisimman tehokas ja vaikuttava, seuraavat seikat ovat olennaisen tärkeitä: hyvä kommunikointi koko tarkastuksen ajan, tilintarkastustuomioistuimen ei yllätyksiä lähestymistapaan perustuen oikea-aikainen ja vaikuttava viestintä tarkastuskohteen kanssa alustavista tarkastushavainnoista. Varainhoitoasetuksen 163 artiklassa edellytetään, että tilintarkastustuomioistuin toimittaa asianomaiselle toimielimelle tai elimelle huomautukset, jotka sen mielestä ovat sen laatuisia, että ne on esitettävä erityiskertomuksessa. Näiden huomautusten on säilyttävä luottamuksellisina, ja niihin sovelletaan kuulemismenettelyä. Asianomainen toimielin tai elin toimittaa kuuden viikon kuluessa näiden huomautusten toimittamisesta tilintarkastustuomioistuimelle vastauksensa kyseisiin huomautuksiin. kuulemismenettely ja kuulemismenettelyä edeltävä kokous mukaan lukien Tämä kuuden viikon jakso sisältää menettelyn, jota kutsutaan yleisesti kuulemismenettelyksi ja jonka aikana asianomaisen toimielimen ja tilintarkastustuomioistuimen kesken järjestetään kokous. Kyseisen kokouksen ensisijaisena tarkoituksena on ensiksi ratkaista erimielisyydet asioista ja toiseksi selvittää tilintarkastustuomioistuimen ja toimielimen (tai muun elimen) väliset mielipide-erot evidenssin tulkinnasta. Kokouksessa viimeistellään usein myös toimielimen vastaukset huomautuksiin. Tarkastuksen laatua valvovaa komiteaa avustava osasto järjestää nämä kokoukset ja toimii niiden puheenjohtajana. Kuulemismenettelyn aikana pidettävän kokouksen sujumiseksi on hyvän käytännön mukaista järjestää tarkastustiimin ja tarkastuskohteen kesken kuulemismenettelyä edeltävä kokous. Kuulemismenettelyn perusteella erityiskertomuksen luonnokseen tehtyjen muutosten on oltava näkyvissä lopullisessa erityiskertomuksen luonnoksessa, joka toimitetaan jaoston käsittelyyn. Lisäksi on ilmoitettava keskeisten muutosten syyt. 45 Lisäohjeita on saatavilla asiakirjassa Vademecum of General Audit Procedures : Clearing audit findings for performance auditors (sisäinen asiakirja). Luku 5: Raportointivaihe sivu 92

94 varainhoitoasetuksessa vahvistettuja menettelyitä noudattaen. Asianomaisessa varainhoitoasetuksen artiklassa todetaan lisäksi, että Tilintarkastustuomioistuin varmistaa, että erityiskertomukset laaditaan ja hyväksytään asianmukaisen ajanjakson kuluessa, joka on yleensä enintään 13 kuukautta 46. Erityiskertomukset ja niiden mukana olevat asianomaisten toimielinten tai elinten vastaukset toimitetaan viipymättä Euroopan parlamentille ja neuvostolle, jotka päättävät kumpikin osaltaan jatkotoimenpiteistä, mahdollisesti yhdessä komission kanssa. Tilintarkastustuomioistuin toteuttaa kaikki tarpeelliset toimenpiteet varmistaakseen, että kaikkien asianomaisten toimielinten tai elinten vastaukset sen huomautuksiin sekä erityiskertomuksen laatimisen aikataulu julkaistaan erityiskertomuksen yhteydessä. Kun jaosto on hyväksynyt erityiskertomuksen lopullisen version, se toimitetaan tilintarkastustuomioistuimen käännös- ja kielipalveluista vastaavalle osastolle käännettäväksi virallisille kielille. 46 Ks. myös DEC 116/15 lopullinen, Measuring 13 month target (sisäinen asiakirja). Luku 5: Raportointivaihe sivu 93

95 5.7 KERTOMUKSEN JAKELU Erityiskertomukset julkaistaan ja jaellaan tilintarkastustuomioistuimen menettelyiden mukaisesti. Jakelu käsittää kertomuksen julkaisemisen tilintarkastustuomioistuimen internet-sivustolla sekä lehdistötiedotteen jakamisen lehdistölle. Esittelevä jäsen esittelee kertomuksen yleensä Euroopan parlamentin talousarvion valvontavaliokunnan kokouksessa ja pitää lehdistötilaisuuden, mikäli hän katsoo sen aiheelliseksi. 5.8 KERTOMUSTEN SEURANTA Kertomuksessa esitettyjen suositusten ja havaintojen seuranta Tilintarkastustuomioistuimen tuloksellisuuden tarkastuksista laadittujen kertomusten vaikutusten arviointi ja mittaaminen on välttämätön osa tilivelvollisuusprosessia. Erityiskertomuksissa annettujen suositusten osalta on toteutettava seurantaa, jotta voidaan todeta, onko toimenpiteitä toteutettu, ja arvioida, miten niitä on toteutettu. Pelkkä seurantaprosessin olemassaolo saattaa kannustaa tarkastuskohteita panemaan tehokkaasti täytäntöön kertomuksessa esitettyjä suosituksia. Suositusten seurannalla on useita tarkoituksia. Kertomuksissa esitettyjen suositusten seurannalla on neljä keskeistä tarkoitusta: lisätä tarkastuskertomusten vaikuttavuutta tarkastuskertomusten seurannan ensisijainen syy on lisätä todennäköisyyttä, että suositukset pannaan täytäntöön avustaa lainsäädäntö- ja budjettiviranomaisia (vastuuvapauden myöntävä viranomainen mukaan lukien) suositusten seuranta saattaa olla hyödyllinen näiden toimintaa ohjaava tekijä arvioida tilintarkastustuomioistuimen tuloksellisuutta seuranta on tilintarkastustuomioistuimen tuloksellisuuden arvioinnin lähtökohta luoda oppimista ja kehittämistä koskevia kannustimia toimien seuranta saattaa osaltaan parantaa tietämystä ja käytäntöjä. Seurantatyötä toteutetaan tarkastusjaostojen toimittamina rajoitettuina tarkastuksina, joissa arvioidaan, missä määrin tarkastuskohde (yleensä komissio) on ottanut tilintarkastustuomioistuimen erityiskertomuksissa esitetyt havainnot ja suositukset huomioon. Tarkoituksena ei kuitenkaan ole arvioida tarkastuskohteen toteuttamien toimien vaikuttavuutta, sillä tämä vaatisi yksityiskohtaista tarkastuskyselyä. Tarkastusjaostot voivat tarvittaessa tutkia tiettyä erityiskertomusta yksityiskohtaisesti perusteellisessa seurantatarkastuksessa. Seurantatoimia toteutetaan yleensä kolmen vuoden kuluttua erityiskertomuksen julkaisemisesta. Lähtökohtana voisivat olla komission ja muiden toimielinten parlamentille toimittavat säännölliset seurantakertomukset, kun niitä on saatavilla, sekä komission seurantatietokanta (RAD, joka käsittää suositukset, toimet ja vastuuvapauden). Tilintarkastustuomioistuin raportoi erityiskertomustensa seurannasta vuotuisessa seurantakertomuksessa tai erillisissä erityiskertomuksissa. Vuotuisessa seurantakertomuksessa esitetään tulokset tilintarkastustuomioistuimen työstä, jonka tarkoituksena on arvioida korjaavia toimia, jotka tarkastuskohde on toteuttanut tilintarkastustuomioistuimen tarkastushavaintojen ja suositusten perusteella. Luku 5: Raportointivaihe sivu 94

96 Kertomusten valinta seurantaan Työn suunnittelu Laajuus ja tarkastustapa Tarkastusjaostot valitsevat vuotuista työohjelmaa koskevan prosessin aikana V jaostoa kuultuaan erityiskertomukset, joihin ne aikovat kohdistaa seurantaa osana vuotuisia tehtäviään 47. Valinta perustuu kahteen kriteeriin: onko tarkastuskohteella ollut enemmän kuin kaksi tai kolme vuotta aikaa reagoida suosituksiin ja ovatko suositukset vielä ajankohtaisia. Työtä on vähemmän kuin kohtuullista varmuutta koskevissa tarkastuksissa, joten se suoritetaan yksityiskohtaisen suunnittelumuistion sijaan lyhyen suunnitteluasiakirjan perusteella. Tavanomaisissa olosuhteissa erityiskertomuksen seurantaan ei saa kulua kymmentä tarkastajaviikkoa kauemmin. Tarkastusjaostojen toimittamassa arvioinnissa seuranta kohdistetaan erityiskertomuksiin sisältyviin tarkastushavaintoihin (puutteet) ja suosituksiin. Arvioinnissa on seuraavat vaiheet: 1) arvioidaan komission hallinnointitietokantaa (RAD) alustavana tietolähteenä sekä tarkastuskertomusten että tilintarkastustuomioistuimen asiaankuuluvien tietokantojen tarkastuksessa 2) toimitetaan vuosikertomuksia, toimintasuunnitelmia, toimintapoliittisia asiakirjoja ja aihekohtaisia kertomuksia koskeva asiakirjatarkastus ja analysoidaan niitä 3) hankitaan evidenssiä toimista, joiden avulla komissio pani suosituksia täytäntöön ja korjasi havaittuja puutteita, ja analysoidaan hankittu evidenssi 4) lähetetään tietojentarkistuskirjeitä, joissa esitetään vakiomallin mukaisesti laaditut alustavat havainnot. Tarkastustiimien toimittamalla arvioinnilla on varmistettavatilintarkastustuomioistuimen suositusten täytäntöönpanotilanne (pantu täytäntöön kokonaan, suurelta osin tai jossakin määrin; ei pantu täytäntöön, ei enää relevantti; ei voitu tarkistaa). Tilintarkastustuomioistuimen suositusten täytäntöönpanoa arvioidessaan tarkastustiimi voi haluta käydä läpi lisätietolähteenä komission toimintasuunnitelmien toteuttamistilannetta vastuuvapauden myöntävän viranomaisen pyyntöihin nähden (komission sisäisen valvonnan standardin nro 9 mukaisesti). Vuosikertomuksen lukuun tai erityiskertomukseen liittyvän tehtävän koordinointi on V jaoston vastuulla. Esittelevä jäsen on V jaoston pysyvä jäsen. Yksityiskohtainen seurantamenettely esitetään asiakirjassa Vademecum of General Audit procedures (sisäinen asiakirja) Tarkastuskertomuksen saaman vastaanoton seuranta Sen jälkeen kun tuloksellisuuden tarkastus on saatu päätökseen, on olemassa useita mahdollisuuksia saada tietoa siitä, miten kertomukseen on suhtauduttu. Yksi mahdollisuus on esimerkiksi tarkkailla tarkastuskohteiden, parlamentin ja tiedotusvälineiden reaktioita. Lisäksi ulkopuolisia asiantuntijoita voidaan pyytää analysoimaan tuloksellisuuden tarkastusta koskevia kertomuksia tai antamaan lausunto toteutetun työn laadusta DEC 006/10, CH 234/10 ja DEC 44/16 (sisäisiä asiakirjoja). Huom. tilintarkastustuomioistuin kehittää parhaillaan seurantamenetelmiään (kuten sisäisessä asiakirjassa DEC 44/15 todettiin) erityisesti niiltä osin, kun on kyse jäsenvaltioille esitettävistä suosituksista ja tulevasta tilintarkastustuomioistuimen strategiasta vuosiksi Luku 5: Raportointivaihe sivu 95

97 Useimmat tuloksellisuuden tarkastukset tarjoavat tarkastukseen osallistuneille tarkastustiimeille ja koko tilintarkastustuomioistuimelle todellisen oppimisen mahdollisuuden, joten saattaa olla hyödyllistä, että tarkastustiimi arvioi kertomuksen julkaisemisen jälkeen seuraavia seikkoja: Toimii opetusvälineenä. mikä toimi hyvin ja miksi missä onnistuttiin vähän huonommin ja mistä syystä mitkä ovat tulevaisuutta varten saadut opetukset ja miten niitä voidaan soveltaa kaikissa tuloksellisuuden tarkastuksissa. Luku 5: Raportointivaihe sivu 96

98 TULOKSELLISUUDEN TARKASTUKSEN KÄSIKIRJA SISÄLLYS YLEISKATSAUS 1 JOHDANTO 2 Tuloksellisuuden tarkastuksen käsikirjan tavoite ja sisältö 3 5 Käsitteet ja erikoissanasto 5 LUKU 1 EUROOPAN TILINTARKASTUSTUOMIOISTUIMEN TOIMITTAMIEN TULOKSELLISUUDEN TARKASTUSTEN VIITEKEHYS Johdanto Tuloksellisuuden tarkastus ja moitteeton varainhoito Euroopan unionissa Tuloksellisuuden tarkastus Moitteeton varainhoito: Perussopimus ja varainhoitoasetus Talousarvion toteuttamista koskevat hallintotavat Moitteettomaan varainhoitoon tähtäävä sisäisen valvonnan järjestelmä Tuloksellisuuden tarkastus tilintarkastukseen ja säännönmukaisuuden tarkastukseen verrattuna Tuloksellisuuden tarkastus arviointiin verrattuna Tilintarkastustuomioistuimen tehtävä ja tuloksellisuuden tarkastuksen tavoitteet Tilintarkastustuomioistuimen oikeudelliset velvoitteet Tilintarkastustuomioistuimen tavoitteet 14 LUKU 2 TULOKSELLISUUDEN TARKASTUS: TARKASTUSTAPA JA TALOUDELLISUUS, TEHOKKUUS JA VAIKUTTAVUUS Johdanto Toiminnantuloksiin perustuva tarkastustapa Varsinainen tuloksellisuuden tarkastaminen Valvontajärjestelmien tarkastaminen Miten käsitteitä taloudellisuus, tehokkuus ja vaikuttavuus sovelletaan? Loogisten mallien käyttö tuloksellisuuden tarkastuksissa Käsitteiden soveltaminen 19 Taloudellisuus 21 Tehokkuus 22 Vaikuttavuus Asianmukaiselta tuloksellisuuden tarkastukselta edellytetyt ominaisuudet Tervettä harkintaa käytetään koko tarkastusprosessin aikana Tarkoituksenmukaisia menetelmiä yhdistelemällä saadaan kerätyksi monenlaista tietoa 27