SAP arkistointia käytännössä 2000-2011 HKScan Oyj / Ritva Vierula 26.10.2011
SAP käyttöönotto 1998-1999 SAP otettiin HK:lla käyttöön kahdessa vaiheessa 1998-1999. Silloin ei arkistoinnista puhunut kukaan. Nykyisin SAP suosittelee, että arkistointistrategia luotaisiin jo implementointiprojektissa. Datamäärät alkoivat nopeasti kasvaa myyntijärjestelmän käyttöönotosta ja ongelmia ilmeni esimerkiksi puhelinmyynnin hitautena. Arkistointiprojekteja on käynnistetty kolme (2000, 2003 ja 2009).
Arkistointiprojektit Ensimmäinen projekti käynnistettiin ennen eurokonversiota. Tämän projektin fokus oli melko tekninen. Tarkoituksena oli saada kantaa pienemmäksi eurokonversion alta. Kartoitimme sen yhteydessä suurimmat taulut ja niiden arkistointiobjektit. Vuosilta 1998-2003 tehtiin pelkästään siivousarkistointia myyntitoimituksille, tulosyksikköriveille ja nimiketositteille. Säilyttävän arkistoinnin tarpeita ja vaatimuksia selvittämään perustettiin 2003 projektiryhmä, jonka vetäjänä toimi Tuomo Suonkoski. 2009 hankittiin ulkoinen arkistointijärjestelmä IBM:lta ja käynnistettiin uusi projekti edelleen Tuomon johdolla.
Arkistoinnin tavoitteet 2003 Lain vaatimat tiedot saadaan talletettua vaaditussa muodossa Alkuperäisdokumentit ovat tallessa ja haettavissa tarpeen mukaan. Sovelluksista arkistoidut tiedot ovat tallessa ja haettavissa tarpeen mukaan.
Pohditut arkistointistrategiat Nolla-strategia: ei tehdä mitään. Pidetään tiedot järjestelmässä ja hankitaan uutta kapasiteettia, jos tulee tilan puutetta. Minimistrategia: arkistoidaan vain se mitä on PAKKO. Maksimistrategia: arkistoidaan kaikki mahdollinen. Järkevä arkistointistrategia: arkistoidaan pakolliset tiedot sekä liiketoiminnan jatkuvuuden kannalta tärkeät tiedot.
Nollastrategia? Levytilan lisääminen ei auta isoista tauluista johtuvaan hitauteen. Käyttäjille tuttuja hitausongelmia ovat esim. nimiketositteet, tulosyksikköraportilta porautuminen, asiakkaan avoimet erät, kirjanpidon ja sisäisen laskennan raportit.
Minimistrategia? Minimin määrää kirjanpitolaki: kirjanpitokirjat ja tasekirja 10 vuotta, tositteet 6 vuotta. Säilytys muuttamattomalla välineellä (paperi, sähköinen muoto) Tätä kokeiltiin muutaman vuoden ajan. Tulostettiin kirjanpidon raportit spooliin, josta ne nostettiin txt-tiedostoiksi, zipattiin ja poltettiin CD-levyille. Pääkirjan koko oli yli 3 milj.sivua ja ajoajat tolkuttomia. Lisäksi ajot kaatuivat usein. Voi suositella vain pienille yrityksille.
Maksimistrategia? Kaikkea tietoa ei kannata arkistoida ja hyvin harvaa tietoa kannattaa arkistoida ikuisesti. Yleispätevää sääntöä tietojen säilytysajan määräämiseksi ei ole olemassa. Jokaisen yrityksen pitää kehittää oma tietojen säilytys- ja hävitysstrategiansa omista lähtökohdistaan yhteistyössä IT:n ja liiketoiminnan kanssa.
HK:n arkistointistrategia Arkistoinnin tehtävänä on säilöä tarpeelliset ja poistaa tarpeettomat tiedot. 1. SIIVOUSARKISTOINTI 2. JATKUVA ARKISTOINTI Päätetään ensin poistaa vanhat ja tarpeettomat logistiikan tositteet. Selviää, että SAP:sta poistaminen tapahtuu arkistoimalla. Ei ole mitään helppoa ERASEratkaisua.
Mitä SAP arkistoinnilla tarkoitetaan? Tietokanta-arkistointi (Data Archiving) Kirjanpidon tositteet, saldot, tilaukset, toimitukset, laskut, perustiedot Raporttiarkistointi (Print List archiving) tulostetut raportit kuten päiväkirjat, pääkirjat, tuloslaskelmat, taseet, kustannusraportit Asiakirja-arkistointi (Document archiving) tositteiden kuvat (myyntilaskut, ostotilaukset, lähetteet skannatut tositteet kuten ostolaskujen kuvat
Data-arkistointi Ensimmäinen kysymys: onko ulkoinen arkistointijärjestelmä välttämätön?
Arkistointivaihtoehdot? Kasvun pienentäminen? Summaukset, päivitysten lopetus Arkistointi Poisto? Talletus arkistoon? Mihin? Onko 3. osapuolen ulkoinen arkistointijärjestelmä välttämätön? 2003 jouduimme valitsemaan otammeko Baswaren laskujen kiertoon vai Ixoksen arkistointiin. Valinta oli BW, koska emme laita miljoonaa p:n poistoon. SAP:n mukaan ulkoinen arkisto ei ole välttämätön. Vaihtoehdot: levyn kulma, CD/DVD, SAP:n Content Server voivat toimia pienillä yrityksillä, mutta isoilla datamäärillä ei. Esim. meidän levynkulmat jäivät Tiedolle kun siirryimme Siemensille. Onneksi oli arkistoitu vain poistostrategialla. Hankimme arkistointijärjestelmän 2009.
SAP arkistointiprojektin vaiheet Dataanalyysi Lähtötilanne Projektiryhmä Arkistointikonsepti Testaus Käyttöön otto Taulukoot Kasvu Arkistointiobjektit Siivoustarve Projektipäällikkö IT Käyttäjät mukaan Prosessinomistajat Ulkoiset resurssit Riippuvuudet Lait ja asetukset Tiedon saatavuusvaatimukset Käyttöoikeudet Säilytysärjestelmä ja tapa Säilytysaika tietokannassa, arkistossa Dokumentointi Arkistointistrategia Arkistointisuunnitelma Arkiston ylläpito SAP Notet Transportit Variantit Tekniset konfiguroinnit (ArchivelLink, content server) Arkistointitesti Testin tulosten arviointi Valmistelut Toteutus Seuranta Jatkuva arkistointi Selvitettiin suurimmat taulut ja niiden arkistointiobjektit sekä objektien väliset riippuvuudet. Laitettiin objektien tarvitsemat konfiguroinnit kuntoon (tekniset, sovelluskohtaiset. Suoritettiin objektien arkistointitestaukset. Varsinainen työ alkaa vastaa käyttöönotosta eikä lopu koskaan!
Data-siivous ennen arkistointia Testeissä selvisi, ettei asia olekaan ihan yksinkertainen. SAP:n implementoinnissa oli tehty kaikenlaisia virheitä mm. määritelty turhia tilejä avoimien erien tileiksi. Käytössä oli keskitetty myynti, jossa sisäiset laskut oli laskutettu muistiolla ja roikkuivat avoimina myynnin tositevirrassa. Palautuksia ei oltu käsitelty loppuun. Seurauksena data ei lähtenyt mihinkään. Perfektionistinen oikeassa järjestyksessä tapahtuva arkistointi ei onnistunut. Myynnin tositevirrat ovat niin monimutkaisia, että yhden virheen taklaus paljasti kymmeniä uusia. Selvitä arkistoinnin esteet ja kouluta organisaatio toimimaan oikein. Jälkikäteen tiedon laatua on vaikea parantaa eikä siihen edes löydy motivaatiota. SAPn noteilla löytyy joitain korjausohjelmia, joiden avulla lukkoja voi avata.
Tauluanalyysi: suurimmat taulut Tulosyksikkörivit Nimiketositteet Myynnin bonussopimukset Kustannusraportit Avoimet erät Inforakenteet Tr. DB02, DB02OLD Käyttäjälle näiden taulujen kasvu näkyy odotusaikojen kasvuna. Bonussopimusten avaus, nimiketositteiden näyttö, asiakkaiden avoimet erät, viivästyskorot, tulosyksikköraportit copa-raportit ovat esimerkkejä, joissa hitaus alkaa näkyä.
Taulun arkistointiobjekti (tr. DB15) Jälkihyvitteille ei ole omaa objektia. Ne arkistoituvat laskujen mukana. Seuraavaksi selvitettiin mitkä arkistointiobjektit purevat suurimpiin tauluihin.
Arkistointiobjektit Arkistointiobjektit ovat SAP:n ohjelmia, jotka ohjaavat arkistointia. SAP-arkistointi ei ole vain tietokantatauluista poistamista, vaan objektien mukana säilötään paljon muutakin sovellustietoa kuten tietoa tietuerakenteesta, kenttämäärityksistä, riippuvuuksista muihin objekteihin, organisaatio-rakenteesta jne. Tiedot tallentuvat vain SAP:n ymmärtämässä muodossa. Versionkorotus ei vaikuta arkistoihin, mikä tuli meillä juuri todistettua.
Arkistointiobjektin määritykset Sovelluksen määrityksissä määritetään suoja-ajat arkistoinnille. Teknisissä määrityksissä arkistopolut ja tiedostokoot. SAP:n oletus on yleensä 300MB/10000 objektia. Kokemuksen perusteella meillä on pienennetty ongelma-objekteilla tiedostokokoa ja poistettu objektien määrä.
Myynnin arkistointiobjekteja Tilaus Toimitus Lasku TILAUS LÄHETE MM_MATBEL LASKU SD_VBAK RV_LIKP SD_VBRK FI_DOCUMNT Data-arkistointiobjektit
Objektien väliset riippuvuudet Useiden arkistointiobjektien välillä on riippuvuuksia. Esimerkiksi perustietoja ei voi poistaa ennen kuin niihin liittyvät tapahtumat on poistettu. Myös objektien järjestyksellä on merkitystä. Ensin arkistoidaan toimitukset, sitten laskut ja sen jälkeen tilaukset.
Muut kuin tekniset rajoitukset Esim. myynnin sopimukset (jälkihyvitteet) voivat olla vuoden pituisia. Laskuja ei saa arkistoida ennen kuin sopimukset on selvitetty. Sopimuksia ei voi tilittää arkistoiduista laskuista. Laskujen kuvat pitää olla tallessa ennen arkistointia. Kirjanpito haluaa säilyttää tiettyjen tilien kaikki tapahtumat.
Lukumääriä Tulosyksikkölaskennan rivit: GLPCA n. 100 milj. riviä per vuosi Nimiketositteita: MSEG 24 milj. riviä per vuosi Syntyviä tietomääriä voi ehkäistä lopettamalla tarpeettomien taulujen päivitykset ja ottamalla tositesummauksen käyttöön. http://service.sap.com/ilm (Data Archiving)
Murheenkryyni GLPCA Kirjoitusajo käsittelee noin miljoona riviä tunnissa ja delete-ajo on monta kertaa hitaampi. Meillä syntyy n. 100 milj. riviä vuodessa. Writeohjelmien kesto n 100 tuntia, delete hiljaisena aikana väh. 3x eli yht. 400 tuntia vuoden tietojen poistamiseen. Sallittu vain viikonloppuisin -> ei saada koskaan arkistoitua! Analyysiohjelma tr. TAANA Liian monen yhtä aikaisen deleteajon laukeaminen aiheuttanut järjestelmän kaatumisen. Ratkaisuksi löydettiin ohjelma RSARCHD, jolla voi säädellä yhtäaikaisten delete-ajojen määrää.
Arkistoidun tiedon haku Suorahaku (esim. FI-tositteet, laskut) Arkistoinforakenteet Tositeyhteysselain (Document Data Browser)
Kirjanpidon tositteet arkistosta Kirjanpidon arkistoidut tositteet näytetään samoilla ohjelmilla kuin arkistoimattomat.
Arkistoinforakenne Arkisto-objekteilla on valmiita rakenteita, jotka aktivoidaan ja ladataan. Myös omia rakenteita voi tehdä.
Myyntilaskun arkistoinforakenne Tositevirtaa ei arkistossa ole mutta yhteys arkistoituun kirjanpitotositteeseen säilyy.
Tositeyhteysselain (DRB) Tositteiden välinen audit trail säilyy vaikka niitä arkistoidaan. Toiminto löytyy tositevalikoista tai suoraan transaktiolla ALO1
Perustietojen arkistointi Oma taiteenlajinsa on perustietojen arkistointi. Meillä tuotenumerot loppuvat ja arkistoimalla on vapautettu niitä. Otamme kesäksi pahaaaavistamattoman kauppatieteen opiskelijan, jolle lupaamme sap-työtä. Meillä vuosien aikana kerätty yli 100-sivuinen nimikearkistoinnin virhekäsikirja. Osa tiedoista ei lähde itkemälläkään, osaan on löydetty SAP:lta ohjelmia, jotka poistavat esteen. Tuotantoreseptejä katoaa ja muuta kivaa. Poistetut nimikkeet aiheuttavat ongelmia APO:ssa.
Asiakirja-arkistointi HK:lla Myyntilaskut: arkistointi Enfon toimittamassa arkistointisovelluksessa (laskuttajan käytössä) sekä poltettuna CD-levyille. Ostolaskut: laskujen kuvat Baswaressa ja poltettuna CD:lle. Kuvat linkitetty SAP:n kirjanpidon tositteisiin. Kuvien vienti Content Managerille mietinnässä.
Raportti-arkistointi (Print List Archiving) Printtilistat ovat SAP:sta tulostettuja raportteja kuten päiväkirjat, pääkirjat, tase/tulos, arvonlisäveroluettelo, kustannusraportit. Osa näistä on kirjanpitolain mukaan arkistoitava muuttamattomalle tietovälineelle.
Raporttiarkistointi HK:lla Kirjanpidon lakisääteiset raportit tulostettiin alkuun SAP:sta spooliin, josta ne siirrettiin tiedostoon, pakattiin ja poltettiin CD:lle/DVD:lle. 2009 alkaen raportit on ajettu SAP:sta IBM:n Content Managerille. Raporttien haku tapahtuu SAP:ista. Arkistointi tapahtuu tulostuksen yhteydessä
Printtilistojen haku (tr. OADR) Käyttöliittymä on varsin ankea.
Raporttien arkistointi Content Managerille tallennetaan SAP:sta kirjanpidon keskeiset raportit. Ne tallentuvat kompressoituna ja ovat avattavissa vain SAP:sta. Suoraan Txt-muodossa tallennetaan konserniverokeskuksen aineisto. Kustannus- ja tulosraporttien osalta ei ole keksitty ratkaisua, koska arkistointi ei tue kustannushierarkioita. BW voisi olla ratkaisu.
Verotiedostot Content Managerille Olemme teettäneet raporttiohjelman, joka tuottaa aineiston Konserniverokeskuksen atk-tarkastusta varten. Se talletetaan CM:lle vuosittain. Seuraavana vaiheena on selvittää olisiko SAP:n Data Retention Toolista (DART) apua tiedostojen talletukseen verottajaa, tullia ja tilintarkastajia varten.
Tilanne tänään SAP-arkistointi ei ole oto-projekti eikä datojen nirhaaminen ulos SAP:sta helppoa. Kun arkistointi aloitetaan myöhään, data-määrät ovat valtavat eikä helposti päästä tilanteeseen, jossa määrät eivät enää kasva. Mitä vanhempaa data on sitä vaikeampaa on myös päästä eroon arkistoinnin estävistä virheistä. Meillä tehtiin syyskuussa 2011 versiokorotus ja ohjelmassa on nyt on tehtävänä tarkistaa kaikki objektit ja aktivoida arkistoinforakenteet, joita ei käytetty 4.6C:ssä.
Oikealla tiellä ollaan Versiokorotusta edeltävässä arkistoinnissa taklattiin suuria taulua poistamalla dataa tulosyksikkölaskennasta, nimiketositteista ja myynnistä. Ensimmäisen kerran koko HK:n historiassa tietokannan koko pieneni. SAP Scoping lausunto 5.10.2011 Preliminary analysis has identified that you already have a comprehensive archiving strategy in place having performed over 7000 archiving runs to date. We have identified the largest document types on the system are as follows. 0% of the Sales an and Material Document data is older than 2008 which would suggest your strategy is successful and there is unlikely to be further savings based on our analysis. Exactly the same situation for Profit Centre Accounting documents. 100% of the data relates to fiscal years 2010 and 2011 therefore no further savings are expected.
ja eteenpäin mennään Vaikka pallo onkin välillä kadonnut ja usko on meinannut loppua, meillä siis on kuin onkin arkistointistrategia, joka SAP:n mielestä on jopa onnistunut!