6.luento MATHM Kvalitatiiviset tutkimusmenetelmät 5 op.

Transkriptio

1 6.luento MATHM Kvalitatiiviset tutkimusmenetelmät 5 op. Kirsi Silius & Anne-Maritta Tervakari Teemat Tapaustutkimus eli case study Toimintatutkimus 1

2 Case Study yksi yleisimmistä kvalitatiivisen tutkimuksen tiedonhankinnan strategioista Tutkimuksen kohteena tapaus Tapaustutkimus (case study) on empiirinen tutkimus, jonka tutkimuskohteena voi olla nykyinen tapahtuma tai tietyssä ympäristössä toimiva ihminen Tapaus voi olla melkein mikä tahansa: yksilö, ryhmä tai yhteisö, organisaatio, toimintaprosessi jne. tapaus on yleensä muista erottuva esim. kielteisesti tai myönteisesti poikkeava voi olla myös aivan tavallinen arkipäivän tapahtuma [tai henkilö] tyypillisemmin yksilön toiminta (action) kuin yksilö sinänsä (Esim. Järvinen & Järvinen 2000; Syrjälä 1994; Yin 1983 ref. Metsämuuronen 2005, ; Tellis 1997) 2

3 Yksi vai useampi tapaus? Voidaan tarkastella yhtä tapausta (single-case) kun on mahdollisuus päästä käsiksi harvinaiseen, vaikeasti lähestyttävään tapaukseen tai useita rinnakkaisia tapauksia (multiple-case) kun halutaan varmentaa edellisessä tapauksessa saatuja tuloksia (literal replication) kun halutaan tuottaa ennakoidusti vastakkaisia tuloksia(theoretical replication) olennaista tällöin, että nämä tapaukset ovat tutkijan käsityksen mukaan samanlaisia (pienet erot eivät kiinnosta) tavoitteena kuvata joko "tyypillinen" tapaus tai kaikkien näiden tapausten yhteistä "olemus". (Esim. Järvinen & Järvinen 2000, 83; Routio 2005; Tellis 1997) Aineiston kokoaminen tapaustutkimuksessa Tapaustutkimuksen avulla tapauksesta pyritään kokoamaan ilmiöstä tietoja monipuolisesti ja monella tavalla aineistoa kootaan mm. havainnoimalla, haastattelemalla, dokumentteja usein käytetään myös tilastollista aineistoa valottamaan ilmiötä laajemmin Tapaustutkimukset ovat luonteeltaan eri näkökulmia yhdistäviä (multi-perspectival analyses) Tutkijan tulee koota tarkastella tapausta myös muiden kuin varsinaisten toimijoiden näkökulmasta tapaustutkimuksen vahvuus > saadaan esiin myös äänettömien näkemykset Erilaisten tietolähteiden käyttö (aineistotriangulaatio) on lähes perusedellytys tapaustutkimuksessa Voidaan paremmin selvittää ristiriitaiset väitteet (Esim. Cohen & Manion 1995 ref. Metsämuuronen 2005; Hirsjärvi 2001; Tellis 1997) 3

4 Tapaustutkimuksen tavoitteet Tavoitteena on (monimutkaisen) tapauksen holistinen ja syvällinen ymmärtäminen ja tapauksesta oppiminen tyypillisimmillään juuri tapauksen tarkka kuvailua etsitään mikä tapauksissa on yhteistä ja mikä taas erityistä tapauksia yhdistävät tekijät voivat toimia askeleena kohti yleistämistä yleistäminen ei ole (ei saa olla) itsetarkoituksena Tapaustutkimus pyrkii vastaamaan kysymyksiin miten ja miksi tavoitteena selittää reaalielämän ilmentymien monimutkaisia syy-seuraussuhteita sekä kysymykseen, kuvailemaan reaalielämän kontekstia, missä ilmiö esiintyy, kuvailemaan reaalielämän ilmentymää itseään (dokumentoida keskeisiä piirteitä) TAI kartoittamaan mitä tapahtuu (etsimään uusia näkökulmia, uusia ilmiöitä. Tyypillisimmin tapaustutkimus on luonteeltaan kuvailevaa. (Esim. Cohen & Manion 1995 ref. Metsämuuronen 2005; Hirsjärvi 2001) Huomioitavaa tapaustutkimuksessa 1. Tutkimuksen hyvä suunnittelu hyvä laatia toimintasuunnitelma, jossa määritellään alustavat tutkimuskysymykset (-ongelma), oletukset tai esioletukset analyysiyksiköt logiikka, jolla havaintotiedot liitetään väitteisiin kriteerit, joihin perustuen löydökset tulkitaan (Esim. Järvinen & Järvinen 2000, 83; Tellis 1997) 4

5 Huomioitavaa tapaustutkimuksessa 2. Tutkijan on hallittava tutkimusaihe hyvin kyettävä esittämään hyviä kysymyksiä ja tulkitsemaan vastauksia myös lennossa kyettävä lukemaan rivien välistä valmis tarvittaessa muuttamaan keruusuunnitelmaa aiheessa pysyen tietojen keruu ei ole rutiininomaista tietojen tallentamista (vaativampaa kuin esim. survey -tutkimuksessa) suositellaan keruusuunnitelman laatimista ja kokeilucasein toteuttamista (Esim. Järvinen & Järvinen 2000, 83; Tellis 1997) Huomioitavaa tapaustutkimuksessa 3. Tiedonkeruu tietoja ja näyttöä löydösten tueksi voi kerätä useasta eri lähteestä dokumentit, arkistot, haastattelut, havainnointi ja fyysiset artefaktit tärkeitä periaatteita käytä useita eri tietolähteitä laadi tapaustutkimuksen tietokanta: raakatieto, tutkijan kirjoittamat raportit, muistiinpanot, taulukkoaineistot, dokumentit, kertomukset ylläpidä perusteluketjuja: löydöksestä on voitava mennä askel askeleelta tutkimusongelman kysymykseen (viittauksia tiettyyn dokumenttiin, haastatteluun jne.) (Esim. Järvinen & Järvinen 2000, 83; Tellis 1997) 5

6 Tapaustutkimuksen metodeja Tapaustutkimuksen metodeja on tunnistettu useita: intensiiviset metodit (yleisimpiä tapoja tehdä tapaustutkimusta) narratiivi taulukointi selittävä ja tulkitseva toimintatutkimukset diagnostinen ja kokeellinen toimintatutkimus vertailua korostavat metodit (kokeellista tutkimusta lähellä olevat teoriaa testaavat tapaustutkimukset) tapausten katsaus (case survey) tapausten vertailu tulkitseva vertailu (Esim. Cunningham 1997 ref. Järvinen & Järvinen 2000, 58-63) Intensiiviset metodit Tavoitteena yhden henkilön, ryhmän tai organisaation tapahtumien ymmärtäminen Tuloksena ainutlaatuisten, mutta tyypillisten ilmiöiden kuvaus tai tulkinta voi muodostaa pohjan uudelle teorialle 1. Narratiiviset metodit: kuvauksia haastatteluista, kokouksista ja yksittäisistä dokumenteista > olennaista on vetää yhteen eri lähteistä saatua tietoa ei kiinnitetä huomiota mihinkään erityiseen muodostetaan kategorioita alustavan lajittelun perusteella (Esim. Cunningham 1997 ref. Järvinen & Järvinen 2000, 78-79) 6

7 Intensiiviset metodit 2. Taulukointimetodi kuvataan kuinka monta kertaa jokin asia tapahtui edellyttää, että ennen taulukointia tutkija muodostaa kategoriat, joiden esiintymistiheyttä sitten tarkastellaan (vrt. grounded theoryn tapa kuvata ilmiötä) kuvauksen asianmukaisuus riippuu kategorioiden valinnasta 3. Selittävä metodi kirjataan tosiasioita ja samanaikaisesti tehdään päätelmiä ilmiöstä kuvataan tapaus tietystä näkökulmasta ja annetaan yksityiskohtia syiden ja käsitteiden tueksi 4. Tulkitseva metodi vähemmän täsmällinen, tarjoaa kuvauksia tai esimerkkejä uusista ideoista tms. (vrt. elämänkerrat) (Esim. Cunningham 1997 ref. Järvinen & Järvinen 2000, 78-79) Analysointi tapaustutkimuksessa Tavoitteena perustelujen tuottaminen tuloksille haastava tehtävä, jolle ei ole olemassa vakiintuneita menetelmiä jollei tiedä mitä aineistolla tekisi suositellaan aineiston koodaamista numeeriseen muotoon ja tilastolista käsittelyä aineiston perusrakenteen löytämiseksi aineiston luokitteleminen, kuvaaminen, järjestäminen kronologisesti jne. (Esim. Järvinen & Järvinen 2000, 83; Tellis 1997) 7

8 Analysointi tapaustutkimuksessa Keskeisiä analysointimuotoja mallin sovitus, selitysten rakentaminen ja aikasarja-analyysi Mallin sovitus (pattern-matching) aineiston pohjalta laadittua mallia verrataan teoreettiseen malliin kun tutkimuksen tavoitteena on teorian testaaminen tai edellisen tapauksen pohjalta laaditun mallin testaaminen (kysymyksessä usean casen sarja) malli saa tukea perättäisistä tapauksista malli ei päde toisessa tapauksessa > tarvitaan toinen teoria/malli (Esim. Järvinen & Järvinen 2000, 83; Tellis 1997) Analysointi tapaustutkimuksessa Selitysten rakentaminen (explanationbuilding) kuvataan sanallisesti syy-seurausketjuja peräkkäisissä case-tutkimuksissa selitys voi saada tukea tai sitä joudutaan korjaamaan kartoittavissa tai kuvailevissa case-tutkimuksissa tällöin kysymyksessä on hypoteesien synnyttäminen ei voida rakentaa selittäviä syy-seuraussuhteita, koska ei ole mitään hypoteesejakaan (Esim. Järvinen & Järvinen 2000, 83; Tellis 1997) 8

9 Analysointi tapaustutkimuksessa Aikasarja-analyysi (time-series analysis) tarkoittaa tapaustutkimuksessa hieman eri asiaa kuin yleensä yksittäisen muuttujan arvojen tutkimista peräkkäisinä ajankohtina tavoitteena löytää trendejä yksinkertaisimmillaan havaintojen asettamista aikajärjestykseen tavoitteena tunnistaa tiettyjä periodeja, ehdollisia seuraantoja jne. (Esim. Järvinen & Järvinen 2000, 83; Tellis 1997) Tapaustutkimuksen etuja (Vrt. Cohen & Manion 1995 ref. Metsämuuronen 2003) I. Tutkimus on jalat-maassa-tutkimusta 1. aineisto on totta, mutta hankala organisoida 2. perustuu tutkittavan omiin kokemuksiin II. Sallii yleistykset III. Päästään kiinni sosiaalisten totuuksien monimutkaisuuteen ja sisäkkäisyyteen 3. parhaimmillaan tarjoaa tukea vaihtoehtoisille tulkinnoille IV. Tutkimuksen tuotoksina syntyy kuvailevaa aineistoa 4. syntyvästä arkistosta voidaan tehdä erilaisia tulkintoja V. Tutkimuksen lähtökohta usein toiminnallinen 5. tuloksia sovelletaan usein käytännössä VI. Tutkimus voidaan helposti raportoida kansantajuisesti 6. tutkimustulokset palvelevat erilaisia lukijoita 7. lukija voi itse tehdä tulkintoja tuloksista 9

10 Tapaustutkimuksen kritiikkiä (Esim. Järvinen & Järvinen 2000) 1. Tutkimuksesta puuttuu tieteellinen kurinalaisuus Vastine: Virheitä voidaan tehdä tutkimusotteesta riippumatta 2. Yhden tapaustutkimuksen perusteella ei voida yleistää Vastine: Tilastollisen yleistämisen sijasta pyritään teoreettiseen yleistykseen eli teorian laajentamiseen ja yleistämiseen 3. Tapaustutkimus vaatii paljon resursseja Vastine: Muutkin tutkimusmenetelmät vaativat resursseja. 4. On vaikea löytää hyvä case-tutkijoita. Vastine: Muutkin tutkimusmenetelmät vaativat hyviä tutkijoita Case 1. Design Web Site for Different Countries in E-commerce. (Kang 2004) Tutkimuksen tavoitteena oli muodostaa yleinen käsitys kulttuuristen tekijöiden huomioonottamisesta kansainvälisen verkkokaupan käyttöliittymän suunnittelussa tarkoituksena ymmärtää millaisia yleisiä haasteita tapaukseen liittyy markkinoinnin näkökulmasta Tutkimuksen motiivit kansainvälisen verkkokaupan merkityksen kasvu aiemmissa tutkimuksissa todettu, että käyttöliittymien visuaaliset vihjeet eivät toimi tehokkaasti globaalissa kontekstissa > siitä huolimatta käyttöliittymiä lokalisoidaan kääntämällä tekstit toiselle kielelle esim. kuvat, ikonit, metaforat, värit, muodot, tekstin asettelu ihmiset tulkitsevat asioita eri tavoin omista kulttuurisista lähtökohdista käsin olemassa vain vähän tutkimusta kulttuuristen tekijöiden merkityksestä verkkokaupan piirissä sitä vastoin on olemassa runsaasti erilaisia lähestymistapoja käytettävyyteen liittyvien asioiden ratkaisemiseksi 10

11 Case 1. Design Web Site for Different Countries in E-commerce. (Kang 2004) Kysymyksessä kartoittava tapaustutkimus tarkoituksena muodostaa yleiskäsitys tapauksesta (alustavia hypoteeseja) jatkotutkimusta varten Tutkimusongelma: suunnittelijoiden asenteet ja toiminta kansainvälisen verkkokaupan suunnitteluprosessissa Tiedon hankinta: kymmenen suunnittelijaa viidestä eri yrityksestä Australiasta ja Singaporesta teemahaastattelut (lisäksi on-line haastattelu ja s-postin välityksellä tapahtuva tiedon kerääminen) haastateltavien suunnittelemien verkkopalveluiden analysointi Lisäksi vertailtiin erään organisaation verkkokaupan Australian ja Singaporen markkinoille suunnattua käyttöliittymää Case 1. Design Web Site for Different Countries in E-commerce. (Kang 2004) Aineiston analysoinnin tavoitteena oli löytää toistuvia, tyypillisiä piirteitä ja säännönmukaisuuksia aineiston tiivistäminen > todentaminen Tulos: australialaiset (A)korostivat toiminnallisuuden merkitystä verkkopalvelussa (tilaus- ja hakutoiminnot), myös sisällön merkitystä, kuvia ei koettu niinkään merkittäviksi singaporelaiset (S) taas pitivät enemmän kuvallisesta kuin tekstuaalisesta informaatiosta; myös päivittivät verkkosivuja useammin 11

12 Case 1. Design Web Site for Different Countries in E-commerce (Kang 2004) Web developer s attitudes Characteritic Singaporean Australian Use of display colors Prefer particular color scheme (companies) No color preference from companies Image represented Company logo is important Company prestige is more important than image Use of symbols No particular scheme No particular scheme Use of animations Important part Less important Use of pictures Heavily used Mainly used text Funcionality of web site Customers are not main consideration Customer reactions are major influence on design Tulosten hyödyntäminen Todettiin, että tarkasteltavana olevan yrityksen verkkokaupan käyttöliittymässä käytettiin aivan samanlaisia ratkaisuja riippumatta kohdemaasta käyttöliittymää on tarkoitus kehittää tulosten pohjalta vastaamaan paremmin eri kulttuurista olevien käyttäjien tarpeisiin 12

13 Toimintatutkimus Toimintatutkimus Toimintatutkimuksella (Action Research) tarkoitetaan todellisessa maailmassa tehtävää interventiota ja sen vaikutusten tutkimusta Sen avulla pyritään parantamaan sosiaalisia käytäntöjä sekä ymmärtämään niitä syvemmin Tavoitteena on vastata johonkin käytännössä havaittuun ongelmaan tai kehittää olemassa olevaa käytäntöä paremmaksi 13

14 Toimintatutkimus tutkijan rooli Toimintatutkimus on lähestymistapa, jossa tutkija osallistuu kiinteästi tutkittavana olevan kohdeyhteisön elämään Tutkija pyrkii yhdessä yhteisön jäsenten kanssa ratkaisemaan yhdessä määritellyt ongelmat, saavuttamaan asetetut tavoitteet ja päämäärät Tutkija ja kohdeyhteisön jäsenet tutkivat yhdessä ongelma ilmenemistä, keräävät tietoa ilmiöstä ja pohtivat sen synty- ja kehitysehtoja sekä kokeilevat ratkaisuvaihtoehtoja Toimintatutkimus - historia Juuret on 1920-luvulla Pioneereina mm. amerikkalainen pedagogi Dewey Teoreettinen tausta Kurt Lewiniltä luvulla Peruskäsitteinä teoriassa yhteistoiminnallisuus, demokraattisuus sekä teorian ja käytännön muuttuva luonne 14

15 Toimintatutkimus Määritelmän mukaan toimintatutkimus on tilanteeseen sidottua (Situational) yhteistyötä vaativaa (Collaborative) osallistuvaa (Participatory) itseään tarkkailevaa (Self-evaluative) Tutkimuskohteena on yleensä esim. työyhteisön tai organisaation muutosprosessi Toimintatutkimuksen tavoitteet Kehittäminen käytännön toimintojen kehittyminen osallistujien ymmärtämiskyvyn lisääntyminen itse toimintatilanteen kehittyminen Vaikuttaminen 15

16 Toimintatutkimus Sopii hyvin 1. kun pyritään löytämään lääke tietyssä tilanteessa havaittuun ongelmaan 2. kun halutaan tarjota koulutusta yhteisön sisällä 3. kun halutaan lisätä toimintaan uusia näkökulmia 4. kun halutaan parantaa kommunikointia toimijoiden ja tutkijoiden välillä 5. kun halutaan antaa mahdollisuus subjektiiviselle ja impressionistiselle lähestymistavalle ratkaista ongelmia Toimintatutkimus Toimintatutkimuksessa korostuu käytännön ja teorian, toiminnan ja ajattelun välinen vuorovaikutuksellinen suhde Parhaimmillaan toimintatutkimusprosessin myötä tapahtuvassa kokemuksellisessa oppimisessa omakohtaiset kokemukset palautetaan mieleen tunteet huomioiden, ymmärretään kokemukset reflektoinnin kautta uudelleen arvioinnin myötä kokemukset voidaan muuntaa käsitteellisesti abstraktiksi tiedoksi, jonka pohjalta luodaan ratkaisuja uudelle toiminnalle Reflektoinnin kohteena tarkastellaan kaikkia toiminnan vaiheita, kokemuksen eri osien yhteyksiä ja suhteita 16

17 Toimintatutkimuksen lajit 1. tekninen eli interventio suuntautunut 2. praktinen eli käytännöllinen 3. emansipatorinen eli vapauttava toimintatutkimus Tekninen toimintatutkimus Kehittämisprojekti käynnistyy ensisijaisesti ulkoisen ongelman eikä niinkään yhteisön toimijoiden takia Kyseessä voi olla esim. uuden koulutuksen järjestämisestä filosofian/strategian/toimintasuunnitelman implementoinnista kehittämisyhteistyöprojektista 17

18 Käytännöllinen toimintatutkimus Lähtökohta voi olla joko käytännön toimijoissa tai ulkopuolisessa kehittäjässä Toimijoita pyritään auttamaan tiedostamaan, muotoilemaan ja uudelleen suuntaamaan omaa tietoisuuttaan ja käytäntöä Vapauttava toimintatutkimus Toimija itse pyrkii parantamaan toimintaympäristöään Tavoitteena on, että toimija kykenee olemaan itsenäisempi, tasa-arvoisempi, demokraattisempi ja toimintaympäristö muuttuu oikeudenmukaisemmaksi 18

19 Toimintatutkimus - peruspiirteet 1. Tutkimuksen kohteena on sosiaalinen käytäntö, joka on altis muutoksille 2. Toiminta etenee suunnitellun, toiminnan havainnoinnin ja reflektoinnin spiraalisena kehänä, jossa jokaista vaihetta toteutetaan sekä suhteistetaan toisiinsa systemaattisesti ja kriittisesti 3. Osallistujat ovat jokaisessa vaiheessa vastuullisia toiminnastaan ja sen intensiteetistä sekä muille osallistujille että itselleen Tutkimuksen kulku 1. Arkipäivän tilanteesta lähtevän ongelman indentifiointii, arviointi ja muotoilu 2. Aiemman tutkimuskirjallisuuden etsiminen 3. Ensimmäisessä kohdassa muotoilun ongelman muokkaaminen ja uudelleen määrittäminen 4. Tutkimuksen kulun suunnittelu 5. Tutkimuksen arvioinnin (evaluaation) suunnittelu 6. Uuden projektin käynnistäminen 7. Aineiston tulkinta ja projektin arviointi 19

20 Tutkimuksen kulku Suunnittelu: joustava yleissuunnitelma Kuka tekee? Mitä tehdään? Mitä tavoitellaan? Miten havainnoidaan ja seurataan? Tavoitellaan yhteisen ymmärryksen luomista lähtötilanteesta, osallistujista, toimintaympäristöstä, ongelman luonteesta ja yhteisen suunnitelman luomista käytäntöjen kehittämiseksi Edellyttää ainakin tutkijalta kirjallisuuteen perehtymistä ongelmien ja niitä kuvaavien käsitteiden määrittelemiseksi sekä mahdollisten esioletusten tai hypoteesien määrittelemiseksi Kaikilla osallistujilla mahdollisuus keskustella käytännöistä ja teoreettisista käsitteistä, analysoida toimintaansa sekä suunnitella käytäntöjensä kehittämistä Tutkimuksen kulku Toiminta: Toteutetaan tavoitteiden ja laaditun suunnitelman mukaan Painotetaan toimintakohtia, jotka osallistujat alkuvaiheessa hahmottelivat epätyydyttäviksi ja joita nyt pyritään muuttamaan ts. perustuu kriittisesti tarkasteltuun käytäntöön Keskustelut ja kompromissit kuuluvat asiaan 20

21 Tutkimuksen kulku Havainnointi: Osallistujat keräävät tietoa toiminnastaan esim. henkilökohtaisin päiväkirjoin, reflektointilomakkein, ryhmäkeskustelunauhoituksin, haastatteluin, kokoamalla ongelmakarttaa ja arvioimalla prosessia ja sen vaiheita kokonaisuudessaan Havainnointitavat suunnitellaan etukäteen, jotta kaikesta toiminnasta saadaan luotettavaa tietoa Havainnointivaihe muodostaa pohjan kriittiselle itsereflektoinnille Tutkimuksen kulku Reflektointi: Aktiivinen vaihe tutkimusta, Arviointiprosessi, jossa pohditaan koetun toiminnan merkitystä ja arvioidaan tuloksia Tilanteiden etenemisen arviointi, tavoitteiden uudelleen asettelu ja toimintatapojen tarkastelu Prosessin vaiheiden ja lopputulosten arviointi sekä raportointi 21

22 Kritiikkiä Toimintatutkimusta on kritisoitu siitä, että se kohdistuu tiettyyn yhteyteen sidottuun erityisongelmaan, joten yleistettävyys on ongelmallista, tutkijan vaikutus tutkimuksen kulkuun voi olla liian suuri, tulosten luotettavuudessa voi olla ongelmia, tutkijan osalta tutkimustoiminnan ja manipulaation raja voi olla epäselvä, on merkitykseltään hyvin rajoitettu, riippumattomia muuttujia ei pystytä kontrolloimaan Viikkoharjoitus 6. Valitse yksi tehtävä: Tehtävä 1: Pohdi tutkimuksessasi mielenkiinnon kohteena olevaa ilmiötä. Voisiko tapaustutkimus olla tarkoituksenmukainen lähestymistapa? Millainen tutkimusasetelma mielestäsi vois tulla kysymykseen? Mitä tutkimuksella tuolloin tavoiteltaisiin? Millaisia haasteita liittyy tapaustutkimuksen käytännön toteuttamiseen? Tehtävä 2: Pohdi tutkimuksessasi mielenkiinnon kohteena olevaa ilmiötä. Voisiko toimintatutkimus olla tarkoituksenmukainen lähestymistapa? Millainen tutkimusasetelma mielestäsi vois tulla kysymykseen? Mitä tutkimuksella tuolloin tavoiteltaisiin? Millaisia haasteita liittyy toimintatutkimuksen käytännön toteuttamiseen? Käytä apunasi luentokalvoja ja lisämateriaalia sekä case-esittelyjä. 22

23 Lähteet: Cohen, L. & Manion, L Reasearch Methods on Education. 4. Edition. London: Routledge. Cunningham, J. B Case study principles for different types of cases. Quality and Quantityt 31, Heikkinen, H., Huttunen, R. & Moilanen P Siinä tutkija missä tekijä. Toimintatutkimuksen perusteita ja näkökulmia. Jyväskylä: PSkustannus ja Atena. Järvinen, A. & Järvinen, P Tutkimustyön metodeista. Tampere. opinpaja. Kang. K. S Design Web Site for Different Countries in E- commerce [online]. 2004, [viitattu ]. 9ième Colloque de l ÁIM: Systèmes d infotmation: perspectives qritiques, , Evry, Ranska. Saatavissa pdf-muodossa: <URL: Metsämuuronen, J Tutkimuksen tekemisen perusteet ihmistieteissä. 3. uudistettu painos. Helsinki: International Methelp Ky. Lähteet: Routio, P Tuote ja tieto [online]. Helsinki: Taideteollinen korkeakoulu, päivitetty [viitattu ]. Tapaustutkimus. Saatavissa wwwmuodossa: <URL: Routio, P Tuote ja tieto [online]. Helsinki: Taideteollinen korkeakoulu, päivitetty [viitattu ]. Toimintatutkimus. Saatavissa www-muodossa: <URL: Suojanen, U Toimintatutkimus koulutuksen ja ammatillisen kehittymisen välineenä. Loimaa: Finn Lectura Ab. Syrjälä, L Tapaustutkimus opettajan ja tutkijan työvälineenä. Teoksessa: Syrjälä, L. (toim.) Laadullisen tutkimuksen työtapoja. Helsinki: Kirjayhtymä, Tellis, W Application of a Case Study Methodology. The Qualitative [on-line]. Vol. 3(3), [viitattu ]. Saatavissa www-muodossa: <URL: >. ISSN Yin, R. K Case study research: Design and methods. Beverly Hills (CA.): Sage Publications. 23