S2 Digitaalisen kulttuurin opintopiiri. Ohjelma. Tutkimuksenteon yleiset ongelmat. Riikka Turtiainen

Samankaltaiset tiedostot
S2 Digitaalisen kulttuurin opintopiiri

OPINNÄYTE OJENNUKSEEN. Se on vaan gradu!

Aiheen rajaus Tutkimussuunnitelma. Aiheen rajaaminen. Aiheen rajaaminen tutkittavaan muotoon

S2 Digitaalisen kulttuurin opintopiiri

EDUTOOL 2010 graduseminaari

Tavoite: itsenäinen tutkimus! ja sen esittäminen kirjallisesti, tieteellisesti, tyylillisesti, oppineesti oikein

Pikkugee. Krista Anttila Rykäsyryhmä -09

MONOGRAFIAN KIRJOITTAMINEN. Pertti Alasuutari

Osaamistavoitteet. Kasvatustiede 35 op Proseminaari 8 op. Mikä on Proseminaari? Opinnäytetyö. Opettele (1) Opiskelua.

Aiheen rajaus Tutkimussuunnitelma

Kandidaatintutkielman arviointikriteerit

Pro gradu - tutkielma. Kasvatustieteiden tiedekunta, Oulun yliopisto KT HANNU Heikkinen

Tietotekniikan opintojen aktivointi

Hyvin suunniteltu on puoliksi tehty. Tutkimussuunnitelma. Miten se tehdään?

Kuinka laadin tutkimussuunnitelman? Ari Hirvonen I NÄKÖKULMIA II HAKUILMOITUS

Kajaanin ammattikorkeakoulu Opinnäytetyösuunnitelman ohje

Tutkimussuunnitelmaseminaari. Kevät 2011 Inga Jasinskaja-Lahti

Pro gradu - tutkielma KASVATUSTIETEIDEN TIEDEKUNTA, OULUN YLIOPISTO KT HANNU HEIKKINEN

Tutkimuspäiväkirja ja tutkimussuunnitelma Eeva Jokinen

Mitä opittiin, kun suurten opiskelijamäärien opetus ja ohjaus sulautettiin verkkoon?

Materiaalitutkimus Kirsti Taiviola/kevät2016

Tekstin rakenne ja epälineaarinen työskentely. Kandidaattiseminaarin kielikeskuksen osuus, tekstipaja 1

HAVAINTO LÄhde: Vilkka 2006, Tutki ja havainnoi. Helsinki: Tammi.

Gradu-seminaari (2016/17)

TUTKIELMA 5 OP A. Oulun yliopisto Täydentävien opintojen keskus Avoin yliopisto Kevät 2016

OPINNÄYTETYÖ OHJAUKSELLISENA HAASTEENA

Tieteellinen kirjoittaminen: tekstin temaattiset osat. Kandidaattiseminaarin kielikeskuksen osuus, tekstipaja 1

Tekstin rakenne ja epälineaarinen työskentely. Kandidaattiseminaarin kielikeskuksen osuus, tekstipaja 1

Tiede ja tutkimus (Teemaopintokurssi TO1.1)

Tutkimuksellinen vai toiminnallinen opinnäytetyö

PSY181 Psykologisen tutkimuksen perusteet, kirjallinen harjoitustyö ja kirjatentti

OPISKELUTYÖN MITOITUS Opetuksen suunnittelun työväline, jolla arvioidaan opiskelijan työmäärää suhteessa 1 PERUSTIEDOT

Kandidaatintutkielma 6 op (Äidinkielinen viestintä 3 op) (Ttkimustiedonhaku 1 op) (Kypsyysnäyte 0 op) Kevät 2011 Jaakko Kurhila

HENKILÖKOHTAINEN OPINTOSUUNNITELMA, FM-TUTKINTO. Nimi:

Tutkielmavuoden aloitus tiistaina pro gradu tutkielma

Kandiaikataulu ja -ohjeita

EFPP Olavi Lindfors. TUTKIELMAN JA TIETEELLISEN KIRJOITTAMISEN OHJAAMINEN koulutusyhteisöjen kokemuksia

Hoitotieteen laitos. VALINTAKOE , Kysymykset ja arviointikriteerit

Opinnäytetyön ulkoasu

OPINTOJEN SUUNNITTELU

Aiheesta tutkimussuunnitelmaan

Tietotekniikan kandidaattiseminaari

Tieteelliset taidot tutkimuksellisena lukutaitona

klo 14:15 salissa FYS2

Teemaseminaari on. Historiatieteellisen ajattelutavan tarkastelutavan esittämisen keskustelun perusvalmiuksien harjoittelua

Aineiston analysointitapoja

Kandityön kirjoittaminen. Opinnäyteseminaari

TIETOINEN HAVAINTO, TIETOINEN HAVAINNOINTI JA TULKINTA SEKÄ HAVAINNOLLISTAMINEN

Ajanhallinta ja suunnitelmallinen opiskelu

TEKSTILAJEJA, TEKSTIEN PIIRTEITÄ

Kandidaatin tutkielman arviointien koonti

Kandi/Gradu Tieteellinen (systemaattinen) kirjallisuuskatsaus. Perinteisen kirjallisuuskatsauksen sudenkuopat:

Nellin matala käyttöaste syyt? (Stadia / AMK) :

Vero-oikeuden graduseminaari käytännön näkökulmia gradutyöskentelyyn. Apulaisprof. Tomi Viitala

Väitöskirjan kirjoittaminen ja viimeistely

Kandidaatintutkielma 6 op (+Äidinkielinen viestintä 3 op) (+Tutkimustiedonhaku 1 op) (+Kypsyysnäyte 0 op) Syksy 2014 Jaakko Kurhila

Vinkkejä hyvään graduun. Janne Hukkinen Helsingin yliopisto

Sisällönanalyysi. Sisältö

Kandidaatintutkielma 6 op (+Äidinkielinen viestintä 3 op) (+Tutkimustiedonhaku 1 op) (+Kypsyysnäyte 0 op) Kevät 2015 Jaakko Kurhila

Essee = pienoistutkielma tai suppeahko tutkielma

Tekstin rakenne ja prosessimainen työskentely. Kandidaattiseminaarin kielikeskuksen osuus, tekstipaja 1

Haastattelututkimus ja tekstianalyysi. Janne Matikainen Yliopistonlehtori

Kandidaatintutkielma 6 op (+Äidinkielinen viestintä 3 op) (+Tutkimustiedonhaku 1 op) (+Kypsyysnäyte 0 op) Kevät 2013 Jaakko Kurhila

AJATTELE ITSE. Hanna Vilkka

Tauon jälkeen tutkijaksi. Informaatikko Marja Kokko

LAADULLISESTA SISÄLLÖNANALYYSISTÄ

LUKUVUODEN PRO GRADU -SEMINAARIRYHMIIN HAKEMINEN. Kasvatustieteiden laitos Opettajankoulutuslaitos

Xamk liiketalouden yksikkö Mikkeli Tulevaisuuden liiketoiminnan johtaminen

Eläinlääketieteen lisensiaatin tutkielma Seminaarityöskentelyohjeet

Miten pääsen alkuun?

Tietotekniikan pro gradu -seminaari, kevät 2012

Pedagogiset haasteet tutkimuksessa: kirjapakettikurssi

ENG3043.Kand Kandidaatintyö ja seminaari aloitusluento Tutkimussuunnitelman laatiminen

Aalto CHEM Kandidaattiseminaari (+ BTT/KEM/MTE seminaarit)

VI Tutkielman tekeminen

Tutkimussuunnitelmaseminaari. Kevät 2012 Inga Jasinskaja-Lahti

Kasvatustieteiden laitos Opettajankoulutuslaitos LUKUVUODEN PRO GRADU- SEMINAARIRYHMIIN HAKEMINEN

Laadullisen tutkimuksen piirteitä

Osviitaksi opinnäytteeseen Hanna Vilkka

Oppimisen pulmista oppimisen iloon -teemaryhmä

DIPLOMITYÖN KIRJOITTAMISEN OHJEET. Prosessikirjoittaminen. Työn rakenne

Teemu Kerola Kandidaatintutkielma Kevät 2017 (Tieteellisen kirjoittamisen kurssi, tiki)

Ohjeet tutkimussuunnitelman kirjoittamiseen

Johnson, A Theoretician's Guide to the Experimental Analysis of Algorithms.

Opinnot ja tiedonhankinta. 1op

Maisteriopiskelijan infopaketti. Informaatiotutkimuksen ja interaktiivisen median opintosuunta

HISTORIAN KANDIDAATTI-

Esseeohje Tarkoitus Rakenne

Kirjoittaminen siis tukee tutkimuksen etenemistä alusta alkaen.

Porin tiedekirjasto ja TTY:n verkkoaineistot

eeducation karnevaalit Vertaisarviointitaitoja oppimassa verkossa

811393A JOHDATUS TUTKIMUSTYÖHÖN

TERVETULOA OPISKELEMAAN! Informaatiotutkimuksen ja interaktiivisen median tutkinto-ohjelman infotilaisuus

LASKENTATOIMEN PRO GRADU INFO

Onnistuuko verkkokurssilla, häh?

Aalto CHEM Kandidaattiseminaari (+ BTT/KEM/MTE seminaarit)

Teoreettisen viitekehyksen rakentaminen

Kandista Pro Gradu tutkielmaan. Jyrki Komulainen, Hannu Heikkinen Yliopistonlehtorit OULUN YLIOPISTO Kasvatustieteiden tiedekunta

Kirjastoinfo TuKKK Pori Porin tiedekirjasto

OPINNÄYTEOHJEET. Seminaarisessio 1 ARTS3016.KAND TAITEEN KANDIDAATIN OPINNÄYTE JA SEMINAARI. Antti Pirinen, Aalto ARTS, Muotoilun laitos 2017

Transkriptio:

S2 Digitaalisen kulttuurin opintopiiri Riikka Turtiainen 17.9. 2008 Ohjelma KE 10.9. klo 12-14 Kurssin aloitus KE 17.9. klo 12-14 Aloitustehtävän yhteenvetoa YLEISIÄ HUOMIOITA, AIHE KE 24.9. klo 8-10 TIEDONHAKU ja omaksuminen MA 29.9. klo 12-14 TIETEELLINEN KIRJOITTAMINEN MA 6.10. klo 12-14 TUTKIMUSAINEISTO KE 15.10. klo 15-17 KOKONAISUUDEN HALLINTA + muuta esille pyrkivää KE 29.10. klo 8-10 Aineistonkeruusuunnitelmat ja kommentoinnit KE 5.11. klo 10-12 Aineistonkeruusuunnitelmat ja kommentoinnit KE 12.11. klo 10-12 Aineistonkeruusuunnitelmat ja kommentoinnit (kurssin lopetus) Tutkimuksenteon yleiset ongelmat Alkuun pääseminen: aiheen valinta ja rajaaminen Kysymyksenasettelu, tutkimusongelman muotoilu Disposition laatiminen Tiedon etsintä, oikeiden lähteiden haku ja löytäminen Lähteiden ja suuren tekstimäärän läpikäyminen: aiheeseen perehtyminen vaatii paljon työtä ennen kuin mitään näkyvää saa aikaan Työvaiheiden selkiytyminen Tieteenteoreettiset ja epistemologiset kysymykset alussa Teoriapohjan rakentaminen, teoreettisten lähtökohtien hahmottaminen Lähestymistavan valitseminen Metodi, metodiikka Aineiston analyysi ja luokittelu: empiirinen osio työläs Teorian ja empirian välinen yhteys Kokonaisuuden hahmottaminen: mitkä asiat työn kannalta merkityksellisiä, tutkimustuloksien vastaavuus suhteessa tutkimuskysymyksiin Tieteellinen kirjoittaminen Työtä kuljettavan punaisen langan löytäminen, miten niveltää luvut yhteen joustavaksi kokonaisuudeksi Työn paisuminen liian laajaksi, leviäminen käsiin 1

Projektin hallintaan liittyvät ongelmat Alkuvaiheessa kaikki tuntuu sekavalta Oma saamattomuus: itsekuri ja itseltä vaatiminen työlästä Tukos, kun työ ei etene Keskittymisvaikeudet Oma tietämättömyys asioista, tyhjä pää Yksinäisyys Motivaatio-ongelmat Kokonaisuuden hallinta, eri työvaiheet epäselviä Aikataulukysymykset (aikatauluttomuus, deadlinen puuttuminen + muun toiminnan ajallinen yhteensovittaminen ajanpuute, kiire) Tekniset ongelmat Miten tehdään lähdeviittausmerkinnät ja muut muotoseikat Tutkittavia hakiessa ihmisiä ei tavoita, sopivia haastateltavia vaikea löytää Kirjojen huono saatavuus, kaukolainat kalliita Tietokoneongelmat Ohjaukseen liittyvät ongelmat Seminaari-istunnot turhauttavia ja hyödyttömiä Ohjauksen vähäisyys ja ohjaajan kiire: ei paneutumista ohjaukseen, ei aikaa työn lukemiseen ja palautteen antamiseen eikä opiskelijan tukemiseen Näkemyserot työstä ohjaajan kanssa Selkeiden ohjeiden puute 2

MÖRKÖYHTEENVETOA: Ajankäytön sekoittavia, suunnitelmat vesittäviä, tavaroita piilottelevia, manipuloivia, epävarmuutta ja saamattomuutta lietsovia, luopumaan kannustavia sekä aikaa, (haja-)ajatuksia, sisäistettyjä kirjallisuusmuistoja ja tekstiä syöviä Mielen reunamilla, alitajunnassa, kirjastoissa, kirjapinoissa ja papereissa pesiviä Joskus melkein olemattomia (hukkaan meneviä) joskus jättiläismäisiä, elämää suurempia kynnen alle mahtuvia, välillä tutkimuksen ohjaajan välillä tutkimuksen tekijän omat kasvot saavia Ilmestyvät paikalle salakavalasti ja houkuttelevat tekemään kaikkea muuta kuin tutkimusta hokemalla: Huomenna sitten vaikuttavat myös hetkinä, joita ei vietä tutkimuksen parissa ja saattavat ilmestyä kyseenalaistamaan myös valmista tutkimusta Elävät mm. epäonnistumisista ja epäreilusta kritiikistä ITSENSÄ HUIJAAMINEN, KAAOS, GRADU-CHAN, SYYTTÄJÄ, MR: EPÄTOIVO, RIPES [mammuticus hajaannus] 1. AIHE + yleisiä huomioita 1. Aiheen valitseminen ja rajaaminen Miten löytää aiheesta se tärkein ja oleellisin? Mitä todella haluan tutkia? 2. Selkeän tutkimuskysymyksen laatiminen + YLEISIÄ HUOMIOITA Tekisinkö gradua vai suorittaisinko muita kursseja? 1. Alkuun pääsemisen vaikeus 2. Aikataulussa pysymisen vaikeus Motivaation puute Ajan puute Itsekurin puute (tunnetaan myös nimellä laiskuus) Itseluottamuksen ja kokemuksen puute Turha stressaaminen : Tuleeko tästä sellainen kuin pitäisi? Olenko harhautunut aiheesta? Onko metodi hallussa? Entä kieli? = riittämättömyyden ja epätäydellisyyden sietäminen 2. TIETEELLINEN KIRJOITTAMINEN 1. Tekstin tuottaminen prosessina Ajatukset ja analyysit mielessä valmiina mutta eivät muutu fiksuksi tieteelliseksi tekstiksi (päässä olevan tiedon jäsennys järkevästi) Tunninkin yhtäjaksoinen kirjoittaminen tuskaa Ymmärretyksi tuleminen Ei rutiinia 2. Tyylinä raportointi miten tarpeeksi syvälle & rajauksessa pysyen? 3. Tutkimuskirjallisuuden, aineiston ja oman ajattelun yhdistäminen Oman ääneen kuuluviin saaminen (ei ole tai ei erotu) 4. Lähdeviittaukset 3

3. TIEDONHAKU ja omaksuminen 1. Miten löytää oman aiheen kannalta välttämätön ja relevantein? Lukeminen yleistasolla omaksuminen 2. Täysin uuteen alueeseen tutustuminen uudet teoriat 4. TUTKIMUSAINEISTO 1. Tutkimusaineiston valinta ja rajaaminen perustellusti Eettiset kysymykset Valintojen vaikutus aineiston antamaan kuvaan Mistä tarpeeksi aineistoa? Mikä on tarpeeksi? Haastateltavien löytäminen (/valitseminen) 2. Tutkimusaineiston käyttö / käsittely (Miten lähestyä?) Aineiston tulkinta (varsinkin, jos näkökulma hakusessa) AINEISTON ANALYSOINTIMENETELMÄT Haastateltavien rehellisyys? 5. KOKONAISUUDEN HALLINTA (+ muuta esille pyrkivää) 1. Jäsentely ja rakenne Dispositio 2. Harhateille ajautuminen Aiheessa pysyminen ja kysymyksissä pitäytyminen Omalle aiheelle / tutkimukselle sokeutuminen Liiallinen uppoutuminen aiheeseen (pohjatiedot) 3. Lopettaminen, irti päästäminen = johtopäätökset Tutkimuksen tekeminen tuntuu välillä pelkiltä valintojen tekemiseltä. oikeiden valintojen löytäminen 4

Yleisiä huomioita Tekisinkö gradua vai suorittaisinko muita kursseja? 1. Alkuun pääsemisen vaikeus 2. Aikataulussa pysymisen vaikeus Motivaation puute Ajan puute Itsekurin puute (tunnetaan myös nimellä laiskuus) Itseluottamuksen ja kokemuksen puute Turha stressaaminen : Tuleeko tästä sellainen kuin pitäisi? Olenko harhautunut aiheesta? Onko metodi hallussa? Entä kieli? = riittämättömyyden ja epätäydellisyyden sietäminen 1. Aloittakaamme alkuun pääseminen sillä, että jokainen määrittelee tämän kokoontumiskerran aikana kurssisuorituksensa eli loppukurssista käsiteltävän paperinsa muodon (aineistonkeruusuunnitelma, tutkimussuunnitelma, kirjallisuuskatsaus, essee / aihesuunnitelma, alustava aineistoanalyysi tms.) PAPEREIDEN ESITYKSET JA KOMMENTOINNIT Esittelijä esittelee oman "paperinsa" pääkohdat Kommentoija esittää kysymyksensä ja kommenttinsa Keskustelua (Jokaisen "paperin" käsittelyyn on aikaa yhteensä n. 20 min.) Esittelijän tulee toimittaa "paperi" muille kurssilaisille esitystä edeltävän viikon loppuun mennessä Ja "papereihin" tulee tutustua etukäteen - muidenkin kuin kommentoijan... 5

Aikataulu Yleensä graduntekijät eivät tee itselleen aikataulua, koska kukaan ei sitä vaadi (vrt. akateemisen vapauden jalot periaatteet) Minä vaadin NYT Suunnittelu Aiheen valinta (aihesuunnitelma) Aiheen rajaus Kirjallisuuden etsiminen ja lukeminen teoriataustan hahmottaminen (kirjallisuuskatsaus) Kirjoittaminen (muistiinpanot) Tutkimussuunnitelma johdannon luonnos Huom! Aiheen rajaus tarkentuu suunnitteluprosessin etenemisen myötä. Vinkkejä / huomioita: Älä lue ilman muistiinpanovälineitä! Alku ON junnaamista: aikaa kuluu, mutta näkyvää tulosta ei tunnu syntyvän Päästä ensimmäinen lause ulos l. torju itsesensuuri Aikatauluttamisen mahdollistaminen: - Ajattele tutkimusta osaprosesseina (15-20) aikataulusuunnitelma = möykyn paloittelu 1. Suunnittelu (vaativin?) 2. Aineiston hankinta (työläin?) 3. Kirjoittaminen (pisin?) 4. (Luettaminen ja viimeistely) Eniten aikaa vievät: - Sopivan kirjallisuuden etsiminen ja lukeminen - Muistiinpanojen tekeminen ja kirjoittaminen Oletko hidas vai nopea lukija? (vrt. erilaista kuin tenttiin lukeminen) Varaa kirjoittamisrupeamalle useamman tunnin jaksoja 6

Tutkielman etenemiskäyrä 100 % 90 % 80 % 70 % 60 % 50 % 40 % 30 % 20 % 10 % 0 % AIKA Tutkimuksen tekemisen biorytmi Tyhjä takki vs. kuuma rauta Tunnista oma vireystilasi Älä juutu yhteen kohtaan AIHE 1. Aiheen valitseminen ja rajaaminen Miten löytää aiheesta se tärkein ja oleellisin? Mitä todella haluan tutkia? 2. Selkeän tutkimuskysymyksen laatiminen 7

Aiheen valinta Mikä saa sinut uteliaaksi? Minkä aihealueen asiantuntija haluat olla? AIHEPIIRI Aiheen tutkittavuus (toteuttamiskelpoisuus) Liittyykö aiheeseen mielekkäitä kysymyksiä? Onko olemassa menetelmä, jolla aihetta voi tutkia? (tutkimusaineiston saatavuus) Resurssit Aiheen kiinnostavuus Miten pitkään jaksat olla innostunut aiheesta? Tutkimuspäiväkirjaan: MIKSI OLET KIINNOSTUNUT AIHEESTA? Mikä on suhteesi aiheeseen? Aiheen ajankohtaisuus Oletko perillä omaan tieteenalaasi liittyvästä ajankohtaisesta keskustelusta? Vrt. tieteensisäinen merkitys tieteelliset lehdet Motiivi: Miksi tällainen tutkimus kannattaa tehdä? Perustele itsellesi Aiheen rajaaminen tutkittavaan muotoon rajaus selkiytyy tutkimuksen edetessä Todellisuudessa aiheen valinta ja rajaaminen eivät ole erillisiä prosesseja Mitä jo tiedät aiheesta? Mitä aiheesta on jo kirjoitettu? Kirjastojen tietokannat, netissä surffailu, aivoriiheily Taustamotiivi voi olla laaja (!) aihe ei 1-3 kysymystä (aihepiiri idea, juoni, teesi, johtoajatus) Älä jää odottamaan sitä oikeaa ryhdy töihin! 8

DIGI: Kunnas-Holmström, Kati: Käsitetaidetta kuusivuotiaille, semiotiikkaa senioreille. Toimivaa museopedagogista Web-sovellusta etsimässä, 2008. Stenfors, Leila: Kunnallisten verkkopalvelujen tuottaminen. Haastattelututkimus Porin kaupungin kolmen hallintokunnan verkkopalvelujen tuotantoprosessista, 2008. Vahtokari, Kirsi: Interaktiivinen tv nyt. Interaktiivisten tv-ohjelmien ominaisuudet ja lajityypit, 2008. KUPE: Iso-Pietilä, Katariina: Hauskaa meininkiä vaikka työnteko onkin välillä raskasta. Vuoden 2006 toimitsijoiden motiivit osallistua vapaaehtoistyöhön Pori Jazz -festivaaleilla, 2008. Jakomaa, Johanna: Rautakourat ja tapaturmapeikko. Työturvallisuuskulttuuri Porin konepajalla 1890-luvulta 1970- luvulle, 2008. MäkiJaana: "Valtava merellinen pitäjä" Luvian meriperinteen soveltaminen museo- ja matkailukäyttöön 2000-luvulla, 2008. Salonsaari, Minna-Liisa: Hiitola kotipaikasta muistin paikaksi. Muistin paikan representaatioiden kerrostumia etsimässä, 2008. Slutbäck, Taru: Nyt on mies! Suomalaisten metallimuusikoiden esittämien ja fanitarinoissa uudelleenkirjoitettujen maskuliinisuuksien analyysiä, 2008. Kirjallisuus: Hakala, Juha T. (2008) Uusi graduopas. Melkein maisterin entistä ehompi niksikirja. Gaudeamus, Helsinki. Karisto, Antti & Seppälä, Ullamaija (2004) Maukas gradu. Valmistusvihjeitä tutkielman tekijöille. Vastapaino, Tampere. Hirsjärvi & al. (2004) Tutki ja kirjoita. Tammi, Helsinki. (10., osin uudistettu laitos) Keskustelua Miellekartta? http://digintutkimus08.blogspot.com/ 9

TEHTÄVÄ: Vaihdetaan aiheita! Aivoriiheilyä Seuraavalla kerralla: TIEDONHAKU ja omaksuminen Valmistaudu kokoontumiseen seuraavasti: Etsi mahdollisimman läheltä aihettasi sivuava tutkimus (teos tai artikkeli) Valmistaudu esittelemään muille a) Miten löysit kyseisen tutkimuksen? b) Mitä hyötyä siitä on omalle tutkimuksellesi? (eli pystytkö hyödyntämään sitä esim. aiheen rajaamisen, teoreettisen viitekehyksen tai käsitteiden määrittelyn suhteen) + Tutkimuspäiväkirjaan: MIKSI OLET KIINNOSTUNUT AIHEESTASI? Mikä on suhteesi aiheeseen? Mikä on kurssisuorituksesi ( paperisi )? 10