Lielahti-Kokemäki-hankkeen toteuttajanvalintavaiheen toimijoille suunnatun kyselytutkimuksen tulokset

Transkriptio

1 Lielahti-Kokemäki-hankkeen toteuttajanvalintavaiheen toimijoille suunnatun kyselytutkimuksen tulokset Allianssipäivä, , Liikennevirasto, Helsinki Pertti Lahdenperä & Annika Heikkilä, VTT

2 2 Palautekysely Kohderyhmänä Lielahti-Kokemäkiallianssihankkeen valintavaiheen toimijat tilaajan ja tarjoajien johto- ja projektiryhmien ehdokkaat sekä muut tarjouksissa nimetyt avainhenkilöt tilaajan arviointiryhmä ja nimetyt asiantuntijat, kaupallinen ryhmä sekä hankintavaiheen konsultit Kyselyn toteutus web-kyselynä VTT osana Patina-hanketta avoinna Vastausprosentti ~43 (32/74 henkilöä) Vastauksia jokaisesta vastaajaryhmästä 5 sekä kolmosvaiheen osallistujilta (10/22 tarjoajaa) Aktiivinen kommentointi avoimiin kysymyksiin (277 kpl) Laadulliset valintakriteerit arviointiperusteet sisältövaatimukset painottaminen uudet kriteerit Prosessi ja toimintatavat aikataulu ja kuormittavuus yhteistilaisuudet, tarkastukset tietotojen riittävyys kilpailijoiden määrä Muut kysymysteemat Pisteytysmenettely, hinnan paino Tavoitteiden toteutuminen Osallistumis- ja yhteistyökokemukset Hyötypotentiaali, tehokkuuserot Muut kehitysajatukset!!

3 3 Odotukset allianssille Miten oletat allianssin käyttöönoton parantavan "arvoa rahalle" -tuotosta sellaisissa hankkeissa, joissa allianssi on tarkoituksenmukainen vaihtoehto? Vastaus Lkm ei mitenkään radikaali parannus 10 Miten oletat allianssin käyttöönoton vaikuttavan muiden kuin allianssihankkeiden toimintatapojen ja alan yleiseen kehittymiseen pitkällä tähtäimellä? Vastaus Lkm ei mitenkään radikaali parannus 2

4 4 Laadulliset valintakriteerit Prosessi ja toimintatavat Alustavaa yhteenvetoa

5 5 Valintakriteerit A1 A2 A3 A4 A5 Näytöt tuloksellisesta toiminnasta A1.1 Näyttö tuloksellisesta toiminnasta avaintulosalueilla A1.2 Näyttö onnistuneista teknisistä kehitysratkaisuista ja innovaatioista A1.3 Virheistä oppiminen Organisaatio A2.1 Organisaatio A2.2 Avainhenkilöt Esim. Arvoa rahalle A3.1 Hankkeen kustannustehokkuuden strategia A3.2 Hankkeen kustannusten tarkastelu ja kehittäminen Hankkeen ohjauksen menettelyt A4.1 Hankkeen ohjaus A4.2 Turvallisuusjohtaminen A4.3 Riskienhallinta Allianssikyky ja johtaminen A5.1 Allianssiymmärrys ja palaute kaupallisesta mallista sekä kehitys- ja toteutusvaiheen allianssisopimuksista A5.2 Allianssin johto- ja projektiryhmän johtamiskyky Lähde: liikennevirasto (2011) Ensimmäisen vaiheen tarjouspyyntö. Lielahti-Kokemäki, perusparannushanke. Tarjouksen sisältövaatimukset: Tarjouksessa tulee nimetä seuraavat palveluntuottajan avainhenkilöt: Ehdokkaat Allianssin johtoryhmään Ehdokkaat Allianssin projektiryhmään Muut avainhenkilöt Jokaisesta tarjoajan avainhenkilöstä tulee antaa seuraavat tiedot Tehtävä Allianssi -organisaatiossa Perustelut nimetyn henkilön sopivuudesta tehtävään ja toimimaan Allianssissa huomioiden henkilön koulutus ja kokemus. Arviointiperusteet: Arvioidaan tarjoajan nimeämien avainhenkilöiden kokemusta ja asiantuntemusta esitettyyn tehtävään.

6 6 Näyttö tuloksellisesta toiminnasta avaintulosalueilla (A1.1) Kuinka hyvin tarjouksen sisältövaatimukset ja arviointiperusteet mittaavat kriteerinimikkeen tarkoittamaa ominaisuutta? Vastaus Lukumäärä Prosentti heikosti 1 3, melko heikosti 0 0, neutraali 10 31, melko hyvin 16 50,00 5. erinomaisesti 5 15,63 Kaikkien vastaajien keskiarvo: 3,75 Yhteensä Pitäytyminen yksin perinteisissä toimialan kriteereissä ei tuo toimintaan uutta, laaja-alaista osaamista ja kehittämisaihioita Avaintulosalueet ovat osittain päällekkäisiä ja joissakin kohtaa on vaikea hahmottaa, mistä näkökulmasta asiaa tulisi tarkastella Taloudellista menestystä projekteissa voi olla vaikea julkistaa, kun toimitaan usean toimijan kanssa yhteistyössä

7 7 Näyttö onnistuneista teknisistä kehitysratkaisuista ja innovaatioista (A1.2) Kuinka hyvin tarjouksen sisältövaatimukset ja arviointiperusteet mittaavat kriteerinimikkeen tarkoittamaa ominaisuutta? Vastaus Lukumäärä Prosentti heikosti 2 6, , , ,75 5. erinomaisesti 6 18,75 Kaikkien vastaajien keskiarvo: 3,66 Yhteensä Näyttöjen merkittävyys on vaikeasti kuvattavissa; innovaatioiden arvottaminen ja kokonaisvaikutuksen arvioiminen on haasteellista Tärkein kehityskohde on kokonaisuutena tuotantotehokkuuden ja laadun parantaminen, mitä ei tässä kuitenkaan oteta huomioon Aiempien näyttöjen ja innovatiivisuuden arviointi on hyvä lähtökohta jatkuvalle parantamiselle

8 8 Virheistä oppiminen (A1.3) Kuinka hyvin tarjouksen sisältövaatimukset ja arviointiperusteet mittaavat kriteerinimikkeen tarkoittamaa ominaisuutta? Vastaus Lukumäärä Prosentti heikosti 1 3, , , ,88 5. erinomaisesti 6 18,75 Kaikkien vastaajien keskiarvo: 3,69 Yhteensä Virheistä oppimisessa on korkea kynnys esittää ongelmia, jotka ovat aiheutuneet tilaajasta tai yhteistyöstä tilaajan kanssa Arvostelussa ei pidä tuijottaa niinkään syyllisyyttä vaan näyttöä ongelmasta oppimisesta tämä myös tilaajan osalta Kynnys tunnustaa epäonnistumisia on korkea, mutta kertoo hyvin avoimuudesta; oppimisen osoittaminen on kuitenkin vaikeaa

9 9 Organisaatio (A2.1) Kuinka hyvin tarjouksen sisältövaatimukset ja arviointiperusteet mittaavat kriteerinimikkeen tarkoittamaa ominaisuutta? Vastaus Lukumäärä Prosentti heikosti 0 0, , , ,61 5. erinomaisesti 4 12,90 Kaikkien vastaajien keskiarvo: 3,55 Yhteensä Resursseja tulisi käsitellä laajalti, koska isoissa hankkeissa toteutukseen osallistuu satoja henkilöitä ja erilaista kriittistä kalustoa Tilaajan ja tarjoajan henkilöitä sisältävän organisaation kokoaminen tulee tapahtua vuorovaikutuksessa, sen tarjoaminen on vaikeaa Tarjousvaiheen organisaation on oltava alustava; tilaajan integrointia korostettava, mikä edellyttää resurssien parempaa viestimistä

10 10 Avainhenkilöt (A2.2) Kuinka hyvin tarjouksen sisältövaatimukset ja arviointiperusteet mittaavat kriteerinimikkeen tarkoittamaa ominaisuutta? Vastaus Lukumäärä Prosentti heikosti 1 3, , , ,25 5. erinomaisesti 4 12,50 Kaikkien vastaajien keskiarvo: 3,66 Yhteensä Resurssien nimeäminen tarkasti tarjousvaiheessa ei ole linjassa paras hankkeelle -menettelyn kanssa; tarvitaan näkemysten vaihtoa Arviointiperusteet eivät täysin vastaa sisältövaatimuksia, koska vain kokemusta arvioidaan; allianssihenkisyyden tulisi näkyä jo tässä Tehtävään soveltuvuutta on vaikea arvioida pelkkien kirjallisten tarjousten perusteella, haastattelut olisivat tarpeen myös tältä osin

11 11 Hankkeen kustannustehokkuuden strategia (A3.1) Kuinka hyvin tarjouksen sisältövaatimukset ja arviointiperusteet mittaavat kriteerinimikkeen tarkoittamaa ominaisuutta? Vastaus Lukumäärä Prosentti heikosti 0 0, , , ,71 5. erinomaisesti 2 6,45 Kaikkien vastaajien keskiarvo: 3,29 Yhteensä Sanallinen kuvaus toimintaperiaatteista on vaikea kirjoittaa ymmärrettävästi; vaatii enemmän projektikohtaisuuden korostamista Haastava arvioitava ja siksi tulisi vaatia konkreettisia esimerkkihavainnollistuksia ja tietoja menetelmillä saavutetuista tuloksista Sanallisten kuvausten arviointi on tulkinnanvaraista; vertailukelpoisuus edellyttäisi samanlaisen case-tapauksen käsittelyä

12 12 Hankkeen kustannusten tarkastelu ja kehittäminen (A3.2) Kuinka hyvin tarjouksen sisältövaatimukset ja arviointiperusteet mittaavat kriteerinimikkeen tarkoittamaa ominaisuutta? Vastaus Lukumäärä Prosentti heikosti 1 3, , , ,97 5. erinomaisesti 0 0,00 Kaikkien vastaajien keskiarvo: 3,52 Yhteensä Vaarana on, että toimintamalli muodostuu työläämmäksi kuin ST-tarjous; tilaaja hyötyy, mutta tarjousvaiheen työstä ei nyt makseta Projektikohtaisuutta syytä korostaa; tarkka tilaaja-arvio on edellytys tarjoajien työmäärän pitämiseksi kohtuullisena Tilaajan tulee määritellä selkeästi se, millä tasolla kustannusarvion epävarmuuksia ja riskejä tulisi käsitellä ja kommentoida

13 13 Hankkeen ohjaus (A4.1) Kuinka hyvin tarjouksen sisältövaatimukset ja arviointiperusteet mittaavat kriteerinimikkeen tarkoittamaa ominaisuutta? Vastaus Lukumäärä Prosentti heikosti 1 3, , , ,50 5. erinomaisesti 4 12,50 Kaikkien vastaajien keskiarvo: 3,34 Yhteensä Kriteerin itsenäisyys suhteessa kustannuksiin keskittyvän arvoa rahalla -osion kriteereihin kyseenalainen; haastava pisteytettävä Tarjousvaiheessa ei ole mielekästä keskittyä liikaa myöhemmin yhteistyössä ratkaistavien toteutusvaiheen menettelyjen arviointiin Tämä palvelee valinnan tavoitetta ja on kohtuullisen selkeä vastattava; silti kyky ratkaista näitä asioita tärkeämpi kuin itse ratkaisu

14 14 Turvallisuusjohtaminen (A4.2) Kuinka hyvin tarjouksen sisältövaatimukset ja arviointiperusteet mittaavat kriteerinimikkeen tarkoittamaa ominaisuutta? Vastaus Lukumäärä Prosentti heikosti 1 3, , , ,00 5. erinomaisesti 4 12,50 Kaikkien vastaajien keskiarvo: 3,63 Yhteensä Ratahankkeissa on syytä painottaa tätä, tiehankkeessa painoarvo voi olla pienempikin; lähtökohtana aina korkea turvallisuustaso Tarjousvaiheen teoreettisen mallin arviointi on OK, mutta koko yhtiön toiminta historiassa tulisi myös ottaa tarkasteluun Sitoutuneisuuden luotaaminen koko organisaatiotasolla on tarpeen; turvallisuusjohtamisen toimivuutta on korostettava

15 15 Riskien hallinta (A4.3) Kuinka hyvin tarjouksen sisältövaatimukset ja arviointiperusteet mittaavat kriteerinimikkeen tarkoittamaa ominaisuutta? Vastaus Lukumäärä Prosentti heikosti 0 0, , , ,38 5. erinomaisesti 2 6,25 Kaikkien vastaajien keskiarvo: 3,66 Yhteensä Yleisen, teoreettisen kuvauksen sijasta pitäisi pystyä painottamaan paremmin projektikohtaista riskienhallintasuunnitelmaa Riskien hallinta on erittäin tärkeässä asemassa hankkeessa; eri riskien erilaiset painoarvot olisi hyvä ottaa mukaan Seurausvaikutuksen tunnistaminen oleellista synkronointi toisaalla tarkasteltaviin turvallisuuteen ja kustannusriskeihin oltava selvä

16 16 Allianssiymmärrys ja palaute kaupallisesta mallista sekä kehitysja toteutusvaiheen allianssisopimuksista (A5.1) Kuinka hyvin tarjouksen sisältövaatimukset ja arviointiperusteet mittaavat kriteerinimikkeen tarkoittamaa ominaisuutta? Vastaus Lukumäärä Prosentti heikosti 1 3, , , ,38 5. erinomaisesti 6 18,75 Yhteensä Kaikkien vastaajien keskiarvo: 3,47 Allianssimyötäilyn sijaan pitäisi painottaa kriittistä palautetta, potentiaalisten ongelmien ja parannusmahdollisuuksia esiin nostamista Tilaajan tulee olla valmis vastaanottamaan kritiikkiä; arvioinnissa kritiikki ei saa näkyä suoraan allianssiymmärryksen puuttumisena Lupauksista tekoihin on vielä matkaa; todellisen vaikuttavuuden arviointi on haasteellinen tehtävä kirjallisen aineiston perusteella

17 17 Allianssin johto- ja projektiryhmän johtamiskyky (A5.2) Kuinka hyvin tarjouksen sisältövaatimukset ja arviointiperusteet mittaavat kriteerinimikkeen tarkoittamaa ominaisuutta? Vastaus Lukumäärä Prosentti heikosti 0 0, , , ,00 5. erinomaisesti 5 16,67 Kaikkien vastaajien keskiarvo: 3,63 Yhteensä Pätevyyden ja kokemuksen painottamisen vaikeus ilmeinen; mukaan tarvittaisiin henkilökohtaisia haastatteluja ja henkilöarviointia Tärkein asia valinnassa ja siksi myös tilaajan osallistuminen tulee olla aktiivista; osin päällekkäinen edellisen kriteerin kanssa Työpajassa selviää hyvin molempien ryhmien toiminta, mutta yhteistoiminta ryhmien välille tulee rakentaa myös työpajoissa

18 18 Kriteeriarviot vastaajaryhmittäin 3,29 3,34 Vastaajan käyttämä skaala saattoi olla 1 4 tai 2 5. Vastaajakohtainen keskiarvo oli välillä 1,8 4,9.

19 19 Kriteerien painottaminen vaiheessa 2 Käytetty Ei arv. Ehdotuksia uusiksi kriteereiksi: Tuotantotehokkuus ( /yks.; 2 ehdotusta), Palveluntuottajan omat resurssit (kattavuus / laajennettu projektiryhmä), Kustannusarviokritiikki

20 20 Kriteerien painottaminen vaiheessa 3 Käytetty Prosentit kuvaavat laadun kokonaispainon jakautumista eri kriteereille, kun valinnassa laatu oli yht. 75 ja hinta 25 Vastaajien antamista painotuspisteistä laskettujen hintapainojen keskiarvo on 13

21 21 Laadulliset valintakriteerit Prosessi ja toimintatavat Alustavaa yhteenvetoa

22 22 Valintaprosessi Lähde: liikennevirasto (2011) Ensimmäisen vaiheen tarjouspyyntö. Lielahti-Kokemäki, perusparannushanke.

23 23 Kilpailutusprosessin vaiheiden kesto Vastausjakauma / kaikki vastaajat Vaihe 1 (tarjousaika) (Keskiarvo: 3,09) Vaihe 2 (karsinta kahteen) (Keskiarvo: 3,25) aikataulussa turhaa väljyyttä (1) aikataulu liian kiireellinen (5) Yhteensä Vaihe 3 (paras kahdesta) (Keskiarvo: 3,63) Yhteensä Vastauskeskiarvot / vastaajaryhmät Vastauskeskiarvot / vastaajaryhmät Työläiden suunnitteluun, kustannustehokkuuden strategiaan ja johtamismenetelmiin liittyvien asioiden pisteyttäminen myöhemmäksi Tarjousvaiheen tarvitsema aika riippuu pitkälti siitä, kuinka tarkkaa budjettikritiikkiä tilaaja hankkeesta haluaa; nyt aika oli riittämätön Siirtämällä painopistettä vaiheesta 2 vaiheeseen 3 pitäisi vertailua voida parantaa; jälkimmäisessä voitava paikata aiempia puutteita

24 24 Tarjouspyyntö- ja tilaajatiedon riittävyys Vastausjakauma / kaikki vastaajat Vaihe 1 (tarjousaika) (Keskiarvo: 3,14) Vaihe 2 (karsinta kahteen) (Keskiarvo: 3,17) onnistuu vähemmilläkin tiedoilla (1) saatavilla olevaa tietoa lisättävä (5) Yhteensä Vaihe 3 (paras kahdesta) (Keskiarvo: 3,27) Yhteensä Hanketta valmistellaan koko ajan ja tilannetieto siitä, mitä on jo tehty, tulee jakaa kaikille ehdokkaille heti prosessin alussa Tilaajan on avattava tavoitetilansa ja tilaajan omien resurssien osaaminen ja sitoutuminen tarjouspyynnössä ja/tai muutoin prosessissa (Tasavertaisen kohtelun aikaansaaminen on mahdotonta tässä markkinatilanteessa)

25 25 Tarjoaja- ja tarjoustiedon riittävyys Vastausjakauma / kaikki vastaajat Vaihe 1 (tarjousaika) (Keskiarvo: 2,96) Vaihe 2 (karsinta kahteen) (Keskiarvo: 3,19) onnistuu vähemmilläkin tiedoilla (1) saatavilla olevaa tietoa lisättävä (5) Yhteensä Vaihe 3 (paras kahdesta) (Keskiarvo: 3,16) Yhteensä Tarkkojen ratkaisujen määrittely ja tietojen antaminen edellyttää tilaajan viestimiä selkeitä tavoitteita Taloudellisessa tarkastuksessa tulee oleelliset kysymykset miettiä huolella turhan työn välttämiseksi

26 26 Valinnan kuormittavuus Vastausjakauma / kaikki vastaajat Vaihe 1 (tarjousaika) (Keskiarvo: 2,82) Vaihe 2 (karsinta kahteen) (Keskiarvo: 2,93) prosessi liian raskas (1) prosessiin tulisi panostaa enemmän (5) Yhteensä Vaihe 3 (paras kahdesta) (Keskiarvo: 2,96) Yhteensä Kiirettä pahentaa se, kun tiedon tulo ja aineistojen jakelu ovat hallitsemattomia; tarjouspalkkion maksaminen aiheellista toiseksi tulleelle Tarjoajien määrän vähentäminen tehtiin prosessissa siksi aikaisin, että "turhaa" työtä ei ehditty tehdä liikaa Suunnittelijan näkökulmasta tarjoutuminen allianssihankkeeseen on erittäin työlästä ja kallista

27 27 Kilpailijoiden määrä Vastausjakauma / kaikki vastaajat liikaa kilpailijoita (1) liian vähän kilpailijoita (5) Yhteensä Vaihe 2 (karsinta kahteen) (Keskiarvo: 3,03) Vaihe 3 (paras kahdesta) (Keskiarvo: 3,07) Yhteensä Keskeistä on tiedostaa, että vaiheeseen 3 mukaan valittavien kustannukset ovat melkoisia, eivät silti kuitenkaan ST-urakkaan verrattavia Vaiheeseen 2 valittavien toimijoiden määrä voitaisiin pudottaa vain kolmeen ja tällä päästäisiin samaan tulokseen vähemmällä turhalla työllä

28 28 Muut toimintatavat ja yleiskuva Vastausjakauma / kaikki vastaajat Keskustelutilaisuudet (vaihe 1) (Keskiarvo: 3,07) Haastattelutilaisuudet (vaihe 2) (Keskiarvo: 3,06) erittäin heikosti (1) erittäin hyvin (5) Yhteensä Kehitystyöpajat (vaihe 3) (Keskiarvo: 4,25) Tarjoajien auditoinnit (vaihe 3) (Keskiarvo: 3,52) Kaupalliset neuvottelut (vaihe 3) (Keskiarvo: 4,04) Arvioinnin organisointi (Keskiarvo: 3,22) Fasilitointikäytännöt (Keskiarvo: 3,66) Hankintaprosessi kokonaisuutena (Keskiarvo: 3,52) Yhteensä Tilaajan tahtotila tulisi määritellä ja viestiä selvemmin Haastattelu- ja keskustelutilaisuuksien sisältö ja menettelytavat on kerrottava etukäteen kaikille valmistautumista varten; haastattelijoiden suuri joukko ihmetytti

29 29 Laadulliset valintakriteerit Prosessi ja toimintatavat Alustavaa yhteenvetoa

30 30 Muutosehdotuksia ja -vaikutuksia Näytöt aiemmasta toiminnasta toimivat kriteerinä; silti täsmällisempien tunnuslukujen käyttö/kehittämismahdollisuus tulisi olla tavoitteena (tuotantotehokkuus) Organisaatio- ja Avainhenkilöt-kriteerit koetaan yhtä tärkeiksi vaiheessa 2, vaikka yhteisorganisaation suunnittelu edellyttäisi vuorovaikutusta ja sitä on vaikea tarjota Organisaatiotarkastelun laaja-alaisuus varmistettava; linkittyy muita selvemmin palkkioprosenttikriteeriin (mahdollisten kaksinkertaisten yleiskustannusten kautta) Hankkeen ohjaus -kriteeri käyttöön myös vaiheessa 3; päällekkäisyyksien poistaminen erityisesti tämän ja Arvoa rahalle osion kriteerien väliltä tärkeää Tarjouksen päivitys/täydentämismahdollisuus vaiheessa 3 myös aiemmin tarjottujen asioiden osalta; haasteena tarjota asioita, joiden tulisi olla yhdessä suunniteltavia Erityisesti suunnittelua edellyttävät kustannusarviokysymykset työllistävät ja niiden käsittely myöhemmässä vaiheessa vähemmällä kilpailijajoukolla olisi mielekästä Arvioinnin painopistettä tulisi siirtää vaiheesta 2 vuorovaikutteiseen vaiheeseen 3 tai ottaa jo vaiheeseen 2 vähemmän toimijoita ja lisätä vuorovaikutusta

31 31

32 32 VTT luo teknologiasta liiketoimintaa