Tietoliikennekatkos sairaalassa vaikutukset ja riskienhallinta Petri Varjolampi VSSHP, ICT-yksikkö VSSHP:n verkon yleiskatsaus VSSHP ky:n teknisten palveluiden tulosyksikön alla oleva ICT-yksikkö vastaa verkkoinfrastruktuurista verkon kilpailutus, rakentaminen, ylläpito ja asiantuntijapalvelut MedBit Oy:n alihankkija Tietoliikenteestä koituvat kulut osana työasemalaskutusta MedBit Oy vastaa palveluista VSSHP:n verkossa TYKS Campus (n. 500 työryhmäkytkintä + rungot) Mustan kuidun toimipisteet (9 kpl) MPLS-verkon (Multiprotocol Label Switching) liittymät (45 kpl) WLAN + kontrollerit (Access Pointit n. 800 kpl) Useita WLAN-sukupolvia Verkonvalvonta (ProCurveManager, OpManager) Aktiivisia IP-osoitteita n. 10000
VSSHP verkon ylläpito Runkokytkimet ja MPLS-verkon reitittimet ovat operaattorin ylläpidossa (eri SLA-tasoja) Toimitussopimus tietoliikennepalveluista 5 + 2 optiovuotta (1.1.2009 31.12.2013 + 2 vuotta) WLAN sekä työryhmäkytkimet ovat ICT-yksikön ylläpidossa 24/7 Palveluista ja konesaliverkoista vastaa MedBit Oy Sairaalan tietoverkon vaatimukset Datan on oltava käytettävissä aina riippumatta vuorokaudenajasta tai päivästä Asettaa vaatimuksia: Tietoliikenneverkolle ja sen suunnittelulle Sähkönsyötölle (UPS, varavoima) Tiloille (pääsynvalvonta, vesi/viemäriputket, lattiakaivot) Ylläpidolle, työkaluille ja ympärivuorokautiselle tuen saatavuudelle (päivystys 24/7)
Tietoliikennekatkoksen tavallisin aiheuttaja sairaalassa Inhimillinen virhe tai toiminta Saastunut tai verkkoon kuulumaton laite Komponenttirikko Sähkönsyöttö Vesivuoto, lattiakaivojen tulviminen, putkirikko, tulipalo tms. Inhimillinen virhe luuppi Tavallisin tilanne on se, että käyttäjä on kytkenyt kaksi rasiapistettä tai minikytkimen porttia parikaapelilla oikosulkuun Invalidisoi ko. VLANin tehokkaasti koko sairaalan alueella Käyttämättömät rasiakytkennät purettava ristikytkennästä saakka Minihubit ja -kytkimet vaihdettava hallittaviin kytkimiin, joissa esim. Loop Protection Minikytkinten nimeämiskäytäntö on oltava sellainen, että se kertoo laitteen sijainnin esim. TYKS-A3-Teho-hA417
Käyttäjän tekemä oikosulku Epästandardi laite Verkkoon asennetaan sinne kuulumaton laite WLAN-tukiasema, jossa oma DHCP-palvelu oletuksena päällä (Apple Wi-Fi-tukiasema tms.) Verkkoon asennetaan laite, joka on saastunut Case: magneettirekka Hankalia löytää (MAC-osoite -> portti) Ratkaisuna esim. porttiautentikoinnin käyttöönotto tai VLANin eristäminen palomuurilla (esim. lääkintälaite-vlan) Virustorjunta käyttöön myös lääkintälaitteilla (miten valmistaja tukee) Käyttäjien ohjeistus
Komponenttirikko Tavallisin rikkoutuva komponentti on SFP (mini-gbic), aiemmin kuitumuuntimet Virtalähteet Vika rajoittuu vain ko. kytkimen vaikutusalueelle (yksittäinen osasto) joissakin tapauksissa esim. koko aluesairaala (operaattori/sla) Tähtitopologiaverkossa pyritään ketjutuksista pois, mikä vähentää vian vaikutuslaajuutta Kaikki komponentit hallittavia ja verkonvalvonnassa Erilliset kuitumuuntimet pannassa Kaikki nousut toteutettu kuidulla Kaikki työryhmäkytkimet terminoitu runkokytkimille, jolloin myös verkko-oikosulun sattuessa vika rajautuu vain ko. nousuun Tähtitopologia minimiketjutuksilla
Sähkönsyöttö Ongelmien aiheuttajana UPS Akustoa ei ole asianmukaisesti huollettu Tarkka huolto-ohjelma ja sen noudattaminen ja työn generoituminen Etäluettavat verkkoon liitettävät UPS-laitteet Keskitetty UPS koko sairaalassa (T2) Ongelmien aiheuttajana varavoimakone Uuden koneen testiajot Case: TYKS U-sairaala 5.9.2012 Ongelmien aiheuttajana inhimillinen virhe/huolimattomuus Case: TYKS T-sairaala 22.11.2012 Normaalin valtakunnanverkon ulottaminen kriittisille tietoliikennelaitteille Redundantti virtalähde kytketään normaaliverkkoon Toinen virtalähde on UPS/varavoima-verkossa Case: TYKS 22.11.2012 Mittausten jälkeen UPSjakokeskuksen oranssi kansi oli laitettu huolimattomasti paikoilleen T-sairaalan runkokytkin meni virrattomaksi Osa reitittimistä meni virrattomaksi mm. DNA:n ereseptin nielu VSSHP:n verkosta SatSHP:iin tarjottavat palvelut eivät olleet käytettävissä yli 40 minuuttiin
Vesivuoto / Putkirikko / Tulipalo Tietoliikennelaitteet on asennettava tilaan, jossa ei ole välitöntä vesivuodon, putkirikon tai lattiakaivojen tulvimisen vaaraa Ei ainoastaan ko. tilassa, vaan myös yläpuolelta tapahtuva vuotovaara on huomioitava Kunnolliset palokatkot, jotta palo ei leviä Rankkasade Turussa 27.8.2012 T2-sairaalan lattiakaivot tulvivat kellaritiloihin Kiinteistövalvonnan järjestelmän ristikytkentäkaappi oli kärsinyt vesivahingon yläpuolisesta vesivuodosta
T2-sairaalan tietoliikenneratkaisu Fyysisesti kaksi runkokytkintä virtuaalisesti yksi kytkin (VSS-A + VSS-B); Virtual Switching System 1440 http://www.cisco.com/en/us/prod/collateral/switches/ps5718/ps93 36/prod_qas0900aecd806ed74b.pdf Ristikytkennöissä (45 kpl) IRF-pino(t); Intelligent Resilient Framework http://h17007.www1.hp.com/docs/reports/irf.pdf Jokaiselle pinolle kahdennetut syötöt fyysisesti eri kaapelireittiä, joista toinen syöttö terminoitu VSS-A:han ja toinen VSS-B:hen WLAN koko T2-sairaalan kattava ja mahdollistaa paikannuksen; kahdennettu kontrolleri (WiSM) T2-sairaalan tietoliikenneratkaisu
VSS + IRF VSSHP:n verkon ylläpito Virka-aikana arkisin klo 8-16 Yksi MedBitin tarjoama yhteydenottopiste: email + puhelin Tietoliikennevikaepäilyn ollessa kyseessä keikka ICT-tiimille Efecteen Virka-ajan ulkopuolella Vikatapauksessa soitto MedBitin ATK-päivystäjälle Tietoliikennevikaepäilytapauksessa ATK-päivystäjä soittaa ICT-yksikön päivystysnumeroon (yksi numero) Vasteaika: 30 min sisällä etäyhteys verkkoon ja 1.5 tunnin sisällä soitosta tarvittaessa paikan päällä, mikäli vikaa ei pysty etänä selvittämään ja korjaamaan Automaattihälytykset verkonvalvonnalta suoraan sähköpostiin ja kännykkään 24/7, jolloin mahdollinen vian korjaus voidaan aloittaa ennen kuin ATK-päivystäjä on saanut tiedon viasta Etäyhteys verkkoon kotoa käsin tai varallaolijan ollessa liikkeellä tabletilla 3G:n yli päivystysaikana