Using simulations in competence evaluation Kirsimarja Metsävainio, MD Specialist in Anesthesiology Special Competence in Medical Education Center of Clinical Education Kuopio University Hospital Main headings Competence evaluation and assessment Why use simulation? 4 examples of competence evaluation medical students resuscitation performance evaluation prehospital care trauma training in-hospital care 10.2.2016 2 1
CanMeds competencies 10.2.2016 3 10.2.2016 4 2
10.2.2016 5 Miller s pyramid 10.2.2016 6 3
Kirkpatrick-Phillips model 10.2.2016 7 WHY USE SIMULATION? 10.2.2016 8 4
Simulation why for technical skills as well as team training; is ideal for the training of rare events improves algorithm adherence enhances the performance of teams training together. allows for a graded increase in the complexity level of the employed scenarios, thereby individually steering the participant's stress levels into an area rather close to reality 10.2.2016 9 Problems in simulation evaluation Live situation: how to follow all attendants missing dialogue/information change of behaviour: +/- high stakes! Video recording quality of recording/sound number of cameras time consuming 10.2.2016 10 5
How to train the raters? Time vs. money invested who can rate each profession? how long should be trained? many of the non-technical skills are subjective to assess Multiple raters variability between raters ability to compare notes or not One or few raters who rates the rater? 10.2.2016 11 Is simulation suitable for all? Ability to be simulated Ability to throw oneself Ability to control emotion Ability to go over simulation reality and physical reality Ability to apply one s knowledge in a simulated enviroment Simulation can be better than real situation 10.2.2016 12 6
Resuscitation competency Guideline adherency Leadership competency Part of anesthesia curriculum Skills workshop 3 h: BLS Defibrillation Airway Tactics in basic situations Simulation 4 h Tactics, leadership, technical skills Group rehearsing as much as they like Resuscitation testing 10.2.2016 13 ELVYTYSTENTIN ARVIOINTIKAAVAKE Pvm Opiskelijan nimi Opiskelijan numero Elottomuuden tunnistaminen Onnistui Ei tarvittu Mikä ongelma? Potilaan puhuttelu Hengitystien avaus Ilmavirran tunnustelu Rintakehän liikkeen arvio Elyvtyshälytyksen teko Painelun aloittaminen Paineluelvytyksen aloittaminen Puutteellisen tekniikan korjaaminen Painelu puhallussuhde maskiventilaatiossa 30:2 Painelijan vaihto 2 min välein Painelutauot < 5 s Defibrillointi Rytmin tunnistus Oikea energia 150 J Painelu jatkuu latauksen aikana Turvallisuus iskun aikana (IRTI POTILAASTA) Painelun jatkaminen välittömästi iskun jälkeen PEA: pulssin tunnustelu Hengityksen hallinta Maskiventilaation onnistuminen O2 100 % aloitus Intubaatio Larynksmaski Larynkstuubi Auskultaatio Rintakehän liikkeen havainnointi Kapnometrin asettaminen Putken kiinnitys Ventilaatiotaajuus 10/min ht varm jälkeen Lääkitys Iv yhteyden avaus Ringer-infuusion aloitus VF/VT: adrenaliini 1 mg kolmannen iskun jälkeen VF/VT: amiodaroni 300 mg kolmannen iskun jälkeen VF/VT: seuraava adrenaliini viidennen iskun jälkeen VF/VT: amiodaroni 150 mg viidennen iskun jälkeen PEA/ASY: adrenaliini 1 mg heti Adrenaliini 4 min välein, joka toinen sykli Lääkkeen huuhtelu 20 ml keittosuolaa (ERC ohje) Elvytyksen kulku Aloitusajan huomiointi 2 min syklin pitäminen ROSC ajan huomiointi ROSC jälkeen verenpaine ROSC jälkeen SpO2 Elvytyksen johtaminen Johtajuuden ottaminen Käskyjen jakaminen Kommunikaation onnistuminen 10.2.2016 14 Tapahtumien ennakointi Esitietojen kysyminen Johtaja seuraa eri osa-alueita 7
Nokelainen J. Hengitystien varmistusmenetelmät ja niiden käyttökelpoisuus simuloidussa elvytystilanteessa lääketieteen opiskelijoilla. Syventävät opinnot 2015 UEF 10.2.2016 15 Nokelainen J. Hengitystien varmistusmenetelmät ja niiden käyttökelpoisuus simuloidussa elvytystilanteessa lääketieteen opiskelijoilla. Syventävät opinnot 2015 UEF 10.2.2016 16 8
HTTP://WWW.CPRGUIDELINES.EU/ 10.2.2016 17 Simulation Day 2016 KYS Prehospital Care klo Ryhmä A Ryhmä B 08.00-08.30 Beginning: Practical things Tactics of resuscitation Beginning: Practical things Tactics of resuscitation 08.30-09.15 Quality of compressions Ventilation 09.15-10.00 Ventilation Quality of compressions 10.00-11.00 Case: adult Case: child 11.00-11.30 Lunch 11.30-12.00 Lecture: new guidelines Lecture: new guidelines 12.00-13.00 Case: child Case: adult 13.00-14.00 Simulation 1 Observers 14.00-15.00 Observers Simulation 2 15.00-15.30 Quality of compressions Closure Quality of compressions Closure 9
Prehospital criteria Defibrillation < 1 min LT < 2 min Iv line < 2 min (2 units) An so on 10.2.2016 19 European Trauma Course Intensive 3 day course 27 simulations Candidates all the time evaluated Filling technical criteria Non-technical criteria Potential teaching competency End-test: possibility to failure 10.2.2016 20 10
Teamwork and communication assessment Anesthesiologists' Non-Technical Skills (ANTS) Scrub Practitioners List of Intra-operative Non-Technical Skills (SPLINTS) Non-Technical Skills for Surgeons (NOTSS) Objective Teamwork Assessment System (OTAS). 10.2.2016 21 ANTS Fletcher et al. BJA 2003 11
EI-TEKNISTEN TAITOJEN ARVIOINTIKAAVAKE ANTS Kirsimarja Metsävainio Harjoitus Osallistuja Tehtävän hallinta Arviointi Kokonaisarvio Mikä ongelm Suunnittelu ja ryhmän koordinointi Valmistautuminen Tärkeysjärjestyksen asettaminen ja toiminta sen mukaisesti Hoito-ohjeiden käyttö ja niissä pysyminen Resurssien tunnistaminen ja niiden käyttö Tiimityö Tehtävien jakaminen ja niiden toteutumisen seuranta Tiedon jakaminen ja kommunikaation onnistuminen Johtajuuden osoittaminen ja vakuuttavuus Osaamisen oikea arviointi Ryhmän jäsenten tukeminen ja tuen ottaminen ryhmältä Tilannetietoisuus Tiedon hankkiminen useasta lähteestä Tilanteen tunnistaminen ja ymmärtäminen Ennakointi, tiedon uudelleen arviointi ja jakaminen Päätöksenteko Vaihtoehtojen tunnistaminen ja niiden arviointi Riskinhallinta ja kyky muuttaa suunnitelmaa Päätöksenteon avoimuus ryhmälle Pvm Yleiset 10.2.2016 huomiot 23 Yleiset huomiot Arviointiperusteet Suoritus oli korkealuokkainen, potilasturvallisuutta lisäävä, esimerkillinen Hyvä 4 Suoritus oli riittävällä tasolla, mutta parannettavissa Hyväksyttävä 3 Suoritus aiheutti huolen onko osaaminen riittävällä tasolla, Heikko 2 paljon parannettavaa, lisää koulutusta Suoritus vaaransi potilasturvallisuuden ja henkilö tarvitsee Huono 1 lisää koulutusta 10.2.2016 24 12
Phitayakorn et al. The relationship between intraoperative teamwork and management skills in patient care. Surgery 2015 Teamwork and communication were assessed with 4 published tools: ANTS, SPLINTS, NOTSS, OTAS An evidence-based MH checklist to assess overall patient care. Interrater agreement for teamwork tools was moderate (0.51-0.7) Observer agreement for the MH checklist was high (0.88) Teams were different in percent of the MH actions taken (range, 50-91%; P =.006). 10.2.2016 25 Phitayakorn et al. The relationship between intraoperative teamwork and management skills in patient care. Surgery 2015 Separating nontechnical and technical skills when teaching OR teamwork is artificial and may even be damaging! Such an approach could produce teams with excellent communication skills as they unsuccessfully manage the patient. 10.2.2016 26 13
Steadman Anesthesiology 2015 10.2.2016 27 Where does simulation success inhospital? Laparoscopy Endoscopy Team Training Trauma Pediatrics Resuscitation 10.2.2016 28 14
10.2.2016 29 10.2.2016 30 15
How can they work together, if they don t learn together? 16