CD 2014

Het instrument Objective Structured Assessment of Technical Skills (OSATS) wordt gebruikt om de operatieve vaardigheden van chirurgen in opleiding (AIOS) te objectiveren en de voortgang daarvan te evalueren. Bewijs voor het nut van dit instrument is voornamelijk aangetoond in experimentele onderzoeken. In de dagelijkse klinische praktijk is het nut zeer beperkt onderzocht. Het doel van dit onderzoek was om de validiteit en betrouwbaarheid van het OSATS instrument te bepalen bij de beoordeling van operatieve vaardigheden van AIOS in de operatiekamer.

Er werden 24 AIOS geselecteerd uit 7 verschillende opleidingsziekenhuizen in Opleidingsregio IV. Deze AIOS werden evenredig verdeeld over 3 groepen op basis van opleidingsjaar (groep 1, opleidingsjaar 1-2; groep 2, opleidingsjaar 3-4; groep 3, opleidingsjaar 5-6). Iedere AIOS werd gevraagd om 5 verschillende type operaties te verrichten. Alle operaties werden geëvalueerd met het OSATS instrument dat bestaat uit 3 verschillende beoordelingsschalen; een algemene beoordelingsschaal die onderverdeeld is in 8 items (scores 4-10), een numeriek eindoordeel (scores 4-10) en een alfabetische prestatieschaal (niveau A-E). Als indicatie voor validiteit werd met behulp van de Kruskal-Wallis test de construct validiteit geëvalueerd. De interne consistentie (Cronbach’s alpha coëfficiënt) werd bepaald als maat voor betrouwbaarheid. Spearman correlatiecoëfficiënten werden berekend om correlaties tussen de verschillende beoordelingsschalen vast te stellen.

Uiteindelijk namen 18 AIOS deel aan de studie (groep 1, n=7; groep 2, n=8; groep 3, n=3), en zij verrichtten gezamenlijk 249 operaties die beoordeeld werden. Vergelijkingen van de OSATS-scores toonden aan dat bewijs voor construct validiteit afhankelijk is van de moeilijkheidsgraad van de operaties. Het meest frequent werden verschillen gevonden tussen de scores op de alfabetische prestatieschaal. Vergelijkingen tussen de scores op het numeriek eindoordeel toonden het minst frequent significante verschillen. De interne-consistentie van de algemene beoordelingsschaal varieerde voor de verschillende operaties tussen de 0.93 en 0.95, wat betekent dat de verschillende items op deze schaal daadwerkelijk operatieve vaardigheden meten. De scores op de verschillende beoordelingsschalen waren significant gecorreleerd (r= 0.62-0.76, p<0.001)

Met het OSATS instrument kunnen leercurves in de operatieve vaardigheden van AIOS worden vastgesteld, waardoor het competentieniveau en de progressie in de tijd adequaat vervolgd kunnen worden. De alfabetische prestatieschaal heeft een toegevoegde waarde, het gebruik van het numeriek eindoordeel moet worden heroverwogen.