nova página do texto(beta)
Espanhol (pdf)
Artigo em XML
Tradução automática
Citado por SciELO 
Citado por Google 
Similares em
SciELO 
Similares em Google 
Permalink
Existe una creciente necesidad de minimizar posibles errores en la práctica médica, por lo que han surgido estrategias para disminuir el potencial impacto negativo del entrenamiento de estudiantes en la seguridad de los pacientes1. En Chile, las Escuelas de Medicina han realizado reformas curriculares en pregrado, incorporando conceptos innovadores en educación médica, con el fin de mejorar los procesos de enseñanza-aprendizaje. La Escuela de Medicina de la Pontificia Universidad Católica de Chile (EMPUC), establece como uno de los ejes de su reforma curricular, “Utilizar metodologías tendientes a favorecer la autonomía en los aprendizajes y la participación activa de los estudiantes en su formación personal y el desarrollo del profesionalismo”2. Dentro de las nuevas estrategias implementadas, la simulación ha cobrado relevancia, creando un ambiente ideal para el aprendizaje con actividades diseñadas para ser predecibles, consistentes, estandarizadas, seguras y reproducibles3,4. En salud, la simulación sitúa a un estudiante en un contexto que imite algún aspecto de la realidad clínica. Esta metodología complementa el modelo tradicional, acortando las curvas de aprendizaje y disminuyendo los riesgos asociados al procedimiento5,6.
Esta estrategia, se ha vuelto fundamental en cursos de pregrado de EMPUC, reportándose una adquisición temprana de habilidades técnicas de procedimientos, acercándose a nivel de expertos, con la posibilidad de equivocarse y aprender del error, sin riesgos para el paciente ni para el alumno7–10. Este modelo, ha sido empleado en diversos procedimientos, desde punciones venosas, suturas, punciones lumbares y cricotiroidotomías, hasta otros más complejos como anastomosis intestinales laparoscópicas11,12.
Como complemento, los modelos simulados permiten evaluaciones estandarizadas, otorgando una metodología eficiente para la adquisición de competencias médico-quirúgicas y transversales necesarias en la práctica clínica13–17. La evaluación en simulación, se ha centrado en medir el desempeño de los alumnos ejecutando las tareas que se pretenden enseñar. Para esto se han utilizado parámetros como: tiempo de ejecución, cantidad de movimientos realizados (medido con sistema del Imperial College Surgical Assessment Device-ICSAD) y escalas de evaluación por observación directa como la pauta OSATS (Objective Surgical Assessment of Technical Skills)18.
Aunque la simulación ha demostrado buenos resultados, un problema emergente es la estandarización de la evaluación de la percepción de los estudiantes sobre su aprendizaje en escenarios simulados de procedimientos médico-quirúrgicos, siendo éste un factor clave para la mejora continua de las actividades de simulación que forman parte de los programas curriculares de pregrado.
En la literatura existen escasas experiencias sobre evaluación de percepción en talleres simulados, siendo además enfocadas en postgrado. Wayne et al. utilizó una encuesta para conocer la percepción de un taller de simulación de Reanimación Cardíaca Avanzada19, Barsuk et al. usó una pauta para evaluación de la percepción de estudiantes de postgrado en un taller simulado de los procedimientos de: Toracocentesis20, Inserción de Catéter de Hemodiálisis21 y Paracentesis22. Ambos estudios carecen de evaluación de las propiedades psicométricas de los instrumentos utilizados.
Pese a la utilidad de este tipo de instrumentos para la educación médica, no se ha encontrado a la fecha, información respecto a la validez y confiabilidad de los instrumentos aplicados que permitan estandarizar el proceso de medición de la percepción de los estudiantes en estos talleres simulados de pregrado. Dada la creciente incorporación de la simulación como herramienta educacional, existe la necesidad de evaluar no sólo el desempeño de los alumnos sino también la percepción que éstos tienen de su entrenamiento. Así, el objetivo de este trabajo fue adaptar y validar un instrumento para evaluar la percepción de los estudiantes de los talleres de simulación de destrezas clínicas de procedimientos en pregrado de Medicina.
Métodos
Diseño de la encuesta de percepción
Se realizó una búsqueda en la literatura sobre escalas de evaluación para la percepción de procedimientos simulados19–22. Utilizando como base la encuesta generada por Barsuk22, se creó una nueva versión para cumplir con criterios de validez de contenido y muestreo de las actividades docentes relacionadas con talleres de simulación de pregrado. Un panel de expertos local seleccionó las preguntas a incluir en la encuesta mediante metodología Delfi modificada23.
Participantes y aplicación
La encuesta fue piloteada en estudiantes del taller de paracentesis y, posteriormente, aplicada a estudiantes de tercer y cuarto año de pregrado de EMPUC en 6 programas de entrenamiento de destrezas en procedimientos, entre octubre de 2015 y enero de 2017. Todos los talleres se realizan en el Centro de Simulación UC y consisten en la práctica de los distintos procedimientos con un modelo de simulación validado. El entrenamiento es guiado por tutores expertos quienes evalúan el desempeño de los alumnos mediante una pauta de observación directa, entregando retroalimentacion inmediata a los estudiantes. Los tutores son miembros del equipo de Simulación UC capacitados para la enseñanza con este tipo de metodología, existiendo un docente a cargo de las rotaciones quien coordina los tutores expertos para el entrenamiento.
Se utilizó el método propuesto por MacCallum, Browne y Sugawara24–26, se estima en 205 los sujetos necesarios poder evaluar estadísticamente la hipótesis de que el modelo factorial tiene al menos ajuste moderado.
El protocolo fue aprobado por el comité de ética de nuestra institución y los datos fueron entregados y utilizados en forma anónima.
Análisis estadístico
Los indicadores de validez de constructo se obtuvieron mediante análisis exploratorio y confirmatorio de factores. El análisis exploratorio permitió detectar la existencia de variables latentes27,28 y el análisis confirmatorio el número de factores latentes y su estructura en los datos27. Se realizó un análisis de confiabilidad mediante el Coeficiente de Alfa de Cronbach, considerando < 0,4 baja, 0,4-0,59 moderada, 0,6-0,8 buena y > 0,8 excelente confiabilidad29,30.
El análisis descriptivo y analítico de los resultados se realizó mediante un test de proporciones. Se aplicó el test de comparaciones pareadas de Fisher, ajustando por contrastes múltiples (“Bonferroni”). Se determinaron los estadígrafos descriptivos para los puntajes de cada pregunta y el puntaje global para cada taller.
Resultados
Diseño de la encuesta de percepción
En base a la búsqueda, se identificó un instrumento de evaluación diseñado para medir la percepción de talleres simulados de paracentesis de estudiantes de postgrado22 y se adaptó con el fin de aplicarla a pregrado de EMPUC. Un panel de expertos (n = 10) refinó la redacción de los ítems y las preguntas abiertas mediante técnica Delfi modificada de 3 rondas. Este panel de expertos local estaba compuesto por 2 Anestesiólogos (C.N., M.C.), 1 Cirujano (J.V.), 2 Bioquímicos (M.P., N.S.), 2 Gastroenterólogos (M.S., A.R.), 1 Estadístico (O.P.), 1 Broncopulmonar (I.L.) y 1 Residente de Cirugía Digestiva (P.A.)
Se definió una encuesta con escala Likert de 7 ítems, a partir de publicación de Barsuk y cols.22, los cuales fueron traducidos al español y traducción reversa, ajustados y aplicados en talleres de simulación de procedimientos médico-quirúrgicos en pregrado.
Estadística descriptiva y analítica
Se encuestaron 210 alumnos de 6 programas de entrenamiento por simulación: Paracentesis (67), Reanimación Cardiopulmonar (RCP) (18), Vía Aérea (19), Suturas (41), Toracocentesis (51) y Procedimientos de Enfermería (14).
Debido a que las respuestas a las preguntas de la escala constituyen variables ordinales se estimaron proporciones con sus intervalos de confianza. Destacó la variabilidad de las aseveraciones 2, 3, 4 y 5, en relación a los ítems 1,6 y 7. Todas las comparaciones entre las respuestas de la aseveración 1 fueron significativas (p < 0,001). Algo similar ocurrió en las respuestas a las afirmaciones 6 y 7. En las respuestas de la aseveración 2, los contrastes con diferencias significativas (p < 0,001) se observaron entre opciones con mayor preferencia (de acuerdo y completamente de acuerdo), y entre cada una de estas y el resto con menor preferencia (p < 0,001). En las afirmaciones 3 y 5 existieron diferencias significativas al comparar preferencias (p < 0,001) a excepción de los contrastes entre afirmaciones de menor preferencia (en desacuerdo y no está seguro o no tiene opinión). En la afirmación 4 existieron diferencias al comparar sus preferencias (p < 0,001) a excepción de los contrastes entre afirmaciones de menor preferencia (en desacuerdo y no está seguro o no tiene opinión), y entre las dos de mayor preferencia (de acuerdo y completamente de acuerdo) (Tabla 1). Los resultados cualitativos de las preguntas abiertas no se analizaron para este trabajo.
Tabla 1 Proporciones para las respuestas de cada ítem de la encuesta de percepcióna
| Aseveraciones | Completamente en desacuerdo | En desacuerdo | No está seguro o no tiene opinión | De acuerdo | Completamente de acuerdo |
|---|---|---|---|---|---|
| 1. La práctica de modelos simulados mejora mis destrezas relacionadas con la realización de este procedimiento | Sin observaciones | Sin observaciones | 0,48 (0,07-3,35) | 12,86 (8,94-18,15) | 86,40 (81,32-90,66) |
| 2. Recibí retroalimentación educacional útil en la(s) sesión(es) de entrenamiento | 0,95 (0,24-3,77) | 0,48 (0,07-3,35) | 1,91 (0,71-5,00) | 16,19 (1 1,77-21,86) | 80,47 (74,50-85,33) |
| 3. La práctico con el modelo permite cometer errores que probablemente sucedan en el ambiente clínico real | Sin observaciones | 2,38 (0,99-5,79) | 0,48 (0,07-3,35) | 21,43 (16,36-27,55) | 75,71 (69,40-81,08) |
| 4. El modelo usado en el taller simula o representa el procedimiento de manera realista | Sin observaciones | 5,24 (2,91-9,25) | 7,14 (4,33-11,55) | 43,81 (37,20-50,65) | 45,81 (37,20-50,65) |
| 5. La práctica de procedimientos con el modelo simulado refuerza mi confianza en relación a mis destrezas clínicas | Sin observaciones | 0,95 (0,02-3,77) | 0,95 (0,02-3,77) | 18,57 (13,84-24,46) | 79,52 (73,48-84,48) |
| 6. Los talleres prácticos, usando modelos de procedimientos simulados, deberían ser un componente obligatorio en la enseñanza de Medicina | Sin observaciones | Sin observaciones | 0,48 (0,07-3,35) | 7,14 (4,33-1 1,55) | 92,38 (87,88-95,30) |
| 7. La práctica con modelos de simulación me ayuda a prepararme para realizar procedimientos clínicos de mejor manera que sólo con la experiencia clínica exclusiva | Sin observaciones | Sin observaciones | 0,48 (0,07-3,35) | 10,48 (6,97-15,44) | 89,05 (84,00-92,64) |
aProporciones con sus respectivos intervalos de confianza al 95%.
Puntajes globales
Se estiman los estadígrafos descriptivos para el puntaje por pregunta (Tabla 2) y global según el taller realizado (Figura 1). Se determinó la mediana y percentil 25-75 (Q1-Q3). Los estudiantes evaluaron positivamente los talleres: paracentesis (mediana 34; 32-35), rcp (mediana 35; 32-35), suturas (mediana 33; 31-34), toracocentesis (mediana 34; 33-35), vía aérea (mediana 33; 31-34) y procedimientos de enfermería (mediana 34; 33-35). La mediana del puntaje global fue de 34 (32-35).
Tabla 2 Medianas para las respuestas de cada ítem
| Aseveraciones | Mediana |
|---|---|
| La práctica de modelos simulados mejora mis destrezas relacionadas con la realización de este procedimiento | 5 |
| Recibí retroalimentación educacional útil en la(s) sesión(es) de entrenamiento | 5 |
| La práctica con el modelo permite cometer errores que probablemente sucedan en el ambiente clínico real | 5 |
| El modelo usado en el taller simula o representa el procedimiento de manera realista | 4 |
| La práctica de procedimientos con el modelo simulado refuerza mi confianza en relación a mis destrezas clínicas | 5 |
| Los talleres prácticos, usando modelos de procedimientos simulados, deberían ser un componente obligatorio en la enseñanza de Medicina | 5 |
| La práctica con modelos de simulación me ayuda a prepararme para realizar procedimientos clínicos de mejor manera que sólo con la experiencia clínica exclusiva | 5 |
Análisis exploratorio de factores
La matriz se construyó en base a correlaciones policóricas31, destacando que pocas se encontraron por debajo de 0,3 o sobre 0,90. Luego, se extrajeron los factores y las cargas de cada una de las aseveraciones de la encuesta. Se constató que existe un factor con autovalor sobre uno (3,47), siendo 4,64 veces mayor al segundo factor (Figura 2). Dicho factor explica 89,1% de la varianza de las puntuaciones. Todas las cargas son elevadas (> 0,4), y no existen marcada representación en más de un factor (Tabla 3). El índice “Kaiser-Meyer-Olkin” que cuantifica si la muestra para cada aseveración es adecuada, en su mayoría se encontró entre 0,70 y 0,91 (muestra “adecuada” a “excelente”)32.
Tabla 3 Cargas factoriales e índice de Kaiser-Meyer-Olkin (KMO) de las preguntas incluidas en la “Encuesta de percepción de los estudiantes del taller de simulación de procedimientos”
| Aseveraciones | Carga factorial | KMO |
|---|---|---|
| La práctica de modelos simulados mejora mis destrezas relacionadas con la realización de este procedimiento | 0,619 | 0,928 |
| Recibí retroalimentación educacional útil en la(s) sesión(es) de entrenamiento | 0,672 | 0,928 |
| La práctica con el modelo permite cometer errores que probablemente sucedan en el ambiente clínico real | 0,549 | 0,743 |
| El modelo usado en el taller simula o representa el procedimiento de manera realista | 0,780 | 0,828 |
| La práctica de procedimientos con el modelo simulado refuerza mi confianza en relación a mis destrezas clínicas | 0,724 | 0,896 |
| Los talleres prácticos, usando modelos de procedimientos simulados, deberían ser un componente obligatorio en la enseñanza de Medicina | 0,704 | 0,678 |
| La práctica con modelos de simulación me ayuda a prepararme para realizar procedimientos clínicos de mejor manera que sólo con la experiencia clínica exclusiva | 0,842 | 0,734 |
Análisis confirmatorio de factores
A través del análisis confirmatorio se estimó el R2,cuantificando el porcentaje de varianza de la aseveración que es explicada por el factor identificado33. Las aseveraciones obtuvieron un coeficiente superior a 0,3, siendo estadísticamente significativo. Se utilizó como estimador Weighted Least Squares Mean Variance adjusted, que es pertinente para variables categóricas28,33. Diversos índices de bondad de ajuste fueron obtenidos: (a) Comparative fit index (CFI) que se relaciona con el grado de correlación presente entre las preguntas del cuestionario; (b) Índice de ajuste Tucker-Lewis (TLI) que penaliza modelos complejos28; y (c) el índice RSMEA que cuantifica falta de ajuste del modelo28. Se evaluó el ajuste del modelo en relación al RSMEA (H0: RMSEA < 0,05). Los resultados del análisis exploratorio y confirmatorio permiten concluir que se trata de un instrumento de 7 ítems unidimensional.
El modelo propuesto inicialmente si bien mostró adecuados valores para los índices CFI y TLI, el test “Close fit” fue estadísticamente significativo (p = 0,005), rechazando la hipótesis de ajuste adecuado. En base al índice de modificación se deja libre de error de covarianza las preguntas 3 y 4. El modelo final propuesto mostró un CFI = 0,971, siendo mayor al punto de corte propuesto por Hu y Bentler34,35. El índice de ajuste TLI también se encontró por sobre el punto de corte recomendado24, siendo 0,953. El valor del RSMEA fue 0,076, estando dentro del rango de ajuste aceptable (0,04-0,11)36,37. El test “Close fit” no fue estadísticamente significativo (p = 0,117), lo que significa que no es posible rechazar la hipótesis de ajuste adecuado28.
Las cargas factoriales estandarizadas fueron mayores a 0,4, alcanzando un máximo de 0,872 para la aseveración 7. Lo anterior significa que cada una de las aseveraciones son fuertes indicadores del factor latente (Tabla 4). El mismo comentario es válido para el R2, explicando el factor latente una gran proporción de la varianza de cada aseveración.
Tabla 4 Cargas factoriales y R2 estimadas mediante análisis confirmatorio de factores de las preguntas incluidas en la “Encuesta de percepción de los estudiantes del taller de simulación de procedimientos”
| Aseveraciones | Carga factorial | R2 | p-value |
|---|---|---|---|
| La práctica de modelos simulados mejora mis destrezas relacionadas con la realización de este procedimiento | 0,657 | 0,432 | < 0,001 |
| Recibí retroalimentación educacional útil en la(s) sesión(es) de entrenamiento | 0,697 | 0,486 | < 0,001 |
| La práctico con el modelo permite cometer errores que probablemente sucedan en el ambiente clínico real | 0,469 | 0,220 | < 0,01 |
| El modelo usado en el taller simula o representa el procedimiento de manera realista | 0,720 | 0,518 | < 0,001 |
| La práctica de procedimientos con el modelo simulado refuerza mi confianza en relación a mis destrezas clínicas | 0,740 | 0,547 | < 0,001 |
| Los talleres prácticos, usando modelos de procedimientos simulados, deberían ser un componente obligatorio en la enseñanza de Medicina | 0,803 | 0,645 | < 0,001 |
| La práctica con modelos de simulación me ayuda a prepararme para realizar procedimientos clínicos de mejor manera que sólo con la experiencia clínica exclusiva | 0,872 | 0,760 | < 0,001 |
Discusión
Los talleres de simulación se han incorporado como metodología fundamental de la enseñanza de procedimientos médico-quirúrgicos. Los estudiantes valoran la oportunidad de equivocarse y aprender de sus errores en un ambiente seguro y sin riesgo para el paciente. Si bien, se ha estudiado la percepción de los estudiantes, estos estudios se han concentrado en postgrado y sin evaluación de las propiedades psicométricas.
Construcción y estimación de validez/confiabilidad del instrumento
Se adaptó una encuesta para pregrado. Se analizó la validez de constructo y consistencia interna29,30 de la encuesta. El análisis factorial permitió determinar el grado en que las aseveraciones del instrumento representaron al “constructo” medido38. La encuesta tiene un carácter unidimensional, sin dominios. Cada aseveración, exceptuando la número 3 “La práctica con el modelo permite cometer errores que probablemente sucedan en el ambiente clínico real”, fueron fuertes indicadores del factor. Esto se contrasta con los resultados de Barsuk22, ya que los estudiantes encuestados tienen menos experiencias clínicas. Este enfrentamiento a la práctica es un elemento diferenciador en el postgrado, y puede ser un factor determinante al momento de correlacionar los posibles errores de ambos escenarios en la encuesta. Otros factores importantes para el análisis son las características de los escenarios de simulación y de los tutores expertos, las cuales podrían influir en la percepción de los estudiantes al momento de evaluar el realismo del taller (Aseveraciones 3 y 4) y utilidad del feedback entregado (Aseveración 2).
La consistencia interna alcanzó un valor de α = 0,72 para el total de aseveraciones, encontrándose dentro del rango considerado bueno29,30.
Aplicación del instrumento en talleres de simulación
La encuesta se aplicó en 6 talleres de simulación. Destacó la mayor variabilidad de los ítems: 3 (La práctica con el modelo permite cometer errores que probablemente sucedan en el ambiente clínico real) y 5 (La práctica de procedimientos con el modelo simulado refuerza mi confianza en relación a mis destrezas clínicas). Esto también puede ser explicado por la menor experiencia clínica de los estudiantes de pregrado en comparación con postgrado, lo que se constata en las puntuaciones de otros ítems que no se centran en la comparación con la realidad clínica. Tal es el caso de la aseveración 1 (La práctica de modelos simulados mejora mis destrezas relacionadas con la realización de este procedimiento) y 6 (Los talleres prácticos, usando modelos de procedimientos simulados, deberían ser un componente obligatorio en la enseñanza de Medicina), los que se centran en la realización del procedimiento en simulación. A pesar de que los estudios reportados se centran en postgrado1, se destaca que los estudiantes con menor experiencia generan mayores complicaciones en los pacientes, existiendo un beneficio directo de la simulación como estrategia para evitar estos errores durante el pregrado39,40.
En todos los ítems hubo diferencias significativas entre dos o más de sus respuestas, con excepción del ítem 4 (El modelo usado en el taller simula o representa el procedimiento de manera realista) el cual se distribuyó casi equitativamente entre las dos más altas respuestas. Lo anterior, sumado a que las medianas del puntaje global de cada taller son elevadas, no observando variabilidad significativa, evidencia que los estudiantes valoraron muy positivamente los talleres de simulación.
Como conclusión, este estudio nos permite tener un instrumento con resultados válidos y confiables para evaluar la percepción de los estudiantes de pregrado de Medicina sobre su experiencia de aprendizaje en programas de entrenamientos de procedimientos médico-quirúrgicos por simulación. En el análisis de la encuesta se observan resultados positivos y percepciones favorables de los estudiantes frente a estos métodos de entrenamiento y se proyectan posibles relaciones entre la experiencia clínica del alumno y la percepción del aprendizaje de éste en un escenario simulado.
