Servicios Personalizados
Revista
Articulo
Indicadores
Links relacionados
Compartir
Revista médica de Chile
versión impresa ISSN 0034-9887
Rev. méd. Chile v.134 n.7 Santiago jul. 2006
http://dx.doi.org/10.4067/S0034-98872006000700017
Rev Méd Chile 2006; 134: 920-926 MEDICINA BASADA EN EVIDENCIA
Calidad metodológica de un artículo de tratamiento de cáncer gástrico adoptado como protocolo por algunos hospitales chilenos Methodological quality of an article on the treatment of gastric cancer adopted as protocol by some Chilean hospitals
Carlos Manterola1,2, Rodrigo Torres1, Luis Burgos1, Manuel Vial1,2, Viviana Pineda1. Grupo MINCIR. 1Departamento de Cirugía. 2CIGES. Capacitación, Investigación y Gestión para la Salud Basada en Evidencia. Universidad de La Frontera, Temuco, Chile. Dirección para correspondencia Background: Surgery is a curative treatment for gastric cancer (GC). As relapse is frequent, adjuvant therapies such as postoperative chemo radiotherapy have been tried. In Chile, some hospitals adopted Macdonald's study as a protocol for the treatment of GC. Aim: To determine methodological quality and internal and external validity of the Macdonald study. Material and method: Three instruments were applied that assess methodological quality. A critical appraisal was done and the internal and external validity of the methodological quality was analyzed with two scales: MINCIR (Methodology and Research in Surgery), valid for therapy studies and CONSORT (Consolidated Standards of Reporting Trials), valid for randomized controlled trials (RCT). Guides and scales were applied by 5 researchers with training in clinical epidemiology. Results: The reader's guide verified that the Macdonald study was not directed to answer a clearly defined question. There was random assignment, but the method used is not described and the patients were not considered until the end of the study (36% of the group with surgery plus chemo radiotherapy did not complete treatment). MINCIR scale confirmed a multicentric RCT, not blinded, with an unclear randomized sequence, erroneous sample size estimation, vague objectives and no exclusion criteria. CONSORT system proved the lack of working hypothesis and specific objectives as well as an absence of exclusion criteria and identification of the primary variable, an imprecise estimation of sample size, ambiguities in the randomization process, no blinding, an absence of statistical adjustment and the omission of a subgroup analysis. Conclusion: The instruments applied demonstrated methodological shortcomings that compromise the internal and external validity of the study. (Key words: Controlled clinical trial; Methods; Stomach neoplasms, Antineoplastic Agents, Combined, Evidence-Based Medicine) La cirugía continúa siendo el único tratamiento con pretensión curativa para pacientes con cáncer gástrico avanzado. Sin embargo, la recidiva tras la cirugía es frecuente, razón por la que en los últimos años se ha puesto énfasis, por una parte, en la identificación de factores pronósticos y, por otra, en la implementación de tratamientos adicionales tendientes a incrementar la supervivencia. Los tratamientos adyuvantes farmacológicos utilizados en la última década, han mostrado escasa efectividad, lo que ha sido objetivado en metaanálisis, en los que se concluyó que éstos no incrementan significativamente la supervivencia1,2. Por otra parte, existen algunos reportes con la incorporación de quimiorradioterapia adyuvante3-6. Sin embargo, se trata de series retrospectivas de reducido número de pacientes. No obstante ello, la propuesta de administrar quimiorradioterapia tras la resección quirúrgica, publicada por MacDonald y cols7, ha sido incorporado en algunos hospitales chilenos como protocolo de tratamiento del cáncer gástrico. El objetivo de este estudio es determinar calidad metodológica, validez interna y externa del estudio MacDonald, mediante la aplicación de una guía de lectura crítica y dos escores de calidad metodológica. MATERIAL Y MÉTODO Se realizó lectura crítica del artículo de MacDonald7, aplicando una guía para artículos de terapia8. Posteriormente, se analizó la calidad metodológica con 2 escalas; una validada para artículos referentes a tratamiento9-11 y otra utilizada para el análisis de ensayos clínicos (EC)12. La guía de lectura crítica es una forma rápida y concreta de conocer la validez interna y externa de un estudio. Consta de 3 ítems: el primero contiene preguntas de «eliminación» y «preguntas de detalle» que permiten valorar la validez interna; de tal forma que si el artículo no permite dar respuestas adecuadas a las preguntas de «eliminación», no se aconseja continuar la lectura del mismo. El segundo ítem se relaciona con la calidad y cuantificación de los resultados; y el tercero, con la reproducibilidad de los mismos8. El sistema de puntuación MINCIR (Metodología e Investigación en Cirugía), es una escala diseñada y validada para determinar calidad metodológica de estudios de terapia10,11. Está compuesta por 3 ítems: el primero, relacionado con el diseño del estudio; el segundo, con el tamaño de la población estudiada; y el tercero, con la descripción de la metodología empleada. De esta forma, se genera una puntuación que puede fluctuar entre 6 y 36 puntos, asignando 6 puntos al estudio de menor calidad metodológica y 36 puntos al de mejor calidad metodológica, con un punto de corte de 18 puntos para dicotomizar el constructo «calidad metodológica». El sistema CONSORT, es una propuesta acerca de cómo se debe comunicar un EC. Consta de 5 dominios (título y resumen, introducción, métodos, resultados y discusión) que incluyen 22 ítems, en los que se evalúa la descripción de una serie de variables relevantes que son inherentes a un EC12. La aplicación de guía y escala de calidad metodológica fue realizada de forma independiente por tres investigadores (RT, CM, LB), con formación en análisis crítico de la literatura biomédica (ACLB) y epidemiología clínica (EC). Con posterioridad, fueron discutidos en sesiones de trabajo, oportunidades en que las que se resolvieron, por consenso, situaciones en las que se generaron diferencias. Una vez obtenidos los documentos definitivos por parte del grupo de trabajo, y con el objeto de validar los resultados obtenidos, se solicitó evaluación externa a dos investigadores independientes (VP, MV), con formación en ACLB y EC. Los resultados de estas evaluaciones fueron contrastadas con los documentos previamente generados y las diferencias consensuadas en reuniones de trabajo. RESULTADOS I. Aplicación de la guía de lectura crítica. Preguntas de eliminación.
II. Aplicación del puntaje MINCIR
III. Aplicación de pauta de evaluación CONSORT
DISCUSIÓN ¿Se puede evaluar la calidad metodológica de un estudio? Desde 1970, se han utilizado varios sistemas para calificar la calidad de las publicaciones científicas. Uno de los primeros fue el propuesto por Sackett, cuyo resultado son los «niveles de evidencia», herramienta útil hasta hoy para establecer la evidencia que apoya nuestra forma de actuar15,16. Sin embargo, la «calidad metodológica» se ha de entender como un concepto multidimensional, en el que es posible evaluar múltiples facetas, de las que por el momento no existe un consenso. Por esta razón, parece relevante que al evaluar metodológicamente un ar-tículo, se apliquen diferentes herramientas que permitan valorar de una forma global su validez interna y externa. Al continuar aplicando la guía de lectura, verificamos la siguiente información: al desarrollar las preguntas de detalle referentes a la validez de los resultados, comprobamos que no hubo enmascaramiento; que no se puede decir si fue aleatoria la asignación de los pacientes; y, que los grupos no fueron tratados en forma similar (10% de los pacientes fueron resecados con D2 y 36% con D1; 35% de los pacientes sufrió alguna modificación de su esquema terapéutico original y 6,5% fue desviado a otro protocolo). Al evaluar la cuantificación de resultados, verificamos que se realizó una evaluación de las variables mediana de supervivencia global, supervivencia real a 36 meses, supervivencia global libre de enfermedad, supervivencia real libre de enfermedad a 36 meses y recurrencia; que la precisión de la estimación del efecto fue realizada mediante cálculo de hazard ratios, intervalos de confianza y valor de p. Al analizar las preguntas relativas a si me ayudarán estos resultados en el cuidado de mis pacientes, comprobamos que existen diferencias biodemográficas, de localización y tamaño de las lesiones respecto de nuestra realidad. No fueron considerados todos los resultados de importancia clínica (se omitieron variables como calidad de vida, morbilidad y mortalidad quirúrgica, y costos involucrados). No creemos que los beneficios a obtener justifiquen los riesgos y costos del tratamiento. Desde la perspectiva «calidad metodológica» aplicando el puntaje MINCIR, si bien es cierto que la sumatoria de los ítems valorados totaliza 19 puntos, hay que recordar que apenas supera el punto de corte, tiene objetivos vagos, no hay enmascaramiento, la secuencia de asignación aleatoria no es clara y la estimación de tamaño de muestra es errónea17, situación que podría estar generando un error tipo a o tipo 1. Desde el punto de vista «calidad metodológica» aplicando la propuesta CONSORT, se ponen en evidencia problemas de forma y de fondo. Los primeros tienen relación con el inapropiado reporte de una serie de hechos inherentes a un EC (título ambiguo, ausencia de diagrama de flujo de participantes, ausencia de resumen de los resultados principales). Los segundos, con la carencia de pregunta de investigación e hipótesis de trabajo, carencia de objetivos específicos, de criterios de exclusión y de descripción de la variable primaria; y, el desconocimiento de las conclusiones de los 2 análisis interinos practicados. Tampoco, se estipulan aspectos relacionados con el proceso de asignación aleatoria; no hay enmascaramiento; no se realizó ajuste estadístico por variables de impacto pronóstico; no se precisaron eventuales diferencias de proporción de D0, D1 y D2 en los grupos; y, no se practicaron análisis de subgrupos. A modo de conclusión, se puede plantear que se aplicaron 3 instrumentos de evaluación de un artículo, todos ellos de diferente concepción y que valoran distintos ámbitos de la metodología de un artículo. Todos, pusieron en evidencia falencias metodológicas similares que llevan al cuestionamiento de la validez interna y externa del estudio, hecho que a su vez hace poner en duda la lógica de la aplicabilidad de este protocolo en cualquier población, pues tiene particularidades relacionadas con la generalización de los resultados que no fueron salvaguardadas por el equipo de investigación. Mirado desde la perspectiva de Sackett18, su nivel de evidencia es 2b. No obstante ello, el protocolo es factible de realizar en nuestro medio, previa aplicación de un riguroso documento de consentimiento informado a los participantes (a quienes se debe explicar no sólo los potenciales beneficios de esta alternativa terapéutica, sino también los riesgos implícitos que han sido reportados); y, una valoración de la reproducibilidad de los resultados en forma de un estudio de fase 1 ó 2, antes de tomar la decisión de aplicarlo como protocolo a nuestros pacientes con cáncer gástrico. Otra alternativa que podría considerarse es el desarrollo de guías de práctica clínica o de protocolos basados en la mejor evidencia clínica disponible, situación que se basa, entre otras, en el análisis riguroso de la calidad metodológica y técnica de cada propuesta terapéutica, antes de su implementación clínica.
REFERENCIAS 1. Hermans J, Bonenkamp JJ, Boon MC, Bunt AMC, Ohyama S, Sasko M et al. Adjuvant therapy after curative resection for gastric cancer: meta-analysis of randomized trials. J Clin Oncol 1993; 11: 1441-7. 2. Shimada K, Ajani JA. Adjuvant therapy for gastric carcinoma patients in the past 15 years. A review of Western and Oriental trials. Cancer 1999; 86: 1657-68. 3. Venturelli A, Cardemil B, Díaz J, Avendaño R, Murúa A, Kuschel C et al. Cirugía más quimioterapia en cáncer gástrico. Sobrevida a 5 años. Rev Chil Cir 1999; 51: 170-5. 4. Flores P, Yáñez E, Cartes R, Grájeda J, Villaseca M, Fernández E et al. Quimiorradioterapia postoperatoria en el tratamiento del cáncer gástrico. Rev Chil Cir 2000; 52: 621-8. 5. Hundahl SA, MacDonald JS, Benedetti J, Fitzsimmons T. Surgical treatment variation in a prospective, randomized trial of chemoradiotherapy in gastric cancer: the effect of undertreatment. Ann Surg Oncol 2002; 9: 278-86. 6. Park SH, Kim DY, Heo JS, Lim DH, Park CK, Lee KW et al. Postoperative chemoradiotherapy for gastric cancer. Ann Oncol 2003; 14: 1373-7. 7. MacDonald JS, Smalley SR, Benedetti J, Hundahl SA, Estes NC, Stemmermann GN et al. Chemoradiotherapy after surgery compared with surgery alone for adenocarcinoma of the stomach or the gastroesophageal junction. N Engl J Med 2001; 345: 725-30. 8. Manterola C, Vial M, Pineda V, Losada H. Revisión crítica de la literatura para artículos de terapia. Rev Chil Cir 2004; 56: 604-9. 9. Manterola C, Pineda V, Vial M, Losada H, Muñoz S. Surgery for morbid obesity: selection of operation based on evidence from literature review. Obes Surg 2005; 15: 106-13. 10. Manterola C, Pineda V, Vial M. Resección abierta vs laparoscópica en cáncer de colon no complicado. Revisión sistemática. Cir Esp 2005; 78: 17-22. 11. Manterola C, Busquets J, Pascual M, Grande L. ¿Cuál es la calidad metodológica de los artículos sobre procedimientos terapéuticos publicados en cirugía española? Cir Esp 2006; 79: 95-100. 12. Altman DG, Schulz KF, Moher D, Egger M, Davidoff F, Elbourne D, Gotzsche PC, Lang T, Consort Group (Consolidated Standards of Reporting Trials). The revised CONSORT statement for reporting randomized trials: explanation and elaboration. Ann Intern Med 2001; 134: 663-94. 13. Moertel CG, Childs DS Jr, Reitemeier RJ, Colby MY Jr, Holbrook MA. Combined 5-fluorouracil and supervoltage radiation therapy of locally unresectable gastrointestinal cancer. Lancet 1969; 2: 865-7. 14. No Authors Listed. A comparison of combination chemotherapy and combined modality therapy for locally advanced gastric carcinoma. Gastrointestinal Tumor Study Group. Cancer 1982; 49: 1771-7. 15. Sackett DL. Rules of evidence and clinical recommendations on use of antithrombotic agents. Chest 1986; 89 (2 suppl): 2S-3S. 16. Meakins JL. Innovation in surgery: the rules of evidence. Am J Surg 2002; 183: 399-405. 17. Elashott JD. nQuery Advisor 4.0. Windows NT, version 5.15.1. Copyright 1995-2000. 18. Sackett DL, Wennberg JE. Choosing the best research design for each question. BMJ 1997; 315: 1636-40.
Recibido el 4 de noviembre, 2005. Aceptado el 10 de mayo, 2006. |