METODOLOGÍA PARA LA ELABORACIÓN DE EVALUACIONES DE EFECTIVIDAD Y SEGURIDAD DE TECNOLOGÍAS EN SALUD by IETS

www.iets.org.co

M etodología para la elaboración de evaluaciones de efectividad y seguridad o validez diagnóstica de tecnologías en salud 1. Se formuló la pregunta de investigación mediante la estructura PICO (población, tecnología de interés, comparación y desenlaces). La pregunta de investigación fue validada teniendo en cuenta las siguientes fuentes de información: registro sanitario INVIMA, Acuerdo 029 de 2011, guías de práctica clínica, reportes de evaluación de tecnologías, revisiones sistemáticas y narrativas de la literatura, estudios de prevalencia/incidencia y carga de enfermedad, consulta con expertos temáticos, sociedades científicas y otros actores clave. 2. A partir de la pregunta PICO se definieron los criterios de elegibilidad de la evidencia (de inclusión y exclusión), en términos de población, subgrupos, tecnología(s) de interés, comparador(es), desenlace(s), y tipo de estudio(s). 3. Teniendo en cuenta el volumen de tecnologías a evaluar y los tiempos establecidos para la actualización del POS 2013, en primer lugar se realizó una búsqueda que priorizó revisiones sistemáticas de la literatura y metanálisis publicados en las fechas que se describirán a continuación. En los casos en los que no se obtuvo evidencia, se procedió a ampliar las los límites de fechas de publicación y se procedió además a buscar estudios primarios. 4. Se llevó a cabo una búsqueda sistemática y exhaustiva, con el objetivo de identificar evidencia científica relevante en relación con la(s) pregunta(s) de evaluación. Todo el proceso se acogió a los estándares de calidad internacional utilizados en revisiones sistemáticas de la literatura (1). Las búsquedas fueron llevadas a cabo por personal entrenado y con experiencia en revisiones sistemáticas y síntesis de evidencia. §

Búsqueda en bases de datos electrónicas: de acuerdo con el tipo de estudio definido en los criterios de elegibilidad, se seleccionaron las fuentes electrónicas de consulta correspondientes, entre: MEDLINE (plataforma Ovid), MEDLINE In-Process & Other NonIndexed Citations (plataforma Ovid), MEDLINE Daily Update (plataforma Ovid), EMBASE.com y The Cochrane Library (plataforma Wiley). Inicialmente se identificaron los términos clave de búsqueda en lenguaje natural a partir de la pregunta en formato PICO. Posteriormente se diseñó una estrategia de búsqueda genérica, compuesta por vocabulario controlado explotado (Medical Subject Headings MeSH y Emtree) y lenguaje libre, considerando sinónimos, abreviaturas, acrónimos, variaciones ortográficas y plurales. Las estrategias se complementaron con identificadores de campo, truncadores, operadores de proximidad, operadores booleanos y filtros metodológicos de alta sensibilidad o alta especificidad. Esta estrategia se adaptó para las diferentes fuentes de información. Las búsquedas se realizaron con restricción de idioma (inglés y español) y fecha de publicación (2010-2013). Las estrategias de búsqueda y sus 2 www.iets.org.co

resultados se almacenaron en formato electrónico, estableciendo auto alertas para la actualización periódica de los resultados. §

Otros métodos de búsqueda: se contactó a los productores de las tecnologías evaluadas y de sus comparadores, indagando sobre la disponibilidad de estudios publicados y no publicados que se ajustaran a los criterios de elegibilidad definidos para la evaluación. Se realizó una búsqueda manual “en bola de nieve” mediante la revisión de las listas de referencias de los estudios seleccionados.

5. Para cada búsqueda se generó una bitácora o reporte, garantizando su reproducibilidad y transparencia (

3 www.iets.org.co

6. Anexos 7. Anexo 1 ). Los resultados de las búsquedas electrónicas y a través de otros métodos, fueron descargados al programa EndNote X6®. Las referencias duplicadas fueron removidas. Los resultados se documentaron mediante el diagrama de flujo PRISMA (2) (

4 www.iets.org.co

8. Anexo 2). 9. Las referencias fueron tamizadas por dos revisores de forma independiente, revisando los títulos y resúmenes con el programa EndNote X6®. En caso de duda sobre el cumplimiento de los criterios, se revisó el texto completo para orientar la decisión. Los desacuerdos entre los pares revisores fueron resueltos por consenso y cuando fue necesario un tercer revisor fue consultado. La concordancia entre los revisores se determinó mediante el índice kappa ponderado. A partir del grupo de referencias preseleccionadas, se realizó la selección de estudios, para esto, un evaluador verificó nuevamente los criterios de elegibilidad mediante la revisión de cada referencia en texto completo. 10. La calidad de los estudios fue evaluada por un experto metodólogo de acuerdo con los criterios AMSTAR (3) (Anexo 3), ISPOR (4) (Anexo 4), Riesgo de sesgo (Colaboración Cochrane) (1) (Anexo 5),y QUADAS-2 (5) (Anexo 6), según correspondíera. 11. La información básica de los estudios incluidos y sus hallazgos fueron extraídos por un revisor, aplicando un formato estándar diseñado en Word® (Anexo 7, Anexo 8, ¡Error! No se encuentra el origen de la referencia.9), según el tipo de estudio revisado. Cuando se identificaron múltiples publicaciones de un mismo estudio, los datos fueron extraídos del reporte con fecha de publicación más reciente. 12. Cuando no se identificó una medida combinada del efecto y se dispuso de estudios primarios cuyos resultados se pudieran combinar estadísticamente, se decidió realizar un meta-análisis de novo. La estimación promedio del efecto (RR, OR, HR, diferencia de medias, diferencia estandarizada de medias) se obtuvo mediante un meta-análisis ponderando por el tamaño muestral (Mantel-Haenszel), con un modelo de efectos fijos/aleatorios, de acuerdo con la presencia/ausencia de heterogeneidad clínica, metodológica y estadística. Para cada meta-análisis se construyó un forest plot, el cual se empleó como una aproximación visual de la existencia de heterogeneidad. La heterogeneidad estadística fue cuantificada mediante la prueba I2, considerando: 0%-25% heterogeneidad no importante, 25%-50% heterogeneidad moderada, 50%-75% heterogeneidad sustancial y 75%-100% heterogeneidad considerable. La significancia estadística del efecto se evaluó mediante la prueba Z. Cuando fue pertinente se estimó la medida combinada del efecto en subgrupos previamente definidos. Se realizó un análisis de sensibilidad para estudiar la influencia del riesgo de sesgo en los resultados del metaanálisis. La presencia de sesgo de publicación se evaluó mediante un gráfico de embudo y la prueba de Egger. El procesamiento estadístico se realizó con el programa Review Manager (RevMan5). Ante la ausencia de evidencia directa (cabeza a cabeza) entre las tecnologías de interés, se realizó un meta-análisis de comparaciones indirectas, en caso de ser pertinente. Se calculó 5 www.iets.org.co

una medida combinada del efecto utilizando el método de Bucher et al. (1997), con el programa Indirect Treatment Comparison, Canadian Agency for Drugs and Technologies in Health. Los análisis estadísticos se realizaron con un nivel de confianza del 95% y una significancia estadística de 0,05. 13. Para cada comparación y desenlaces (de efectividad y seguridad) se seleccionó el estudio que mejor se valoró con base en los siguientes criterios: § § § § § § § § § § § § § §

Inclusión de evidencia directa “estudios cabeza a cabeza” Inclusión de evidencia obtenida por análisis pragmático “Intención a Tratar” Inclusión de datos individuales de pacientes Número de estudios primarios incluidos Exhaustividad en las fuentes de información consultadas Estatus de publicación de los estudios primarios Restricciones de lenguaje Probabilidad de sesgo de publicación Calidad metodológica de la revisión (herramienta AMSTAR) Heterogeneidad estadística para los efectos de interés Imprecisión de los estimadores de interés Definición de los tratamientos* Geometría de la red de evidencia* Coherencia entre la evidencia directa e indirecta*

* Este criterio aplica para meta-análisis en red. La calidad para el cuerpo de la evidencia se determinó, cuando era factible, con la metodología Grading of Recommendations Assessment, Development and Evaluation (GRADE) (6) (Anexo 10 y Anexo 11). Cuando no era posible, se empleaban los formatos de calificación de los estudios descritos previamente.

14. Presentación de resultados e inform es finales: los resultados finales del proceso se presentarán en dos formatos: una ficha resumen y el informe técnico final. a. Fichas resum en: posterior a la síntesis y análisis de la evidencia se procedió a construir fichas que contenían detalles relacionados con la tecnología en cuestión, la pregunta PICO de la evaluación y aspectos de la enfermedad y población objetivo basados en una lista de criterios establecidos, junto con el resumen de la evidencia redactada en términos claros, comprensibles y en lenguaje no técnico para facilitar la comprensión de la ciudadanía. 6 www.iets.org.co

b. Inform e técnico: es el reporte final que documenta todos los pasos del proceso metodológico descritos anteriormente, la pregunta PICO, las estrategias de búsqueda, síntesis de evidencia y la discusión final; contiene todos los anexos respectivos que documentan el proceso.

7 www.iets.org.co

Anexos Anexo 1. Reportes de búsqueda en bases de datos electrónicas. Reporte de búsqueda electrónica Tipo de búsqueda Bases de datos Plataforma Fecha de búsqueda Fecha de actualización Rango de fecha de búsqueda Restricciones de lenguaje Otros límites Estrategia de búsqueda (resultados) # de referencias identificadas # de referencias sin duplicados

8 www.iets.org.co

Anexo 2. Diagrama de flujo para la tamización y selección de evidencia. Número de referencias identificadas mediante la búsqueda en bases de datos electrónicas n=

Número de referencias identificadas mediante otros métodos de búsqueda n=

Número de referencias después de remover los duplicados n=

Número de referencias tamizadas n=

Número de referencias excluidas n=

Número de artículos en texto completo evaluados para elegibilidad n=

Número de artículos en texto completo excluidos n=

Número de estudios incluidos n=

9 www.iets.org.co

Anexo 3. Calidad de las revisiones sistemáticas incluidas en la evaluación (herramienta AMSTAR). Criterio

Autor año

1. ¿Fue provisto un diseño a priori? La pregunta de investigación y los criterios de inclusión se establecieron antes de conducir la revisión. 2. ¿La selección de los estudios y la extracción de datos fue duplicada? Existieron por los menos dos evaluadores independientes para la extracción de datos y un procedimiento de consenso para resolver los desacuerdos. 3. ¿Se realizó una búsqueda exhaustiva de literatura? La búsqueda incluyó al menos dos fuentes electrónicas. El reporte incluyó los años y las bases de datos usadas (por ejemplo, CENTRAL, EMBASE y MEDLINE). Las palabras clave, los términos MeSH y la estrategia de búsqueda fueron reportados. Todas las búsquedas fueron complementadas por consulta de revisiones, libros de texto, registros especializados, expertos en un campo de estudio específico y por revisión de las referencias en los estudios identificados. 4. ¿El estado de la publicación (por ejemplo, literatura gris) fue utilizado como criterio de inclusión? Los autores declararon que se buscó literatura independientemente del estado de la publicación; se indicó si se excluyó o no algún reporte (de la revisión sistemática), con base en su estado de publicación, lenguaje, etc. 5. ¿Se presentó un listado de estudios (incluidos y excluidos)? Se presentó una lista de los estudios que fueron incluidos y excluidos. 6. ¿Se presentaron las características de los estudios incluidos? Se presentaron los datos de los estudios originales: participantes, intervenciones y desenlaces. Se reportaron las características en todos los estudios analizados: edad, raza, sexo, nivel socioeconómico, estado, duración y severidad de la enfermedad o comorbilidades. 7. ¿La calidad de los estudios incluidos fue evaluada y documentada? Se definieron a priori los criterios de evaluación de calidad (por ejemplo, para estudios de efectividad, si los autores decidieron incluir solamente estudios aleatorizados, doble ciego, placebo controlados, o si el ocultamiento de la asignación se empleó como criterio de inclusión); se consideraron ítems relevantes para otro tipo de estudios. 8. ¿Se utilizó adecuadamente la calidad de los estudios para formular las conclusiones? Los resultados del rigor metodológico y la calidad científica se consideraron en el análisis, las conclusiones y explícitamente en la formulación de recomendaciones.

10 www.iets.org.co

Criterio 9. ¿Fueron apropiados los métodos para combinar los hallazgos de los estudios? Para los resultados combinados, se realizó una prueba para asegurar que los estudios fueran 2 combinables, para evaluar su homogeneidad (por ejemplo, prueba ji cuadrado, I ). Si la heterogeneidad existió, se debió usar un modelo de efectos aleatorios o se debió tomar en consideración la pertinencia clínica de combinar los estudios (¿es factible combinarlos?). 10. ¿Se evaluó la probabilidad de sesgo de publicación? La evaluación del sesgo de publicación debió incluir una combinación de ayudas gráficas (por ejemplo, gráfico de embudo, otras pruebas disponibles) o pruebas estadísticas (por ejemplo, prueba de Egger). 11. ¿Se declaró la existencia de conflictos de interés? Las fuentes de financiación o apoyo fueron claramente reconocidas tanto en la revisión, como en los estudios incluidos. Calidad global†

Autor año

† Calidad global: baja (puntaje entre 0-3), media (puntaje entre 4-7) y alta (puntaje entre 8-11). * Traducción libre realizada por funcionarios de la Subdirección de Evaluación de Tecnologías, Instituto de Evaluación Tecnológica en Salud - IETS.

11 www.iets.org.co

Anexo 4. Calidad de los meta-análisis en red incluidos en la evaluación (herramienta ISPOR).

Introducción

Métodos

Criterios ¿La justificación y los objetivos del estudio se presentan con claridad? ¿La sección de métodos incluye lo siguiente?: § Descripción de los criterios de elegibilidad § Fuentes de información § Estrategias de búsqueda § Proceso de selección de los estudios § Extracción de datos § Evaluación de la calidad de los estudios incluidos ¿Las medidas de resultados son descritas? ¿Existe una descripción de los métodos para el análisis y síntesis de la evidencia? ¿Los métodos descritos incluyen lo siguiente?: § Descripción de los métodos de análisis/modelos § Manejo de sesgos potenciales /inconsistencia § Marco de análisis ¿Los análisis de sensibilidad son presentados?

Autor año

12 www.iets.org.co

Autor año

Resultados

Discusión

Autor año

¿Los resultados incluyen un resumen de los estudios incluidos en la red de evidencia? ¿Datos de estudios individuales? ¿Red de estudios? ¿El estudio describe una evaluación del ajuste del modelo? ¿Los modelos competidores son comparables? ¿Los resultados de la síntesis de evidencia (ITC/MTC) son presentados claramente? ¿Los análisis de sensibilidad/de escenarios son presentados? ¿La discusión incluye lo siguiente?: § Descripción/resumen de los hallazgos principales § Validez interna del análisis § Validez externa § Implicaciones de los resultados para la población blanco

Calidad global * Traducción libre realizada por funcionarios de la Subdirección de Evaluación de Tecnologías, Instituto de Evaluación Tecnológica en Salud - IETS.

13 www.iets.org.co

Anexo 5. Calidad de los ensayos clínicos aleatorizados incluidos en la evaluación (riesgo de sesgo, Colaboración Cochrane). Criterio Generación de la secuencia (sesgo de selección) Ocultamiento de la asignación (sesgo de selección) Cegamiento de los participantes y del personal (sesgo de realización) Cegamiento de los evaluadores del resultado (sesgo de detección) Datos de resultado incompletos (sesgo de desgaste) Notificación selectiva de los resultados (sesgo de notificación) Otras fuentes de sesgo

Autor año

14 www.iets.org.co

Anexo 6. Calidad de los estudios de validez diagnóstica incluidos en la evaluación (herramienta QUADAS-2). Dominio

Selección de pacientes

A. Riesgo de sesgo

B. Aplicabilidad Prueba índice

Todas las pruebas

Autor año

Prueba índice: A. Riesgo de sesgo

B. Aplicabilidad

Estándar de referencia

Criterio Muestreo de pacientes ¿Se realizó una nuestra consecutiva o aleatoria de los pacientes reclutados? ¿Se evitó un diseño de casos y controles? ¿El estudio evitó exclusiones inadecuadas? ¿Podría la selección de los pacientes haber introducido sesgo? Características de los pacientes y ubicación ¿Hay preocupación que los pacientes incluidos y su ubicación no correspondan a la pregunta?

A. Riesgo de sesgo

B. Aplicabilidad

¿Fueron los resultados de la prueba índice interpretados sin conocimiento de los resultados del estándar de referencia? Si se usó un umbral, ¿éste fue especificado previamente? ¿La conducción o interpretación de la prueba índice podría haber introducido un sesgo? ¿Hay preocupación acerca que la prueba índice, su conducción o interpretación no correspondan a la pregunta? Condición de interés y estándar(es) de referencia ¿Es probable que el estándar de referencia clasifique correctamente la condición de interés? ¿Fueron los resultados del estándar de referencia interpretados sin conocimiento de los resultados de la prueba índice? ¿La conducción o interpretación del estándar de referencia podría haber introducido sesgo? ¿Hay preocupación acerca que la condición de interés definida por el estándar de referencia no corresponda a la pregunta?

15 www.iets.org.co

Dominio

Flujo de pacientes y tiempos

A. Riesgo de sesgo

Criterio Flujo y tiempos ¿Hubo un intervalo de tiempo adecuado entre la prueba evaluada y el estándar de referencia? ¿Recibieron todos los pacientes el mismo estándar de referencia? ¿Fueron incluidos todos los pacientes en el análisis? ¿Podría el flujo de pacientes haber introducido sesgo?

Autor año

* Traducción libre realizada por funcionarios de la Subdirección de Evaluación de Tecnologías, Instituto de Evaluación Tecnológica en Salud - IETS.

16 www.iets.org.co

Anexo 7. Características de las revisiones sistemáticas incluidas en la evaluación. Autor año

Autor año

Tipo de revisión Población Subgrupos Comparaciones (intervención vs. comparador) Desenlaces (método/técnica de evaluación y tiempo de seguimiento) Número de estudios, diseño y pacientes incluidos Bases de datos consultadas Fuentes de literatura gris Fecha de búsqueda Rango de fecha de búsqueda Restricciones de lenguaje Otros límites empleados Calidad de los estudios incluidos Fuentes de financiación

17 www.iets.org.co

Anexo 8. Características de los ensayos clínicos aleatorizados incluidos en la evaluación. Autor año

Autor año

Estatus de publicación Diseño Población Lugar Comparaciones (intervención vs. comparador) Desenlaces (método/técnica de evaluación y tiempo de seguimiento) Hipótesis y tipo de análisis Tamaño de muestra (# de sujetos aleatorizados) Tiempo de seguimiento Pérdidas (%) Aprobación ética Fuentes de financiación

18 www.iets.org.co

Anexo 9. Características de los estudios de validez diagnóstica/concordancia incluidos en la evaluación. Autor año

Autor año

Diseño Población Lugar Comparaciones (prueba índice vs. gold estándar) Desenlaces Tamaño de muestra Fuentes de financiación

19 www.iets.org.co

Anexo 10. Calidad y síntesis de la evidencia (metodología GRADE). Comparación: Evaluación de la calidad Referencia (No. de estudios/N)

Diseño

Limitaciones

Inconsistencia

Evidencia indirecta

Imprecisión

Otras consideraciones

Resumen de los hallazgos No. de eventos/No. de Efecto pacientes (%) Relativo (%) Absoluto Intervención Comparador [IC [IC 95%] 95%]

Calidad de la evidencia

Desenlace (método/técnica de evaluación y tiempo de seguimiento): Desenlace (método/técnica de evaluación y tiempo de seguimiento): Desenlace (método/técnica de evaluación y tiempo de seguimiento): Desenlace (método/técnica de evaluación y tiempo de seguimiento): Desenlace (método/técnica de evaluación y tiempo de seguimiento): Calidad global IC: intervalo de confianza. ⊕⊕⊕⊕ Alta: es poco probable que otras investigaciones cambien nuestra confianza en el cálculo aproximado del efecto. ⊕⊕⊕ Moderada: es posible que otras investigaciones tengan un impacto importante en nuestra confianza en el cálculo aproximado del efecto y que puedan cambiar el cálculo. ⊕⊕ Baja: es muy probable que otras investigaciones tengan un impacto importante en nuestra confianza en el cálculo aproximado del efecto y es probable que cambien el cálculo. ⊕ Muy baja: no estamos muy seguros sobre el cálculo aproximado.

20 www.iets.org.co

Importancia del desenlace

Anexo 11. Calidad y síntesis de la evidencia (metodología GRADE).

Desenlace

Cantidad y tipo de evidencia

Disminuye GRADE Hallazgos

GRADE inicial

Riesgo de sesgo

Consistenc ia

Evidencia directa

Precisión

Sesgo de publicació n

GRADE final

GRADE global

21 www.iets.org.co

Referencias bibliográficas 1. Higgins J, Green S. Cochrane Handbook for Systematic Reviews of Interventions 5.1.0 [updated March 2011]2011. 2. Liberati A, Altman D, Tetzlaff J, Mulrow C, Gotzsche P, Ioannidis J, et al. The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. Journal of clinical epidemiology. 2009 Oct;62(10):e1-34. PubMed PMID: 19631507. Epub 2009/07/28. eng. 3. Shea BJ, Hamel C, Wells GA, Bouter LM, Kristjansson E, Grimshaw J, et al. AMSTAR is a reliable and valid measurement tool to assess the methodological quality of systematic reviews. Journal of clinical epidemiology. 2009 Oct;62(10):1013-20. PubMed PMID: 19230606. Epub 2009/02/24. eng. 4. Jansen JP, Fleurence R, Devine B, Itzler R, Barrett A, Hawkins N, et al. Interpreting indirect treatment comparisons and network meta-analysis for health-care decision making: report of the ISPOR Task Force on Indirect Treatment Comparisons Good Research Practices: part 1. Value in health : the journal of the International Society for Pharmacoeconomics and Outcomes Research. 2011 Jun;14(4):417-28. PubMed PMID: 21669366. Epub 2011/06/15. eng. 5. Whiting PF, Rutjes AW, Westwood ME, Mallett S, Deeks JJ, Reitsma JB, et al. QUADAS-2: a revised tool for the quality assessment of diagnostic accuracy studies. Annals of internal medicine. 2011 Oct 18;155(8):529-36. PubMed PMID: 22007046. Epub 2011/10/19. eng. 6. Brozek J, Oxman A, Schünemann H. GRADEpro Version 3.6 for Windows. 2008.

22 www.iets.org.co