Metanálisis

Ajustar Compartir Imprimir Citar

Un metanálisis es un análisis estadístico que combina los resultados de múltiples estudios científicos. Los metanálisis se pueden realizar cuando hay múltiples estudios científicos que abordan la misma pregunta, y cada estudio individual informa mediciones que se espera que tengan algún grado de error. Entonces, el objetivo es utilizar enfoques estadísticos para derivar una estimación agrupada más cercana a la verdad común desconocida en función de cómo se percibe este error. Los resultados metaanalíticos son considerados la fuente de evidencia más confiable por la literatura de medicina basada en evidencia.

Los metanálisis no solo pueden proporcionar una estimación del tamaño del efecto desconocido, sino que también tienen la capacidad de contrastar los resultados de diferentes estudios e identificar patrones entre los resultados del estudio, fuentes de desacuerdo entre esos resultados u otras relaciones interesantes que pueden surgir con múltiples estudios.

Sin embargo, existen algunos problemas metodológicos con el metanálisis. Si los estudios individuales están sistemáticamente sesgados debido a prácticas de investigación cuestionables (p. ej., depuración de datos, búsqueda de datos, eliminación de estudios) o el sesgo de publicación a nivel de revista, es posible que la estimación metaanalítica del efecto general del tratamiento no refleje la eficacia real de un tratamiento. El metanálisis también ha sido criticado por promediar las diferencias entre estudios heterogéneos porque estas diferencias podrían informar potencialmente las decisiones clínicas.Por ejemplo, si hay dos grupos de pacientes que experimentan diferentes estudios de efectos del tratamiento en dos ECA que informan resultados contradictorios, el promedio metanalítico no es representativo de ningún grupo, de manera similar a promediar el peso de manzanas y naranjas, que no es exacto para manzanas ni naranjas. naranjas Al realizar un metanálisis, un investigador debe tomar decisiones que pueden afectar los resultados, incluso decidir cómo buscar estudios, seleccionar estudios en función de un conjunto de criterios objetivos, manejar datos incompletos, analizar los datos y explicar o elegir no tener en cuenta el sesgo de publicación. Esto hace que el metanálisis sea maleable en el sentido de que estas elecciones metodológicas realizadas al completar un metanálisis no están determinadas pero pueden afectar los resultados.Por ejemplo, un metanálisis de los mismos ECA sobre la eficacia de la anestesia local y una metarregresión de estudios observacionales sobre los efectos del consumo de carne con, respectivamente, siete y ocho técnicas de metanálisis informaron diferentes valores de p de los ATE promedio obtenidos. Por ejemplo, Wanous y sus colegas examinaron cuatro pares de metanálisis sobre los cuatro temas de (a) desempeño laboral y relación de satisfacción, (b) avances realistas del trabajo, (c) correlaciones de conflicto de roles y ambigüedad, y (d) el trabajo. relación entre satisfacción y ausentismo, e ilustró cómo varios juicios hechos por los investigadores produjeron diferentes resultados.

Los metanálisis son a menudo, pero no siempre, componentes importantes de un procedimiento de revisión sistemática. Por ejemplo, se puede realizar un metanálisis en varios ensayos clínicos de un tratamiento médico, en un esfuerzo por obtener una mejor comprensión de qué tan bien funciona el tratamiento. Aquí es conveniente seguir la terminología utilizada por la Colaboración Cochrane, y usar "meta-análisis" para referirse a métodos estadísticos de combinar evidencia, dejando otros aspectos de 'síntesis de investigación' o 'síntesis de evidencia', como combinar información de fuentes cualitativas. estudios, para el contexto más general de las revisiones sistemáticas. Un metanálisis es una fuente secundaria.Además, el metanálisis también se puede aplicar a un solo estudio en los casos en que hay muchas cohortes que no han pasado por criterios de selección idénticos o a las que no se han aplicado las mismas metodologías de investigación a todas de la misma manera o bajo las mismas condiciones. condiciones exigentes. En estas circunstancias, cada cohorte se trata como un estudio individual y se utiliza un metanálisis para sacar conclusiones de todo el estudio.

Historia

Las raíces históricas del metanálisis se remontan a los estudios de astronomía del siglo XVII, mientras que un artículo publicado en 1904 por el estadístico Karl Pearson en el British Medical Journal, que recopiló datos de varios estudios sobre la inoculación de la fiebre tifoidea, se considera la primera vez que un Se utilizó un enfoque metaanalítico para agregar los resultados de múltiples estudios clínicos. El primer metanálisis de todos los experimentos conceptualmente idénticos relacionados con un tema de investigación en particular, y realizado por investigadores independientes, ha sido identificado como la publicación de un libro de 1940 Extrasensory Perception After Sixty Years, escrito por los psicólogos de la Universidad de Duke JG Pratt, JB Rhine y asociados.Esto abarcó una revisión de 145 informes sobre experimentos ESP publicados entre 1882 y 1939 e incluyó una estimación de la influencia de artículos no publicados en el efecto general (el problema del cajón de archivos). El término "metaanálisis" fue acuñado en 1976 por el estadístico Gene V. Glass, quien afirmó que "actualmente, mi mayor interés está en lo que llamamos... el metanálisis de la investigación. El término es un poco grandilocuente"., pero es preciso y acertado... Metanálisis se refiere al análisis de los análisis". Aunque esto lo llevó a ser ampliamente reconocido como el fundador moderno del método, la metodología detrás de lo que él denominó "metaanálisis" es anterior a su trabajo por varias décadas.La teoría estadística que rodea al metanálisis fue muy avanzada gracias al trabajo de Nambury S. Raju, Larry V. Hedges, Harris Cooper, Ingram Olkin, John E. Hunter, Jacob Cohen, Thomas C. Chalmers, Robert Rosenthal, Frank L. Schmidt, John E. Hunter y Douglas G. Claurett. En 1992, el metanálisis fue aplicado por primera vez a cuestiones ecológicas por Jessica Gurevitch, quien usó el metanálisis para estudiar la competencia en experimentos de campo.

Pasos en un metanálisis

Un metanálisis generalmente está precedido por una revisión sistemática, ya que esto permite la identificación y la evaluación crítica de toda la evidencia relevante (lo que limita el riesgo de sesgo en las estimaciones resumidas). Los pasos generales son entonces los siguientes:

Formulación de la pregunta de investigación, por ejemplo, utilizando el modelo PICO (Población, Intervención, Comparación, Resultado).
búsqueda de literatura
Selección de estudios ('criterios de incorporación')
1. Basado en criterios de calidad, por ejemplo, el requisito de aleatorización y cegamiento en un ensayo clínico
2. Selección de estudios específicos sobre un tema bien especificado, por ejemplo, el tratamiento del cáncer de mama.
3. Decidir si se incluyen estudios no publicados para evitar el sesgo de publicación (problema del archivador)
Decida qué variables dependientes o medidas de resumen están permitidas. Por ejemplo, al considerar un metanálisis de datos publicados (agregados):
- Diferencias (datos discretos)
- Medias (datos continuos)
- Hedges' g es una medida de resumen popular para datos continuos que se estandariza para eliminar las diferencias de escala, pero incorpora un índice de variación entre grupos:
  1. $delta ={frac {mu _{t}-mu _{c}}{sigma}},$ donde $mu _{t}$ es la media del tratamiento, $mu _{c}$ es la media del control, $sigma^{2}$ la varianza agrupada.
Selección de un modelo de metanálisis, p. ej., metanálisis de efectos fijos o de efectos aleatorios.
Examinar las fuentes de heterogeneidad entre estudios, por ejemplo, mediante análisis de subgrupos o metarregresión.

El Manual Cochrane proporciona una guía formal para la realización y el informe de los metanálisis.

Para conocer las pautas de informes, consulte la declaración Elementos de informe preferidos para revisiones sistemáticas y metanálisis (PRISMA).

Métodos y supuestos

Enfoques

En general, se pueden distinguir dos tipos de evidencia al realizar un metanálisis: datos de participantes individuales (IPD) y datos agregados (AD). Los datos agregados pueden ser directos o indirectos.

AD está más comúnmente disponible (por ejemplo, de la literatura) y generalmente representa estimaciones resumidas como razones de probabilidad o riesgos relativos. Esto se puede sintetizar directamente a través de estudios conceptualmente similares utilizando varios enfoques (ver más abajo). Por otro lado, los datos agregados indirectos miden el efecto de dos tratamientos que se compararon con un grupo de control similar en un metanálisis. Por ejemplo, si el tratamiento A y el tratamiento B se compararon directamente con el placebo en metanálisis separados, podemos usar estos dos resultados agrupados para obtener una estimación de los efectos de A frente a B en una comparación indirecta como el efecto A frente al placebo menos el efecto B contra placebo.

La evidencia de IPD representa los datos sin procesar recopilados por los centros de estudio. Esta distinción ha planteado la necesidad de diferentes métodos metaanalíticos cuando se desea la síntesis de evidencia y ha llevado al desarrollo de métodos de una y dos etapas.En los métodos de una etapa, el IPD de todos los estudios se modela simultáneamente mientras se tiene en cuenta la agrupación de participantes dentro de los estudios. Los métodos de dos etapas primero calculan las estadísticas de resumen para AD de cada estudio y luego calculan las estadísticas generales como un promedio ponderado de las estadísticas del estudio. Al reducir IPD a AD, los métodos de dos etapas también se pueden aplicar cuando IPD está disponible; esto los convierte en una opción atractiva al realizar un metanálisis. Aunque convencionalmente se cree que los métodos de una y dos etapas producen resultados similares, estudios recientes han demostrado que ocasionalmente pueden llevar a conclusiones diferentes.

Modelos estadísticos para datos agregados

Evidencia directa: modelos que incorporan solo los efectos del estudio

Modelo de efectos fijos

El modelo de efectos fijos proporciona un promedio ponderado de una serie de estimaciones de estudio. La inversa de la varianza de las estimaciones se usa comúnmente como peso del estudio, de modo que los estudios más grandes tienden a contribuir más que los estudios más pequeños al promedio ponderado. En consecuencia, cuando los estudios dentro de un metanálisis están dominados por un estudio muy grande, los hallazgos de los estudios más pequeños prácticamente se ignoran. Lo que es más importante, el modelo de efectos fijos supone que todos los estudios incluidos investigan la misma población, utilizan las mismas definiciones de variable y resultado, etc. Esta suposición suele ser poco realista ya que la investigación a menudo es propensa a varias fuentes de heterogeneidad; por ejemplo, los efectos del tratamiento pueden diferir según el lugar, los niveles de dosificación, las condiciones del estudio,...

Modelo de efectos aleatorios

Un modelo común utilizado para sintetizar investigaciones heterogéneas es el modelo de metanálisis de efectos aleatorios. Este es simplemente el promedio ponderado de los tamaños del efecto de un grupo de estudios. El peso que se aplica en este proceso de promedio ponderado con metanálisis de efectos aleatorios se logra en dos pasos:

Paso 1: Ponderación de la varianza inversa
Paso 2: Desponderar esta ponderación de varianza inversa aplicando un componente de varianza de efectos aleatorios (REVC) que simplemente se deriva del grado de variabilidad de los tamaños del efecto de los estudios subyacentes.

Esto significa que cuanto mayor sea esta variabilidad en los tamaños del efecto (también conocida como heterogeneidad), mayor será la falta de ponderación y esto puede llegar a un punto en el que el resultado del metanálisis de efectos aleatorios se convierte simplemente en el tamaño del efecto promedio no ponderado entre los estudios. En el otro extremo, cuando todos los tamaños del efecto son similares (o la variabilidad no supera el error de muestreo), no se aplica REVC y el metanálisis de efectos aleatorios se establece de forma predeterminada en un metanálisis de efectos fijos (solo ponderación de la varianza inversa).

El alcance de esta reversión depende únicamente de dos factores:

Heterogeneidad de precisión
Heterogeneidad del tamaño del efecto

Dado que ninguno de estos factores indica automáticamente un estudio más grande defectuoso o estudios más pequeños más confiables, la redistribución de pesos bajo este modelo no guardará relación con lo que estos estudios realmente podrían ofrecer. De hecho, se ha demostrado que la redistribución de los pesos es simplemente en una dirección de los estudios más grandes a los más pequeños a medida que aumenta la heterogeneidad hasta que finalmente todos los estudios tienen el mismo peso y no es posible más redistribución. Otro problema con el modelo de efectos aleatorios es que los intervalos de confianza más utilizados generalmente no conservan su probabilidad de cobertura por encima del nivel nominal especificado y, por lo tanto, subestiman sustancialmente el error estadístico y son potencialmente demasiado confiados en sus conclusiones. Se han sugerido varias correccionespero el debate continúa. Otra preocupación es que el efecto promedio del tratamiento a veces puede ser incluso menos conservador en comparación con el modelo de efectos fijos y, por lo tanto, puede ser engañoso en la práctica. Una solución de interpretación que se ha sugerido es crear un intervalo de predicción alrededor de la estimación de efectos aleatorios para representar el rango de posibles efectos en la práctica. Sin embargo, una suposición detrás del cálculo de dicho intervalo de predicción es que los ensayos se consideran entidades más o menos homogéneas y que las poblaciones de pacientes incluidas y los tratamientos de comparación deben considerarse intercambiables y esto suele ser inalcanzable en la práctica.

El método más utilizado para estimar la varianza entre estudios (REVC) es el método DerSimonian-Laird (DL). Existen varias técnicas iterativas avanzadas (y computacionalmente costosas) para calcular la varianza entre estudios (como los métodos de máxima verosimilitud, verosimilitud de perfil y máxima verosimilitud restringida) y los modelos de efectos aleatorios que utilizan estos métodos se pueden ejecutar en Stata con el comando metaan. El comando metaan debe distinguirse del comando metan clásico (una sola "a") en Stata que usa el estimador DL. Estos métodos avanzados también se han implementado en un complemento gratuito y fácil de usar de Microsoft Excel, MetaEasy.Sin embargo, una comparación entre estos métodos avanzados y el método DL para calcular la varianza entre estudios demostró que hay poco que ganar y que DL es bastante adecuado en la mayoría de los escenarios.

Sin embargo, la mayoría de los metanálisis incluyen entre 2 y 4 estudios y, en la mayoría de los casos, dicha muestra es inadecuada para estimar con precisión la heterogeneidad. Por lo tanto, parece que en los metanálisis pequeños, se obtiene un cero incorrecto entre la estimación de la varianza entre estudios, lo que lleva a una suposición de homogeneidad falsa. En general, parece que la heterogeneidad se subestima constantemente en los metanálisis y análisis de sensibilidad en los que se supone que los niveles altos de heterogeneidad podrían ser informativos. Estos modelos de efectos aleatorios y paquetes de software mencionados anteriormente se relacionan con metanálisis de estudios agregados y los investigadores que deseen realizar metanálisis de datos de pacientes individuales (DPI) deben considerar enfoques de modelos de efectos mixtos.

Modelo IVhet

Doi & Barendregt, en colaboración con Khan, Thalib y Williams (de la Universidad de Queensland, la Universidad del Sur de Queensland y la Universidad de Kuwait), han creado una alternativa basada en cuasi verosimilitud (IVhet) de varianza inversa al modelo de efectos aleatorios (RE) para la cual los detalles están disponibles en línea. Esto se incorporó a MetaXL versión 2.0,un complemento gratuito de Microsoft Excel para metanálisis producido por Epigear International Pty Ltd y disponible el 5 de abril de 2014. Los autores afirman que una clara ventaja de este modelo es que resuelve los dos problemas principales del modelo de efectos aleatorios. La primera ventaja del modelo IVhet es que la cobertura se mantiene en el nivel nominal (generalmente 95%) para el intervalo de confianza, a diferencia del modelo de efectos aleatorios que cae en la cobertura a medida que aumenta la heterogeneidad.La segunda ventaja es que el modelo IVhet mantiene los pesos de la varianza inversa de los estudios individuales, a diferencia del modelo RE, que otorga más peso a los estudios pequeños (y, por lo tanto, menos a los estudios más grandes) a medida que aumenta la heterogeneidad. Cuando la heterogeneidad aumenta, las ponderaciones de los estudios individuales en el modelo RE se igualan y, por lo tanto, el modelo RE arroja una media aritmética en lugar de un promedio ponderado. Este efecto secundario del modelo RE no ocurre con el modelo IVhet que, por lo tanto, difiere de la estimación del modelo RE en dos perspectivas:Las estimaciones agrupadas favorecerán los ensayos más grandes (en lugar de penalizar los ensayos más grandes en el modelo RE) y tendrán un intervalo de confianza que permanece dentro de la cobertura nominal bajo incertidumbre (heterogeneidad). Doi y Barendregt sugieren que, si bien el modelo RE proporciona un método alternativo para agrupar los datos del estudio, los resultados de su simulacióndemostrar que el uso de un modelo de probabilidad más específico con suposiciones insostenibles, como con el modelo RE, no proporciona necesariamente mejores resultados. El último estudio también informa que el modelo IVhet resuelve los problemas relacionados con la subestimación del error estadístico, la cobertura deficiente del intervalo de confianza y el aumento de MSE visto con el modelo de efectos aleatorios y los autores concluyen que los investigadores deben abandonar el uso del modelo de efectos aleatorios. en metanálisis. Si bien sus datos son convincentes, las ramificaciones (en términos de la magnitud de los resultados falsos positivos dentro de la base de datos Cochrane) son enormes y, por lo tanto, aceptar esta conclusión requiere una cuidadosa confirmación independiente. La disponibilidad de un software libre (MetaXL)que ejecuta el modelo IVhet (y todos los demás modelos de comparación) facilita esto para la comunidad de investigación.

Evidencia directa: Modelos que incorporan información adicional

Modelo de efectos de calidad

Doi y Thalib introdujeron originalmente el modelo de efectos de calidad. Introdujeron un nuevo enfoque para el ajuste de la variabilidad entre estudios al incorporar la contribución de la varianza debida a un componente relevante (calidad) además de la contribución de la varianza debida al error aleatorio que se utiliza en cualquier modelo de metanálisis de efectos fijos para generar pesos para cada estudio. La fortaleza del metanálisis de efectos de calidad es que permite utilizar la evidencia metodológica disponible sobre los efectos aleatorios subjetivos y, por lo tanto, ayuda a cerrar la brecha dañina que se ha abierto entre la metodología y las estadísticas en la investigación clínica. Para hacer esto, se calcula una varianza de sesgo sintético basada en información de calidad para ajustar los pesos de varianza inversa y el peso ajustado por calidad de la iSe presenta el estudio. Estos pesos ajustados se utilizan luego en el metanálisis. En otras palabras, si el estudio i es de buena calidad y otros estudios son de mala calidad, una proporción de sus ponderaciones ajustadas por calidad se redistribuye matemáticamente al estudio i.dándole más peso hacia el tamaño del efecto general. A medida que los estudios se vuelven cada vez más similares en términos de calidad, la redistribución se vuelve progresivamente menor y cesa cuando todos los estudios son de igual calidad (en el caso de la misma calidad, el modelo de efectos de calidad por defecto es el modelo IVhet; consulte la sección anterior). Una evaluación reciente del modelo de efectos de calidad (con algunas actualizaciones) demuestra que, a pesar de la subjetividad de la evaluación de la calidad, el rendimiento (MSE y varianza real bajo simulación) es superior al que se puede lograr con el modelo de efectos aleatorios. Por lo tanto, este modelo reemplaza las interpretaciones insostenibles que abundan en la literatura y hay un software disponible para explorar más este método.

Evidencia indirecta: métodos de metanálisis en red

Los métodos de metanálisis de comparación indirecta (también llamados metanálisis en red, en particular cuando se evalúan múltiples tratamientos simultáneamente) generalmente utilizan dos metodologías principales. Primero, es el método de Bucherque es una comparación simple o repetida de un ciclo cerrado de tres tratamientos de manera que uno de ellos es común a los dos estudios y forma el nodo donde comienza y termina el ciclo. Por lo tanto, se necesitan comparaciones múltiples de dos por dos (bucles de 3 tratamientos) para comparar tratamientos múltiples. Esta metodología requiere que los ensayos con más de dos brazos tengan solo dos brazos seleccionados, ya que se requieren comparaciones independientes por pares. La metodología alternativa utiliza modelos estadísticos complejos para incluir ensayos de brazos múltiples y comparaciones simultáneas entre todos los tratamientos en competencia. Estos se han ejecutado utilizando métodos bayesianos, modelos lineales mixtos y enfoques de metarregresión.

Marco bayesiano

La especificación de un modelo de metanálisis de red bayesiana implica escribir un modelo de gráfico acíclico dirigido (DAG) para el software Monte Carlo (MCMC) de cadena de Markov de uso general, como WinBUGS. Además, se deben especificar distribuciones previas para varios de los parámetros, y los datos deben proporcionarse en un formato específico. Juntos, el DAG, los antecedentes y los datos forman un modelo jerárquico bayesiano. Para complicar aún más las cosas, debido a la naturaleza de la estimación de MCMC, se deben elegir valores iniciales sobredispersos para varias cadenas independientes para que se pueda evaluar la convergencia. Recientemente, se desarrollaron varios paquetes de software R para simplificar el ajuste del modelo (p. ej., metaBMA y RoBMA) e incluso implementado en software estadístico con interfaz gráfica de usuario (GUI): JASP. Aunque la complejidad del enfoque bayesiano limita el uso de esta metodología, los artículos tutoriales recientes intentan aumentar la accesibilidad de los métodos. Se ha sugerido una metodología para la automatización de este método, pero requiere que los datos de resultados a nivel de brazo estén disponibles, y esto generalmente no está disponible. A veces se hacen grandes afirmaciones sobre la capacidad inherente del marco bayesiano para manejar el metanálisis de redes y su mayor flexibilidad. Sin embargo, esta opción de implementación del marco para la inferencia, bayesiana o frecuentista, puede ser menos importante que otras opciones relacionadas con el modelado de efectos (consulte la discusión sobre los modelos más arriba).

Marco frecuentista multivariante

Por otro lado, los métodos multivariantes frecuentistas implican aproximaciones y suposiciones que no se declaran explícitamente ni se verifican cuando se aplican los métodos (consulte la discusión sobre los modelos de metanálisis más arriba). Por ejemplo, el paquete mvmeta para Stata permite el metanálisis de redes en un marco frecuentista. Sin embargo, si no hay un comparador común en la red, entonces esto debe manejarse aumentando el conjunto de datos con brazos ficticios con una varianza alta, lo que no es muy objetivo y requiere una decisión sobre qué constituye una varianza suficientemente alta.El otro problema es el uso del modelo de efectos aleatorios tanto en este marco frecuentista como en el marco bayesiano. Senn aconseja a los analistas que sean cautelosos al interpretar el análisis de los "efectos aleatorios", ya que solo se permite un efecto aleatorio, pero se pueden prever muchos. Senn continúa diciendo que es bastante ingenuo, incluso en el caso de que solo se comparen dos tratamientos, suponer que el análisis de efectos aleatorios explica toda la incertidumbre sobre la forma en que los efectos pueden variar de un ensayo a otro. Los modelos más nuevos de metanálisis, como los discutidos anteriormente, sin duda ayudarían a aliviar esta situación y se han implementado en el próximo marco.

Marco generalizado de modelado por pares

Un enfoque que se ha intentado desde finales de la década de 1990 es la implementación del análisis de bucle cerrado de tres tratamientos múltiples. Esto no ha sido popular porque el proceso rápidamente se vuelve abrumador a medida que aumenta la complejidad de la red. Luego se abandonó el desarrollo en esta área en favor de los métodos bayesianos y frecuentistas multivariantes que surgieron como alternativas. Muy recientemente, algunos investigadores han desarrollado la automatización del método de circuito cerrado de tres tratamientos para redes complejas.como una forma de hacer que esta metodología esté disponible para la comunidad investigadora principal. Esta propuesta restringe cada prueba a dos intervenciones, pero también introduce una solución para las pruebas con múltiples brazos: se puede seleccionar un nodo de control fijo diferente en diferentes ejecuciones. También utiliza métodos sólidos de metanálisis para evitar muchos de los problemas destacados anteriormente. Se requiere más investigación en torno a este marco para determinar si es realmente superior a los marcos bayesiano o frecuentista multivariado. Los investigadores que deseen probar esto tienen acceso a este marco a través de un software gratuito.

Metanálisis personalizado

Otra forma de información adicional proviene de la configuración prevista. Si se conoce el entorno objetivo para aplicar los resultados del metanálisis, es posible que se puedan utilizar los datos del entorno para adaptar los resultados, produciendo así un "metanálisis personalizado". Esto se ha utilizado en los metanálisis de precisión de la prueba. donde el conocimiento empírico de la tasa de pruebas positivas y la prevalencia se han utilizado para derivar una región en el espacio de características operativas del receptor (ROC) conocida como "región aplicable". Luego, los estudios se seleccionan para el entorno objetivo en función de la comparación con esta región y se agregan para producir una estimación resumida que se adapta al entorno objetivo.

Agregando IPD y AD

El metanálisis también se puede aplicar para combinar IPD y AD. Esto es conveniente cuando los investigadores que realizan el análisis tienen sus propios datos sin procesar mientras recopilan datos agregados o resumidos de la literatura. El modelo de integración generalizada (GIM) es una generalización del metanálisis. Permite que el modelo ajustado sobre los datos de los participantes individuales (IPD) sea diferente de los utilizados para calcular los datos agregados (AD). GIM puede verse como un método de calibración de modelos para integrar información con más flexibilidad.

Validación de los resultados del metanálisis

La estimación del metanálisis representa un promedio ponderado entre los estudios y, cuando hay heterogeneidad, esto puede dar lugar a que la estimación resumida no sea representativa de los estudios individuales. La evaluación cualitativa de los estudios primarios utilizando herramientas establecidas puede descubrir sesgos potenciales, pero no cuantifica el efecto agregado de estos sesgos en la estimación resumida. Aunque el resultado del metanálisis podría compararse con un estudio primario prospectivo independiente, dicha validación externa a menudo no es práctica. Esto ha llevado al desarrollo de métodos que explotan una forma de validación cruzada de exclusión, a veces denominada validación cruzada interna-externa (IOCV).Aquí cada uno de los k estudios incluidos a su vez se omite y se compara con la estimación resumida derivada de la agregación de los k-1 estudios restantes. Se ha desarrollado una estadística de validación general , Vn basada en IOCV, para medir la validez estadística de los resultados del metanálisis. Para la precisión y predicción de las pruebas, particularmente cuando hay efectos multivariados, también se han propuesto otros enfoques que buscan estimar el error de predicción.

Desafíos

Un metanálisis de varios estudios pequeños no siempre predice los resultados de un solo estudio grande. Algunos han argumentado que una debilidad del método es que las fuentes de sesgo no están controladas por el método: un buen metanálisis no puede corregir el diseño deficiente o el sesgo en los estudios originales. Esto significaría que solo los estudios metodológicamente sólidos deben incluirse en un metanálisis, una práctica denominada "síntesis de la mejor evidencia". Otros metaanalistas incluirían estudios más débiles y agregarían una variable de predicción a nivel de estudio que refleje la calidad metodológica de los estudios para examinar el efecto de la calidad del estudio en el tamaño del efecto.Sin embargo, otros han argumentado que un mejor enfoque es preservar la información sobre la varianza en la muestra del estudio, lanzando una red lo más amplia posible, y que los criterios de selección metodológica introducen una subjetividad no deseada, frustrando el propósito del enfoque.

Sesgo de publicación: el problema del archivador

Otro peligro potencial es la confianza en el cuerpo disponible de estudios publicados, lo que puede crear resultados exagerados debido al sesgo de publicación, ya que es menos probable que se publiquen los estudios que muestran resultados negativos o insignificantes. Por ejemplo, se sabe que las compañías farmacéuticas ocultan estudios negativos y los investigadores pueden haber pasado por alto estudios no publicados, como estudios de tesis o resúmenes de conferencias que no se publicaron. Esto no se resuelve fácilmente, ya que no se puede saber cuántos estudios no se informaron.

Este problema del cajón de archivos (caracterizado por resultados negativos o no significativos que se guardan en un gabinete), puede dar lugar a una distribución sesgada de los tamaños del efecto, creando así una grave falacia de tasa base, en la que se sobrestima la importancia de los estudios publicados, como otros estudios no se enviaron para su publicación o fueron rechazados. Esto debe considerarse seriamente al interpretar los resultados de un metanálisis.

La distribución de los tamaños del efecto se puede visualizar con un gráfico en embudo que (en su versión más común) es un gráfico de dispersión del error estándar frente al tamaño del efecto. Hace uso del hecho de que los estudios más pequeños (por lo tanto, errores estándar más grandes) tienen más dispersión de la magnitud del efecto (siendo menos precisos) mientras que los estudios más grandes tienen menos dispersión y forman la punta del embudo. Si no se publicaron muchos estudios negativos, los estudios positivos restantes dan lugar a un gráfico de embudo en el que la base está sesgada hacia un lado (asimetría del gráfico de embudo). Por el contrario, cuando no hay sesgo de publicación, el efecto de los estudios más pequeños no tiene por qué estar sesgado hacia un lado y, por lo tanto, se obtiene un gráfico en embudo simétrico. Esto también significa que si no hay sesgo de publicación, no habría relación entre el error estándar y el tamaño del efecto.Una relación negativa o positiva entre el error estándar y el tamaño del efecto implicaría que los estudios más pequeños que encontraron efectos en una sola dirección tenían más probabilidades de publicarse o enviarse para su publicación.

Además del gráfico de embudo visual, también se han propuesto métodos estadísticos para detectar el sesgo de publicación. Estos son controvertidos porque generalmente tienen poca potencia para la detección de sesgos, pero también pueden generar falsos positivos en algunas circunstancias. Por ejemplo, los efectos de estudios pequeños (estudios más pequeños sesgados), en los que existen diferencias metodológicas entre estudios más pequeños y más grandes, pueden causar una asimetría en los tamaños del efecto que se asemeja al sesgo de publicación. Sin embargo, los efectos de los estudios pequeños pueden ser igual de problemáticos para la interpretación de los metanálisis, y es imperativo que los autores de los metanálisis investiguen las posibles fuentes de sesgo.

Se ha sugerido un método en tándem para analizar el sesgo de publicación a fin de reducir los problemas de errores de falsos positivos.Este método Tandem consta de tres etapas. En primer lugar, se calcula la N a prueba de fallas de Orwin, para verificar cuántos estudios se deben agregar para reducir la estadística de prueba a un tamaño trivial. Si este número de estudios es mayor que el número de estudios utilizados en el metanálisis, es una señal de que no hay sesgo de publicación, ya que en ese caso se necesitan muchos estudios para reducir el tamaño del efecto. En segundo lugar, se puede hacer una prueba de regresión de Egger, que comprueba si el gráfico en embudo es simétrico. Como se mencionó anteriormente: un gráfico en embudo simétrico es una señal de que no hay sesgo de publicación, ya que el tamaño del efecto y el tamaño de la muestra no son dependientes. En tercer lugar, se puede utilizar el método de recortar y rellenar, que imputa datos si el gráfico de embudo es asimétrico.

El problema del sesgo de publicación no es trivial, ya que se sugiere que el 25% de los metanálisis en las ciencias psicológicas pueden haber sufrido de sesgo de publicación. Sin embargo, el bajo poder de las pruebas existentes y los problemas con la apariencia visual del gráfico en embudo siguen siendo un problema, y las estimaciones del sesgo de publicación pueden seguir siendo más bajas de lo que realmente existe.

La mayoría de las discusiones sobre el sesgo de publicación se centran en las prácticas de las revistas que favorecen la publicación de hallazgos estadísticamente significativos. Sin embargo, las prácticas de investigación cuestionables, como la reelaboración de modelos estadísticos hasta que se logra la significación, también pueden favorecer hallazgos estadísticamente significativos en apoyo de las hipótesis de los investigadores.

Problemas relacionados con estudios que no informan efectos no estadísticamente significativos

Los estudios a menudo no informan los efectos cuando no alcanzan significación estadística. Por ejemplo, pueden simplemente decir que los grupos no mostraron diferencias estadísticamente significativas, sin informar ninguna otra información (p. ej., una estadística o un valor de p). La exclusión de estos estudios conduciría a una situación similar al sesgo de publicación, pero su inclusión (suponiendo efectos nulos) también sesgaría el metanálisis. MetaNSUE, un método creado por Joaquim Radua, ha demostrado que permite a los investigadores incluir estos estudios de manera imparcial. Sus pasos son los siguientes:

Estimación de máxima verosimilitud del efecto metaanalítico y la heterogeneidad entre estudios.
Imputación múltiple de los NSUEs añadiendo ruido a la estimación del efecto.
Metanálisis separados para cada conjunto de datos imputado.
Combinación de los resultados de estos metanálisis.

Problemas relacionados con el enfoque estadístico

Otras debilidades son que no se ha determinado si el método estadísticamente más preciso para combinar resultados son los modelos de efectos fijos, IVhet, aleatorios o de calidad, aunque las críticas contra el modelo de efectos aleatorios aumentan debido a la percepción de que los nuevos efectos aleatorios (utilizado en el metanálisis) son dispositivos esencialmente formales para facilitar el suavizado o la reducción y la predicción puede ser imposible o desaconsejable.El principal problema con el enfoque de efectos aleatorios es que utiliza el pensamiento estadístico clásico de generar un "estimador de compromiso" que hace que los pesos se acerquen al estimador ponderado naturalmente si la heterogeneidad entre los estudios es grande, pero se acerque al estimador ponderado de la varianza inversa si la diferencia entre la heterogeneidad del estudio es pequeña. Sin embargo, lo que se ha ignorado es la distinción entre el modelo que elegimos para analizar un conjunto de datos determinado y el mecanismo por el cual se generaron los datos.Un efecto aleatorio puede estar presente en cualquiera de estos roles, pero los dos roles son bastante distintos. No hay razón para pensar que el modelo de análisis y el mecanismo de generación de datos (modelo) tienen una forma similar, pero muchos subcampos de la estadística han desarrollado el hábito de asumir, para la teoría y las simulaciones, que el mecanismo de generación de datos (modelo) es idéntico al modelo de análisis que elegimos (o nos gustaría que otros eligieran). Como mecanismo hipotético para producir los datos, el modelo de efectos aleatorios para el metanálisis es tonto y es más apropiado pensar en este modelo como una descripción superficial y algo que elegimos como herramienta analítica, pero esta elección para el metanálisis puede no funciona porque los efectos del estudio son una característica fija del metanálisis respectivo y la distribución de probabilidad es solo una herramienta descriptiva.

Problemas derivados del sesgo impulsado por la agenda

La falla más grave en el metanálisis a menudo ocurre cuando la persona o personas que realizan el metanálisis tienen una agenda económica, social o política, como la aprobación o la derrota de la legislación. Las personas con este tipo de agendas pueden ser más propensas a abusar del metanálisis debido al sesgo personal. Por ejemplo, es probable que los investigadores que están a favor de la agenda del autor escojan sus estudios, mientras que los que no están a favor serán ignorados o etiquetados como "no creíbles". Además, los autores favorecidos pueden estar sesgados o ser pagados para producir resultados que respalden sus objetivos políticos, sociales o económicos generales de maneras tales como seleccionar pequeños conjuntos de datos favorables y no incorporar conjuntos de datos desfavorables más grandes.

Un estudio de 2011 realizado para revelar posibles conflictos de intereses en estudios de investigación subyacentes utilizados para metanálisis médicos revisó 29 metanálisis y encontró que los conflictos de intereses en los estudios subyacentes a los metanálisis rara vez se revelaron. Los 29 metanálisis incluyeron 11 de revistas de medicina general, 15 de revistas de medicina especializada y tres de la Base de datos Cochrane de Revisiones Sistemáticas. Los 29 metanálisis revisaron un total de 509 ensayos controlados aleatorios (ECA). De estos, 318 ECA informaron fuentes de financiación, y 219 (69%) recibieron financiación de la industria (es decir, uno o más autores con vínculos financieros con la industria farmacéutica). De los 509 ECA, 132 informaron sobre conflictos de interés del autor, con 91 estudios (69 %) que revelaron que uno o más autores tenían vínculos financieros con la industria. Sin embargo, la información fue rara vez se refleja en los metanálisis. Solo dos (7%) informaron fuentes de financiación de ECA y ninguno informó vínculos entre el autor y la industria del ECA. Los autores concluyeron que "sin el reconocimiento de COI debido a la financiación de la industria o los lazos financieros de la industria del autor de los ECA incluidos en los metanálisis, la comprensión y la evaluación de la evidencia del metanálisis por parte de los lectores pueden verse comprometidas".

Por ejemplo, en 1998, un juez federal de los EE. UU. determinó que la Agencia de Protección Ambiental de los Estados Unidos había abusado del proceso de metanálisis para producir un estudio que afirmaba los riesgos de cáncer para los no fumadores debido al humo de tabaco ambiental (ETS) con la intención de influir en los legisladores. para aprobar leyes de lugares de trabajo libres de humo. El juez encontró que:

La selección de estudios de la EPA es preocupante. Primero, hay evidencia en el expediente que respalda la acusación de que la EPA "seleccionó a la perfección" sus datos. Sin criterios para agrupar los estudios en un metanálisis, el tribunal no puede determinar si la exclusión de los estudios que probablemente refutarían la hipótesis a priori de la EPA fue una coincidencia o fue intencional. En segundo lugar, la exclusión de casi la mitad de los estudios disponibles por parte de la EPA entra directamente en conflicto con el supuesto propósito de la EPA de analizar los estudios epidemiológicos y entra en conflicto con las Pautas de evaluación de riesgos de la EPA. Consulte la Evaluación de riesgos del ETS en 4-29 ("Estos datos también deben examinarse con el fin de sopesar todas las pruebas disponibles, según lo recomendado por las pautas de evaluación del riesgo de carcinógenos de la EPA (US EPA, 1986a) (énfasis agregado)). En tercer lugar, el uso selectivo de datos por parte de la EPA entra en conflicto con la Ley de investigación sobre el radón. La Ley establece que el programa de la EPA "recopilará datos e información sobre todos los aspectos de la calidad del aire interior" (Radon Research Act § 403(a)(1)) (énfasis agregado).

Como resultado del abuso, el tribunal anuló los capítulos 1 a 6 y los apéndices de los "Efectos del tabaquismo pasivo en la salud respiratoria: cáncer de pulmón y otros trastornos" de la EPA.

Comparabilidad y validez de los estudios incluidos

A menudo, el metanálisis puede no ser un sustituto de un estudio primario con un poder estadístico adecuado.

La heterogeneidad de los métodos utilizados puede llevar a conclusiones erróneas. Por ejemplo, las diferencias en las formas de una intervención o las cohortes que se consideran menores o que los científicos desconocen podrían conducir a resultados sustancialmente diferentes, incluidos resultados que distorsionan los resultados del metanálisis o que no se consideran adecuadamente en sus datos.. Viceversa, los resultados de los metanálisis también pueden hacer que ciertas hipótesis o intervenciones parezcan no viables y anular nuevas investigaciones o aprobaciones, a pesar de ciertas modificaciones, como la administración intermitente, criterios personalizados y medidas combinadas, que conducen a resultados sustancialmente diferentes, incluso en los casos en que tales se han identificado y aplicado con éxito en estudios a pequeña escala que se consideraron en el metanálisis.La estandarización, la reproducción de experimentos, los datos abiertos y los protocolos abiertos a menudo pueden no mitigar tales problemas, por ejemplo, ya que los factores y criterios relevantes pueden ser desconocidos o no registrarse.

Existe un debate sobre el equilibrio apropiado entre las pruebas con la menor cantidad posible de animales o humanos y la necesidad de obtener hallazgos sólidos y confiables. Se ha argumentado que la investigación poco confiable es ineficiente y derrochadora y que los estudios no solo son derrochadores cuando se detienen demasiado tarde sino también cuando se detienen demasiado pronto. En los ensayos clínicos grandes, a veces se utilizan análisis secuenciales planificados si existe un gasto considerable o un daño potencial asociado con los participantes de las pruebas. En la ciencia conductual aplicada, se han propuesto "megaestudios" para investigar la eficacia de muchas intervenciones diferentes diseñadas de manera interdisciplinaria por equipos separados.Uno de esos estudios utilizó una cadena de ejercicios para reclutar a un gran número de participantes. Se ha sugerido que las intervenciones conductuales a menudo son difíciles de comparar [en metanálisis y revisiones], ya que "diferentes científicos prueban diferentes ideas de intervención en diferentes muestras utilizando diferentes resultados en diferentes intervalos de tiempo", lo que provoca una falta de comparabilidad de tales investigaciones individuales. lo que limita "su potencial para informar la política".

Los estándares de inclusión débiles conducen a conclusiones engañosas

Los metanálisis en educación a menudo no son lo suficientemente restrictivos en cuanto a la calidad metodológica de los estudios que incluyen. Por ejemplo, los estudios que incluyen muestras pequeñas o medidas elaboradas por investigadores conducen a estimaciones infladas del tamaño del efecto. Sin embargo, este problema también preocupa al metanálisis de los ensayos clínicos. El uso de diferentes herramientas de evaluación de la calidad (QAT) lleva a incluir diferentes estudios y obtener estimaciones contradictorias de los efectos promedio del tratamiento.

Aplicaciones en la ciencia moderna

El metanálisis estadístico moderno hace más que simplemente combinar los tamaños del efecto de un conjunto de estudios utilizando un promedio ponderado. Puede probar si los resultados de los estudios muestran más variación que la variación esperada debido al muestreo de diferentes números de participantes en la investigación. Además, las características del estudio, como el instrumento de medición utilizado, la población muestreada o los aspectos del diseño de los estudios, se pueden codificar y utilizar para reducir la varianza del estimador (consulte los modelos estadísticos anteriores). Por lo tanto, algunas debilidades metodológicas en los estudios pueden corregirse estadísticamente. Otros usos de los métodos de metanálisis incluyen el desarrollo y la validación de modelos de predicción clínica, en los que el metanálisis se puede utilizar para combinar datos de participantes individuales de diferentes centros de investigación y evaluar la generalizabilidad del modelo.o incluso para agregar modelos de predicción existentes.

El metanálisis se puede realizar con un diseño de un solo sujeto, así como con diseños de investigación en grupo. Esto es importante porque se ha realizado mucha investigación con diseños de investigación de un solo sujeto. Existe una disputa considerable sobre la técnica metaanalítica más apropiada para la investigación de un solo sujeto.

El metanálisis conduce a un cambio de énfasis de estudios únicos a estudios múltiples. Enfatiza la importancia práctica del tamaño del efecto en lugar de la significancia estadística de los estudios individuales. Este cambio en el pensamiento se ha denominado "pensamiento metaanalítico". Los resultados de un metanálisis a menudo se muestran en un diagrama de bosque.

Los resultados de los estudios se combinan utilizando diferentes enfoques. Un enfoque que se utiliza con frecuencia en el metanálisis de la investigación en atención de la salud se denomina "método de la varianza inversa". El tamaño del efecto promedio en todos los estudios se calcula como una media ponderada, donde los pesos son iguales a la varianza inversa del estimador del efecto de cada estudio. Los estudios más grandes y los estudios con menos variación aleatoria reciben mayor peso que los estudios más pequeños. Otros enfoques comunes incluyen el método de Mantel-Haenszel y el método de Peto.

El mapeo d basado en semillas (anteriormente mapeo diferencial firmado, SDM) es una técnica estadística para estudios de metanálisis sobre diferencias en la actividad o estructura cerebral que utilizó técnicas de neuroimagen como fMRI, VBM o PET.

Se han utilizado diferentes técnicas de alto rendimiento, como los microarrays, para comprender la expresión génica. Los perfiles de expresión de microARN se han utilizado para identificar microARN expresados diferencialmente en un tipo particular de célula o tejido o en condiciones de enfermedad o para comprobar el efecto de un tratamiento. Se realizó un metanálisis de dichos perfiles de expresión para obtener nuevas conclusiones y validar los hallazgos conocidos.