Introducción
La medicina basada en la evidencia representa actualmente el uso racional, crítico, juicioso y actualizado de la evidencia científica aplicada al tratamiento del paciente. Por lo tanto, la práctica de este tipo de medicina requiere la integración de la experiencia clínica individual con la evidencia clínica externa derivada de los estudios de investigación. En los últimos años se han planteado diferentes herramientas o métodos que permitan sacar el máximo rendimiento a la explosión de resultados científicos que produce de forma continua la biomedicina. Para ello se han generado diferentes metodologías a modo de revisiones sistemáticas o procesos de síntesis de investigación, que, como su nombre indica, sinteticen y extraigan unas conclusiones de manera conjunta. En este sentido, uno de los métodos de mayor prestigio en la actualidad es el meta-análisis, puesto que realiza una consideración sistemática de toda la información disponible, la evalúa y extrae la información de cada estudio de forma objetiva.
El meta-análisis es una técnica relativamente reciente, que fue aplicada por primera vez por el psicólogo Gene Glass en el año 1976, con el objetivo de realizar un estudio estadístico integrado a una serie de ensayos clínicos individuales para obtener resultados globales de los mismos. Durante los años 80 este tipo de estudios se generalizaron de forma notable y se aplicaron a diferentes especialidades de la medicina, manteniendo siempre su objetivo de integrar estudios clínicos. Sin embargo, en la actualidad su utilización práctica se ha ido ampliando de forma significativa y se han aplicado a estudios de dosis-respuesta, estudios observacionales o estudios para pruebas diagnósticas. Su metodología ha ido modificándose y perfeccionándose a los largo de los últimos años, aunque en la actualidad todavía existen ciertos puntos de controversia, entre los que el más destacado es la heterogeneidad de los estudios que se incluyen dentro del mismo grupo de análisis.
Conceptualmente, el meta-análisis consiste en la aplicación de una serie de técnicas estadísticas a estudios individuales realizados en un determinado campo, con el objetivo de extraer la máxima evidencia científica acerca de este conjunto de estudios. Para ello, lo que el meta-análisis pretende hacer, es una revisión sistemática de varios estudios, integrarlos y tratar de responder a diversas cuestiones. Este tipo de análisis es especialmente útil cuando los resultados de varios estudios no son homogéneos con respecto a la magnitud de la dirección de un efecto, cuando los tamaños muestrales de los estudios individuales son demasiado pequeños para detectar dicho efecto como significativo, o cuando un ensayo clínico de gran tamaño es demasiado costoso en términos económicos o de tiempo.
Fases de un meta-análisis
La aplicación del meta-análisis a un estudio consta de varias etapas que deben ser minuciosamente diseñadas y analizadas, como si se tratase de un estudio científico en sí mismo. Estas fases son:
– Estudio del caso y desarrollo de una hipótesis. Es necesario conocer la situación de los trabajos a analizar, buscar las variables dependientes, independientes y de confusión, exponer los objetivos, revisión de la bibliografía sobre el tema y sobretodo, delimitar los conceptos con los que se va a trabajar.
– Seleccionar los estudios que van a incluirse en la revisión. Este criterio debe seguirse en base a aquellos estudios que den resultados concluyentes y sobretodo donde se muestren los datos primarios sin modificar.
– Evaluación de los resultados de la búsqueda e inclusión en el estudio. En este punto se realizará un estudio pormenorizado de los criterios de inclusión y exclusión. Debe ponerse especial atención en aquellos trabajos donde se incluyan sesgos de población o de aleatorización de los sujetos. En este caso, es muy recomendable el empleo de estudios ciegos. En esta fase resulta crucial la selección de los datos que van a analizarse en el estudio puesto que tendrán una repercusión específica en las conclusiones.
– Análisis
- Justificación de la revisión. Los estudios de meta-análisis son estudios retrospectivos, con lo cual, existe la posibilidad de que se puedan introducir sesgos como consecuencia de los diseños o de la selección de los trabajos. Para ellos es imprescindible, antes de empezar con el estudio estadístico, revisar finalmente qué estudios se incluyen y analizar la dirección de los datos que pueden obtenerse.
- Métodos estadísticos. Los meta-análisis permiten obtener estimadores combinados de efecto, como el método de Mantel-Haenszel, que combina los riesgos relativos y los odds ratios, los coeficientes de correlación o las diferencias de riesgos, etc, que integran y resumen de forma cuantitativa la evidencia disponible en los estudios individuales.
- Evaluación de la heterogeneidad. Este es un punto crucial en los meta-análisis puesto que el grado de heterogeneidad va a permitir valorar hasta qué punto los resultados que provienen de diferentes estudios pueden ser resumidos en una única medida. Para analizar este parámetro es necesario el empleo de técnicas estadísticas que valoren la hipótesis de que la variabilidad entre los parámetros analizados es muy baja o nula. Este índice se calcula como el componente Q de heterogeneidad y está asociado al estadístico Chi cuadrado de Heterogeneidad con k-1 grados de libertad, siendo k el número de trabajos incluidos. Normalmente los grados de significación se toman con valores de p<0.1 debido a la baja sensibilidad del test. En general, este tipo de pruebas tienen poca potencia estadística por lo que deben ir acompañadas de pruebas adicionales o gráficos que apoyen los resultados. La heterogeneidad en general se reduce cuando el número de trabajos incluidos es suficientemente grande, entorno a los 30. Estudios con unos niveles de heterogeneidad muy altos pueden ver reducida la calidad de los resultados.
- Análisis de los subgrupos. El sesgo. Cuando se aplica un meta-análisis debe tenerse siempre en cuenta el sesgo que puede haber en las publicaciones de los trabajos individuales. Los resultados finales y las conclusiones pueden verse afectadas como consecuencia de que en la literatura solo aparezcan publicados aquellos ensayos clínicos con resultados favorables. Para corregir esta desviación se suele aplicar un análisis de sensibilidad que considere aquellos estudios negativos y no publicados. El método más habitual para detectar el sesgo es el método de Egger que consiste en calcular una regresión lineal con un valor de significación estadística p<0,1. Otro método que se puede aplicar para minimizar el sesgo es el gráfico en embudo o método de Macaskill, Walter e Irwig. Para aplicar esta técnica se parte siempre del supuesto que hay mayor probabilidad de que los estudios que no han sido publicados son aquellos que no mostraban diferencias estadísticas favorables. Este tipo de prueba se basa en colocar en un gráfico el número de pacientes en un eje y en el otro la magnitud del riesgo relativo. Si el sesgo no es muy pronunciado la figura que debe obtenerse es la de un embudo invertido y este se distorsionará en cuanto que exista un sesgo en las publicaciones en uno u otro sentido. Otro factor importante de sesgo puede ser la duplicidad de los resultados, esto es, estudios multicéntricos pueden ser publicados como un único trabajo, en cambio, cada uno de los centros participantes puede presentar sus datos de forma individualizada, haciendo que si ambos trabajos se incluyen en una revisión de meta-análisis puedan duplicar los resultados.
- Sensibilidad del ensayo. Esta prueba se emplea cuando dos o más estudios obtienen conclusiones diferentes. El análisis de sensibilidad se realiza repitiendo la prueba estadística elegida con diferentes valores para determinados datos y observando si la modificación cambia sustancialmente el efecto final; si ocurre así, los resultados no tienen la solidez suficiente y, por tanto, es necesario ser muy cauto en la valoración de los datos y de las conclusiones.
- Presentación de los datos. Las representaciones gráficas constituyen un apoyo imprescindible en cualquier estudio estadístico. En los meta-análisis, los gráficos más comúnmente usados son los gráficos de Forest que contienen en el eje de las X la medida que se está estudiando y en el de las Y los diferentes estudios que se han incluido, generalmente colocados en función del año o en el orden alfabético del primer autor. La representación final muestra el resultado parcial de cada uno de los estudios, respecto a la variable que se analiza, donde figura el resultado puntual y el intervalo de confianza del 95%, y por último, el resulto general obtenido de la comparación de cada uno de los estudios.
- Interpretación. Los resultados del meta-análisis, como de otra prueba estadística, deben interpretarse según la consistencia del estudio, de las limitaciones que tenga y de los resultados que se obtengan.
– Evaluación de los resultados y conclusiones. En este punto es importante tener siempre presente que los meta-análisis son estudios complementarios de los ensayos clínicos y no sustitutos de estos. Lo único que hacen es aportar una visión global de diferentes trabajos y dejar patente la heterogeneidad que puede haber en los estudios realizados.
Ventajas y limitaciones del meta-análisis
La principal aportación del meta-análisis a los estudios científicos es que da un resultado global al efecto de un tratamiento o contribuye a establecer una tendencia más o menos positiva sobre su efecto. En muchas ocasiones, los ensayos clínicos emplean muestras demasiado pequeñas que incluso no permiten obtener resultados modestos claros, es decir, tienen un poder estadístico insuficiente. El meta-análisis lo que permite es la combinación de diferentes estudios, incrementando el tamaño muestral y por consiguiente, aumentando la potencia estadística de los resultados, mejorando la precisión de la estimación de un efecto.
Sin embargo, esta capacidad del meta-análisis por integrar diferentes estudios en una misma revisión, es objeto de discrepancias por parte de diferentes ámbitos, puesto que consideran que se mezclan muchas variables, muchas veces no relacionadas, con pacientes no relacionados y con tratamientos diferentes. Por lo tanto, los factores limitantes de este tipo de análisis vienen muy influenciados por la calidad de los estudios individuales incluidos, pudiendo, por tanto, conducir a una conclusión errónea si la selección de los trabajos no es la educada. Factores como el tamaño de la muestra, la metodología estadística aplicada, la selección de variables o la combinación de los estudios puede conducir a conclusiones erróneas. Estos aspectos son los que conllevan a analizar en detalle los factores limitantes de los meta-análisis.
Como ya se ha mencionado en el punto anterior, donde se describen las fases del meta-análisis, los principales problemas y limitaciones de estos estudios son la introducción de sesgos y la heterogeneidad de los trabajos incluidos:
– Los sesgos pueden aparecer como consecuencia de una inadecuada selección de los estudios individuales o por la elección de los trabajos a valorar. Diferencias significativas entre los estudios incluidos pueden ser debidas a que la metodología que hayan seguido no sea la misma, como puede ser el criterio del diagnóstico, la dosis utilizada, la duración del tratamiento, parámetros de medición de eficacia, etc.
– La heterogeneidad de los estudios es otra variable a tener en cuenta y está directamente relacionada con la selección de los trabajos.
Revisión de un meta-análisis
Uno de los principales problemas que se plantean al leer un meta-análisis es la conclusiones que se pueden extraer del trabajo y como hay que interpretarlas. Para sacar una conclusión clara de los resultados, no es suficiente conocer únicamente el valor del estimador final, sino tener una lectura crítica de todo el estudio, puesto que este tipo de estudios se prestan a continua discusión y a una amplia revisión en función de los estudios individuales que usa.
A modo de resumen, los parámetros que no deben pasarse por alto cuando se lee un meta-análisis son los siguientes:
– El sesgo. Como ya se ha comentado, el sesgo en la selección de las publicaciones o en la selección del trabajo va a ser muy importante en lo que se refiere a la calidad final del meta-análisis. A la hora de revisar un estudio de esta índole, es importante conocer bien qué trabajos se han incluido en la revisión y ser crítico con los procesos de inclusión de los mismos. Para ello, el tener un conocimiento de la bibliografía publicada es crucial para poder saber la calidad de los trabajos incluidos. Por otro lado, es recomendable analizar si el meta-análisis solo incluye estudios de un gran número de pacientes, si solo están los que tienen resultados positivos, si solo se han incluido aquellos publicados en revistas de alto impacto o si solo están los que se escribieron en un determinado idioma. El mejor ejercicio para este punto es conocer qué artículos no se han usado para el trabajo y los motivos de esto.
– Criterio de inclusión y exclusión. Una vez analizado el sesgo general del trabajo que se está leyendo o revisando, hay que fijarse en qué escalas se utilizaron para medir los trabajos. Si estas eran diversas y numerosas, si la inclusión fue selectiva, si hay ponderación de la calidad, etc. Hay que mirar también los puntos clave de inclusión como la eliminación justificada de trabajos, el examen ciego de estudios, etc.
– Consistencia de los trabajos. Heterogeneidad. Cuando el valor de la significación de este parámetro es p>0.1 se considera que los trabajos incluidos son homogéneos, lo que indica que se podría interpretar sin problemas el efecto global, los intervalos de confianza y la significación. En cambio, cuando el valor obtenido es significativo (p<0.1), indica que alguno/s de los trabajos incluidos no son homogéneos respecto al resto. En este caso, la interpretación de un único valor es desaconsejable.
Cuando esto sucede, es recomendable identificar qué trabajos tienen alguna característica común y reagruparlos en función de este parámetro. Otras técnicas más avanzadas permiten la introducción de regresiones múltiples en los meta-análisis.
– Consistencia de los resultados. Este parámetro se observa claramente en los gráficos de Forest, donde la amplitud del resultado y la amplitud del intervalo de confianza determina la consistencia del resultado.
– Análisis de subgrupos o sensibilidad de la prueba. El caso ideal para un meta-análisis es la combinación de resultados homogéneos en los que los datos del estudio original eran insuficientes para obtener datos concluyentes.
– Calidad de los datos que reporta el meta-análisis. Indiscutiblemente, una correcta selección de todos y cada uno de los parámetros que deben ser incluidos en este tipo de análisis, su correcto tratamiento y su posterior procesamiento mediante las técnicas apropiadas, dará lugar a resultados de calidad y concluyentes, independientemente de que el sentido del trabajo sea positivo o negativo.
Tabla 1. Principales puntos de revisión de un estudio de meta-análisis
| 1. Sesgo | |
| 1.a. Características de los trabajos incluidos | |
| 1.b. Conocimiento de la bibliografía publicada sobre el tema | |
| 1.c. Trabajos positivos y/o negativos | |
| 2. Criterio de inclusión/exclusión | |
| 2.a. Puntos clave de inclusión de trabajos | |
| 2.b. Eliminación justificada de trabajos | |
| 2.c. Examen ciego de los estudios | |
| 3. Consistencia del trabajo. Heterogeneidad | |
| 3.a. Homogeneidad de los trabajos incluidos | |
| 3.b. Grado de significación de la prueba | |
| 4. Consistencia de resultados | |
| 4.a. Amplitud del resultado | |
| 4.b. Amplitud del intervalo de confianza | |
| 5. Análisis de subgrupos | |
| 5.a. Combinación de resultados homogéneos | |
| 6. Calidad de los datos | |
| 6.a. Resultados de calidad | |
| 6.b. Resultados concluyentes |
Bibliografía
– Mailing HJ, Thomsen AB, Andersen JS. Heterogeneity can impair the results of Cochrane meta-analyses despite accordance with statistical guidelines. Allergy 2008: 63: 1640-1646.
– Glass CV. Primary, secundary and meta-analysis of research. Educ Res 1976;5:3-8.
– Higgins JPT, Thomson SG. Quantifying heterogeneity in a meta-analysis. Stat Med 2002; 21:1539-1558
– L’abbé KA, Detsky AS, O’Rourke K. Meta-analysis in clinical research. Ann Intern Med 1987;107:224- 233.
– González de Dios J. Las mejores evidencias (o pruebas) científicas (I): el ensayo clínico. Rev Esp Pediatr. 1999;55:157-65.
– González de Dios J. Las mejores evidencias (o pruebas) científicas (II): la revisión sistemática. Rev Esp Pediatr. 1999;55:250-6.
– González de Dios J. Las mejores evidencias (o pruebas) científicas (III): el meta-análisis. Rev Esp Pediatr. 1999;55:368-76.
– González de Dios J, Balaguer Santamaría A. Revisión sistemática y metanálisis (I): conceptos básicos. Evid Pediatr. 2007;3
– Letón E, Pedromingo A. Introducción al análisis de datos en Meta-Análisis. Ediciones Díaz de Santos. Madrid. 2001.
Jerónimo Carnés 