Cómo protegerse de la mala ciencia

john-loannidis

Entrevista a John Ioannidis:

Por Julia Beiluz, febrero 16 de 2015

Tomado de nmurcia: http://www.nogracias.eu/2015/02/23/5340/#comments

John Ioannidis es uno de los científicos más influyentes del mundo. Nosotros lo conocemos, además de por su mítico texto en el Plos ¿Por que la mayoría de los estudios publicados son falsos?, por su implacable lucha contra la distorsión que los intereses de la industria farmacéutica introducen en los sistemas de salud. Colaboró en el muy citado trabajo de Stamatakis E, Weiler R, Ioannidis JPA.Undueindustryinfluencesthatdistorthealthcareresearch, strategy, expenditure and practice: a review en el European Journal of ClinicalInvestigation (ver aquí el comentario de Rafa Bravo) y especialmente recomendable fue su texto sobre los congresos médicos.

La revista Vox publica una interesante entrevista donde se retrata al Ioannidis más humano, además de darnos su visión del estado actual de la ciencia. Por su interés, lo traducimos

“La investigación médica está en mal estado. El fraude, la parcialidad, la dejadez y la ineficiencia están en todas partes, y ahora tenemos estudios que cuantifican la magnitud del problema.

Sabemos que alrededor de 200.000 millones de dólares – o el equivalente a 85 por ciento del gasto mundial en investigación – son desperdiciados rutinariamente en estudios mal diseñados y redundantes. Sabemos que hasta el 30 por ciento de los trabajos más influyentes de investigación médica llegan a ser considerados de baja calidad y con información exagerada. También sabemos que una gran cantidad de evidencia médica es contradictoria y poco fiable, como los estudios que pretenden demostrar que casi todos los alimentos que consumimos son causa o previenen el cáncer.

¿Qué significa todo esto? El profesor de la Universidad de Stanford, el Dr. John Ioannidis, dice que la mayoría de los resultados de las investigaciones publicadas son falsos.

Si la investigación médica está viciada irremediablemente, Ioannidis es el superhéroe que lucha por la verdad. Durante las últimas dos décadas, el médico-académico ha utilizado la meta-investigación – o la investigación de la investigación – para documentar las formas como la ciencia se aparta de la verdad debido a sesgos, errores o fraudes.

Dice que vive bajo el lema “Avanzando en la excelencia de la ciencia” Si tiene un villano, es la fractura de la arquitectura de la información en medicina.

Incluso posee una historia mítica sobre sus orígenes. Fue criado en Grecia, la casa de Pitágoras y Euclides, por médicos-investigadores que le inculcaron el amor por las matemáticas. A los siete años, cuantifico su afecto por los miembros de su familia con un sistema de “número del amor” (“Mi madre estaba en el 1,024.42, dice. “Mi abuela, en el 173.73). A los 19 años, ganó el premio nacional de la Sociedad Matemática griega. Se graduó como el primero de su promoción en la Universidad de Atenas, en la Escuela Superior de Medicina, con 25 años y, no hace mucho tiempo, la revista TheAtlantic lo ha considerado  “uno de los científicos más influyentes vivos.”

Ioannidis, que ahora co-dirige el Meta-ResearchInnovation Center de Stanford, ha recibido gran parte de este reconocimiento por la aplicación de sus conocimientos matemáticos para medir cómo y dónde la ciencia va mal. En su artículo seminal, “WhyMostPublishedResearchFindings are False“, desarrolló un modelo matemático para mostrar cuán defectuoso es el proceso de investigación. Los investigadores llevan a cabo experimentos mal diseñados y parciales, demasiado a menudo se centran en teorías sensacionalistas y poco probables en lugar de en las que son más probables y plausibles y, en última instancia, distorsionan la base de la evidencia científica y lo que creemos que sabemos que es verdad en campos como la salud y la medicina.

Cuando ese artículo fue publicado por primera vez, en 2005, provocó una enorme controversia. Los científicos no querían aceptar el triste estado de cosas que Ioannidis estaba describiendo. Ahora, diez años después, Vox ha buscado a Ioannidis para hablar de lo que ha ocurrido desde entonces: los problemas en la investigación hoy en día, cómo protegerse contra la mala ciencia y las implicaciones de su trabajo para el movimiento de la “medicina basada en la evidencia”, que es el instrumento para que los médicos apliquen la mejor ciencia disponible en la práctica médica en lugar de seguir utilizando lo que aprendieron en las escuelas de medicina o las opiniones de los líderes. También compartió con nosotros su incursión en la escritura de literatura experimental y cómo sostiene su creatividad como investigador.

El legado de “”WhyMostPublishedResearchFindings are False”

Julia Belluz: Hace diez años se publicó el artículo “WhyMostPublishedResearchFindings are False”. Esto causó una gran controversia y, desde entonces, es el trabajo de investigación más citado y descargado en la historia de la revista PLoS Medicine, donde fue publicado. ¿Por qué crees que el papel cobró vida propia?

John Ioannidis: El título podría haber contribuido a su popularidad, no estoy seguro. Sin embargo, creo que el artículo ganó en aprecio lentamente, con el tiempo. No fue un gran éxito cuando apareció por primera vez. Algunas personas lo leyeron y pensaron que era muy interesante. Pero cobró impulso con el tiempo a medida que más colegas fueron dándose cuenta de que tenía más potencial. Fue un artículo que disfruté mucho. Cuando lo estaba escribiendo, estaba muy emocionado con él (esperemos que no esté afectado por el sesgo de recuerdo). Había estado pensando en este artículo durante mucho tiempo y algunas de las ideas que se plasmaron en él, me habían ocupado durante una década. Cuando escribí la primera versión completa, poniendo estos pensamientos juntos, estaba en una pequeña isla en Grecia llamada Sikinos. Recuerdo cuando lo escribía la sensación de que las cosas, de alguna manera, estaban cayendo en su lugar.

Julia Belluz: El artículo planteaba un modelo teórico. ¿Coincide ese modelo con la evidencia empírica que tenemos ahora de cómo se rompe la ciencia?

John Ioannidis: Ahora hay un montón de estudios empíricos sobre este tema. Un campo que probablemente atrajo mucho la atención fue la investigación preclínica de medicamentos -por ejemplo la investigación realizada en los laboratorios académicos sobre cultivos celulares- tratando de proponer un mecanismo de acción de los fármacos que se podían desarrollar. Hay documentos que muestran que, si nos fijamos en un gran número de estos estudios, sólo el 10 a 25 por ciento de ellos podrían ser reproducidos por otros investigadores. La investigación con animales también ha atraído mucha atención y ha tenido una serie de evaluaciones empíricas mostrando que casi todo lo que se publica es “estadísticamente significativo”. Sin embargo, hay grandes problemas en los diseños de estos estudios y muy poca reproducibilidad de los resultados. La mayoría de estos estudios no sirven cuando se intenta avanzar en la experimentación humana.

Incluso para los ensayos controlados aleatorios (considerados el patrón oro de la evidencia en medicina) tenemos una evidencia empírica modesta sobre su replicación. Hay datos que sugieren que sólo la mitad de los ensayos registrados [en bases de datos públicos] se publican en revistas. Entre los publicados, sólo la mitad de los resultados que los investigadores se propusieron estudiar son realmente informados. Es decir, la mitad – o más – de los resultados que se publican son interpretados de manera inapropiada, con sesgos a favor de las ideas preconcebidas en las agendas de los patrocinadores. Si se multiplican estos niveles de pérdida o de distorsión, incluso para los ensayos aleatorios, existe sólo una pequeña fracción de las pruebas que serán creíbles.

Cómo solucionar los problemas en la investigación científica

Julia Belluz: ¿Cómo protegerse de la mala ciencia?

John Ioannidis: Necesitamos científicos que sean capaces de filtrar los [malos] estudios. Necesitamos una mejor revisión por pares en múltiples niveles. Actualmente, contamos con revisiones por pares realizadas por dos personas que se responsabilizan y tal vez pasan un par de horas con él. Por lo general, no pueden analizar los datos, ya que no disponen de ellos, e incluso, si los tuvieran, no tendrían tiempo para hacerlo. Tenemos que encontrar formas de mejorar el proceso de revisión por pares y nuevas formas de hacerlo.

Recientemente, hay un creciente énfasis en tratar de tener revisiones posteriores a la publicación. Una vez que un artículo es publicado, se podrían hacer comentarios al respecto y plantear preguntas o inquietudes. Pero la mayoría de estos esfuerzos no tienen una estructura de incentivos que les ayude a despegar. Tampoco hay ningún incentivo para que los científicos u otros grupos de interés hagan revisiones muy minuciosas y críticas de un estudio, tratar de reproducirlo o investigarlo sistemáticamente y gastar esfuerzo real en el re-análisis. Tenemos que encontrar maneras sobre cómo recompensar a las personas para que dediquen tiempo a este tipo de reproducibilidad o detección de sesgos.

Julia Belluz: ¿Esto no requiere, básicamente, la reestructuración de todo el sistema de la ciencia?

John Ioannidis: Esa es una preguntas abierta para la que no tengo respuesta. Normalmente hay un par de momentos donde se revisan los estudios. Algunos estudios son revisados en el momento de su financiación aunque no suele ser muy científico. Se tiende a exagerar su importancia y los científicos tienen que hacer promesas. Hay otra revisión en la etapa del manuscrito que es bastante mejor. Así que si usted pregunta acerca de dónde deberíamos intervenir, tal vez debería ser en el diseño y la elección de las preguntas de investigación y en las maneras como estas preguntas deben ser abordadas; tal vez incluso, para guiar la investigación – la promoción de equipos, la realización de grandes estudios de colaboración en lugar de investigaciones individuales e independientes – o en la revisión por pares tras la publicación.

Julia Belluz: Si usted fuera nombrado zar de la ciencia ¿que haría primero?

John Ioannidis: yo no tendría un enfoque punitivo hacia la investigación. La investigación es realmente maravillosa. Es lo mejor que le ha sucedido a los seres humanos. Necesitamos investigación. Necesitamos la ciencia. Necesitamos mejores métodos para hacer las cosas. Casi siempre conocemos los métodos pero no sabemos aplicarlos.

Tal vez lo que necesitamos es cambiar es el sistema de incentivos y recompensas de manera que se premiaran los mejores métodos y prácticas. Actualmente premiamos la mala ciencia: personas que presenten propuestas de subvención y acaban publicando trabajos que hacen afirmaciones extravagantes. Eso no es ciencia. Si conseguimos alinear incentivos y recompensas con credibilidad y buenos métodos, tal vez podamos avanzar.

Julia Belluz: ¿Quién se supone que es el árbitro final de la ciencia?

John Ioannidis: No es una cuestión de encontrar un dictador. Necesitamos datos empíricos. Necesitamos investigación sobre la investigación. Y esos datos empíricos han comenzado a aparecer. Tenemos un gran número de científicos que deseen realizar investigación sobre la investigación, y estamos generando ideas muy importantes sobre cómo se aplica correctamente la investigación. Entonces necesitamos más meta-investigación sobre intervenciones, cómo una manera de cambiar las cosas. Si algo no está funcionando muy bien, eso no quiere decir que si adoptamos otra manera de hacerlas las cosas funcionaran mejor. Estas son preguntas que nuestro centro en Stanford está tratando de abordar.

Julia Belluz: A la luz de todos estos temas con la ciencia, ¿cómo reformar la manera de educar a los científicos?

John Ioannidis: Creo que una gran brecha es precisamente la educación. La mayoría de los científicos en biomedicina y otros campos están estudiando sobre todo los temas de sus disciplinas en lugar de métodos de generar conocimiento. Creo que varias instituciones están reconociendo poco a poco la necesidad de cambiar y cómo conseguir que un científico establezca mejores condiciones en el diseño de los estudios, la comprensión de los sesgos y la puesta en marcha de sistemas de investigación en lugar de técnicas de investigación.

Julia Belluz: ¿Ha mejorado algo en los últimos diez años la calidad de la ciencia?

John Ioannidis: Ha habido un cambio hacia soluciones más orientadas a los problemas. No puedo decir que un campo lo haya hecho mejor que otros, pero algunos han adoptado prácticas que pueden marcar diferencias. Genomics, por ejemplo, utiliza la replicación para la replicación de descubrimientos. En medicina, los ensayos aleatorios han mejorado sus patrones de registro en el tiempo por lo que los datos serán conocidos. en psicología o en ciencias de la conducta, los investigadores han comenzado a preguntarse sobre la necesidad de realizar replicación de las investigaciones. Así que hemos empezado a ver la replicación, algo casi desconocido en el pasado. La economía empírica comienza a moverse hacia la adopción del ensayo experimental controlado aleatorizado igual que las ciencias sociales. Hace diez años, había muy poco en términos de ensayos controlados aleatorios en estos campos.

Julia Belluz: ¿Es usted optimista o pesimista sobre la dirección de la ciencia?

John Ioannidis: Soy optimista. Creo que la ciencia está avanzando. No hay duda sobre eso. Es sólo una cuestión de cuánto y con qué rapidez.

La fuente de la creatividad de Ioannidis

Julia Belluz: Usted es conocido por ser muy creativo en su investigación. De entre los suyos, uno de mis favoritos fue ese en el que eligió aleatoriamente 50 ingredientes de las recetas de la Cocina de la Escuela Cookbook Boston para estudiar si los ingredientes se asociaron con un mayor o menor riesgo de cáncer. ¿Cuál es su proceso?

John Ioannidis: Es caótico. Trato de ser sistemático en todo lo que hago, pero creo que es muy difícil describir un solo proceso. Estoy muy contento de aprender de los colegas, escuchar lo que tienen que decir a través de lluvia de ideas. El trabajo que he hecho se ha beneficiado enormemente de la interacción con un montón de científicos. Creo que, si soy ignorante en biomedicina, aún soy más ignorante en otros campos; tengo que aprender de los demás. El principal desafío y la mayor oportunidad es conseguir que los científicos que trabajan en diferentes campos comuniquen y compartan sus experiencias. Algunos campos están muy por delante de los demás en algunos aspectos. Un avance importante sería tomar estos avances y trasplantarlos eficientemente a otros campos.

Julia Belluz: ¿Qué lee en tu tiempo libre?

John Ioannidis: Estoy literalmente enterrado bajo cientos y miles de libros en casa. Me encanta tener los libros a mi alrededor. En mi lectura, también soy bastante caótico. En este momento, estoy leyendo BeautifulEvidence por Edward Tufte,TheForgotten Man: A new history of the Great DepressionTuscan Art in theMiddleAgesMemoirs of theCrusades.

Uno de mis principales sesgos es que también escribo literatura. Escribo en griego. Mi escritura probablemente se puede describir como experimental. Suelo utilizar técnicas mixtas de la literatura contemporánea, más allá de la poesía tradicional o la prosa poética, que incluye cuentos, cuaderno de viaje, corriente de la conciencia, datos científicos, las búsquedas de Google, biografías, tabulaciones, ensayo, reconstrucción de textos, construcción de nubes de datos y más, junto con referencias a la historia, la música, las artes visuales y la literatura del pasado. Mi último libro fue publicado hace unos meses en Atenas. El anterior había sido finalista para el premio al mejor libro del año en Grecia. Estoy realmente muy entusiasmado con la literatura. Estoy trabajando en una versión en inglés de mi último libro en este momento.

Julia Belluz: ¿Qué temas elige en su ficción?

John Ioannidis: El título del último libro es Variationsonthe Art of the Fugue and a DesperateRicercar. “El arte de la fuga” fue la última obra de J. S. Bach y la siguiente a “Ofrenda Musical”, una obra que termina en un ricercar, una composición que es complementaria a la fuga. Ricercar también tiene la misma raíz que ricerca que significa investigación. Los héroes del libro son “investigadores” en múltiples niveles, que van desde las personas que buscan su memoria, a los investigadores del mundo natural y descubridores que no pueden satisfacer sus apetitos de descubrimiento y validación. También hay fugitivos, personas en el exilio o el autoexilio en un mundo en ruinas, donde casas, ciudades y civilizaciones se interrumpen y son abandonados. Por lo tanto, se puede pensar en una “investigación” desesperada realizada por “investigadores” desesperados pero determinados.

Julia Belluz: ¿Desde cuánto tiempo escribe ficción? ¿Cuándo encuentra tiempo para hacerlo?

John Ioannidis: Desde que tenía ocho años, ¡pero espero que mi escritura haya mejorado desde entonces! Siempre he estado muy interesado en la literatura. Es un acto de equilibrio. Obviamente obtengo mucha inspiración de mi trabajo científico y algunos temas inevitablemente se extenderán al conjunto de mi obra literaria; otros pueden estar superpuestos entre los dos. Es algo que es muy diferente pero complementario a la ciencia.

Escribo en cualquier momento. Es interesante que se pueda alternar [entre la ciencia y la literatura]. Yo podría estar en un avión, y trabajar en la escritura de un artículo e interrumpirlo para escribir algo de ficción para luego volver a otro artículo científico.

Julia Belluz: ¿La literatura alimenta su ciencia o al revés?

John Ioannidis: Incluso el título del libro ha incorporado la investigación. Algunas de las ideas en mi literatura se refieren a la ciencia y a su fiabilidad, pero vista desde una perspectiva diferente: la búsqueda de pruebas y la comprobación de sus limitaciones, nuestra incapacidad para predecir el futuro y nuestra mayor incapacidad para predecir el pasado, que puede ser constantemente re-construido y re-interpretado. la literatura me permite expresarme de una manera que no sería posible en los artículos científicos. Los artículos científicos tienen una manera muy rigurosa de establecer la definición de las preguntas, la introducción, los métodos, los resultados, la discusión. Hay poco margen de maniobra para desviarse de eso. En la literatura, se pueden tomar diferentes caminos y desarrollar estructuras que van más allá de eso.

Julia Belluz: ¿Cómo le inspiró la literatura cuando escribió “WhyMostPublishedResearchFindings are False?

John Ioannidis: Ese artículo no puede ser visto de manera aislada. Algunos de mis escritos literarios pertenecen a los sentimientos, perspectivas e incluso frustraciones que tenía más o menos al mismo tiempo. Si alguien quisiera saber lo que estaba pasando por mi mente, la literatura experimental que estaba escribiendo en ese momento daría probablemente más información que cualquiera de los trabajos científicos, que parecen más fijos y objetivos. Yo estaba viendo un montón de estos sesgos en mi vida académica cotidiana. Podía verlos en la vida real y no sólo en los términos abstractos que utilizas cuando publicas. Uno ve cómo la comunidad científica está trabajando, cómo está desempeñando su trabajo, para bien o para mal, y se hace preguntas. Quizás la estructura atípica del ese artículo puede haberse beneficiado de mi búsqueda de nuevos tipos de estructuras en la literatura”