Mi antiguo profesor de economía, Leoncio Durandeau, sugirió en una clase lo útil que podría ser una revista especializada en artículos de investigaciones fallidas, honestamente presentadas, para dar base a mejores investigaciones o evitar la repetición de errores. Eso podría dar, tal vez, más confianza sobre la investigación científica.

POR QUÉ TANTA CIENCIA ES EQUIVOCADA, FALSA, INFLADA O QUE INDUCE AL ERROR

Por Joakim Book
American Institute for Economic Research
24 de setiembre del 2020

NOTA DEL TRADUCTOR: Para utilizar los ligámenes de las fuentes del artículo, entre paréntesis y en azul, si es de su interés, puede buscarlo en su buscador (Google) como joakim book institute for economic research misleading September 24, 2020 y si quiere acceder a las fuentes, dele clic en los paréntesis azules.

En un año en que los científicos parecen haberse equivocado en todo, es extrañamente relevante un libro que intenta explicar por qué. Por supuesto, la ciencia estaba en problemas profundos mucho antes que empezara la pandemia y por mucho tiempo estaba en proceso de escribirse el libro excelente de Stuart Ritchie, Science Fictions: Hoy Fraud, Bias, Negligence, and Hype Undermine the Search for Truth. A pesar de lo anterior, es muy bienvenido y muy importante.

Para un inconformista como yo, leer a Ritchie es bueno para mi sanidad mental ̶ pero malo para mi integridad intelectual. Alimenta mis precedentes de que mucha gente, incluso expertos, se engaña al pensar que conoce cosas que, en realidad, no conoce. A menudo, resultados científicos fantásticos, ya sea del tipo lanzado a los encabezados de los medios o aquellos que gradualmente son del conocimiento público, se hacen tan pobremente que los resultados no se sostienen; no capturan nada acerca del mundo real. El libro es un despertar para un sistema científico demasiado enceguecido por sus propias proclamaciones de erudición.

Lleno de ejemplos y con explicaciones asequibles, Ritchie conduce expertamente al lector en un viaje a través de los muchos problemas de la ciencia. Él los caracteriza bajo cuatro subtítulos en el libro: fraude, sesgo, negligencia y moda. Juntos, todos subvierten la búsqueda de la verdad, que es la raison d’être de la ciencia. No es que los científicos, a propósito, mienten, engañan o embaucan -aún cuando eso a menudo sucede incómodamente, hasta en las mejores de las revistas especializadas- pero, que experimentos mal diseñados, estudios faltos de potencia, errores en hojas de cálculos o valores manipulados de ρ intencionalmente o sin intención, dan resultados que son demasiado buenos como para que sean ciertos. Dado que las carreras de académicos dependen de la publicación de resultados novedosos, fascinantes y significativos, la mayoría de ellos no parece ser un caballo regalado sin que se le mire la dentadura. Si el software estadístico dice “significativo,” ellos escriben con confianza el estudio y arguyen persuasivamente su asombroso caso ante una revista especializada de alto calibre, sus editores y los pares descuidados en el área en que se supone vigilan sus errores.

Ritchie no es algún chiflado negador de la ciencia o un teórico de conspiraciones que trabaja desde el sótano de su mamá; es un reconocido psicólogo en el King’s College de Londres, con abundante experiencia en la desacreditación de investigación mal hecha, en particular en su propio campo de la psicología. Durante la última década o más, esta disciplina ha sido el desafortunado ejemplo modélico de la “Crisis de la Replicación,” el descubrimiento de que, para usar el título del bien conocido artículo de John Ioannidis de Stanford ̶ “La Mayoría de los Hallazgos de Investigaciones Publicadas son Falsos.”

Tome el ejemplo del anterior profesor de psicología en Cornell, Daryl Bem y su infame experimento de “pornografía psíquica” con el cual Ritchie abre su libro. En pantallas, a miles de estudiantes universitarios se les mostraron dos cortinas, una de las cuales ocultaba una imagen que se supone los estudiantes la habrían de hallar. La elección era un lanzamiento de la moneda, pues no tenían más información para continuar. Como era lo esperado, para la mayoría de tipos de imágenes, alrededor de un 50% de las veces ellos escogieron la cortina correcta. Pero -y aquí estaba el salto a la fama de Bem- cuando detrás de las cortinas había imágenes pornográficas, los estudiantes escogieron la correcta un 53% de las veces, suficiente para pasar la significación estadística de la muestra. Quedaba abierto un amplio camino para una publicación altamente calificada.

Cuando el artículo vio la luz después de pasar la revisión de pares, el mundo quedó asombrado al aprender que los estudiantes universitarios podían ver el futuro ̶ al menos cuando estaban involucradas imágenes de naturaleza sexual. Probado por la ciencia, certificado por El Método Científico®, el mundo de la psicología fue lanzado hacia un caos. El estudio se hizo apropiadamente, pasó el examen de los pares y se publicó en una reputada revista especializada en el área, con el mismo método que subyace en todos los otros buenos resultado en el sector. Aún así, el resultado era una locura total. ¿Qué había salido mal?

O, tome al profesor universitario de la economía del comportamiento, Daniel Kahneman, cuyos múltiples experimentos extravagantes convencieron a toda la profesión de la economía acerca de la irracionalidad del individuo y que le ganaron, en última instancia, el premio Nobel. La literatura psicológica acerca de la así llamada “imprimación” [Nota del traductor: efecto relacionado con la memoria implícita, por la cual la exposición a determinados estímulos influye en la respuesta que se da a estímulos presentados con posterioridad], una parte de la cual es usada por economistas del comportamiento, sugirió que cambios ínfimos en entornos pueden producir impactos notoriamente grandes en el comportamiento. Por ejemplo, recordarle sutilmente a la gente acerca del dinero -por medio de símbolos o hacer ruido con monedas- hace que ella se comporte más individualistamente y menos preocupada por otros. “Dejar de creer no es una opción,” escribió Kahneman en su famoso éxito de ventas Thinking, Fast and Slow [Pensar rápido, pensar despacio], “usted no tiene otra opción mas que aceptar que las conclusiones importantes de estos estudios [de imprimación] son verdaderas.”

Empezando en la década del 2010, los psicólogos trataron de reproducir estos famosos resultados y más. Cuando se intentaron en otro lugar, con otros estudiantes, mejor equipo o mayores muestras -o algunas veces hasta con exactamente los mismos datos- no se presentarían los mismos resultados. Qué extraño. Equipos en laboratorios trataron de repetir muchos de los hallazgos establecidos, resultando en que se quedaron bien cortos: “¨La crisis de la replicación parece que,” escribe Ritchie, “con un chasquido de los dedos, ha hecho desaparecer del mapa a alrededor de la mitad de toda la investigación psicológica.” Había algo estructuralmente equivocado en la forma en que la psicología encontró y desarrolló el conocimiento. Clase de investigación.

Encuentros al azar, como los de los estudiantes supernaturales de Bem, algunas veces logran ingresar a la literatura publicada. Más desalentadores son los ejemplos reales de fraude, en donde científicos falsifican sus datos, los manipulan o simplemente los inventan de la nada. Muchas historias de Ritchie pueden hacer que usted pierda la fe en la clase dirigente científica: científicos que inventan hojas de cálculo (atrapados tan sólo porque los humanos son muy malos en crear una verdadera aleatoriedad), voltean de lado tomas de microscopios, vuelven a usar los mismos números a la vez que pretenden que era otro juego de datos.

Si bien todo mundo está de acuerdo en que el fraude es un problema, y que el desafío es prevenirlo y detectarlo antes que cause demasiado daño, los otros fallos (sesgo, negligencia y moda) son más extendidos ̶ y, debido a ello, más dañinos. Operan de formas más sutiles, fuera de la vista e imposible para que personas ajenas se ajusten. Tome el problema de la gaveta del archivador, en donde los resultados negativos son escondidos, mientras que los resultados positivos -más frecuentemente obtenidos al azar, como el experimento psíquico de Bem- se envían para ser publicados, dando una impresión falsa del estado del mundo, tanto en la literatura como entre el público más amplio.

Lo fascinante del libro de Ritchie son las discusiones de muchos estudios, afirmaciones y experimentos con los que incluso los no expertos están familiarizados. Con buenas referencias y exhaustivamente citadas, Ritchie reporta enormes problemas con las siguientes historias puestas de moda:

  • Platos más grandes hacen que usted coma más.
  • Ir con hambre al supermercado hace que usted compre más calorías.
  • Los huevos causan enfermedad cardiovascular.
  • En ambientes desordenados o sucios la gente despliega más estereotipos raciales.
  • Una posición de poder (abrir las piernas o poner sus manos agresivamente en sus caderas) crea un impulso psicológico y hormonal, que se correlaciona con una tolerancia más elevada hacia el riesgo y mejores resultados en la vida.
  • El Experimento en la Prisión de Stanford de Philip Zimbardo y la crueldad inhumana de gente con autoridad (desacreditado tal vez más efectivamente por los muchos escritos profundos de Gina Perry acerca de experimentos psicológicos famosos).
  • Dormir menos de seis horas por la noche “destruye su sistema inmune [,] duplicando su riesgo de cáncer,” como alegó el libro éxito de ventas de Matthew Walker, Why WeSleep [¿Por qué dormimos?].
Todos equivocados. Cada una de las afirmaciones altamente publicitadas y discutidas incluyen al menos uno de los siguientes: conclusiones que inducen al error que no las garantiza la propia investigación; datos fabricados; datos mal manejados para que pasen pruebas de significancia; diseños experimentales incompetentes; o experimentos que no se replican cuando otros científicos los intentan. Tomarlos cada uno por separado para una audiencia de no expertos, es en donde Ritchie realmente brilla.

No nos sorprende que los encabezados de noticias no entiendan bien, exageren o fallen en reportar el detalle, pero, Ritchie muestra que, incluso literatura publicada que apoya esas afirmaciones, tiene fallas nocivas, minando los resultados. En lo que eso le importa al resto del mundo, es poco. Para esas alegaciones, el gato estaba fuera de la bolsa. Muchos de sus resultados han llegado al público no científico y formado parte del “conocimiento en común.” Personalmente tres personas diferentes, en distintas ocasiones, me informaron acerca de los peligros de comer huevos ̶ dos de ellas estaban en programas doctorales en algunas de las más prestigiosas universidades del mundo. Ser perspicaz y estar en lo correcto son dos cosas muy diferentes.

Lo que me hace pensar que, lo que está de Moda, es el peor de los muchos pecados de la ciencia, cuando investigadores de gatillo fácil (o incluso instituciones admiradas como la NASA) escriben comunicados de prensa inflados acerca de algún alegato revolucionario, que resulta ser fraudulento, negligente, pobremente elaborado o simplemente carente de apoyo por su propia investigación.

Algunas de estas espeluznantes historias de investigación errada tienen serios efectos sobre el mundo real: ejemplos incluyen, el error de que la deuda gubernamental inhibe el crecimiento, de Reinhart y Rogoff, los esfuerzos fraudulentos de Paolo Macchiarini para operar pacientes en el Instituto Karolinska, o la investigación totalmente inventada, que sugería que la vacuna combinada de sarampión, paperas y rubeola causaba autismo. Incluso errores más pequeños y comparativamente más inocentes, como piratear el coeficiente ρ, cambiar los objetivos de resultados, o hacer estudios sin poder estadístico, con efectos demasiado grandes, dañan a la ciencia y hacen del mundo un lugar peor, cuando médicos y hacedores de políticas los usan para tomar decisiones.

En un punto en el capítulo acerca del Sesgo, el propio Ritchie pierde la esperanza, al valorar como sobreponerse a estos fallos estadísticos y hechos por humanos para producir un conocimiento preciso acerca del mundo: “Mi respuesta es que no tengo ni idea,” escribe él.

De alguna forma él concluye con una nota ligeramente más positiva. Los últimos dos capítulos ofrecen muchas sugerencias útiles acerca de cómo la ciencia puede mejorar en sus diversos desafíos: podemos financiar de forma diferente a la investigación; revistas especializadas pueden comprometerse de previo a publicar si el diseño del estudio es lo suficientemente bueno, publicar resultados más negativos; podemos pre registrar métodos tales que los investigadores no puedan cambiar la variable objetivo en media investigación; podemos retener algo del dinero recibido como donación antes que sea publicado, hasta penalizar financieramente a investigadores que esconden en sus gavetas de archivadores sus resultado no exitosos.

Más refrescante es la tecnología de la computación y la transparencia rampante que permite. Juegos de datos completos pueden ponerse en línea y los códigos pueden ser analizados línea por línea por muchos más de lo que usualmente hace (debería hacer) el puñado de pares revisores y editores. Además, la razón por la que, en primer lugar, descubrimos a tantos fraudulentos, fue por el uso de algoritmos astutos que encontraron inconsistencias en los productos estadísticos de los resultados reportados.

Ritchie advierte contra el nihilismo de convertirse en “sospechoso de cualquiera y todos los nuevos resultados, dado nuestro conocimiento acerca de que el flujo del progreso científico está lejos de ser puro.” Una dosis de escepticismo sano es buena ̶ tirar al bebé con cualquier agua contaminada de la bañera, no lo es. La ciencia es “uno de los logros de mayor orgullo en la humanidad,” proclama él, y tan sólo porque mucha de ella es equivocada, falsa, inflada o que induce al error, no significa que nunca identifica correctamente algo importante. Por el contrario.

Mientras que me veo a mí mismo cayendo precisamente en la trampa que Ritchie teme -que la gente usará mal el libro para negar incluso resultados científicos bien establecidos- él se preocupa más por el problema opuesto. Lo hace correctamente: gente, en especial en Occidente, pone una confianza extraordinaria en los científicos ̶ llegando a más de un 90% en algunos países. Por ejemplo, en el Reino Unido, con el paso del tiempo, la población parece haber aumentado más su confianza en la ciencia y sus resultados.

El libro, si bien asusta y desalienta, va en busca de la verdad y es, en última instancia, optimista. Ritchie no sale a enterrar a la ciencia; viene a arreglarla. “Los ideales del proceso científico no son el problema,” escribe él en la última página, “el problema es la traición a esos ideales por la forma en que en la práctica hacemos la investigación.”

Joakim Book es un escritor, investigador y editor, entre otras cosas, acerca de dinero, finanzas e historia financiera. Posee una maestría de la Universidad de Oxford y ha sido académico visitante del American Institute for Economic Research en el 2018 y el 2019. Sus escritos han aparecido en el Financial Times, FT Alphaville, Neue Zürcher Zeitung, Svenska Dagbladet, Zero Hedge, The Property Chronicle y muchos otros medios. Él es escritor regular y cofundador del sitio libre sueco Cospaia.se, y escritor frecuente en CapX, NotesOnLiberty y en HumanProgress.org.

Traducido por Jorge Corrales Quesada