PHILLIP W. MAGNESS-QUÉ TAN EQUIVOCADOS ESTABAN LOS MODELOS Y POR QUÉ

Léalo con cuidado, pues siempre habrá proyecciones para justificar todo tipo de políticas. Incluso ante falta de datos, simplemente se basan en modelos que pueden diferir enormemente de la realidad. Por eso así, la primera pregunta que hay que hacer es cómo se toman decisiones sin siquiera tener datos suficientes (exámenes a la gente) acerca de cuántos tenemos el COVID-19 y cuántos no.

¿QUÉ TAN EQUIVOCADOS ESTABAN LOS MODELOS Y POR QUÉ?

Por Phillip W. Magness
American Institute for Economic Research
23 de abril del 2020

NOTA DEL TRADUCTOR: Para utilizar los ligámenes de las fuentes del artículo, entre paréntesis y en azul, si es de su interés, puede verlo en https://www.aier.org/article/how-wro...odels-and-why/

Los modelos epidemiológicos usados para justificar y extender la cuarentena vigente por el coronavirus, están empezando a ser objeto de un escrutinio académico muy necesario. Un nuevo artículo ( new working paper) publicado por el National Bureau of Economic Research (NBER) presenta un examen estadístico detallado de varios modelos influyentes y, en particular, el estudio provenientes del Imperial College -London ( study out of Imperial College-London) (ICL), que predijo famosamente hasta 2.2 millones de muertes por el COID-19 en los Estados Unidos, bajo su escenario más extremo.

El modelo del ICL presentó un conjunto de escenarios basados en diferentes políticas de respuesta, pero esa proyección extrema -también referida como el escenario de “no hacer nada”- logró todos los encabezados allá en marzo ( grabbed all the headlines back in March). Aunque el artículo del ICL describió a su propio escenario “de no hacer nada” como “improbable,” pues asumió que la expansión del virus en ausencia de incluso una política modesta y respuestas de comportamiento, en su momento sus proyecciones astronómicas de muertes fueron ampliamente acreditadas con influir a varios gobiernos para que adoptaran políticas severas de cuarentena, bajo las cuales ahora estamos viviendo.

La administración Trump específicamente citó ( specifically cited) la proyección de muertes del ICL de 2.2 millones del 16 de marzo, al cambiar de curso hacia un conjunto estricto de políticas de “distanciamiento social,” que muchos estados luego usaron como base para sus órdenes de quedarse en casa. En el Reino Unido, en donde el mismo escenario del modelo de “no hacer nada” proyectó más de 500.000 muertes, el equipo del ICL fue directamente acreditado por inducir al primer ministro Boris Johnson a cambiar curso ( shift course), desde una estrategia de construir gradualmente una “inmunidad de grupo” pasando a un enfoque de política de roce ligero hasta las cuarentenas hoy en su sitio.

Claramente, el modelo del ICL cambió en formas dramáticas las respuestas de políticas de dos poderes importantes del mundo.

De hecho, el equipo del ICL jugó un papel no pequeño en promocionar las proyecciones de ese escenario “de no hacer nada,” incluso cuando su propio reporte minimizó la probabilidad de ese resultado, en favor de proyecciones más conservadoras asociadas con un conjunto de políticas de distanciamiento social y suspensiones de reuniones públicas. El 20 de marzo ( On March 20^th) el principal autor del ICL, Neil Ferguson, le reportó la proyección de 2.2 millones de muertes a Nicholas Kristof del New York Times, como el escenario del “peor caso.” Cuando Kristof le inquirió más para que le diera un escenario del “mejor caso,” Ferguson respondió “Alrededor de 1.1 millones de muertes” ̶ una proyección basada en una estrategia de mitigación modesta.

Vale la pena notar que, incluso en el momento de su publicación del 16 de marzo al público, las condiciones del escenario del ICL de “no hacer nada” ya habían sido violadas, haciendo inválidos sus supuestos. En ese momento, la mayoría de los gobiernos ya habían empezado a “hacer algo,” ya fuera campañas de información pública acerca de higiene y distanciamiento social o cancelaciones de actividades y las primeras etapas de cierres por cuarentenas ( early stages of the lockdown), que empezaron rápidamente una semana antes. También, adaptaciones voluntarias de comportamiento precedieron a las políticas gubernamentales, con un alza considerable en el lavado de manos, trazable al menos a febrero ( at least February) y un descenso dramático en las reservaciones de restaurantes durante las dos primeras semanas de marzo. Cuando se lee en este contexto, la decisión de Ferguson de exagerar ante la prensa, entre mediados y fines de marzo, las cantidades extremas de muertes del escenario de “no hacer nada,”, se entrecruza como irresponsable.

A pesar de lo anterior, las proyecciones alarmistas de números de muertes dominaron la narrativa pública en su momento y -citando al modelo del ICL- los Estados Unidos se fueron hacia una cuarentena.

Un mes después, se ha hecho fácilmente aparente que la proyección de 2.2 millones de muertes quedaba fuera por varios órdenes de magnitud, al igual que lo fue su contraparte del Reino Unido de 500.000 fatalidades proyectadas. Ferguson y el equipo del ICL cambiaron su comentario público para enfatizar otros escenarios ( emphasize other scenarios) con proyecciones más conservadoras en las decenas de miles (en algunos casos, esto fue erradamente representado como una revisión ( revision) a su modelo, aunque de hecho usó escenarios más leves en el artículo original del 16 de marzo).

No obstante, se provocó el daño por el sobre publicitado escenario de “no hacer nada” del ICL. En efecto, al momento de escribir esto, el presidente Trump todavía está citando la proyección de 2.2 millones en sus conferencias de prensa diarias, como razón subyacente para las cuarentenas. El reportero del COVID para el New York Times, Donald McNeil, también todavía estaba pregonando los mismos números ( still touting the same numbers) tan recientemente como el 18 de abril, e, incluso un mes después de aquel informe del ICL, permanecía siendo una especie de tabú en los medios sociales que los no epidemiólogos analizaran las afirmaciones estadísticas subyacentes de expertos con credenciales, tales como Ferguson.

“Quédese en lo suyo,” se nos dijo, y deje que los expertos hagan su tarea. La epidemiología tiene sus propios métodos y modelos, aún cuando sus escenarios más alarmistas -aquellos que Ferguson públicamente promocionó entre los medios hace un mes- fracasen en formas obvias y visibles.

Incorpore ahora el nuevo artículo del National Bureau of Economic Research (NBER), escrito conjuntamente por un equipo de economistas de la salud de la Universidad de Harvard y del Instituto Tecnológico de Massachusetts (MIT). Sus autores condujeron un escrutinio mesurado y con tacto de las principales predicciones epidemiológicas, incluyendo el modelo del ICL en el corazón de las decisiones políticas de cierre de allá atrás en marzo. Entre sus hallazgos más notorios están:

“La heterogeneidad más importante y desafiante en la práctica es que el comportamiento individual varía con el paso del tiempo. En lo particular, la expansión de la enfermedad posiblemente induce a los individuos a efectuar decisiones privadas para limitar el contacto con otras personas. Así, las estimaciones a partir de escenarios que asumen una expansión exponencial sin límite de la enfermedad, como las cifras reportadas del modelo del Imperial College de 500.000 muertes en el Reino Unido y de 2.2 millones en Estados Unidos, no coinciden con las respuestas de comportamiento que uno espera en la práctica.”

Como lo explican los autores, el comportamiento humano cambió durante el curso de una epidemia. Incluso el conocimiento básico de los riesgos asociados con la infección induce a la gente a tomar pasos precautorios (piense en un aumento en el lavado de manos o usar una mascarilla en público). Las expectativas acerca de intervenciones de políticas subsecuentes, en sí, inducen a la gente a alterar aún más su comportamiento ̶ y continuamente. El efecto acumulativo es reducir la fiabilidad de predicciones epidemiológicas y, en particular, aquellas que no toman en cuenta cambios en el comportamiento.

Si esto le suena familiar, es la crítica que mi colega Will Luther formuló el 18 de marzo ( Will Luther made on March 18^th), sólo dos días después de que apareció el modelo del ICL. Similarmente, él notó esta implicación ( Will Luther made on March 18^th) cuando Ferguson cambió el énfasis de su comentario público hacia escenarios más conservadores en su modelo a fines de marzo. Yo también señalé la importancia de la adaptación del comportamiento ( pointed to the importance of behavioral adaption) alrededor de ese momento, cuando se consideraron las diversas respuestas de políticas hacia el COVID-19, que iban desde el consejo sobre salud pública a la cuarentena hasta puestos de control fronterizo en ciertos estados.

Los autores del artículo del NBER critican el trabajo del ICL y a cuatro otros modelos epidemiológicos por sobre estimar su propia certeza acerca de sus muchos escenarios de proyecciones. La adaptación del comportamiento, entre otros factores, reduce la exactitud de las predicciones a largo plazo. También, la presentación de diversos escenarios requiere la adopción de una multitud de supuestos subyacentes acerca de cómo esos factores se materializarán, dada cada una de las elecciones de política. Desafortunadamente, ninguno de los modelos epidemiológicos que ellos consideraron, tomó los pasos suficientes para tomar en cuenta estas complicaciones.

Así, el estudio de la NBER concluye:

“En resumen, el lenguaje de esos artículos sugiere un grado de certeza que simplemente no se justifica. Aún si los valores de los parámetros son representativos de una amplia gama de casos dentro del contexto del modelo dado, ninguno de estos autores intenta cuantificar la incertidumbre acerca de la validez de sus más amplias elecciones de modelos.”

La experticia epidemiológica puede transmitir un conocimiento especializado acerca de la naturaleza de la transmisión de la enfermedad, que está específicamente adaptado para predecir la expansión de una pandemia. Pero, eso no exime a los modeladores de las mejores prácticas científicas para probar la solidez de sus afirmaciones. Ni tampoco obvia las reglas básicas del análisis estadístico.

Sin embargo, sería un error enfrentar la epidemiología como un campo contra sus críticos “externos,” como los debates existentes del actual COVID-19 revelan en la realidad una discusión mucho más compleja científicamente ̶ incluyendo entre expertos médicos y otros especialistas en pandemias. Por ahí del mismo instante en que el modelo del ICL se publicó en marzo, el distinguido estadístico médico John Ioannides emitió una fuerte advertencia ( strong warning) a quienes hacen modelos de enfermedades, para que reconocieran las severas deficiencias en datos confiables acerca del COVID-19, incluyendo supuestos acerca de su transmisión y sus esencialmente desconocidas tasas de mortalidad.

Más recientemente, un equipo de epidemiólogos basado en la Universidad de Sidney examinó el desempeño ( examined the performance ) del influyente modelo de Institute for Health Metrics and Evaluation (IHME) de la Universidad de Washington, en predecir las fatalidades del día siguiente en cada uno de los 50 estados de Estados Unidos. Viendo los resultados diarios de marzo y principios de abril, concluyeron que, tanto como un 70% de los totales reales de muerte diarias cayó fuera del intervalo de 95% de confianza del modelo, ya sea demasiado alto o demasiado bajo. Este hallazgo no necesariamente está desacreditando el enfoque del investigador del IHME, pero habla de la necesidad de refinamientos ulteriores en sus técnicas, a la vez que advierte contra el uso de sus predicciones como base para la formulación de políticas, en el tanto que la incertidumbre acerca de su exactitud permanece siendo alta.

Como lo revelan estos ejemplos, la epidemiología, la economía de la salud y áreas relacionadas que se especializan en estadísticas médicas, no son un único “consenso” al que debe diferirse como una voz monolítica de la experticia. Por el contrario, ellos albergan debates necesarios y algunas veces acremente divididos ̶ incluyendo acerca del COVID-19.

Para ilustrar la importancia del escrutinio estadístico, ayuda echar una mirada a epidemias pasadas y observar lo que debates similares nos dicen acerca de la exactitud de predicciones epidemiológicas competitivas. A fines de la década de los noventa y a principios del 2000 uno de tales ejemplos tuvo lugar en Gran Bretaña, en relación con el Síndrome de Creutzfeld-Jakob, mejor conocido por su apelativo de “Enfermedad de las Vacas Locas.”

En el 2001, el New York Times puso una historia acerca de diferentes proyecciones epidemiológicas ( a story on different epidemiological projections) acerca de la diseminación de la Enfermedad de las Vacas Locas, destacando dos modelos que competían en ello.

El primer modelo ( first model) vino de un equipo de Jerome Huillard d’Aignaux, Simon Cousens y Peter Smith de la London School of Hygiene and Tropical Medicine (LSHTM por sus siglas en inglés). Usando una variedad de supuestos acerca de la prevalencia vigente de la enfermedad (algunos de ellos sumamente desafiados) así como datos de observaciones acerca de la incidencia de previo a su altamente publicitado brote en 1996, el modelo de la LSHTM ofreció diversos escenarios, mostrando un patrón general de transmisión suave de la enfermedad.

Como le comentó Cousens al Times en el 2001, “Ningún modelo vino con una cifra que excediera las 10.000 muertes y la mayoría era muy inferior, en el rango de unos pocos miles de muertes” esparcida durante la década siguiente. Mientras que la literatura de la Enfermedad de las Vacas Locas continúa debatiendo algunos de los supuestos subyacentes de su modelo, las proyecciones de la mortalidad presentadas por el equipo de la LSHTM terminaron siendo muy cercanas a la realidad ̶ al menos en comparación con otros modelos.

Un estimado de 177 personas murió de la Enfermedad de las Vacas Locas en el Reino Unido, como resultado del brote de 1996. Las medidas de mitigación de la enfermedad persisten en un esfuerzo permanente de impedir un brote futuro de transmisiones de ganado a humano, incluyendo restricciones a la importación y exportación de carne de res y la matanza de ganado, para contener la infección en el ganado, pero, durante las dos décadas pasadas, las fatalidades anuales en los humanos por las Vacas Locas han permanecido siendo algo extremamente raro.

Sin embargo, cuando en el 2001 se puso en el Times la historia, un modelo diferente dominó los encabezados acerca del brote de las Vacas Locas ̶ uno que proyectaba una pandemia en gran escala que llevaba a más de 136.000 muertes en el Reino Unido. El gobierno británico descansó en este modelo competitivo para su política de respuesta, matando en el proceso alrededor de 4 millones de vacas. El modelo competitivo tampoco se detuvo en el ganado. En un estudio adicional (additional study), ellos examinaron el potencial de la enfermedad para transmitirse rampantemente entre ovejas. En caso de una transmisión de ovejas a humanos, los autores del modelo ofrecieron un escenario del “peor de los casos” de 150.000 muertes humanas, que ellos exageraron para una prensa frenética ( hyped to a frenzied press) en ese momento.

En el artículo del Times del 2001, el principal autor de esta proyección más alarmista respondió ante las proyecciones comparativamente pequeñas de muertes del equipo del modelo de la LSHTM. Tales números, insistió él, eran “injustificablemente optimistas.” Él desplegó una letanía de problemas con el modelo de la LSHTM, describiendo a sus supuestos acerca de la exposición anterior de la Enfermedad de las Vacas Locas, como “extremamente ingenuas” y sugiriendo que dejó de lado una amplia “subestimación de reportes de la enfermedad de agricultores u veterinarios que no entendieron que les estaba pasando a sus animales.” Al mismo tiempo, concedió que “desde ese entonces revisó [la proyección de 136.000] sólo ligeramente hacia abajo,” pero expresó la confianza en que ello mostrará estar más cerca de la medición real.

El autor principal de las proyecciones extremas de principios del 2000 acerca de fatalidades de la Enfermedad de las Vacas Local y de las Ovejas Locas, es un nombre familiar con el modelaje epidemiológico.

Fue Neil Ferguson del equipo del ICL.

Tal como con la crisis actual, un alto grado de incertidumbre ha rodeado a predicciones epidemiológicas en el pasado. Tal incertidumbre es posiblemente inevitable, pero, también, produce un rango amplio de proyecciones competitivas. Cuando los gobiernos diseñan política basados en predicciones epidemiológicas, su elección del modelo a utilizar podría ser la diferencia entre una estrategia de mitigación liviana y una intervención proactiva extendida, como lo fue la matanza masiva de ganado en el caso de la Enfermedad de las Vacas Locas o los cierres agresivos y de amplia escala de las sociedades en el caso del COVID-19.

Esa elección, a menudo llevada a cabo en medio de severas limitaciones de datos, con frecuencia se presenta al público como una acción desafortunada, pero necesaria, para impedir el desarrollo de un escenario apocalíptico. Pero, debemos también considerar los daños no previstos incurridos cuando los políticos basan sus decisiones en un escenario modelado, que no sólo es poco posible, sino también altamente alarmista y posiblemente exagerado por las tentaciones duales de lograr la atención de los medios y de ganarse el oído de los políticos.

Dadas las elevadas incertidumbres reveladas por el escrutinio estadístico de los modelos epidemiológicos, incluyendo entre otros expertos médicos, la presunción, en vez de ello, es que debería proseguirse un camino opuesto. Lo que se requiere no es una acción política osada en respuesta a modelos especulativos generados con poca transparencia y supuestos dudosos, sino una precaución extrema cuando se descansa en esos mismos modelos para definir la política.

Phillip Magness es investigador sénior en el American Institute for Economic Research. Es autor de numerosos trabajos acerca de historia económica, impuestos, desigualdad económica, la historia de la esclavitud y la política educativa en los Estados Unidos.