lunes, 29 de abril de 2013

La novia de Thomas y el Excel de Harvard

Thomas Herndon es el nombre de la semana, por si alguien no se ha enterado aún. Un joven estudiante de doctorado de la universidad de Massachussets que ha puesto en evidencia a dos todopoderosos expertos de la universidad de Harvard y antiguos consultores del Fondo Monetario Internacional, Carmen Reinhart y Kenneth Rogoff.
Éstos últimos publicaron en 2010 un artículo ( Growth in a time of debt) que fue utilizado por  muchos de los responsables en materia económica (del Ministro de Finanzas  alemán al consejero de Economía europeo) como la demostración empírica de que la austeridad es imprescindible para garantizar el crecimiento económico. Reinhardt y Rogoff habían publicado un año antes un libro de gran repercusión en el que analizaban las implicaciones de las crisis financieras desde 1.800 ( This time is different). Y con su reconocido prestigio era inevitable que American Economics Review ( una de las revistas más influyentes de la materia) publicara en su número especial la ponencia de ambos científicos, en la que concluían que el crecimiento económico de cualquier país cae de forma abrupta cuando la deuda pública supera la cifra del 90% del PIB.
Los políticos que llevan aplicando despiadadamente recetas de austeridad económica y recortes radicales del déficit público (sin reparar por lo que se ve en las consecuencias dramáticas que implica para tantas personas),  emplearon el trabajo de Reinhart y Rogoff como demostración científica de que sus políticas estaban basadas en la evidencia. Dado el prestigio de ambos investigadores, y el de la institución para la que trabajaban, nadie parece ser que consideró necesario revisar la metodología del estudio, a pesar de que sus repercusiones eran tan relevantes. 
Pasaron  tres años.Hasta que llegaron Thomas Herndon y  Kyla Walters, su novia. Herndon , de 28 años, andaba detrás de sacarse un doctorado en Economía en Massachussets. Un buen día , sus profesores  pusieron a los alumnos una tediosa tarea: replicar los resultados de estudios económicos relevantes ya publicados. Sin mucho entusiasmo , Thomas Herndon eligió el trabajo de Reinhart y Rogoff. Y según dicen, rápidamente se dio cuenta de que aquello no cuadraba. De forma que pidió los datos a los dos gurús , quienes los remitieron a principios de año.
Uno siempre piensa que este tipo de sabios anda a la última en programas e instrumentos, pero lo que enviaron Reinhart y Rogoff no fue otra cosa que una tabla de Excel, de esas que yo utilizo para calcular mis desaforados gastos en discos de vinilo. Cuando Herndon vio el Excel pensó que el equivocado era él, de forma que le envió las tablas a su novia, socióloga. que por lo que parece debe estar todo el día cruzando datos.  Según ésta , las pifias no admitían discusión, por lo que el bueno de Herndon se presentó ante sus profesores Michael Ash y Robert Pollin, con la tarea hecha. Y aunque éstos parece que recibieron su crítica con el habitual “ Ya estamos con los niños listos…” acabaron por darle la razón y sacar una publicación que les ha hecho famosos.
Si alguien quiere conocer los errores del trabajo de los dos sabios de Harvard no tiene más que echar un vistazo a este post de Nada es Gratis en el que lo explican con su habitual claridad.
A raíz del descubrimiento Reinhart y Goroff han pasado de ser sabios a villanos. Se quejan incluso de que les hacen responsables de todo tipo de desgracias generadas por las políticas de austeridad. Pero creo que la cuestión importante no es esa. Cualquiera que tenga una cierta curiosidad y algo de tiempo ocioso, puede revisar los trabajos de los que son los expertos indiscutibles en su materia ( ya sea la salud pública, la economía de la salud o la cirugía cardiaca) y analizar con rigor la calidad de sus trabajos. Y encontrará que, junto a algunos indudablemente brillantes que publicaron generalmente hace tiempo, se encuentran otros de calidad más que discutible, cuando no reiteraciones continuas de trabajos previos ( variaciones con repetición de n elementos tomados de tres en tres) o simples ocurrencias.
Los Herndon y los Rogoff no tendrán nunca las mismas posibilidades de publicar sus trabajos en las revistas científicas de postín. Aunque al personal le sigan fascinando los científicos ( siempre los más admirados en las encuestas del CIS), el mundo de la producción científica tiene tantas debilidades, miserias, corrupciones y vanidades como cualquier otro. Pero claro, Harvard, Lancet, o Princeton siempre tendrán más glamour que Bankia, Pescanova o Mercamadrid.
(Fotografía: Thomas Herndon y su novia Kyla Walters. WSJ)

2 comentarios:

  1. No hay ciencia sin reproducción.
    Parece que ningún científico serio criticaría tal afirmación. Ha habido pruebas relativamente recientes de la necesaria reproducibilidad de observaciones y experimentos para obtener resultados que puedan considerarse científicos. La fusión fría es uno de esos ejemplos. Qué pena, no la hay y tenemos que seguir dependiendo del petróleo hasta que algún Tokamak o similar nos proporcione la fusión caliente.
    Pero hay demasiada prisa y demasiados intereses para que un artículo publicado en una revista de impacto pueda ser a su vez impactante más allá del ámbito al que se dirige. ¿Cuántas evidencias se basan en datos no reproducidos? ¿Cuántas muertes y desgracias de todo tipo son atribuibles a una mala ciencia?
    La ciencia ya no es, en términos generales, lo que era. La presión por publicar y por impactar, por hacerse una carrera, puede predominar frente a lo que motivó el método científico: un afán epistémico que puede tener o no aplicaciones prácticas.
    El problema no reside en las pseudociencias, fácilmente reconocibles, sino en el cientificismo que pretendiendo hacer de la ciencia la “única noticia” ataca a la propia ciencia, desde la exageración de resultados pobres, desde la dogmatización de lo no repetido, desde la presión por hacer de un científico un mero productor bibliográfico. La objetividad intersubjetiva pasa a ser confundida con consensos de sociedades, con sus conflictos de interés, de los que surgen supuestas evidencias. Ya sabemos lo que eso supone en Medicina. Vemos ahora un lamentable ejemplo del cientificismo en Economía. ¿Cuántos desahucios, cuánta pobreza puede atribuirse a prisas y sesgos en una publicación de impacto por autores de prestigio?
    ¿Valdrá para algo el trabajo tedioso, tan poco original pero tan revelador, de esos chicos? Ojalá, pero tengo mis dudas. Hay mucho sacerdocio cientificista en contra de la ciencia a la que pretende reverenciar.

    ResponderEliminar
  2. Gracias como siempre Javier, máxime en un tema en elque pocos saben más que tu.¿Cuántas evidencias se basan en datos no reproducidos? ¿Cuántas muertes y desgracias de todo tipo son atribuibles a una mala ciencia? No lo se, pero es posible que no sean pocas. Hoy hablaba del tema con un amigo, profesor de universidad. Los dos somos revisores de revistas científicas. Siempre que te envian un articulo a revisión intentas hacerlo lo mejor posible. Pero es evidente que nadie pide a los autores los datos originales para replicar el estudio. Es mucho trabajo que no está pagado ni del que se obtiene más beneficio que la satisfacción personal.
    Probablemente "profesionalizar" esa tarea tampoco sería solución. A lo máximo que se puede llegar es a revisar con detenimiento y la mayor atención posible la metodología que señalan lo autores que emplearon
    Segundo aspecto que discutiamos: congresos, revistas,agencias financiadoras priorizan el enésimo trabajo de una línea trillada antes que una propuesta novedosa aun no testada
    Por último, doctorandos, becarios, investigadores pretenden rentabilizar su esfuerzo a la mayor brevedad posible. La ley de la cosecha que obliga a dejar pasar el tiempo para que crezca la semilla , se fortelezca y de fruto es demasiado anticuada y molesta.Queremnos resultados inmediatos.
    Y mientras tanto, el enemigo avanza.le tiene sin cuidado la ciencia
    Un abrazo

    ResponderEliminar