La superpronosticación en pocas palabras

Supongamos que queremos saber qué probabilidades hay de que un nuevo producto innovador tenga éxito, o de que China invada Taiwán en la próxima década, o de que una pandemia global se extienda por todo el mundo; básicamente, cualquier pregunta para la que no podamos utilizar el “análisis predictivo”, porque no disponemos de un conjunto de datos gigantesco con el que alimentar modelos estadísticos, como (digamos) hace Amazon para predecir cuándo llegará nuestro paquete.

¿Es posible elaborar pronósticos confiables y exactos para estas cuestiones?

Sorprendentemente, la respuesta parece ser “sí, si lo haces bien”.

Los mercados de predicciones son un método prometedor, pero son en su mayoría ilegales en EE. UU., y varios problemas de implementación reducen por ahora su exactitud. Afortunadamente, también existe el método de la “superpronosticación”, que es completamente legal y muy eficaz.

¿Cómo funciona? La idea básica es muy sencilla. Estas son las etapas:

1. En primer lugar, molestarse en medir la exactitud de los pronósticos. Algunos sectores se preocupan mucho por la exactitud de sus pronósticos y, por tanto, la miden, como por ejemplo los fondos de cobertura. Sin embargo, la mayoría de los sectores que dependen de la pronosticación no hacen grandes esfuerzos por medir la exactitud de sus pronósticos:⁠a por ejemplo, el periodismo, la filantropía, la investigación científica o la Comunidad de Inteligencia de los EE. UU.⁠b
2. En segundo lugar, identificar a las personas cuyos pronósticos son sistemáticamente más exactos que los del resto, es decir, las que se encuentran en el 0,1 % de mayor exactitud durante varios años seguidos (sin regresión a la media). Estos son los “superpronosticadores”.
3. Por último, preguntarle a los superpronosticadores y agregar sus pronósticos.

Técnicamente, el método habitual es un poco más complicado,⁠c pero estos tres pasos simples son el núcleo del método de la superpronosticación.

¿Y qué tal funciona?

Hace unos años, la Comunidad de Inteligencia de los EE. UU. puso a prueba este método en un torneo de pronósticos masivo y riguroso que incluyó múltiples ensayos controlados aleatorizados y produjo más de un millón de pronósticos sobre más de 500 preguntas de pronosticación geopolítica como “¿Habrá un incidente violento en el mar de la China Meridional en 2013 en el que muera al menos una persona?” Este estudio encontró lo siguiente:

1. El método generó pronósticos muy bien calibrados, en el sentido de que los pronósticos realizados con un 20 % de confianza se cumplieron el 20 % de las veces, los pronósticos realizados con un 80 % de confianza se cumplieron el 80 % de las veces, y así sucesivamente. El método no es una bola de cristal; no puede decirnos con seguridad si China invadirá Taiwán en la próxima década, pero si dice que hay un 10 % de posibilidades, entonces podemos estar bastante seguros de que las probabilidades realmente se acercan bastante al 10 %, y decidir qué política es la adecuada en vista de ese nivel de riesgo.⁠d
2. El método generó pronósticos mucho más exactos que los de un pronosticador típico o que los de otros métodos que se probaron.⁠e

¡Son resultados impresionantes! ¡Y proceden de un estudio excepcionalmente cuidadoso y riguroso!⁠f

Podría pensarse, pues, que la Comunidad de Inteligencia de los EE. UU. ha adoptado con entusiasmo el método de la superpronosticación, sobre todo teniendo en cuenta que el estudio fue financiado por la misma Comunidad de Inteligencia, con el propósito específico de descubrir formas de mejorar la exactitud de las estimaciones de la inteligencia de EE. UU. utilizadas por los responsables de políticas para tomar decisiones difíciles. Por desgracia, según mi experiencia, muy pocas personas de los servicios de inteligencia y seguridad nacional de EE. UU. han oído hablar de estos resultados, o incluso del término “superpronosticación”.⁠g

Una organización grande como la CIA o el Departamento de Defensa tiene suficiente personal y hace suficientes pronósticos, por lo que podría aplicar todos los pasos del método de la superpronosticación por sí sola, si quisiera. Las organizaciones más pequeñas, afortunadamente, pueden simplemente contratar a superpronosticadores ya verificados para que hagan pronósticos bien calibrados sobre las cuestiones de mayor importancia para su toma de decisiones. En particular:

• Los superpronosticadores que superaron a los analistas de la Comunidad de Inteligencia en el torneo de pronosticación mencionado anteriormente pueden contratarse a través de Good Judgment Inc.
• Otra empresa, Hypermind, ofrece pronósticos agregados de “pronosticadores campeones”, es decir, los más exactos en miles de preguntas sobre pronósticos para clientes corporativos que se remontan (en algunos casos) a casi dos décadas.⁠h
• Otros proyectos, como Metaculus, también están empezando a identificar a los pronosticadores más exactos en cientos de preguntas.

Cada una de estas empresas tiene sus propios puntos fuertes y débiles, y Open Philanthropy ha encargado pronósticos a las tres en los dos últimos años. Si trabajas para una pequeña organización que suele tomar decisiones importantes en función de lo que espera que ocurra en el futuro, incluido lo que espera que ocurra si toma tal o cual decisión, te sugiero que las pruebes. (Las tres ofrecen preguntas “condicionales”, por ejemplo: “¿Cuál es la probabilidad del resultado X si tomo la decisión A, y cuál es la probabilidad de ese mismo resultado si en su lugar tomo la decisión B?”)

Si trabajas para una organización muy grande y/o que trabaja con información muy sensible, por ejemplo la CIA, deberías considerar la posibilidad de adoptar internamente el proceso de superpronosticación en su totalidad. (Aunque contratar a una o varias de las organizaciones mencionadas podría ser una buena forma de probar el modelo a bajo costo antes de adoptarlo íntegramente.)