La superpronosticación en pocas palabras
Supongamos que queremos saber qué probabilidades hay de que un nuevo producto innovador tenga éxito, o de que China invada Taiwán en la próxima década, o de que una pandemia global se extienda por todo el mundo; básicamente, cualquier pregunta para la que no podamos utilizar el “análisis predictivo”, porque no disponemos de un conjunto de datos gigantesco con el que alimentar modelos estadísticos, como (digamos) hace Amazon para predecir cuándo llegará nuestro paquete.
¿Es posible elaborar pronósticos confiables y exactos para estas cuestiones?
Sorprendentemente, la respuesta parece ser “sí, si lo haces bien”.
Los mercados de predicciones son un método prometedor, pero son en su mayoría ilegales en EE. UU., y varios problemas de implementación reducen por ahora su exactitud. Afortunadamente, también existe el método de la “superpronosticación”, que es completamente legal y muy eficaz.
¿Cómo funciona? La idea básica es muy sencilla. Estas son las etapas:
Técnicamente, el método habitual es un poco más complicado,c pero estos tres pasos simples son el núcleo del método de la superpronosticación.
¿Y qué tal funciona?
Hace unos años, la Comunidad de Inteligencia de los EE. UU. puso a prueba este método en un torneo de pronósticos masivo y riguroso que incluyó múltiples ensayos controlados aleatorizados y produjo más de un millón de pronósticos sobre más de 500 preguntas de pronosticación geopolítica como “¿Habrá un incidente violento en el mar de la China Meridional en 2013 en el que muera al menos una persona?” Este estudio encontró lo siguiente:
¡Son resultados impresionantes! ¡Y proceden de un estudio excepcionalmente cuidadoso y riguroso!f
Podría pensarse, pues, que la Comunidad de Inteligencia de los EE. UU. ha adoptado con entusiasmo el método de la superpronosticación, sobre todo teniendo en cuenta que el estudio fue financiado por la misma Comunidad de Inteligencia, con el propósito específico de descubrir formas de mejorar la exactitud de las estimaciones de la inteligencia de EE. UU. utilizadas por los responsables de políticas para tomar decisiones difíciles. Por desgracia, según mi experiencia, muy pocas personas de los servicios de inteligencia y seguridad nacional de EE. UU. han oído hablar de estos resultados, o incluso del término “superpronosticación”.g
Una organización grande como la CIA o el Departamento de Defensa tiene suficiente personal y hace suficientes pronósticos, por lo que podría aplicar todos los pasos del método de la superpronosticación por sí sola, si quisiera. Las organizaciones más pequeñas, afortunadamente, pueden simplemente contratar a superpronosticadores ya verificados para que hagan pronósticos bien calibrados sobre las cuestiones de mayor importancia para su toma de decisiones. En particular:
Cada una de estas empresas tiene sus propios puntos fuertes y débiles, y Open Philanthropy ha encargado pronósticos a las tres en los dos últimos años. Si trabajas para una pequeña organización que suele tomar decisiones importantes en función de lo que espera que ocurra en el futuro, incluido lo que espera que ocurra si toma tal o cual decisión, te sugiero que las pruebes. (Las tres ofrecen preguntas “condicionales”, por ejemplo: “¿Cuál es la probabilidad del resultado X si tomo la decisión A, y cuál es la probabilidad de ese mismo resultado si en su lugar tomo la decisión B?”)
Si trabajas para una organización muy grande y/o que trabaja con información muy sensible, por ejemplo la CIA, deberías considerar la posibilidad de adoptar internamente el proceso de superpronosticación en su totalidad. (Aunque contratar a una o varias de las organizaciones mencionadas podría ser una buena forma de probar el modelo a bajo costo antes de adoptarlo íntegramente.)