Incertidumbre sobre los modelos
La incertidumbre sobre los modelos es la incertidumbre sobre la validez de un modelo, incluidas las estimaciones de incertidumbre que se siguen del propio modelo.
Un modelo útil es lo suficientemente sencillo como para poder ser analizado con facilidad y, al mismo tiempo, lo suficientemente similar a la realidad como para que ese análisis pueda dar lugar a predicciones sobre el mundo real. Por desgracia, puede resultar difícil juzgar si un modelo determinado alcanza efectivamente el grado deseado de similitud con la realidad. Además, aunque algunas predicciones basadas en un modelo se hayan cumplido, esto no significa necesariamente que nuevas predicciones basadas en el mismo modelo también se cumplirán.
Un ejemplo clásico de la importancia de utilizar modelos adecuados, así como de la dificultad de detectar cuándo un modelo es inadecuado, es la crisis financiera de 2007. En los años previos a la crisis, muchos agentes financieros tomaron decisiones de inversión basadas en modelos que daban por supuesta la estabilidad económica. Sin embargo, una vez que este supuesto simplificador dejó de cumplirse, quedó claro que sus modelos no se habían ajustado suficientemente a la realidad y que el resultado de sus decisiones sería desastroso.
Una estrategia para hacer frente a la incertidumbre sobre la adecuación de los modelos consiste en extraer y comparar las predicciones de varios modelos distintos, en lugar de limitarse a uno solo. Sin embargo, en casos de incertidumbre extrema, puede que ni siquiera este método sea suficiente. Es posible que pensemos que existe la posibilidad de que ninguno de los modelos que hemos sido capaces de generar sea adecuado, y que debamos tener en cuenta lo que podría suceder en tal caso. Evidentemente, es muy difícil decir algo sobre un caso tan incierto, pero quizá sea posible decir algunas cosas. Por ejemplo, en su artículo “Probing the Improbable”, Toby Ord, Rafaela Hillerbrand y Anders Sandberg afirman que en los casos en que nuestros modelos sobre determinados acontecimientos de baja probabilidad y alto riesgo —como los riesgos existenciales— son erróneos, la probabilidad de catástrofe puede ser sustancialmente mayor de lo que sería si los modelos fueran correctos.1
Al utilizar un modelo para hacer estimaciones, en muchas ocasiones no estaremos seguros de qué valores deben tener los parámetros numéricos del modelo.
Por ejemplo, si decidimos utilizar el marco de tres factores para seleccionar áreas en las que trabajar, puede que no estemos seguros de qué valor asignar a la tratabilidad de un área determinada, o si intentamos estimar el valor de una donación a una organización benéfica que distribuye mosquiteras, puede que no estemos seguros de cuántos casos de malaria se previenen por cada mosquitera distribuida.
Es importante destacar claramente esta incertidumbre, tanto para que otros puedan cuestionar y mejorar nuestras opiniones como para que podamos extraer conclusiones más matizadas de los modelos que utilizamos.
Si en lugar de estimaciones individuales introducimos distribuciones de probabilidad o ventanas de confianza para los valores de los parámetros de un modelo dado, podremos calcular un resultado para el modelo que también refleje la incertidumbre. Sin embargo, es importante tener cuidado al realizar estos cálculos, ya que pequeños errores matemáticos o conceptuales pueden conducir fácilmente a resultados incorrectos o engañosos. Algunas herramientas útiles para evitar este tipo de errores son Guesstimate y Squiggle.2
También se ha argumentado que en casos de gran incertidumbre, las estimaciones que asignan a una intervención un valor esperado muy alto probablemente reflejen algún sesgo oculto en el cálculo y, por lo tanto, deban tratarse con escepticismo.
Roman Frigg & Stephan Hartmann (2006) Models in science, Stanford Encyclopedia of Philosophy, 27 de febrero (última actualización: 4 de febrero de 2020).
Holden Karnofsky (2011) Why we can’t take expected value estimates literally (even when they’re unbiased), The GiveWell Blog, 18 de agosto.
Un enfoque para evaluar intervenciones inciertas.
Holden Karnofsky (2023) ‘Pensamiento en secuencia y pensamiento en conjunto’, Altruismo Eficaz.
Toby Ord, Rafaela Hillerbrand & Anders Sandberg (2010) Probing the improbable: methodological challenges for risks with low probabilities and high stakes, Journal of Risk Research, vol. 13, pp. 191–205.
Guesstimate. Una herramienta para realizar cálculos en situaciones de incertidumbre.
Squiggle. Un lenguaje de estimaciones.