Riesgo existencial total
El riesgo existencial total es el riesgo agregado de una catástrofe existencial.
El concepto de riesgo existencial total permite comparar distintos riesgos específicos teniendo en cuenta su contribución al riesgo global de catástrofe. Esta comparación puede realizarse porque se supone que los riesgos existenciales particulares solo difieren en su probabilidad y no en su gravedad. La suposición suele estar justificada, ya que las historias mundiales que desembocan en catástrofes existenciales tienden a diferir en valor en aspectos menores, en comparación con la forma en que cada una difiere de las historias mundiales en las que el potencial humano se realiza plenamente. El colapso permanente de la civilización, por ejemplo, puede ser algo mejor o algo peor que la extinción humana; pero ambos son incalculablemente peores que un mundo en el que la humanidad ha alcanzado todo su potencial.1
Sin embargo, la hipótesis puede no cumplirse en casos especiales. En primer lugar, una catástrofe existencial infernal no solo destruye valor potencial: también crea disvalor a escala astronómica. Si la catástrofe fuera todo lo mala que podría ser, sería significativamente peor que una catástrofe existencial no infernal.
En segundo lugar, como señala Ord, algunos riesgos tienen más probabilidades de producirse en mundos con un alto potencial. Una tecnología que contribuya a un riesgo de este tipo sería penalizada si se evaluara según la métrica del riesgo existencial total. Un ejemplo directo es la inteligencia artificial, que aumenta el riesgo existencial derivado de una alineación deficiente, pero también puede acercar a la humanidad a la realización de su potencial.2
Toby Ord (2020) The Precipice: Existential Risk and the Future of Humanity, Londres: Bloomsbury Publishing, chap. 6.