Contra el MAXIPOK: el riesgo existencial no lo es todo
El principio MAXIPOK de Bostroma sugiere que la reducción del riesgo existencial debería ser el objetivo principal de quienes buscan mejorar las perspectivas a largo plazo de la humanidad. Esto se basa en una visión implícitamente dicotómica del valor futuro, en la que la mayoría de los resultados son casi sin valor o casi óptimos.
Argumentamos en contra de la perspectiva dicotómica y del MAXIPOK. En el próximo siglo, los valores, las instituciones y la distribución del poder podrían quedar fijados. Sin embargo, podríamos influir en el objeto, el momento y la posibilidad de esta fijación, por lo que en principio podríamos mejorar sustancialmente el futuro a largo plazo por otras vías que no sean la reducción del riesgo existencial.
Y esto es bastante importante: tanto porque el MAXIPOK podría significar desaprovechar valor, como porque, en algunos casos, seguirlo podría realmente causar daño.
Imaginemos un futuro en el que algunos temen que los grupos terroristas puedan utilizar armas biológicas avanzadas para acabar con la humanidad. Los gobiernos del mundo podrían unirse en un gobierno mundial fuerte que reduciría el riesgo de extinción del 1 % al 0 %, o mantener el statu quo. Pero el gobierno mundial consolidaría un control autoritario y socavaría las esperanzas de diversidad política, disminuyendo el valor de toda la civilización futura en, digamos, un 5 %.
Si diéramos total prioridad a la reducción del riesgo existencial, entonces deberíamos apoyar un gobierno mundial fuerte. Pero estaríamos salvando el mundo a costa de empeorarlo.
Una opinión popular entre los largoplacistas es que intentar mejorar el futuro a largo plazo equivale a intentar reducir el riesgo existencial. La expresión más clara de esto es el principio MAXIPOK de Nick Bostrom (https://existential-risk.com/concept):
MAXIPOK: cuando se persigue el bien imparcial, se debe buscar maximizar la probabilidad de un “resultado aceptable”, donde un resultado aceptable es cualquier resultado que evite una catástrofe existencial.
El riesgo existencial no es solo el riesgo de extinción: es, en términos más generales, el riesgo de una reducción “drástica” del potencial de la humanidad: una catástrofe que hace que el futuro sea aproximadamente tan malo como la extinción humana.
¿Por qué sería esto cierto? Sugerimos que se debe a una suposición implícita, que llamaremos “dicotomía”. A grandes rasgos, la dicotomía dice que los futuros forman clústeres claros en dos categorías: los muy buenos (en los que la humanidad sobrevive y prospera) y los muy malos (catástrofes existenciales). Si los futuros son realmente dicotómicos de esta manera, entonces lo único que importa es desplazar la masa de probabilidad del clúster malo al clúster bueno. Reducir el riesgo existencial sería, sin duda, la prioridad absoluta.
He aquí una definición más precisa:
Dicotomía: La distribución del impacto que la vida inteligente de origen humano tiene en relación con el valor del universo en los futuros posibles es muy marcadamente bimodal, independientemente de las medidas que tomemos.
El MAXIPOK, entonces, depende significativamente de la dicotomía. Y no es una opinión descabellada: vemos tres argumentos a su favor.
El primer argumento apela a una amplia “cuenca de atracción” que apunta hacia futuros casi óptimos. Al igual que un objeto capturado por la gravedad de un planeta es atraído inevitablemente a su órbita o choca contra el propio planeta, quizá cualquier sociedad que sea lo suficientemente competente o buena para sobrevivir gravita de forma natural hacia la mejor organización posible.
Pero hay futuros posibles en los que la humanidad sobrevive, pero no converge moralmente. Imaginemos que todo el poder acaba consolidándose en manos de un único dictador inmortal (por ejemplo, una mente humana subida a la nube o una IA). No hay razón para pensar que este dictador vaya a descubrir y a preocuparse inevitablemente por lo que es moralmente valioso: podría aprender lo que es bueno y, sencillamente, no darle importancia, o podría evitar deliberadamente exponerse a buenos argumentos morales. Por lo que sabemos, el ser poderoso y longevo no garantiza por sí mismo la iluminación o la motivación moral. En términos más generales, parece poco plausible que las presiones evolutivas, o de otro tipo, sean tan abrumadoras como para hacer inevitable un único destino supremamente valioso.
El segundo argumento a favor de la dicotomía es que los futuros casi óptimos son fáciles de alcanzar; tal vez el valor tenga una cota superior, y esta sea baja, de modo que, mientras la civilización futura no se extinga pronto y no tome una dirección que carezca por completo de valor, acabará produciendo un resultado cercano al mejor posible.
Pero que el valor sea acotado no respalda claramente la dicotomía. En primer lugar, hay una desagradable asimetría: mientras que la bondad puede tener una cota superior, es casi seguro que la maldad no la tiene inferior (intuitivamente, siempre podemos añadir más cosas horribles y empeorar el mundo en su conjunto). Pero esa asimetría no respaldaría la dicotomía; respaldaría una distribución con una larga cola negativa, en la que evitar la extinción podría, en general, empeorar el futuro. Ese no es el único problema de las posturas que defienden un valor acotado, pero, en cualquier caso, es poco probable que estas verifiquen la dicotomía.
He aquí un tercer argumento que no requiere convergencia ni valor limitado. Quizás los usos más eficientes de los recursos producen mucho más valor —órdenes de magnitud más— que casi cualquier otra cosa. Llamemos al mejor uso hipotético “valorio” (cualquier sustrato que genere de la manera más eficiente valor moral por julio de energía). Entonces, o la civilización futura se optimiza para el valorio o no lo hace. Si lo hace, el futuro será enormemente bueno. Si no lo hace, el futuro tendrá un valor comparativamente insignificante.
Hay alguna evidencia que respalda esta visión de cola pesada del valor. El filósofo Bertrand Russell escribió sobre el amor: “trae éxtasis, un éxtasis tan grande que a menudo habría sacrificado el resto de mi vida por unas pocas horas de esta alegría”. Una encuesta reveló que más del 50 % de las personas informan que su experiencia más intensa es al menos el doble de intensa que la segunda más intensa, y muchas informan de proporciones mucho más altas.
Por otro lado, las leyes de Weber-Fechner en psicofísica sugieren que la intensidad percibida sigue una relación logarítmica con la intensidad del estímulo, lo que implica colas ligeras en lugar de pesadas.
Pero es difícil saber cómo extrapolar a partir de ejemplos humanos para aprender sobre la distribución del valor a escala cósmica. Esta hipótesis de la Extremidad de lo Mejor no es evidentemente errónea, pero no apostaríamos por ella.
Incluso si uno de estos argumentos tuviera mérito, dos consideraciones más generales pesan fuertemente en su contra, por lo que acabamos rechazando la dicotomía.
En el futuro, es probable que los recursos se dividan entre diferentes grupos: diferentes naciones, ideologías, sistemas de valores o incluso diferentes sistemas estelares controlados por diferentes facciones. Si el espacio otorga ventaja defensiva (lo que significa que un grupo que controla un sistema estelar puede defenderlo contra los agresores, lo cual es razonable, dadas las vastas distancias interestelares), entonces la asignación inicial de los recursos cósmicos podría persistir indefinidamente.
Esto rompe la dicotomía, incluso si los mejores usos de los recursos tienen una cola extremadamente pesada. Algunos grupos podrían optimizar esos mejores usos, mientras que otros no. El valor global del futuro varía en función de la fracción de recursos que se destina a cada grupo, pero no hay razón para esperar solo divisiones extremas. Lo mismo se aplica dentro de los grupos. Los individuos pueden dividir sus presupuestos de recursos entre usos óptimos y muy subóptimos, pero la división en sí misma puede variar mucho.
Quizás el problema más profundo para la dicotomía es que deberíamos tener una gran incertidumbre sobre todas estas cuestiones teóricas. No sabemos si las sociedades convergen, si el valor es limitado o si los mejores usos de los recursos son órdenes de magnitud mejores. Y cuando hay incertidumbre entre muchas distribuciones de probabilidad diferentes —algunas dicotómicas y otras no—, la distribución esperada no es dicotómica. Es como promediar una distribución bimodal con una distribución normal: se obtiene algo intermedio, con la masa de probabilidad repartida en el rango medio.
Hay una objeción más que considerar. Quizás la dicotomía es una idea equivocada, pero el MAXIPOK sigue estando en lo cierto por otro motivo: solo las catástrofes existenciales tienen efectos duraderos en el futuro a largo plazo. Todo lo demás —incluso acontecimientos aparentemente trascendentales como guerras mundiales, revoluciones culturales o dictaduras globales— acabará por diluirse con el tiempo. Llamemos a esto escepticismo sobre la persistencia.
Creemos que deberías rechazar el escepticismo sobre la persistencia. Creemos que es razonablemente probable —al menos tan probable como la extinción— que el próximo siglo sea testigo de una fijación —una situación en la que ciertos valores, instituciones o distribuciones de poder se vuelven efectivamente permanentes— u otras formas de dependencia persistente de la trayectoria.
Dos mecanismos hacen que esto sea plausible:
Instituciones impuestas por la IAG. Una vez que desarrollemos la inteligencia artificial general, será posible crear e imponer constituciones, leyes o estructuras de gobierno perpetuamente vinculantes. A diferencia de los humanos, los agentes digitales pueden hacer copias exactas de sí mismos, almacenar copias de seguridad en múltiples ubicaciones y recargar las versiones originales para verificar la estabilidad de los objetivos. Un sistema de superinteligencia encargado de hacer cumplir alguna constitución podría mantener ese sistema a lo largo de escalas de tiempo astronómicas. Y una vez establecido dicho sistema, cambiarlo podría ser imposible: el propio ejecutor podría impedir las modificaciones.
Asentamiento espacial y dominio de la defensa. Una vez que el asentamiento espacial sea factible, quizás poco después de la IAG, es probable que los recursos cósmicos se dividan entre diferentes grupos. Además, los sistemas estelares podrían tener ventajas defensivas. Esto significa que la asignación inicial de los sistemas estelares podría persistir indefinidamente, con los valores de cada grupo fijados en su territorio, salvo a través del comercio.
Es fundamental señalar que, aunque la IAG y el asentamiento espacial proporcionan los mecanismos de fijación de valores definitivos, los momentos anteriores podrían influir significativamente en cómo se desarrollan esas fijaciones. Un dictador que se asegure el poder durante solo 10 años podría utilizar ese tiempo para desarrollar medios para mantener el poder durante 20 años más y luego alcanzar la IAG dentro de ese plazo, afianzando así indefinidamente lo que de otro modo habría sido un dominio temporal.
Esto sugiere que varias decisiones tempranas podrían tener un impacto persistente:
Las acciones en estas áreas podrían a veces prevenir catástrofes existenciales, pero a menudo implican mejorar el futuro de manera no drástica (contra el MAXIPOK).
Creemos que es un asunto de gran importancia para los largoplacistas la cuestión de la verdad o falsedad del MAXIPOK.
La actualización consistiría en lo siguiente: en lugar de centrarse únicamente en la catástrofe existencial, los largoplacistas deberían abordar la categoría más amplia de grandes retos: acontecimientos cuyas decisiones al respecto podrían alterar el valor esperado de la vida de origen terrestre en al menos una parte por mil (0,1 %).
Concretamente, las nuevas prioridades podrían incluir:
Ninguna de estas intervenciones tiene como objetivo principal reducir la probabilidad de una catástrofe existencial. Pero si el MAXIPOK es falso, podrían ser tan importantes, o incluso más, que las intervenciones tradicionales de reducción del riesgo existencial, como prevenir una toma de poder total por parte de la IA o las catástrofes biológicas a nivel de extinción.
Nada de esto hace que la reducción del riesgo existencial sea menos valiosa en términos absolutos. Abogamos por ir más allá de un enfoque singular en el riesgo existencial, para mejorar también el futuro bajo el supuesto de supervivencia existencial. Lo que está en juego sigue siendo astronómico.
Este fue un resumen de Beyond existential risk, de Will MacAskill y Guive Assadi. La versión completa está disponible en nuestro sitio web.