Consideraciones cruciales y filantropía sabia

Esta charla se basará en algunas de las ideas sobre las que Nick Beckstead estuvo hablando antes del almuerzo. Sin embargo, a diferencia de su presentación, esta no será una presentación bien presentada. Se trata en gran medida de un trabajo en curso, por lo que habrá algunos saltos, y algunas partes serán confusas, etc. Pero espero que podamos discutir estas cuestiones durante la sesión de preguntas y respuestas.

¿Qué es una consideración crucial?

Quiero hablar del concepto de consideración crucial, que aparece mucho en el trabajo que estamos haciendo. Imagina que estás en el bosque, que tienes un mapa y una brújula, y que estás tratando de alcanzar algún destino. Llevas algo de peso, tal vez mucha agua porque necesitas hidratarte para alcanzar tu objetivo, y estás tratando de precisar la dirección exacta en la que te diriges. Estás tratando de averiguar cuánta agua puedes tirar para aligerar tu carga, conservando la suficiente para llegar a tu destino.

Todas estas consideraciones son normales: estás precisando la forma de avanzar más rápidamente hacia tu objetivo. Pero entonces miras más de cerca la brújula que has estado utilizando y te das cuenta de que la parte del imán se ha soltado. Esto significa que la aguja puede estar apuntando ahora en una dirección completamente diferente, que no guarda ninguna relación con el norte: puede haber girado un número desconocido de vueltas o partes de una vuelta.

Con este descubrimiento, perdemos completamente la confianza en todo el razonamiento anterior basado en intentar obtener la lectura más precisa de hacia dónde apuntaba la aguja. Este sería un ejemplo de consideración crucial en el contexto de la orientación. La idea es que puede haber consideraciones similares en contextos más importantes, que nos aparten por completo de lo que creíamos que sabíamos sobre la dirección o prioridad general.

Cuando tuve esta idea ensayé dos descripciones tentativas. Una consideración crucial es:

• una consideración que, si se tuviera en cuenta, invalidaría las conclusiones a las que de otro modo llegaríamos sobre cómo deberíamos dirigir nuestros esfuerzos, o
• una idea o argumento que podría revelar la necesidad no solo de un pequeño ajuste del rumbo en nuestros esfuerzos prácticos, sino de un cambio importante de dirección o prioridad.

En un contexto utilitarista, quizá pueda explicarse de la siguiente manera:

• una consideración crucial es una consideración que cambia radicalmente el valor esperado de perseguir un objetivo intermedio de alto nivel.

La idea es que tenemos un criterio de evaluación fijo y elaboramos un plan general para alcanzar un objetivo intermedio de alto nivel. Esta es nuestra idea de cómo maximizar este criterio de evaluación. Una consideración crucial, entonces, sería una consideración que cambia radicalmente el valor esperado de alcanzar este objetivo intermedio. Veremos algunos ejemplos de esto. Si ampliamos el contexto más allá de contextos utilitaristas, tal vez queramos volver a las formulaciones anteriores más informales, porque una de las cosas que podrían cuestionarse es el propio utilitarismo. Pero durante la mayor parte de esta charla estaremos pensando en ese componente utilitarista.

Hay algunos conceptos relacionados útiles. Un componente de una consideración crucial es un argumento, idea o dato que, aunque no constituya por sí mismo una consideración crucial, parece tener una probabilidad considerable de poder desempeñar un papel central en una consideración crucial. Es el tipo de cosa de la que diríamos: “Esto parece realmente intrigante, esto podría ser importante; no estoy muy seguro de qué pensar al respecto en este momento.” Puede que por sí solo no nos diga nada, pero quizá haya otra pieza que, combinada, nos proporcione de algún modo un resultado importante. Así que podría ser útil descubrir este tipo de componentes de consideración crucial.

Luego está el concepto de escalera de deliberación, que sería una secuencia de consideraciones cruciales, relativas al mismo objetivo intermedio de alto nivel, donde las consideraciones nos empujan en direcciones opuestas. Veamos algunos ejemplos de estos tipos de escalera de consideraciones cruciales que ayuden a ilustrar el problema general.

¿Debería votar en las elecciones nacionales?

Tomemos esta pregunta: (A1) “¿Debería votar en las elecciones nacionales?” En una especie de “nivel uno” de razonamiento, piensas: “Sí, debería votar para que un candidato mejor ocupe el cargo.” Claramente, esto tiene sentido.

Luego reflexionas un poco más: (A2) “Pero es muy poco probable que mi voto cambie el resultado. No debería votar, sino emplear mejor mi tiempo.” (Estos ejemplos pretenden ilustrar la idea general; no tengo la intención de debatir mucho sobre estos ejemplos concretos, que son bastante complicados. Pero creo que servirán para ilustrar el fenómeno general.) Aquí, con la consideración número dos, hemos pasado de “Sí, debería votar”, y de elaborar un plan para llegar a la urna, etc., a “No, no debería votar. Debería hacer algo completamente diferente”.

Luego piensas: (A3) “Bueno, aunque es poco probable que mi voto cambie el resultado, hay mucho en juego: las decisiones del presidente afectan a millones de vidas. Así que aunque la probabilidad de que mi voto sea decisivo es de una entre varios millones, el beneficio esperado sigue siendo lo suficientemente grande como para que valga la pena ir a votar.” Iba a sentarme cómodamente delante del televisor y a poner el partido de fútbol, pero ahora resulta que debería votar, así que tenemos otro cambio de dirección.

Entonces sigues pensando: (A4) “Bueno, si las elecciones no están reñidas, entonces mi voto no cambiará nada. Si las elecciones sí están reñidas, entonces aproximadamente la mitad de los votos serán para el candidato equivocado, lo que implica o bien que los candidatos tienen exactamente o casi exactamente los mismos méritos, por lo que realmente no importa quién gane, o bien que el juicio típico de los votantes sobre los méritos de los candidatos es extremadamente poco fiable, y no tiene casi ninguna señal, por lo que no debería molestarme en votar.”

Ahora te hundes de nuevo en el cómodo sofá y sacas las palomitas o lo que sea, y entonces piensas: (A5) “Oh, bueno, por supuesto que yo juzgo mucho mejor los méritos de los candidatos que el votante típico, así que debería votar.”

Otra vez te abrigas para salir y entonces piensas: (A6) “Pero los estudios psicológicos muestran que la gente tiende a ser excesivamente confiada: casi todo el mundo se cree por encima de la media, pero es tan probable que se equivoque como que acierte. Si tengo tantas probabilidades de votar al candidato equivocado como el votante típico, entonces mi voto tendría una información insignificante para el proceso de selección, y no debería votar.”

Y luego: (A7) “Bueno, he recorrido todo este razonamiento, lo que significa que soy especial, por lo que debería votar.”

Pero después: (A8) “Si soy tan especial, entonces el costo de oportunidad es alto, de modo que debería hacer algo más importante”.

(A9) “Pero si no voto, mis conocidos verán que no he apoyado a los candidatos que todos pensamos que son mejores. Me considerarían raro, extraño y desleal, lo que quizá disminuiría mi influencia, que de otro modo podría haber utilizado para buenos fines, así que debería votar después de todo”.

(A10) “Pero es importante defender las propias convicciones, para estimular un debate fructífero. Podrían pensar que soy realmente sofisticado si explicara todos estos complicados razonamientos para votar, y eso podría aumentar mi influencia, que entonces podría invertir en alguna buena causa”, etc.

No hay ninguna razón para pensar que la escalera se detendría aquí; es solo que en este punto nos quedamos sin fuerzas. Si terminas en algún punto, entonces podrías preguntarte si acaso hay más peldaños en la escalera y qué razones tienes realmente para creer que el punto en el que te encuentras en ese momento es el término de la serie.

¿Deberíamos fomentar más financiación para la investigación tecnológica asociada al riesgo existencial?

Quiero examinar otro ejemplo de escalera de deliberación en el contexto de la política de la tecnología y del riesgo existencial. Se trata de un tipo de argumento que puede aplicarse a ciertos tipos de tecnologías: si debemos tratar de promoverlas o conseguirles más financiamiento.

La tecnología asociada al riesgo es, en este caso, la nanotecnología. De hecho, se trata del ejemplo del que esta línea de razonamiento surgió originalmente: algunas de sus partes proceden del libro de Eric Drexler Engines of Creation, donde de hecho se aboga por esta línea de pensamiento.

(B1) “Deberíamos financiar la nanotecnología (este es el razonamiento del “nivel uno”) porque hay muchas aplicaciones potenciales futuras: medicina, fabricación, energía limpia, etc. Sería estupendo contar con todas esas ventajas”.

(B2) “Pero también parece que la nanotecnología podría tener importantes aplicaciones militares, y podría ser utilizada por terroristas, etc., para crear nuevas armas de destrucción masiva que podrían suponer una gran amenaza existencial. Si es tan peligrosa, no, quizá no deberíamos financiarla”.

(B3) “Pero si este tipo de tecnología es posible, es casi seguro que se desarrollará tarde o temprano, decidamos o no impulsarla. (El sujeto de esa oración podría referirse quizás a la gente en esta sala, o al pueblo británico, o a las democracias occidentales.) Si la gente responsable se abstiene de desarrollarla, entonces será desarrollada por gente irresponsable, lo que haría que los riesgos sean aún mayores, por lo que deberíamos financiarla”. (Se puede ver que esto funciona con respecto a la nanotecnología, pero el mismo patrón podría ser relevante para evaluar otras tecnologías con ventajas y desventajas.)

(B4) “Pero ya hemos estamos adelantados en su desarrollo, por lo que la financiación adicional solo nos llevaría antes a la meta, dejándonos menos tiempo para prepararnos para los peligros. Así que no deberíamos añadir financiación: las personas responsables pueden llegar antes incluso sin añadir financiación a esta iniciativa”.

(B5) Pero entonces miras a tu alrededor y no ves prácticamente ningún esfuerzo serio para prevenir los peligros de la nanotecnología —y esto es básicamente lo que Drexler decía en Engines—, porque la prevención seria solo empezará cuando ya esté en marcha un proyecto masivo para desarrollar la nanotecnología. Solo entonces la gente se la tomará en serio. Cuanto antes iniciemos un proyecto serio similar al Proyecto Manhattan para desarrollar la nanotecnología, más tiempo tardaremos en completarlo, porque cuanto antes empecemos, más bajo será el nivel tecnológico inicial. El proyecto en sí durará más tiempo, lo que significará más tiempo para la prevención: la prevención seria solo empieza cuando se inicia el proyecto, y cuanto antes se inicie el proyecto, más tiempo llevará, por lo que el tiempo para prevenir los peligros será mayor. Esto sugiere que deberíamos hacer todo lo posible por lanzar este producto inmediatamente, para maximizar el tiempo de prevención.

Pero hay más consideraciones que deben tenerse en cuenta:

(B6) El nivel de riesgo se verá afectado por factores que van más allá del grado de prevención seria que se haya alcanzado específicamente para contrarrestar la amenaza de la nanotecnología. Por ejemplo, la inteligencia artificial o la vigilancia generalizada podrían desarrollarse antes que la nanotecnología, eliminando o mitigando los riesgos de esta última. Aunque estas otras tecnologías puedan plantear grandes riesgos por sí mismas, se trata de riesgos con los que habría que lidiar de todos modos y la nanotecnología no reduciría realmente esos otros riesgos, como por ejemplo los riesgos derivados de la IA. Así pues, la secuencia preferida es que alcancemos la superinteligencia o la vigilancia generalizada antes que la nanotecnología, por lo que deberíamos oponernos a la financiación adicional de la nanotecnología a pesar de que la superinteligencia y la vigilancia generalizada podrían ser muy peligrosas por sí mismas, e incluso constituir un riesgo existencial. Dadas ciertas suposiciones de fondo sobre la conjetura de la compleción tecnológica —la idea de que a menos que se produzca un colapso de la civilización, en algún momento del futuro se desarrollarán todas las tecnologías generales útiles—, habrá que enfrentarse a estos peligros, y lo único que podemos elegir es la secuencia en la que los enfrentamos. Y es mejor enfrentarse a la superinteligencia antes que a la nanotecnología porque la superinteligencia puede obviar el riesgo de la nanotecnología, pero no viceversa.

(B7) Sin embargo, si hay gente se opone a la financiación adicional de la nanotecnología, entonces quienes trabajan en nanotecnología sentirán antipatía por estas personas que se oponen. (Este también es un punto tomado del libro de Drexler.) Otros científicos podrían considerar que estas personas que se oponen a la financiación de la nanotecnología están en contra de la ciencia y ello reducirá nuestra capacidad de trabajar con estos científicos, dificultando nuestros esfuerzos en cuestiones más específicas: esfuerzos que tienen más posibilidades de tener un impacto material que cualquier intento de nuestra parte de influir en el nivel de financiación nacional de la nanotecnología. Por tanto, no debemos oponernos a la nanotecnología. Es decir, en lugar de oponernos a la nanotecnología en un intento por ralentizarla un poco —somos un grupo pequeño y no podemos lograr un cambio significativo—, deberíamos trabajar con los científicos de la nanotecnología, hacernos amigos suyos, y luego quizá intentar influir en el margen, para que desarrollen la nanotecnología de una forma ligeramente diferente o añadan algunas salvaguardas, etc.

De nuevo, no hay ninguna razón clara para pensar que hemos llegado al límite del nivel de deliberación que podríamos aplicar a esta cuestión. Es desconcertante porque parece que la consecuencia práctica sigue cambiando de un lado a otro a medida que profundizamos en el árbol de búsqueda. Podríamos preguntarnos cuál es la clave aquí y yo creo que estas escaleras de deliberación son consideraciones cruciales: parece particularmente probable que aparezcan cuando uno intenta ser un utilitarista puro y se toma realmente en serio estas cuestiones globales.

Consideraciones cruciales y utilitarismo

Hay algunas posibles razones que explicarían por qué esto es así. Si comparamos, por ejemplo, el ámbito de aplicación “utilitarismo” con otro ámbito de aplicación, por ejemplo, si tenemos una función de preferencia humana normal (es decir, queremos una vida próspera, una familia saludable, una carrera profesional exitosa y algo de esparcimiento: los valores humanos típicos), si intentamos satisfacer esos valores, parece menos probable que nos encontremos con un gran número de estas consideraciones cruciales. ¿Por qué será?

Una posible explicación es que tenemos más conocimientos y experiencia de la vida humana a nivel personal. Miles de millones de personas han intentado maximizar una función de utilidad humana normal y han recibido muchos comentarios y se han probado muchas cosas. Así que ya sabemos algunas de las cosas básicas como que si quieres vivir décadas, es una buena idea comer, etc. No son cosas que vayamos a descubrir a esta altura. Y tal vez nuestras preferencias hayan sido moldeadas por la evolución para adaptarse más o menos al tipo de oportunidades que podemos explotar cognitivamente en el entorno. Así que puede que no tengamos ninguna preferencia extraña que no haya forma de satisfacer sistemáticamente. Mientras que con el utilitarismo, la preferencia utilitarista, por así decirlo, se extiende mucho más allá de nuestro entorno familiar, hasta abarcar bienes cósmicos comunales, miles de millones de años en el futuro y civilizaciones superavanzadas: estas importan moralmente desde la perspectiva utilitarista, e importan mucho. La mayor parte de lo que le importa a la función de preferencia utilitarista son cosas con las que no estamos familiarizados.

Otra posible fuente de consideraciones cruciales con respecto al utilitarismo son las dificultades para comprender el propio objetivo postulado por el utilitarismo. Por ejemplo, si uno intenta pensar en cómo aplicar el utilitarismo a un mundo que tiene una probabilidad finita de ser infinito, tropezará con dificultades respecto de cómo medir magnitudes infinitas diferentes y cómo podríamos lograr algún cambio moralmente relevante en tal situación. Tengo un largo artículo sobre eso y no hace falta que entremos en ello. Hay otras cuestiones que consisten en intentar articular el utilitarismo para lidiar con todos estos casos posibles.

La tercera razón posible aquí es que uno podría pensar que estamos cerca (no extremadamente cerca, pero sí cerca) de algún punto de inflexión de la historia. Eso significa que ahora podríamos tener oportunidades especiales para influir en el futuro a largo plazo. Al estar tan lejos, no es obvio lo que deberíamos hacer para tener el máximo impacto positivo en ese futuro. Pero aún estamos lo suficientemente cerca como para que tal vez podamos empezar a percibir algunos contornos del mecanismo que dará forma al futuro. Por ejemplo, si pensamos que la superinteligencia podría ser este punto de inflexión, o uno de ellos (también puede haber puntos de inflexión de riesgo existencial a los que nos enfrentaremos en este siglo), entonces podría ser que apenas estemos empezando a tener la capacidad de pensar en estas cuestiones, lo que introduce toda una serie de nuevas consideraciones que podrían ser muy importantes. Esto podría afectar también al ámbito personal. Es como con la función de utilidad típica de una persona normal: probablemente no valora un millón de veces más vivir cien millones de años que vivir cien años, o mil veces más criar mil hijos que criar uno solo. Así que, aunque el futuro sigue existiendo como tal, no pesa tanto en una función de utilidad humana normal como lo hace para el utilitarista.

También se podría argumentar que solo recientemente hemos adquirido algunas herramientas clave de exploración que nos permiten hacer estos descubrimientos tan importantes sobre cómo ser un buen utilitarista y que todavía no hemos agotado su potencial, por lo que seguimos haciendo nuevos descubrimientos importantes y fundamentales utilizando estas herramientas de exploración. Por eso parece que se están descubriendo tantas consideraciones cruciales. Podríamos hablar un poco sobre algunas de ellas más adelante en la presentación.

Funciones de evaluación

Ahora vamos a ver esto desde un ángulo ligeramente diferente. En el ajedrez, la forma ideal de jugar es empezar pensando en las posibles jugadas que podrías hacer, luego las posibles respuestas que tu oponente podría tener, y tus respuestas a esas respuestas. Lo ideal sería pensar en todo el camino hasta el estado final, y luego simplemente tratar de seleccionar una primera jugada que sería la mejor desde el punto de vista de la victoria cuando se puede calcular a través de todo el árbol de juego. Pero eso es inviable computacionalmente porque la rama del árbol es demasiado compleja: tienes un número exponencial de jugadas a considerar. Así que lo que hay que hacer es calcular explícitamente un cierto número de jugadas por delante, tal vez una docena o algo así. En ese punto, el análisis tiene que detenerse, y lo que hay que hacer es tener alguna función de evaluación que sea relativamente sencilla de computar, que intente ver el estado del tablero que podría resultar de esta secuencia de seis jugadas y contrajugadas, y que de alguna manera intente estimar lo bueno que es ese estado. Una función típica de evaluación de ajedrez podría ser algo como esto:

Eval_ajedrez = (c₁ × material) + (c₂ × movilidad) + (c₃ × seguridad del rey) + (c₄ × control del centro) + …

Tenemos algún término en la función que evalúa cuánto material tenemos, como que tener tu reina y muchas piezas es ventajoso, que el oponente tenga pocas también es ventajoso, etc., y tenemos alguna métrica como que un peón vale uno y la reina vale 11 o algo así. Eso es un componente de la función de evaluación. Luego tal vez consideramos la movilidad de tus piezas. Si están todas apiñadas en una esquina, suele ser una situación poco prometedora, así que tenemos algún término para eso. La seguridad del rey es otro componente de la función. El control del centro añade un poco de valor: si tenemos el control del centro del tablero, sabemos por experiencia que esa tiende a ser una buena posición. Así que el procedimiento es calcular explícitamente un cierto número de pasos por delante y luego tienes esta función de evaluación relativamente invariable que se utiliza para averiguar cuál de estos juegos iniciales que podrías jugar daría como resultado la situación más ventajosa. Estas funciones de evaluación se derivan principalmente de algunos maestros de ajedrez humanos que tienen mucha experiencia jugando. Los parámetros, como el peso que asignas a estas diferentes características, también podrían ser aprendidos por la inteligencia artificial.

En otros ámbitos hacemos algo parecido. Por ejemplo, en el diseño tradicional de una política pública típica, los economistas del bienestar social podrían pensar que es necesario maximizar alguna función de bienestar social que podría tomar la siguiente forma:

Eval_{política_pública} = (c₁ × PIB) + (c₂ × empleo) + (c₃ × igualdad) + (c₄ × medio ambiente) + …

¿PIB? Sí, queremos más PIB, pero también tenemos que tener en cuenta la tasa de desempleo, tal vez una medida de igualdad o desigualdad, y algún factor para la salud del medio ambiente. Puede que lo que pongamos en la función no sea exactamente lo que equivale al valor moral en términos fundamentales. Pero sabemos que estas cosas tienden a ser buenas, o eso es lo que creemos. Se trata de una aproximación útil al valor real que podría ser más tratable en un contexto práctico de toma de decisiones. Una cosa que podemos preguntarnos, entonces, es si existe algo parecido para el valor moral:

Eval_{valor_moral} = ?

Queremos hacer lo que sea mejor desde un punto de vista moral, pero calcular todo esto desde cero parece difícil o imposible en cualquier situación concreta. Necesitamos principios más estables que podamos utilizar para evaluar las distintas cosas que podríamos hacer. Aquí podríamos considerar la versión más restringida del utilitarismo y podemos preguntarnos qué podríamos poner ahí.

Eval_utilitarista = ?

Aquí podemos retomar algunas de las cosas que Beckstead mencionó. Si trazamos la capacidad —que podría ser el nivel de desarrollo económico y sofisticación tecnológica, o cosas por el estilo— en un eje y el tiempo en el otro, mi opinión es que la condición humana es una especie de región metaestable en este eje de capacidad:

Puede que fluctuemos dentro durante un tiempo, pero cuanto más larga sea la escala temporal que consideremos, mayor será la probabilidad de que salgamos de esa región o bien en dirección descendente y nos extingamos —tenemos muy pocos recursos por debajo del tamaño mínimo viable de población y nos extinguimos (lo cual es un estado atractor: una vez que te extingues, tiendes a permanecer extinto)— o bien en dirección ascendente, en cuyo caso alcanzamos la madurez tecnológica, iniciamos el proceso de colonización y el futuro de la vida inteligente originada en la Tierra podría ser entonces esta burbuja que se expande a una fracción significativa de la velocidad de la luz y acaba accediendo a todos los recursos cosmológicos que en principio son accesibles desde nuestro punto de partida. Es una cantidad finita: debido a la constante cosmológica positiva, parece que solo podemos acceder a una cantidad finita de cosas. Pero una vez que hemos empezado, una vez que hemos fundado un imperio intergaláctico, parece que podríamos seguir avanzando con alta probabilidad hacia esta conclusión natural.

Desde esa perspectiva podemos definir el concepto de riesgo existencial como aquel que amenaza la realización del potencial de valor que podríamos obtener accediendo a los bienes cosmológicos comunales, ya sea porque nos extinguimos o porque aun accediendo a todos los bienes cosmológicos comunales no los utilizamos para fines que sean beneficiosos, debido a que tenemos valores corrompidos o algo así.

Esto sugiere el principio MAXIPOK que Beckstead también mencionó: “maximizar la probabilidad de un resultado aceptable” (MAXImize the Probability of an OK outcome), entendiendo por “resultado aceptable” cualquier resultado que evite una catástrofe existencial:

arg max [- P(catástrofe existencial / acción)]

Eso es claramente, en el mejor de los casos, una regla general: no pretende ser un principio moral válido que sea cierto en todas las situaciones posibles. De hecho, si queremos pasar del principio original con el que empezamos a algo prácticamente tratable, tenemos que hacerlo depender de varios supuestos empíricos. Ese es el costo que tiene: se trata de hacer las suposiciones más débiles posibles y, al mismo tiempo, conseguir que sea lo más tratable posible. Creo que se trata de un compromiso razonable. En otras palabras, hay que tomar las medidas que minimicen la integral del riesgo existencial al que se enfrentará la humanidad. Esto no siempre nos dará la respuesta correcta, pero es un punto de partida. Hay otras cosas además de las que mencionó Beckstead: podría haber otros escenarios en los que esto diera la respuesta equivocada. Si pensáramos que existe un gran riesgo de catástrofe hiperexistencial, como algún tipo de escenario infernal, entonces podríamos aumentar ligeramente el nivel de riesgos existenciales para disminuir el riesgo de que no solo se produzca una catástrofe existencial, sino una catástrofe hiperexistencial. Otras cosas que podrían entrar en juego son los cambios de trayectoria que son menos drásticos y que solo suponen una pequeña desviación.

Para los fines que nos ocupan, podríamos considerar la sugerencia de utilizar la regla MAXIPOK como nuestro intento de definir la función de valor para los agentes utilitaristas:

Eval_utilitarista ≈ MAXIPOK

Entonces, la pregunta es: “Si quieres minimizar el riesgo existencial, ¿qué deberías hacer?”

Eval_MAXIPOK = ?

Sigue siendo un objetivo de muy alto nivel. Todavía tenemos que trabajar más para desglosarlo en componentes más tangibles.

No estoy seguro de que esta diapositiva encaje bien con el resto de la presentación: creo que pertenece a otra presentación. Tal vez es una forma diferente de decir algo de lo que acabo de decir: en lugar de pensar en la sostenibilidad como se la conoce comúnmente, como este concepto estático que es una suerte de estado estable al que debemos tratar de aproximarnos, donde no usamos más recursos de los que son regenerados por el medio ambiente natural, necesitamos, creo, pensar en la sostenibilidad en términos dinámicos, donde en lugar de alcanzar un estado, tratamos de entrar y permanecer en una trayectoria que es sostenible indefinidamente, en el sentido de que podemos seguir indefinidamente esa trayectoria, que conduce en una buena dirección.

Una analogía sería un cohete. Un estado estable para un cohete es en la plataforma de lanzamiento: puede permanecer allí durante mucho tiempo. Otro estado estable es si está en el espacio, ya que puede seguir viajando durante un tiempo aún más largo, tal vez, dado que no se oxida, etc. Pero en el aire, tienes este sistema inestable. Creo que ahí es donde está la humanidad ahora: estamos en el aire. El concepto de sostenibilidad estática sugiere que deberíamos reducir nuestro consumo de combustible al mínimo que nos permita mantenernos en el aire. Así, quizá, prolongaríamos la duración en la que podríamos permanecer en nuestra situación actual, pero tal vez lo que deberíamos hacer, en cambio, es maximizar el consumo de combustible para tener suficiente empuje para alcanzar velocidad de escape. (Y eso no es un argumento literal para quemar tanto combustible fósil como sea posible. Es solo una metáfora).

El punto aquí es que hay diferentes ejes que nos muestran que para alcanzar la utopía, o para tener la mejor condición posible, necesitamos tecnologías muy avanzadas: para poder acceder a los bienes cósmicos comunales, curar todas las enfermedades que nos aquejan, etc. Creo que para tener el mejor mundo posible, también necesitaremos una enorme cantidad de perspicacia y sabiduría, y una gran coordinación a fin de no utilizar la alta tecnología para hacernos la guerra unos a otros, etc.

Eval_MAXIPOK = f (sabiduría, coordinación, desarrollo tecnológico diferencial, …)

En última instancia, querríamos un estado en el que tuviéramos enormes cantidades de cada una de estas tres variables, pero eso deja abierta la cuestión de qué queremos más en nuestra situación actual. Podría ser, por ejemplo, que quisiéramos más coordinación y perspicacia antes de tener más tecnología de un determinado tipo. Es decir, que antes de disponer de varias tecnologías potentes, primero querríamos asegurarnos de que tenemos suficiente paz y comprensión para no utilizarlas con fines bélicos, y de que tenemos suficiente perspicacia y sabiduría para no volarnos accidentalmente por los aires con ellas. Una superinteligencia, claramente, parece ser algo que queremos en una utopía —es un nivel muy alto de tecnología—, pero podríamos querer un cierto grado de perspicacia antes de desarrollar la superinteligencia, para poder desarrollarla de la manera correcta. En cualquier caso, se puede empezar a pensar, por analogía con la situación del ajedrez por computadora, si hay diferentes características en las que se podría pensar como componentes de esta función de evaluación para el utilitarista (el MAXIPOK). Otro componente podría ser el principio de desarrollo tecnológico diferencial, que sugiere que deberíamos retrasar el desarrollo de tecnologías peligrosas y dañinas, es decir, aquellas que aumentan el riesgo existencial, y acelerar las tecnologías que reducen los riesgos existenciales. Este es nuestro primer esbozo: no se trata de una respuesta definitiva. Pero uno puede pensar que queremos mucha sabiduría, queremos mucha paz y cooperación internacionales y, en lo que respecta a las tecnologías, la cosa se complica un poco más: queremos un progreso más rápido en algunas áreas tecnológicas, quizás, y más lento en otras. Creo que se trata de tres grandes tipos de cosas que uno podría incluir en su función de evaluación.

Selección de causas y determinación del signo

Esto sugiere que, además de pensar en intervenciones o en causas, hay que pensar en el signo de los distintos tipos de cosas. Una intervención debe tener un alto efecto multiplicador, y una causa debe prometer intervenciones con un alto efecto multiplicador. No basta con que algo que uno pueda hacer tenga efectos positivos, también hay que pensar detenidamente en cuán positivos serían sus efectos en relación con otras cosas que uno podría hacer. No tiene sentido pensar en las causas sin pensar en cómo ver todas las oportunidades fáciles de aprovechar a las que se podría acceder. Así que gran parte de la reflexión gira en torno a eso. Pero cuando nos movemos en este plano más elevado, esta gran altitud donde aparecen estas consideraciones cruciales, entonces también parece valioso pensar en determinar el signo de diferentes parámetros básicos, tal vez incluso cuando no estamos seguros de cómo podríamos afectarlos. (El signo es, básicamente: ¿queremos más o menos de eso?) Podríamos inicialmente poner entre paréntesis cuestiones como el efecto multiplicador aquí, porque para orientarnos primero en el terreno podríamos querer posponer un poco esa cuestión en este contexto. Pero un buen indicador, es decir, un buen parámetro cuyo signo querríamos determinar, tendría que ser visible desde lejos. Es decir, si definimos alguna cantidad en términos que hacen muy difícil para cualquier intervención particular decir si contribuye positiva o negativamente a esta cantidad que acabamos de definir, entonces no es tan útil como indicador. Así que “maximizar el valor esperado”, digamos, es la cantidad que se podría definir. Pero no nos ayuda mucho, porque cada vez que intentamos hacer algo específico seguimos estando prácticamente tan lejos como antes. Por otro lado, si establecemos algún objetivo más concreto, como maximizar el número de personas en esta sala, o algo así, ahora podemos decir fácilmente cuántas personas hay, y tenemos ideas sobre cómo podemos maximizarlo. Así que cualquier acción que se nos ocurra podemos ver fácilmente cómo se relaciona con este objetivo de maximizar la gente en esta sala. Sin embargo, podríamos pensar que es muy difícil obtener razones sólidas para saber si más gente en esta sala es mejor, o si cabe suponer que hay aquí una curva en forma de U invertida. Un buen indicador debería alcanzar un compromiso razonable entre ser visible desde lejos y también ser tal que podamos tener razones de peso para estar seguros de su signo.

Algunos indicadores provisionales

He aquí algunos indicadores muy tentativos: son tentativos desde mi punto de vista, y supongo que también puede haber mucho desacuerdo entre diferentes personas. Se trata más bien de áreas de investigación. Pero puede ser útil solo para mostrar cómo se podría empezar a pensar en estas cuestiones.

¿Queremos un progreso más rápido o más lento en el hardware informático? Sospecho que queremos un progreso más lento. Y eso tiene que ver con los riesgos de la transición a la inteligencia artificial. Unas computadoras más rápidas facilitarían la creación de IA, lo que (a) probablemente haría que se produjera antes, lo que parece malo en sí mismo porque deja menos tiempo para el tipo de prevención relevante, de la que hay una gran necesidad; y (b) podría reducir el nivel de capacidad que se necesitaría para producir IA. Así pues, con una cantidad ridículamente grande de poder de cómputo seríamos capaces de producir IA sin tener realmente mucha idea de lo que estamos haciendo; cuando se está limitado por el hardware se podría necesitar más perspicacia y comprensión, y es mejor que la IA sea creada por personas que tengan más perspicacia y comprensión.

Esto no es ni mucho menos un argumento definitivo, porque hay otros riesgos existenciales. Si pensamos que estamos a punto de extinguirnos en cualquier momento, porque alguien desarrollará la nanotecnología, entonces es posible que queramos probar el comodín de la IA lo antes posible. En general, es lo que me parece mejor en este momento, pero uno puede hacer estos tipos de razonamiento.

¿Emulación de cerebro completo? Hicimos un análisis extenso de eso, específicamente, no acerca de si queremos tener emulación de cerebro completo, sino de si queremos tener más o menos financiación para la emulación de cerebro completo, más o menos recursos para desarrollarla. Este es uno de los posibles caminos hacia la superinteligencia de las máquinas y, por razones complicadas, creo que no es lo que queremos, pero eso es aún más incierto y en nuestro grupo de investigación tenemos muchas opiniones diferentes al respecto. (Si alguien está interesado en una en particular, podemos profundizar en ella en la discusión.)

¿Mejora biológica de la cognición en seres humanos? Sospecho que queremos avanzar más rápido en ese campo.

En mi libro Superinteligencia hablo de estas tres tecnologías, así como de la inteligencia artificial. ¿Inteligencia artificial? Creo que queremos que la IA avance un poco más despacio de lo que probablemente lo haga por defecto.

Otra pregunta es: Si hay una empresa o proyecto o equipo que desarrollará la primera IA con éxito, ¿cuánta ventaja queremos que tenga ese equipo sobre el segundo equipo que intenta lograrlo? Mi mejor conjetura es que queremos que tenga mucha ventaja, muchos años idealmente, de modo que puedan ir más despacio al final para implementar más medidas de seguridad, en lugar de ser parte de una carrera tecnológica reñida.

¿Soluciones al problema del control de la IA? Creo que queremos un progreso más rápido en eso, y esa es una de nuestras áreas de investigación, y algunos de nuestros amigos del Machine Intelligence Research Institute están aquí, también trabajando duro en eso. Salgamos del ámbito de la IA.

¿El movimiento del altruismo eficaz? Creo que es muy bueno en muchos aspectos que el movimiento crezca más rápido y mejor.

¿La paz y la cooperación internacionales? Sí, parece algo positivo.

¿Biología sintética? No. No hemos reflexionado mucho sobre esto, así que la respuesta podría cambiar, pero parece que podría acarrear riesgos existenciales, aunque también podría ser beneficiosa. En la medida en que podría permitir mejoras de la cognición, habrá una especie de tensión difícil de resolver.

¿Nanotecnología? No. Queremos que el progreso vaya más lento.

¿Crecimiento económico? En mi opinión, es muy difícil saber qué signo tiene. Y dentro de una comunidad de personas que han reflexionado mucho sobre ello hay, de nuevo, diferentes conjeturas sobre su signo.

¿Prevención de catástrofes a pequeña y mediana escala? Es muy difícil saber el signo de la prevención de los riesgos catastróficos globales que no alcanzan el nivel de riesgo existencial. Aquí estamos haciendo a un lado el efecto multiplicador: incluso solo saber si querríamos más o menos, si pudiéramos conseguirlo gratis, no es obvio. Por un lado, las catástrofes a pequeña escala podrían crear una respuesta inmune que nos hace mejores, pone en su lugar mejores salvaguardias, y cosas por el estilo, lo que podría protegernos de las cosas grandes. Si pensamos en catástrofes a mediana escala que podrían causar el colapso de la civilización —grandes según los estándares ordinarios, pero solo a mediana escala en comparación con las catástrofes existenciales, que son grandes en este contexto— de nuevo, no es totalmente obvio cuál es su signo: hay mucho más trabajo que hacer para intentar averiguarlo. Si la recuperación parece muy probable, entonces se podrían hacer conjeturas sobre si la civilización recuperada tendría más probabilidades de evitar una catástrofe existencial habiendo pasado por esta experiencia o no.

Se necesita mucho trabajo, pero estos son los parámetros en los que uno puede empezar a pensar. Es difícil apreciar lo complejo que es todo eso: incluso algunos parámetros que, desde el punto de vista del sentido común, parecen obvios, resultan ser bastante poco obvios cuando se empieza a pensar en cómo deberían encajar unos con otros. Supongamos que eres un administrador aquí en Oxford, que trabajas en el departamento de Ciencias de la Computación y que eres el secretario. Supongamos que encuentras alguna forma de hacer que el departamento funcione de forma ligeramente más eficiente: creas una lista de correo para que todo el mundo pueda, cuando tenga que hacer un anuncio, simplemente enviarlo por correo electrónico a la lista de correo en lugar de tener que poner a cada persona individualmente en el campo de dirección. Eso es algo útil, algo muy bueno: no ha costado nada, aparte del costo único, y ahora todo el mundo puede dedicarse a sus asuntos más fácilmente. Desde esta perspectiva, es muy poco obvio si eso es, de hecho, algo bueno. Podría estar contribuyendo a la inteligencia artificial, que podría ser el principal efecto de esto, aparte del muy pequeño efecto general sobre el crecimiento económico, que es cuestionable. Y probablemente has hecho el mundo peor en términos esperados por hacer esta pequeña mejora de la eficiencia. Así que este proyecto de tratar de pensar a través de esto es en cierto sentido un poco como la Umwertung aller Werte de Nietzsche (la transvaloración de todos los valores), proyecto que nunca tuvo la oportunidad de completar porque se volvió loco antes de empezar.

Posibles áreas con consideraciones cruciales adicionales

• Comercio contrafáctico
• Temas relacionados con la simulación
• Parálisis infinita
• Asaltos a Pascal
• Diferentes tipos de ética agregativa (total, media, negativa)
• Riesgos de la información
• Extraterrestres
• Universos pequeños
• Otros tipos de incertidumbre moral
• Otras cosas relativas a la teoría de juegos
• Metainducción pesimista; humildad epistémica; antrópica
• Insectos, subrutinas

Pues bien, estos son algunos tipos de áreas. (No voy a entrar en todas: solamente estoy dando ejemplos de los tipos de áreas en las que actualmente parece que todavía podría haber consideraciones cruciales.) Esto no es una lista exhaustiva de ninguna manera, y podemos hablar más sobre algunas de estas áreas. En cierto modo, van de lo más general, abstracto y poderoso, a lo más específico y comprensible por el razonamiento ordinario.

Por poner un ejemplo: insectos. Si eres un utilitarista clásico, esta consideración surge dentro de lo más mundano: estamos dejando de lado los bienes cosmológicos comunales y solo pensando aquí en la Tierra. Si los insectos son sintientes, entonces tal vez la cantidad de sintiencia en los insectos es muy grande, porque existen en una cantidad enorme. Así que tal vez el efecto de nuestras políticas sobre el bienestar de los insectos podría eclipsar el de nuestras políticas sobre el bienestar humano o de los animales en las granjas industriales y cosas por el estilo. No estoy diciendo que sea así, pero es una cuestión que no es obvia y que podría tener un gran impacto.

Subrutinas. Con ciertos tipos de inteligencia artificial hay procesos, como algoritmos de aprendizaje por refuerzo y otros subprocesos dentro de la IA. Quizá podría resultar que algunos de ellos tuvieran algún tipo de estatus moral. Tal vez habrá un número enorme de ejecuciones de estos subprocesos, de modo que si resulta que algunos de estos tipos de cosas cuentan moralmente, entonces tal vez los números de nuevo llegarían a dominar. Cada uno de ellos es todo un seminario por sí solo, así que no es algo en lo que podamos entrar.

Algunos remedios parciales

Entonces, ¿qué podemos hacer si sospechamos que puede haber consideraciones cruciales, algunas de ellas aún por descubrir? No tengo una respuesta clara. He aquí algunas cosas prima facie plausibles que uno podría intentar hacer:

• No actuar precipitadamente, sobre todo de forma irrevocable.
• Invertir en más análisis para encontrar y reunir las consideraciones cruciales que faltan. Por eso hago el tipo de trabajo que hago, así como los demás que también participan en esa empresa.
• Tener en cuenta que las variaciones del valor esperado son probablemente menores de lo que parecen cuando se hacen consideraciones globales. Digamos que eres un utilitarista, y que piensas en un nuevo argumento que tiene una implicación radical para lo que deberías hacer: el primer instinto podría ser cambiar radicalmente la utilidad esperada que asignas a diferentes políticas prácticas a la luz de este nuevo descubrimiento. Pero si reflexionas sobre el hecho de que de vez en cuando se descubren nuevas consideraciones cruciales, quizá debas cambiar tu valor esperado, pero no tanto como parece que deberías hacerlo a primera vista. Deberías reflexionar sobre esto a nivel meta.
• Usar modelos parlamentarios/mixtos. Si ampliamos nuestro panorama y consideramos no solamente el utilitarismo, ya que deberíamos considerar las cosas desde una perspectiva normativa menos restringida, entonces algo como el Modelo Parlamentario para tener en cuenta la incertidumbre normativa parece bastante sólido. Se trata de la idea de que si no estás seguro de cuál es la teoría moral verdadera, debes asignar probabilidades a las distintas teorías morales e imaginar que existe una especie de parlamento en el que cada teoría moral tiene que enviar delegados en proporción a su probabilidad. Entonces, en este parlamento imaginario, estos delegados de las diferentes teorías morales discuten, hacen concesiones y deciden qué hacer. Y entonces tú deberías hacer lo que ese parlamento moral personal habría decidido, como una especie de metáfora. La idea es que, en igualdad de condiciones, cuanta más probabilidad tenga una teoría moral, mayor será su influencia a la hora de determinar tus acciones, pero también puede haber intercambios entre diferentes teorías morales, de los que creo que Toby Ord habló en su presentación. Esta es una metáfora de cómo concebir esos elementos. Puede que no sea exactamente la forma correcta de pensar sobre la incertidumbre normativa fundamental, pero parece acercarse en muchas situaciones, y parece ser relativamente sólida en el sentido de que es poco probable que tenga una implicación totalmente descabellada.
• Centrarse más en objetivos convenientes y de corto plazo. Cuanto más nos desesperamos por tener alguna idea coherente sobre cómo maximizar el bienestar agregativo en este contexto cosmológico, tanto mayor parece la voz efectiva de otro tipo de cosas a las que uno podría estar dando importancia. Así que si eres en parte egoísta y en parte altruista, entonces si dices que el componente altruista está en este tipo de escalera de deliberación, tal vez deberías inclinarte más hacia la parte egoísta, hasta que puedas encontrar estabilidad en tus deliberaciones altruistas.
• Centrarse en desarrollar nuestra capacidad como civilización para deliberar sabiamente sobre este tipo de cosas. Desarrollar nuestra capacidad, en lugar de perseguir objetivos muy específicos, y por capacidad en este contexto parece que quizá deberíamos centrarnos menos en los poderes y más en la propensión a usar bien los poderes. Esto sigue siendo bastante vago, pero algo en esa dirección general parece claramente deseable. Ciertamente, podría surgir una consideración crucial que demostrara que eso no era lo correcto, pero sigue pareciendo una suposición razonable.

Eso es todo. Gracias.

---

Esta es una traducción directa del artículo original, publicado bajo licencia CC BY 4.0.