Por qué creo que desarrollar el altruismo eficaz es importante para hacer que la IA tenga un impacto benéfico

Contraargumento: Las agendas están empezando a tomar forma, por lo que esto ya no es tan cierto como antes

Respuesta: Puede que ahora sepamos un poco mejor que antes lo que hay que hacer, especialmente en ámbitos concretos, como la gobernanza de los chips. Pero creo que seguimos avanzando en gran medida a tientas, sobre todo si pensamos en la forma de hacer que la IAG tenga un impacto benéfico en sentido amplio. Recientemente han surgido muchos motivos de preocupación, como las tomas de poder por medio de la IA, y los investigadores aún están tratando de averiguar cuál es exactamente el problema y qué se debería hacer al respecto.

2. Hacer que la IAG tenga un impacto benéfico requiere un movimiento que piense en términos morales de manera explícita

Pienso así por dos razones:

• Si estamos en lo cierto al priorizar el problema de cómo hacer que el impacto de la IAG sea benéfico —es decir, si es correcto que la trayectoria de la IA bien podría influir profundamente en el futuro—, entonces la IA avanzada planteará decisiones realmente difíciles, importantes y novedosas con enormes repercusiones morales.
  • Creo que esto requiere un movimiento de moral y principios explícitos, no solo porque lo que está en juego para el mundo es enorme, sino porque debemos ser capaces de ejercer y fomentar la innovación moral, tratando de encontrar respuestas para preguntas como estas: ¿Qué sería realmente bueno o correcto en esta situación radicalmente nueva? o ¿qué nuevas estructuras podrían lograr esto?. Si el mundo se transforma radicalmente a causa de la IA, no será tan obvio lo que debemos hacer basándonos en la moral de sentido común.⁠d
• El campo de la IA está expuesto a la influencia de las exageraciones, de los grandes capitales, de la política, del poder y de las tendencias, lo que significa que habrá fuertes incentivos para hacer cosas que no estén alineadas con el bien. (Y si es cierto que la IA va a cobrar aún más importancia, esto se acentuará con el tiempo).
  • Una función principal de las comunidades morales es que ayudan a las personas a resistir ante estos otros incentivos, recompensándolas por hacer lo correcto en lugar de lo que sea popular o rentable.

Contraargumento: Los movimientos no necesitan ser morales de manera explícita para ser moralmente buenos, que es lo que realmente importa

Respuesta: Creo que intentar particularmente ser moral, o “moral de dicto”, es importante para adaptarse a situaciones nuevas de alto riesgo, porque tenemos que razonar sobre lo que es correcto o bueno y luego actuar en consecuencia.

Creo que ser moralmente bueno sin un razonamiento moral explícito es mucho más fácil en situaciones en que nuestra experiencia o un razonamiento moral previo relevante bastan para dar forma a nuestras opiniones implícitas sobre la bondad moral, de tal modo que estas sean correctas. Pero si la IA transforma el mundo de un modo nunca antes visto, no estaremos en una de esas situaciones.

3. El altruismo eficaz (A) es capaz, al menos en cierta medida, de preparar a las personas para tomar buenas decisiones con flexibilidad y (B) está explícitamente centrado en la moral

(A) El altruismo eficaz, al menos en cierta medida, prepara a las personas para tomar buenas decisiones con flexibilidad

Como se centra en algo tan abstracto como hacer el bien de manera eficaz per se, los métodos, los proyectos y los objetivos intermedios del altruismo eficaz están permanentemente sujetos a renegociación. Esto tiene sus desventajas, pero es una forma de mantener la flexibilidad.

Los materiales de divulgación del altruismo eficaz se centran generalmente en explicar conceptos, argumentos y hechos empíricos importantes. Incluso los materiales que abogan por causas particulares, como los perfiles de problemas de 80 000 Horas, buscan explicar “el porqué” y señalar las incertidumbres.

Conceptos como la sensibilidad al alcance, los mecanismos de coordinación y la posesión de estatus moral, que suelen ser centrales para las formas de pensar del altruismo eficaz, pueden ayudar a las personas a razonar sobre cuestiones complejas futuras a medida que surjan.

Empíricamente, las personas que se forman en el altruismo eficaz parecen razonar con bastante independencia sobre nuevas cuestiones y situaciones; esto también se refleja en la heterogeneidad de los proyectos, lo que sugiere que la gente reflexiona activamente sobre cómo aplicar estas ideas a diferentes situaciones y con diferentes supuestos. (Probablemente, esto se deba en parte a la presentación deliberada del altruismo eficaz como una pregunta.)

(B) El altruismo eficaz está explícitamente centrado en la moral

De ahí lo de “altruismo”.

Creo que no es casualidad que el altruismo eficaz haya sido moralmente innovador en el sentido de averiguar lo que podría significar hacer el bien cuando tenemos en cuenta hechos descriptivos sorprendentes, nuevos o poco estudiados, en los que creemos o a los que atribuimos un grado considerable de creencia.

Ideas como ganar para donar, el largoplacismo, la filantropía paciente, el bienestar de los invertebrados, los riesgos S, etc., son todas, en mi opinión, ejemplos de innovación moral.

Por supuesto, la comunidad del altruismo eficaz también se distrae con las tendencias, el poder, la política, el dinero y las exageraciones, pero creo que sus aspiraciones explícitamente morales le dan más herramientas para resistir esas cosas y para pensar de forma rigurosa y original sobre lo que es correcto.

Contraargumento: un movimiento diferente, flexible y explícitamente moral podría ser mejor para hacer que la IAG tenga un impacto benéfico

Quizás sea así. El movimiento del altruismo eficaz está sin duda lejos de ser perfecto a la hora de fomentar un comportamiento moralmente bueno o ayudar a las personas a pensar por sí mismas. Y puesto que el altruismo eficaz no se centra específicamente en que la IAG tenga un impacto benéfico, prima facie existen razones para centrarse en otro movimiento o comunidad.

Dicho esto, no veo candidatos que sean obviamente mejores que el altruismo eficaz para desempeñar este papel (véase el siguiente apéndice).

¿Debería haber algo nuevo?

Creo que hay razones para crear un nuevo movimiento que sea explícitamente flexible e impulsado por la moral y cuyo objetivo sea únicamente lograr que la IAG tenga un impacto benéfico. Sin embargo, desde un punto de vista práctico, eso parece bastante difícil y probablemente fracasaría; además, llevaría tiempo y quizá complicaría las cosas. Creo que el altruismo eficaz no se aleja demasiado de esas características, así que me inclino a trabajar con lo que ya tenemos.

Apéndice: ¿Cuáles son las alternativas relevantes?

Debo advertir que mi conocimiento de estos otros movimientos no es lo suficientemente profundo como para tener la certeza de que estas evaluaciones son correctas.

Doble advertencia: no estoy diciendo que estas comunidades no sean geniales y útiles de varias maneras, sino que creo que, comparadas con el altruismo eficaz, todas son menos flexibles, explícitamente morales y moralmente innovadoras. El objetivo es explicar por qué creo que el altruismo eficaz puede desempeñar un papel importante a la hora de trabajar para que el impacto de la IAG sea benéfico.

¿Los racionalistas?

• ¿Son flexibles/tratan de preparar a las personas para resolver problemas novedosos por sí mismas? ✅
• ¿Son moralmente innovadores? ✅ (intercambio no causal, etcétera)
• ¿Están centrados en que la IAG tenga un impacto benéfico? ✅
• Sin embargo, al racionalismo le interesa menos hacer el bien que mejorar el razonamiento humano y la toma de decisiones, construir modelos precisos del mundo, etc. ❌
• Notas adicionales
  • Personalmente, suelo discrepar con más frecuencia de las opiniones morales que son comunes entre los racionalistas, por lo que esta alternativa me entusiasma menos desde esa perspectiva.
  • La comunidad de la racionalidad también tiene algunos ejemplos de personas que se descarrían y hacen algo perjudicial, aunque es difícil decir que supere al altruismo eficaz en este respecto (pensemos en SBF).

¿La comunidad de la seguridad de la IA actual, en la medida en que es distinta del altruismo eficaz y del racionalismo?

Ejemplos: investigadores de alineación en instituciones académicas y empresas de IA, redes e iniciativas de gobernanza de la IA, etc.

• ¿Es flexible/trata de preparar a las personas para resolver problemas novedosos por sí mismas? ❓ ❓
  • Hasta donde yo sé, parte del valor agregado de esta comunidad es que está más centrada en la acción profesionalizada y concreta, sin ocuparse de reconsiderar o pensar las cuestiones desde los principios básicos, por lo que no parece la más indicada para hacer un gran trabajo en este ámbito.
  • Creo que también se centra bastante en preocupaciones de carácter humano y geopolítico sobre la desalineación y el uso malintencionado, y no tanto en que las cosas sean buenas en un sentido amplio. Me parece que, por ejemplo, esta es la razón por la que la comunidad de la seguridad de la IA tiene una relación incómoda con cuestiones como la posibilidad de que los sistemas de IA deban tomar el control algún día o de que deban tener algunos derechos, en caso de que eso pudiera entrar en conflicto con el bienestar de la humanidad.
• ¿Es moral de manera explícita? ❓ ❌
  • Creo que la tendencia a profesionalizarse o a ser más “normal” entra en conflicto con la práctica continua de un razonamiento moral explícito, si bien a veces se usa un lenguaje moral. Mi impresión es que este lenguaje moral se usa con más frecuencia en la intersección de esta comunidad con el altruismo eficaz y el racionalismo.
• ¿Es moralmente innovadora? ❌
  • De un modo similar, hasta donde yo sé, esta comunidad quiere alejarse de las “grandes cuestiones morales” y promover la adopción de medidas sensatas, idealmente presentándolas como algo sencillo y de sentido común, en lugar de filosófico
  • Dicho esto, no es un bloque monolítico, aunque probablemente haya algo de eso.

Para que quede claro, creo que desde 80 000 Horas también deberíamos tratar de difundir las ideas de la comunidad de la seguridad de la IA y ayudar a que la gente se involucre en ella (¡en nuestra página sobre la comunidad hablamos de ambas cosas!). Pero no creo que actualmente esté cumpliendo todas las funciones importantes en este ámbito, lo que me lleva a pensar que también son necesarias otras formas de pensar como la del altruismo eficaz.

Otra opción sería intentar fomentar las cualidades propias del altruismo eficaz mencionadas anteriormente —impulsado por la moral, innovador y flexible— en la comunidad de la seguridad de la IA, de modo que sea capaz de cubrir un mayor número de funciones necesarias. Creo que también sería una estrategia razonable y podría imaginarme adoptándola también.

¿La School of Moral Ambition?

Podría tener los ingredientes clave, aunque no parece centrarse en absoluto en la IA, por lo que, si fuera a contribuir mucho en este campo, tendrían que dar un gran giro.

• ¿Es flexible/trata de preparar a las personas para resolver problemas novedosos por sí mismas? ❓
  • ¡Probablemente sí! No sé lo suficiente sobre ellos, pero no veo nada que lo contradiga.
• ¿Es moral de manera explícita? ✅
  • ¡Sí!
• ¿Es moralmente innovadora?
  • Podría serlo pronto (aún están en una fase muy temprana), pero creo que todavía no ❓ ❌

Apéndice 2: notas anónimas de otras personas

He copiado y pegado aquí de forma anónima la mayoría de los comentarios sustantivos al memorándum, para mostrar lo que pensaban los demás asistentes. He omitido varios comentarios de asentimiento, además de algunos que no obtuve permiso para compartir.

Estoy de acuerdo. Mi perspectiva actual sobre esto es que, en este momento, la gente no necesita el altruismo eficaz como punto crucial para trabajar en la seguridad de la IA, pero estamos en un período de tiempo extremadamente breve en el que eso es cierto. Antes de que esto se generalizara, la gente tenía que ser lo suficientemente rara como para darse cuenta de su importancia, y pronto habrá cuestiones sobre la creación de diferentes tipos de futuros de la inteligencia artificial que tendrán enormes implicaciones.

Además, parece que muchas de las personas más entusiasmadas con trabajar en la seguridad de la IA llegaron a este campo por medio del altruismo eficaz, lo que ha seguido siendo cierto durante mucho tiempo, incluso después de que hubiera margen para que esa hipótesis se demostrara falsa.

—> Respuesta:

Dado el número de personas involucradas, creo que un punto crucial aquí es lo entusiasmada que está la gente con que personas ajenas al altruismo eficaz trabajen en laboratorios, en particular en Anthropic.

Una reflexión adicional: esto [un mundo completamente cambiado por la IA] ocurrirá en un mundo en el que la IA podrá amplificar enormemente la eficacia de nuestra inteligencia, razonamiento y comprensión, pero la mayoría de la gente tardará en utilizar las herramientas de IA relevantes y en sacarles el máximo partido.

[Sobre el hecho de que hay muchos incentivos en IA no alineados con el bien.]

Y solo a partir del trabajo de una persona en IA, puede ser más difícil evaluar su grado de motivación altruista.

[Sobre el hecho de que los materiales de divulgación del altruismo eficaz a menudo explican los motivos para priorizar diversas cuestiones, mostrando así los conceptos en la práctica.]

[Un detalle:] Creo que vale la pena desentrañar en qué manera esto tiene impacto:

(1) filtrar a personas que se sirven de este tipo de conceptos.

(2) averiguar la economía de escala que resulta de hacer que tales personas formen una red y

(3) de incorporar a esa red nuevas personas que aprendan rápidamente los conceptos relevantes.

Creo que esos puntos son importantes.

Por el contrario, creo que enseñar los conceptos en sí mismos no sirve de mucho; solo funcionan realmente si impulsan alguna forma embrionaria de altruismo eficaz.

—> Respuesta:

Interesante. Creo que, como comunidad, a menudo impulsamos alguna forma embrionaria de altruismo eficaz o popularizamos los conceptos con este tipo de material, en lugar de meramente utilizarlos como filtro.

Solo para que conste (y, obviamente, es una opinión personal que no tiene por qué representar al altruismo eficaz), no pienso en los temas del altruismo eficaz en términos particularmente morales o, al menos, no lo hago utilizando ese lenguaje. Pienso en términos de “problemas y oportunidades”. Lo que sucede es que, al intentar priorizarlos, a menudo he llegado a proyectos y personas que se asocian con el altruismo eficaz.

Probablemente muchos llamarían a esto sutilezas semánticas… Supongo que es un tema que da para largo.

—> Respuesta:

¡Creo que es relevante! Algunas personas piensan en el altruismo eficaz en términos menos morales. Mi opinión es que deberíamos pensar en él en términos morales, y creo que mucha gente lo hace; pero también es cierto que las opiniones están divididas al respecto. (Esto me recuerda a una conversación de hace años sobre la “responsabilidad frente a la oportunidad”).

[Sobre la disyuntiva entre intentar desarrollar un nuevo movimiento centrado en que la IAG tenga un impacto benéfico o desarrollar el altruismo eficaz.]

Yo también estoy de acuerdo con este razonamiento. Me parece que:

(i) Por el momento, no existe un movimiento que sea exactamente como el que podríamos diseñar si nos centráramos en “hacer que la IAG tenga un impacto benéfico”.

(ii) Pero, en realidad, el altruismo eficaz está bastante cerca, y más que cualquier otro movimiento.

(iii) Y crear algo nuevo parece algo impracticable dados los plazos actuales (y probablemente también peor, por razones de regresión a la media).

Publicación original: Arden Koehler (2025) Why I think building EA is important for making AI go well, Effective Altruism Forum, 24 de septiembre.