El altruismo eficaz en la era de la IAG
Esta publicación se basa en un memorándum que escribí para el Meta Coordination Forum de este año. Véase también el reciente artículo de Arden Koehler, que toca muchos puntos similares.
El movimiento del altruismo eficaz se encuentra en una encrucijada. Ante el rapidísimo progreso de la IA y el auge del movimiento por la seguridad de la IA, algunos ven el altruismo eficaz como un movimiento que ya es historia, destinado a desaparecer; otros piensan que deberíamos volver a centrarnos mucho más en áreas de trabajo “clásicas” como la salud global y el bienestar animal.
Defiendo una tercera vía: el altruismo eficaz debería asumir la misión de garantizar una transición exitosa a una sociedad con IAG, ampliando significativamente el alcance de nuestra área de trabajo más allá de la tradicional seguridad de la IA. Esto significa trabajar en áreas desatendidas como el bienestar, el carácter y la persuasión de la IA, la disrupción epistémica, la concentración del poder humano, la gobernanza del espacio, entre otras (sin dejar de trabajar en la salud global, el bienestar animal, la seguridad de la IA y el riesgo biológico).
Estas áreas de trabajo adicionales son extremadamente importantes y están desatendidas, y se benefician particularmente de una mentalidad alineada con el altruismo eficaz (búsqueda de la verdad, sensibilidad al alcance, disposición a cambiar de opinión rápidamente). Creo que la participación de más gente en estas otras áreas constituiría uno de los mayores éxitos para el desarrollo del movimiento del altruismo eficaz en este momento; en general, sería algo más valioso que el trabajo marginal de seguridad técnica o el de gobernanza relacionado con la seguridad. Si podemos llevarlo a cabo, esto representa una oportunidad de impacto potencialmente enorme para el movimiento del altruismo eficaz.
Recientemente, se ha puesto un mayor énfasis en un altruismo eficaz que “prioriza los principios”, lo que me parece muy bien. Pero me preocupa que, en la práctica, este enfoque pueda convertirse en una excusa para anclarse en las áreas de trabajo ya existentes, en lugar de una invitación a averiguar en qué otras áreas deberíamos centrarnos. Un enfoque basado en principios significa estar genuinamente dispuesto a cambiar de dirección a la luz de nueva evidencia; si el mundo ha cambiado espectacularmente, es de esperar que nuestras prioridades cambien también.
Esta tercera vía requerirá mucha agilidad intelectual y voluntad para cambiar de opinión. Después de FTX, gran parte del altruismo eficaz adoptó una “mentalidad orientada a las relaciones públicas” que, en mi opinión, ha perdurado y es contraproducente. El altruismo eficaz es intrínsecamente controvertido porque decimos cosas que no son populares y, en vista los acontecimientos recientes, seremos controvertidos de todos modos. Esto es liberador: podemos centrarnos en presentar argumentos que consideramos verdaderos e importantes, con valentía y honestidad, en lugar de limitarnos con una cautela excesiva.
El progreso de la IA ha avanzado muy rápido, mucho más rápido de lo que la mayoría de la gente preveía.a La seguridad de la IA se ha convertido en un campo por derecho propio, con su propio impulso y con un conjunto independiente de instituciones. Puede dar la sensación de que, en cierto modo, este campo está devorando al altruismo eficaz: por ejemplo, en los campus universitarios, los grupos de seguridad de la IA suelen desplazar a los grupos de altruismo eficaz.
He notado que la gente ha adoptado un par de actitudes distintas frente al altruismo eficaz.:
Recibo mucha energía de tipo (1) de, por ejemplo, la oficina de Constellation y otras personas muy involucradas en la seguridad y la gobernanza de la IA. He recibido energía de tipo (2) de una manera más difusa de algunas conversaciones que he tenido y de debates en Internet; a veces me parece que el enfoque de “priorizar los principios” del altruismo eficaz (con el que estoy totalmente de acuerdo) puede utilizarse en la práctica como excusa para una actitud de “promover la combinación clásica de áreas de trabajo”.
Creo que el enfoque correcto es una tercera vía:c
Para ser más preciso y concreto, me refiero a algo así:
En términos más generales, me gusta pensar en la situación de esta manera:
Creo que la tercera vía es el enfoque correcto, por dos razones de peso:
Una tercera posible razón es la siguiente:
Las abordaré una por una.
Actualmente, estas son las principales áreas de trabajo del altruismo eficaz:
En el enfoque de la “tercera vía”, que asume la misión de lograr que la transición a una sociedad con IAG sea exitosa, el menú podría ser más parecido al siguiente (aunque cabe señalar que esta enumeración es más ilustrativa que exhaustiva, no sigue ningún orden de prioridad y, en la práctica, no todos sus elementos tendrían el mismo pesod):
Creo que el movimiento del altruismo eficaz tendría un mayor impacto si las personas y el dinero estuvieran más repartidos entre estas áreas de trabajo de lo que lo están en la actualidad.
Expongo los argumentos básicos sobre la importancia de algunas de estas áreas, y explico con más detalle qué son, en Preparing for the intelligence explosion (véase especialmente la sección 6) y la serie Better Futures (véase especialmente el último ensayo).f El punto clave es que hay mucho por hacer para que la transición a un mundo con IAG sea exitosa; y gran parte de este trabajo no queda cubierto de forma natural por la seguridad de la IA y la bioseguridad.
Estas áreas están inusualmente desatendidas. La cantera de profesionales de la seguridad de la IA es mucho más sólida que la de estas otras áreas, gracias al programa MATS y otras becas; la cantera para muchas de estas otras áreas es casi inexistente. Y los incentivos habituales para dedicarse a la investigación técnica en seguridad de la IA (en el caso de algunos empleadores, al menos) son muy atractivos: participaciones en la empresa, un salario inicial del orden de 1 millón de dólares al año, un puesto emocionante y de alto estatus, en medio de toda la acción, y trabajar con otras personas inteligentes. Compárese esto con las campañas públicas, por ejemplo, en las que se gana mucho menos y se recibe mucho más odio.g
Estas otras áreas de trabajo también son inusualmente afines al altruismo eficaz, en el sentido de que se benefician especialmente de la mentalidad del altruismo eficaz (es decir, seriedad ética, búsqueda intensa de la verdad, alto grado de desacoplamiento, sensibilidad al alcance, cosmopolitismo fuerte, ambición y disposición a tomar acciones personales costosas).
Si el progreso de la IA continúa como espero, en los próximos diez años el mundo cambiará radicalmente como resultado de las nuevas capacidades de la IA, las nuevas tecnologías y las respuestas de la sociedad a esos cambios. También aprenderemos muchísimo más del progreso intelectual impulsado por la IA. Para hacer el mayor bien posible, la gente deberá ser extremadamente ágil y estar dispuesta a cambiar de opinión, algo que no suele ser habitual en la mayoría de las personas.
La principal advertencia, en mi opinión, es que, por el momento, estas otras áreas tienen mucha menos capacidad de absorción que la seguridad y la gobernanza de la IA: aún no existe un ecosistema próspero de organizaciones y becas, etc., que facilite el trabajo en estas áreas. Eso significa que preveo que habrá un período durante el cual: (i) haya mucho debate sobre estas cuestiones; (ii) algunas personas trabajen en la creación del ecosistema necesario o en la investigación necesaria para determinar cuáles son los caminos más viables; pero (iii) la mayoría de las personas elijan otras carreras profesionales, con vistas a dar el salto cuando el área esté más madura. Esta situación me recuerda mucho el riesgo de toma de poder por parte de la IA o al riesgo biológico alrededor de 2014.
Actualmente, el ecosistema del altruismo eficaz en Internet no se siente como un lugar lleno de ideas nuevas y emocionantes, de manera que resulte atractivo para la gente inteligente y ambiciosa:
Las cosas no son desastrosas ni irrecuperables, y todavía hay mucho potencial. (Por ejemplo, me pareció que EAG Londres fue vibrante y emocionante, y en general las reuniones presenciales siguen siendo estupendas). Pero creo que estamos lejos de donde podríamos estar.
Me parece una ventaja muy afortunada que estas otras áreas de trabajo sean tan intelectualmente fértiles; hay muchas preguntas sin respuesta y muchas disyuntivas complejas con las que lidiar. Un movimiento de altruismo eficaz que se involucrara mucho más en estas áreas tendría, por su naturaleza, una intensa vitalidad intelectual.
También me parece que hay muchísimas oportunidades al alcance de la mano en esta área. Por un lado, ya se está realizando una gran cantidad de análisis con sabor a altruismo eficaz, por parte de altruistas eficaces o de personas afines al movimiento, solo que la mayor parte tiene lugar en persona, en canales privados de Slack o en documentos de Google. Y cuando he compartido el contenido de esta publicación con veteranos del altruismo eficaz que ahora se centran en la IA, los comentarios que he recibido reflejan un intenso amor por el movimiento y un gran interés (en igualdad de condiciones) por hacer que el altruismo eficaz vuelva a ser grande; es solo que están muy ocupados y no les resulta evidente qué podrían hacer.
Creo que es probable que esta sea una situación en la que podríamos acabar en múltiples equilibrios. Si el altruismo eficaz en línea no parece intelectualmente vibrante, entonces no es un lugar atractivo en el cual participar intelectualmente; si parece vibrante, entonces sí lo es. (LessWrong ya ha vivido esta dinámica: cayó en un relativo declive antes de que LessWrong 2.0 lo relanzara como una comunidad intelectual activa).
Esas son mis principales razones para querer que el altruismo eficaz tome la tercera vía. Pero hay un argumento adicional que otros me han recalcado: incluso solo para la seguridad de la IA o la reducción del riesgo biológico, la gente del altruismo eficaz tiende a tener un impacto mucho mayor que la ajena al movimiento.
Desgraciadamente, muchos de estos ejemplos son delicados y no he obtenido permiso para hablar de ellos, así que, en su lugar, citaré a Caleb Parikh, quien nos da una idea al respecto:
Algunos “influencers dedicados a que la IAG tenga un impacto benéfico” que han comentado o publicado en el EA Forum y que, en mi opinión, son como mínimo afines al movimiento, incluyen a Rohin Shah, Neel Nanda, Buck Shlegeris, Ryan Greenblatt, Evan Hubinger, Oliver Habryka, Beth Barnes, Jaime Sevilla, Adam Gleave, Eliezer Yudkowsky, Davidad, Ajeya Cotra, Holden Karnofsky… La mayoría de estas personas trabajan en seguridad técnica, pero creo que lo mismo puede decirse, en términos generales, de la gobernanza de la IA y otras áreas dedicadas a “lograr que el impacto de la inteligencia artificial general sea benéfico”.
Esto no es una coincidencia. El trabajo más valioso suele provenir de una comprensión profunda del panorama general, de ver algo muy importante que casi nadie está haciendo (por ejemplo, el control o la seguridad de la información) y dedicarse a ello. A veces, implica tomarse en serio acciones personalmente difíciles (por ejemplo, Daniel Kokotajlo renunció a una gran parte de la fortuna de su familia para poder hablar libremente).
Buck Shlegeris también me ha recalcado la importancia de tener una base intelectual común con otras personas dedicadas a la seguridad, para poder colaborar bien. Ryan Greenblatt da más razones a favor del desarrollo de la comunidad largoplacista aquí.
Si existe una probabilidad muy alta de una toma de poder por parte de la IA (¡referencia obligatoria!), entonces mis dos primeros argumentos, al menos, pueden parecer muy débiles porque, en esencia, lo único que importa es reducir ese riesgo. Y es cierto que tengo un interés inusual en las áreas de trabajo relacionadas con la preparación para la IAG que no impliquen una toma de poder, razón por la cual estoy invirtiendo tiempo en escribir esto.
Pero el carácter general de este artículo no corresponde a una idiosincrasia de Will. He hablado con varias personas cuya estimación del riesgo de toma de poder por parte de la IA es mucho mayor que la mía y que están de acuerdo (en mayor o menor medida) con la importancia de las áreas de trabajo distintas de la desalineación y la bioseguridad, y comprenden que estas otras áreas son de particular importancia para el altruismo eficaz.
Si esto es cierto, ¿por qué no hay más gente alzando la voz al respecto? El problema es que, en la actualidad, muy pocas personas se centran realmente en la priorización de causas, en el sentido de tratar de averiguar en qué nuevas áreas deberíamos trabajar. Hay mucho por hacer y, como es comprensible, la gente está absorta trabajando en desafíos de nivel objeto.
Antes de pasar a qué hacer en concreto, comentaré brevemente tres cuestiones relacionadas, ya que creo que afectan al camino correcto a seguir.
Últimamente se ha hecho mucho hincapié en el altruismo eficaz que “prioriza los principios”, y estoy totalmente de acuerdo con ese enfoque. Pero esto significa cambiar de opinión sobre qué hacer, a la luz de nueva evidencia y argumentos, y a medida que llega nueva información sobre el mundo. Me preocupa que, en la práctica, dicho enfoque pueda utilizarse como pretexto para seguir con “las mismas áreas de trabajo de siempre”.h
Creo que la gente puede confundirse al pensar en la “IA” como un área de trabajo, en lugar de pensar en un determinado conjunto de predicciones sobre el mundo que tienen implicaciones para la mayoría de las cosas que podrían importarle. Incluso en las áreas de trabajo “clásicas” (p. ej., el desarrollo global), hay un potencial enorme en tomarse en serio la próxima transformación impulsada por la IA; por ejemplo, pensando en cómo se puede estructurar la transición para que beneficie en la medida de lo posible a los más pobres del mundo.
He oído a gente decir que he cambiado mi enfoque del altruismo eficaz a la IA. Pero creo que sería un gran error pensar que enfocarse en la IA es distinto a enfocarse en el altruismo eficaz. i Desde mi punto de vista, no he abandonado en absoluto mi enfoque en el altruismo eficaz. Simplemente estoy haciendo lo que los principios del altruismo eficaz sugieren que haga: a la luz de un mundo en rápida evolución, averiguar cuáles son las máximas prioridades, dónde puedo aportar más valor y centrarme en esas áreas.
Desde una fría perspectiva economicista, se puede pensar en la comunidad del altruismo eficaz como una máquina para convertir el dinero y el tiempo en bien:j
Desde hace uno o dos años, se ha prestado mucha atención a aumentar los recursos. Creo que esto fue importante, sobre todo para recuperar el impulso, y me alegro de que ese esfuerzo haya tenido bastante éxito. Sigo pensando que el crecimiento del altruismo eficaz es extremadamente valioso y que alguna organización (por ejemplo, Giving What We Can) debería centrarse de lleno en el crecimiento.
Pero en este momento creo que es aún más valioso, en el margen actual, intentar mejorar la capacidad del altruismo eficaz para convertir esos recursos en valor; lo que en sentido amplio llamaré la cultura del altruismo eficaz. A veces a esto se le llama “dirigir”, pero creo que es una metáfora errónea: la idea de intentar apuntar hacia un destino muy concreto. Prefiero la analogía del cultivo, como cultivar una planta y tratar de asegurarse de que esté sana.
Hay varias razones por las que creo que, en el margen actual, es más importante cultivar la cultura del altruismo eficaz que aumentar los recursos:
Tras el caso FTX, creo que el núcleo del altruismo eficaz adoptó una “mentalidad orientada a las relaciones públicas” que (i) ha sido un fracaso en sus propios términos y (ii) corroe el alma del movimiento.
Por “mentalidad de orientada a las relaciones públicas” me refiero a pensar en las comunicaciones desde la perspectiva de “¿qué es bueno para la marca del altruismo eficaz?”, en lugar de centrarse en preguntas como “¿qué ideas son verdaderas, interesantes, importantes, infravaloradas y cómo podemos difundirlas?”.k
Entiendo esto como una reacción inmediata tras el colapso de FTX: fue un momento extremadamente difícil, y no pretendo saber cuáles fueron las decisiones correctas en ese período. Pero me parece que la mentalidad centrada en las relaciones públicas ha perdurado.
Creo que esta mentalidad ha sido un fracaso en sus propios términos porque… bueno, se ha hablado mucho de mejorar la marca del altruismo eficaz en los últimos dos años, y ¿qué hemos conseguido? No quiero ser duro, pero creo que el principal efecto ha sido el debilitamiento del discurso del altruismo eficaz en Internet, lo que ha provocado que más gente crea que se trata de un movimiento anclado en el pasado.
Esto también coincide con mi perspectiva tras interactuar con “expertos en relaciones públicas”, quienes, en mi opinión, generalmente aportan poco, pero en efecto le dan a la comunicación un tono más publicitario, de una forma que genera rechazo en casi todo el mundo. Creo que el enfoque estándar de las relaciones públicas puede funcionar si eres una megacorporación o un político, pero nosotros no somos ninguna de esas cosas.
Y creo que esta mentalidad corroe el alma del altruismo eficaz porque, en cuanto dejas de centrarte rigurosamente en averiguar lo que es verdad, es casi seguro que adoptarás creencias equivocadas y te centrarás en las cosas equivocadas, con lo que perderás la mayor parte del impacto. Dadas las distribuciones de cola gruesa del impacto, equivocar un poco el foco puede significar que el bien que hagas sea 10 veces menor del que podrías haber hecho. Peor aún, es fácil que acabes teniendo un efecto negativo en lugar de positivo.
Y esto se vuelve particularmente cierto en la era de la IAG. Una vez más, cabe esperar enormes cambios e ideas intelectuales impulsadas por la IA (y propaganda impulsada por la IA); sin un enfoque intenso en entender cómo funcionan las cosas, nos perderemos los cambios o las ideas que deberían hacernos cambiar de opinión, o no estaremos dispuestos a entrar en áreas fuera de la ventana de Overton actual.
He aquí una perspectiva diferente:
En borradores anteriores, descubrí que algunas personas me malinterpretaban, atribuyéndome una postura más extrema de la que realmente tengo. Por ello, a continuación presento una serie de aclaraciones rápidas (que puedes omitir si lo deseas):
¿Estás diciendo que deberíamos apostarlo todo a la preparación para la IAG?
¡No! Sigo pensando que cada uno debería averiguar por sí mismo dónde cree que tendrá el mayor impacto, y probablemente mucha gente no estará de acuerdo conmigo, y está bien.
También existe una posibilidad razonable de que no alcancemos una IA superior a la inteligencia humana en los próximos diez años, incluso después de que la fracción de la economía dedicada a la IA haya aumentado tanto como sea factible. Si es así, la probabilidad anual de alcanzar una IA superior a la humana disminuirá mucho (porque no estamos obteniendo el progreso inusualmente rápido derivado del aumento de la inversión), y los plazos probablemente se alargarían mucho. El movimiento de altruismo eficaz ideal es robusto ante este escenario, e incluso en mi propio caso pienso en mi enfoque actual como algo para los próximos cinco años, después de los cuales reevaluaré la situación dependiendo del estado del mundo.
¿No deberíamos más bien ampliar los grupos locales de seguridad de la IA (etc.) para que incluyan estas otras áreas?
Sí, ¡eso también!
¿No son cortos los plazos? ¿Y no rinde frutos todo esto solo en mundos con plazos largos?
Creo que es cierto que estas cosas son menos provechosas en mundos con plazos muy cortos (p. ej., de 3 años). Sin embargo, siguen siendo beneficiosas hasta cierto punto, y lo son comparativamente más en mundos con plazos más largos y despegues más lentos, y estos también deberían importarnos mucho.
Pero ¿no son los mundos de plazos muy cortos los de mayor efecto multiplicador?
Esto no me parece nada obvio, por algunas razones:
¿Es el altruismo eficaz realmente el movimiento adecuado para estas áreas?
No es el movimiento ideal (es decir, no es lo que diseñaríamos desde cero), pero es lo más cercano que tenemos, y creo que la idea de crear un movimiento totalmente nuevo es menos prometedora que la evolución del propio altruismo eficaz.
¿Estás diciendo que el altruismo eficaz debería convertirse en un club intelectual? ¡¿Y qué hay de construir cosas?!
¡En absoluto! ¡Construyamos también!
¿Estás diciendo que el altruismo eficaz debería dejar de centrarse por completo en el crecimiento?
¡No! Es más bien que en este momento se le está prestando mucha atención. Eso es estupendo. Pero parece que casi no se presta atención al cultivo, a pesar de que parece especialmente importante ahora mismo, y es una lástima.
¿Y si no me convence el largoplacismo?
Dada la rapidez de la transición y la escala de la transformación social y económica que se producirá, de hecho, creo que el largoplacismo no es tan determinante, al menos siempre que se tenga una preocupación razonable por las generaciones futuras.
Pero incluso si eso significa que no te interesan estas áreas de trabajo, ¡no pasa nada! Creo que el altruismo eficaz debería abarcar muchas áreas de trabajo diferentes, al igual que una democracia sana y funcional tiene personas con opiniones muy diversas: debes averiguar qué visión del mundo te convence y actuar en consecuencia.
Reconozco que he dedicado más tiempo a pensar en los problemas que señalo y en el camino general a seguir que en soluciones concretas, por lo que no pretendo tener todas las respuestas. También me falta mucho contexto de lo que pasa en el terreno. Pero espero que al menos podamos empezar a debatir si la visión general es acertada y qué podríamos hacer concretamente para ayudar a avanzar en esta dirección. Así que, para empezar, aquí van algunas reflexiones preliminares.
Tengo entendido que en los campus universitarios ha habido un cambio de los grupos de altruismo eficaz a los de seguridad de la IA. No conozco los detalles de los grupos locales, y supongo que esta opinión será más controvertida que mis otras afirmaciones, pero creo que esto probablemente sea un error, al menos en lo que respecta a su alcance.
Ya he expuesto la primera parte de mi razonamiento: los argumentos generales para centrarse en intervenciones de preparación para la IAG en ámbitos ajenos a la seguridad y el riesgo biológico.
Pero creo que estos argumentos golpean con especial dureza a los grupos universitarios, por dos razones:
El mejor contraargumento que he oído es que es un momento de auge para el desarrollo del campo de la seguridad de la IA. Los grupos de estudiantes de dicho campo pueden aprovechar esta ola, y se la perderían si en su lugar tuvieran un grupo de altruismo eficaz.
Esto me parece un contraargumento sólido, por lo que mi opinión final dependerá de los detalles del grupo local. Mi mejor suposición es que, siempre que sea posible: (i) los grupos de seguridad de la IA deberían centrarse más en estas otras áreas,l y (ii) debería haber tanto grupos de seguridad de la IA como de altruismo eficaz, con una serie de eventos compartidos sobre temas de “preparación para la IAG”.
Estas son algunas de las cosas que podríamos hacer:
El altruismo eficaz consiste en tomarse en serio la pregunta “¿cómo puedo hacer el mayor bien posible?” y seguir los argumentos y la evidencia hasta donde nos lleven. Sostengo que, si nos tomamos en serio este proyecto, los avances de los últimos años deberían provocar una evolución importante de nuestro enfoque.
Creo que sería una pena terrible y una gran pérdida de potencial que la gente llegara a ver el altruismo eficaz como poco más que un precursor del movimiento de seguridad de la IA, o si el altruismo eficaz se petrificara como un movimiento social centrado en un puñado fijo de causas. En cambio, podríamos ser un movimiento que afronta toda la gama de retos y oportunidades que traerá consigo la IA avanzada, haciéndolo con la vitalidad intelectual y la seriedad de propósito que constituyen la esencia del altruismo eficaz.
Gracias a Joe Carlsmith, Ajeya Cotra, Owen Cotton-Barratt, Max Dalton, Max Daniel, Tom Davidson, Lukas Finnveden, Ryan Greenblatt, Rose Hadshar, Oscar Howie, Kuhan Jeyapragasan, Arden Koehler, Amy Labenz, Fin Moorhouse, Toby Ord, Caleb Parikh, Zach Robinson, Abie Rohrig, Buck Shlegeris, Lizka Vaintrob y a todos en el Meta Coordination Forum.