Resumen
La proliferación de sistemas avanzados de IA puede llevar a la humanidad a una pérdida gradual de poder, incluso si tienen éxito los esfuerzos por evitar que estos sistemas busquen acumular poder o conspiren contra nosotros. La humanidad puede tener incentivos para ceder más control a las IA, otorgándoles poder sobre la economía, la política, la cultura y otras áreas. Con el tiempo, es posible que los intereses de la humanidad queden relegados y que nuestro control sobre el futuro se debilite, lo que podría constituir una catástrofe existencial.
Hay desacuerdos sobre la gravedad de este problema y su relación con otras preocupaciones sobre la alineación de la IA. Tampoco está claro, si se trata de un riesgo real, qué es lo que podríamos hacer al respecto. Pero creemos que es potencialmente muy importante y que más gente debería trabajar para aclarar el problema y quizás averiguar cómo abordarlo.
Profundidad del perfil
Exploratorio.a
¿Por qué la pérdida gradual de poder puede ser un problema particularmente grave?
El avance de la tecnología ha beneficiado históricamente a la humanidad. La invención del fuego, el aire acondicionado y los antibióticos han tenido algunos inconvenientes, pero en general han ayudado a los seres humanos a vivir más sanos, felices y cómodos.
Sin embargo, no ninguna garantía de que esta tendencia continuará.
Ya hemos escrito sobre los riesgos existenciales que conlleva el desarrollo de una tecnología avanzada de IA. Un modelo de amenaza prominente y especialmente preocupante es que, a medida que los sistemas de IA se vuelvan más poderosos, desarrollarán intereses que no están alineados con la humanidad. Sin que sus creadores lo sepan, podrían empezar a acumular poder. Podrían engañarnos intencionadamente sobre sus propósitos y utilizar su inteligencia superior y sus capacidades de planificación avanzada para quitarle el poder a la humanidad o llevarnos a la extinción.
Es posible, sin embargo, que el desarrollo de sistemas de IA lleve a la humanidad a la pérdida de poder y a la extinción, incluso si logramos evitar que los sistemas de IA busquen acumular poder y conspiren contra nosotros.
En un artículo reciente, Jan Kulveit y sus coautores llaman a este modelo de amenaza pérdida gradual de poder y argumentan a favor de las seis afirmaciones siguientes:
- Los grandes sistemas sociales, como las economías y los gobiernos, tienden a estar aproximadamente alineados con los intereses humanos.b
- Esta alineación aproximada se mantiene gracias a múltiples factores, como los sistemas de votación y las señales de demanda de los consumidores, así como la dependencia del trabajo y del pensamiento humanos.
- Los sistemas sociales que dependen menos del trabajo y del pensamiento humanos -y más de sistemas de IA cada vez más avanzados y potentes- estarán menos alineados con los intereses humanos.
- Los sistemas de IA pueden, de hecho, aventajar al trabajo humano en funciones clave dentro de los sistemas sociales, en parte porque pueden seguir más despiadadamente las direcciones que se les dan. Y esto puede hacer que los sistemas estén aún menos alineados con los intereses humanos.
- Si un sistema social, como una economía nacional, pierde la alineación con los intereses humanos, puede aumentar la probabilidad de que otros sistemas también la pierdan. Por ejemplo, los actores económicos poderosos han ejercido históricamente una gran influencia sobre los gobiernos nacionales.
- Es posible que los humanos pierdan poder gradualmente, quizás de forma permanente, a medida que las IA controlen cada vez más los sistemas sociales y estos sistemas se vuelvan cada vez más desalineados con los intereses humanos. En un caso extremo, los humanos podrían llegar a extinguirse.
El artículo analiza la forma en que los sistemas de IA podrían llegar a dominar la economía, los gobiernos nacionales e incluso la cultura de manera contraria a los intereses de la humanidad.
Puede ser difícil imaginar cómo los humanos podrían permitirlo, porque en este escenario, los sistemas de IA no están tratando activamente de engañarnos. Lo único que hacen es seguir instrucciones humanas al pie de la letra.
El problema surge cuando, debido a las presiones competitivas, tenemos fuertes incentivos para ceder más control a los sistemas de IA. Algunos actores humanos —empresas, gobiernos u otras instituciones— obtendrán inicialmente un poder significativo con el despliegue de la IA, utilizando estos sistemas para promover sus intereses y misiones.
Así es como podría ocurrir:
- En primer lugar, los líderes económicos y políticos adoptan sistemas de IA que mejoran sus ventajas actuales. Una empresa financiera despliega sistemas de negociación de IA que superan a los operadores humanos. Los políticos utilizan asesores de IA para ganar elecciones y mantener contentos a los votantes. Los primeros actores que adoptan estos sistemas, lejos de perder poder, obtienen éxitos, lo que incita a sus competidores a adoptar también la IA.
- Con el paso del tiempo, los humanos tienen menos control. Si los consejos de administración de las empresas intentan cambiar de rumbo en contra de los consejos de sus IA, descubren que los precios de las acciones caen en picado, porque las IA tenían una estrategia empresarial superior. Puede que los funcionarios públicos se den cuenta de que no comprenden suficientemente los sistemas de IA que administran servicios clave, impidiéndoles cambiar efectivamente lo que están haciendo.
- Solo más tarde, cuando los sistemas de IA se vuelvan cada vez más potentes, podría haber indicios de que los sistemas se están desviando de los intereses humanos, no porque lo intenten, sino porque están promoviendo aproximaciones al éxito que no se ajustan del todo a lo que realmente es bueno para las personas.
- En el ámbito cultural, por ejemplo, las empresas de medios podrían usar la IA para crear contenidos cada vez más adictivos, alterando las preferencias humanas. Lo que comienza como entretenimiento evoluciona en tecnología de persuasión, capaz de moldear resultados políticos y disminuir el control democrático.
Una vez que los seres humanos comienzan a perder poder de esta forma, es posible que irreversiblemente tengan cada vez menos capacidad de influir en el curso futuro de los acontecimientos. A la larga, es posible que sus necesidades no sean atendidas en absoluto por los actores globales más poderosos. En el caso más grave, la especie tal y como la conocemos podría dejar de sobrevivir.
Muchos otros escenarios son posibles.
Existen versiones de aparente “pérdida de poder” que podrían parecerse a una utopía: humanos prosperando y felices en una sociedad sabiamente gestionada y controlada por sistemas de IA benévolos. O puede que un día la humanidad decida que está contenta de ceder el futuro a sistemas de IA que consideramos dignos descendientes.
Pero este riesgo consiste en que la humanidad podría “ceder” el control involuntariamente y de una forma que pocos de nosotros aprobaríamos. Podríamos ser sustituidos gradualmente por sistemas de IA sin experiencias conscientes o el futuro podría estar dominado por una feroz competición darwiniana entre varios agentes digitales. Así, el futuro podría verse privado de la mayor parte de su valor: una pérdida catastrófica.
Queremos entender mejor estas dinámicas y riesgos para incrementar las posibilidades de que el futuro sea bueno.
¿Hasta qué punto es urgente esta cuestión?
Tenemos grandes dudas sobre la probabilidad de que ocurran varios escenarios de pérdida gradual de poder. Es difícil separar las posibilidades de los riesgos relacionados con los sistemas de IA que buscan acumular poder y de las cuestiones sobre el estatus moral de las mentes digitales, sobre las que también es difícil estar seguro.
Dado que este ámbito está impregnado de incertidumbre, no está claro cuáles son las mejores intervenciones. Creemos que, como mínimo, hay que seguir trabajando para entender este problema y sus posibles soluciones, y probablemente algunas personas deban enfocarse en él.
¿Cuáles son los argumentos en contra de que este sea un problema grave?
Existen varias razones para no creer que este problema sea muy grave:
- Podrías pensar que se resolverá por defecto, porque si evitamos otros riesgos asociados a la IA, los sistemas avanzados nos ayudarán a resolver estos problemas.
- Quizá pienses que es muy poco probable que los sistemas de IA, si no están conspirando activamente contra nosotros, acaben contribuyendo a una catástrofe existencial para la humanidad, aunque haya algunos problemas de pérdida de poder. Esto podría llevarte a pensar que se trata de un problema, pero no tan grave como otros riesgos existenciales asociados a la IA.
- Podrías considerar que no existen buenas soluciones para este problema.
- Podrías pensar que la pérdida gradual de poder de la humanidad no constituye una catástrofe existencial: tal vez sería algo bueno o casi tan bueno como otros futuros.
¿Qué puedes hacer para ayudar?
Dado el estado relativamente limitado de nuestro conocimiento de este tema, la mejor manera de contribuir a resolver el problema sería probablemente realizar más investigaciones para entenderlo mejor. (Sigue leyendo sobre las habilidades para la investigación.)
La formación en materias como la filosofía, la historia, la economía, la sociología y las ciencias políticas, además del aprendizaje automático y la IA, pueden ser especialmente relevantes.
Quizá te interese trabajar en el mundo académico, en think tanks o en instituciones de investigación sin ánimo de lucro.
En algún momento, si comprendemos mejor los modelos de amenazas y las posibles soluciones, será importante contar con personas que trabajen en gobernanza y políticas de la IA centradas en reducir estos riesgos. Por tanto, seguir una carrera en gobernanza de la IA, mientras se profundiza en el conocimiento de este nuevo campo de investigación y de otros riesgos asociados a la IA, puede ser una estrategia prometedora para ayudar a reducir el riesgo de pérdida gradual de poder.
Kulveit y sus colaboradores sugieren algunos enfoques para mitigar el riesgo de pérdida gradual de poder, entre los cuales se incluyen los siguientes:
- Medición y supervisión
- Desarrollar métricas para rastrear la influencia de los humanos y de la IA en los sistemas económicos, culturales y políticos.
- Elaborar planes para identificar señales de advertencia de una posible pérdida de poder.
- Evitar una influencia excesiva de la IA
- Implementar marcos regulatorios que requieran supervisión humana.
- Aplicar impuestos progresivos sobre los ingresos generados por la IA.
- Establecer normas culturales que respalden la agencia humana.
- Reforzar el control humano:
- Crear procesos democráticos más robustos.
- Garantizar que los sistemas de IA sigan siendo comprensibles para los humanos.
- Desarrollar delegados de IA que representen los intereses humanos manteniendo su competitividad.
- Alineación del sistema en su conjunto:
- Investigar una “alineación del ecosistema” que preserve los valores humanos dentro de sistemas sociotécnicos complejos.
- Desarrollar marcos para alinear las interacciones entre humanos e IA a lo largo de toda la civilización.
Organizaciones clave en este ámbito
Algunas organizaciones donde podrías llevar a cabo investigaciones relevantes incluyen:
- Alignment of Complex Systems Research Group (ACS), que lideró el trabajo sobre el documento Gradual disempowerment mencionado anteriormente.
- Forethought Research
- Open Philanthropyc
- Rethink Priorities
También puedes explorar puestos en otras organizaciones que trabajan en la seguridad y políticas de la IA.
Más información
- Jan Kulveit et al. (2025) Gradual disempowerment, Gradual Disempowerment
- Atoosa Kasirzadeh (2025) Two types of AI existential risk: Decisive and accumulative, arXiv:2401.07836 (cs)
- Paul Christiano (2019) What failure looks like, LessWrong, 17 de marzo
- Guive Assadi (2023) Will humanity choose its future?, PhilArchive
- Dan Hendrycks (2023) Natural Selection Favors AIs over Humans, arXiv:2303.16200v4 [cs.CY]
- Andrew Critch & Stuart Russell (2023) TASRA: a Taxonomy and Analysis of Societal-Scale Risks from AI, arXiv:2306.06924 (cs)
- Nuestra entrevista con Carl Shulman sobre la economía y la seguridad nacional después de la IAG, que habla de las razones por las que parece probable que la humanidad ceda más control a los sistemas de IA.
- Nuestra entrevista con Will MacAskill sobre la IA que convierte un “siglo en una década” y por qué no estamos preparados en absoluto
- Nuestra entrevista con Tom Davidson sobre cómo los golpes de Estado con IA podrían permitir a un grupo minúsculo hacerse con el poder
- Nuestro artículo sobre el largoplacismo