Concentración extrema de poder

Introducción

El poder ya está concentrado hoy en día: más de 800 millones de personas viven con menos de 3 dólares al día, los tres hombres más ricos del mundo tienen un patrimonio de alrededor de 1 billón de dólares y casi seis mil millones de personas viven en países sin elecciones libres y justas.

Esto es un problema en sí mismo. Sin embargo, sigue existiendo una distribución sustancial del poder: la desigualdad de ingresos a nivel mundial está disminuyendo, más de dos mil millones de personas viven en democracias electorales, ningún país genera más de una cuarta parte del PIB y ninguna empresa gana más del 1 %.⁠a

Pero en el futuro, la IA avanzada podría permitir una concentración de poder mucho más extrema de lo que hemos visto hasta ahora.

Muchos creen que en la próxima década los principales proyectos de IA serán capaces de ejecutar millones de sistemas de IA superinteligentes que piensen muchas veces más rápido que los humanos. Estos sistemas podrían desplazar a los trabajadores humanos, lo que reduciría considerablemente el poder económico y político de la gran mayoría de la población; y, a menos que tomemos medidas para evitarlo, podrían acabar controlados por un pequeño número de personas, sin una supervisión efectiva. Una vez que estos sistemas se desplieguen en la economía, en el gobierno y en el ejército, los objetivos con los que hayan sido construidos se convertirán en la fuerza principal que dé forma al futuro. Si esos objetivos son elegidos por unos pocos, entonces un pequeño número de personas podría acabar teniendo el poder de tomar todas las decisiones importantes sobre el futuro.⁠b

Resumen

Creemos que este es uno de los problemas más apremiantes del mundo, a pesar de la gran incertidumbre sobre el alcance del problema y las posibles soluciones.

Nuestra visión general

Recomendado: máxima prioridad

Creemos que este es uno de los problemas más urgentes del mundo.

Escala

La escala del problema parece potencialmente muy grande:

• Algunos de los mecanismos que impulsan el riesgo de concentración de poder mediante la IA parecen bastante probables (como la sustitución de trabajadores humanos por IA y los bucles de retroalimentación positiva en el desarrollo de la IA, que otorgan a algunos actores una gran ventaja en capacidades).⁠c
• Nuestro problema principal es la toma de poder por parte de una IA que busca poder. Algunas de las mismas dinámicas que podrían permitir a los sistemas de IA desalineados hacerse con el poder también podrían permitir que los humanos que controlan los sistemas de IA hagan lo mismo.⁠d
• La concentración de poder facilitada por la IA significaría la pérdida de poder político de casi todos los seres humanos. Para la gran mayoría de las personas, esto significaría no tener una voz significativa en las decisiones que moldean sus vidas y su futuro. Sin controles y contrapesos, quienes ostentan el poder podrían tomar decisiones extremadamente perjudiciales: la historia nos muestra que el poder sin control puede conducir a la tiranía y a atrocidades.

Lo que resulta aún más preocupante es que la concentración de poder facilitada por la IA probablemente se reforzaría a sí misma: quienes ostenten el poder probablemente buscarán afianzarse aún más y podrían utilizar su ventaja en IA para asegurar su régimen, por lo que cualquier daño podría ser muy duradero.

Desatención

Muchas personas trabajan en la concentración de poder en general: en los gobiernos, en el sistema legal, en el mundo académico y en la sociedad civil. Pero muy pocas se centran en el riesgo de la concentración de poder facilitada por la IA. Conocemos a unas pocas docenas de personas en un puñado de organizaciones que trabajan para reducir este riesgo y aún hay menos que se dediquen a ello a tiempo completo.

Resolubilidad

La prevención de la concentración de poder facilitada por la IA está tan desatendida que resulta difícil saber aún cuán tratable es. Todavía no sabemos qué funciona, porque muy pocas personas han intentado hacer algo.

Sin embargo, hay varias razones para ser optimistas al respecto:

• A casi todo el mundo le interesa evitar la concentración de poder facilitada por la IA, incluidos los intereses de las personas más poderosas de la actualidad, que de otro modo podrían perder frente a sus rivales.
• Aunque el análisis de este problema se encuentra en una fase bastante temprana, ya existen algunas intervenciones concretas que parecen prometedoras. Por ejemplo, las mitigaciones técnicas que impiden que las personas entrenen a la IA para promover sus propios intereses, como las auditorías de alineación y la seguridad de la información interna, parecen bastante viables.

Por otro lado:

• Las fuerzas estructurales que empujan hacia la concentración de poder —la IA sustituyendo a los trabajadores humanos y los bucles de retroalimentación que conducen a grandes brechas de capacidades— podrían ser muy fuertes y difíciles de cambiar.
• Aunque sea del interés de la mayoría de la gente evitar la concentración de poder facilitada por la IA, su capacidad para comprender lo que sucede y actuar en su propio interés podría verse erosionada si el progreso de la IA es muy rápido, si las dinámicas competitivas degradan el entorno epistémico o si los individuos que buscan poder toman medidas antagónicas para ocultar deliberadamente lo que está ocurriendo. Quienes buscan poder y ocupan puestos de autoridad también podrían simplemente eliminar las mitigaciones que otros hayan implementado para limitar la concentración de poder cuando esas medidas se vuelvan inconvenientes.

En resumen: no está claro cuán fácil es resolver el problema de la concentración de poder facilitada por la IA, pero no es claramente imposible de resolver; ya existen algunas medidas factibles que se pueden tomar y es un problema lo suficientemente importante y desatendido como para justificar un esfuerzo mucho mayor. De hecho, nuestra opinión actual es que se trata de uno de los problemas más acuciantes del mundo.

Dado que estamos en una etapa muy temprana y que los planes mal ejecutados en este ámbito podrían ser contraproducentes, creemos que, por el momento, la mayoría de la gente debería [tener en cuenta el riesgo](#qué se puede hacer para ayudar) en lugar de trabajar directamente en ello, pero si estás en una buena posición para trabajar en este problema, es muy probable que sea tu mejor opción.

Profundidad del perfil

Exploratorio

Este es uno de los muchos perfiles que hemos escrito para ayudar a las personas a encontrar los problemas más urgentes que pueden resolver con su carrera profesional. Aprende más sobre cómo comparamos diferentes problemas y mira cómo se compara este problema con los demás que hemos considerado hasta ahora.

¿Por qué la concentración de poder facilitada por la IA podría ser un problema urgente?

Las principales razones por las que consideramos que la concentración de poder facilitada por la IA es un problema especialmente apremiante son:

1. Niveles de automatización históricamente sin precedentes podrían concentrar la capacidad de ejecución, al reducir el valor del trabajo humano, empoderar a pequeños grupos con grandes fuerzas de trabajo de IA y, potencialmente, otorgar a un desarrollador de IA una enorme ventaja de capacidades (si la automatización del desarrollo de la IA conduce a un progreso desbocado).
2. Esto podría conducir a una concentración de poder político sin precedentes. Un número reducido de personas podría utilizar una enorme fuerza de trabajo de IA para tomar el control de las instituciones existentes o dejarlas obsoletas al acumular una inmensa riqueza.
3. La concentración de poder facilitada por la IA podría causar un daño enorme y duradero, al privar de poder político a la mayoría de las personas y permitir abusos de poder a gran escala.
4. Existen formas de reducir este riesgo, pero muy pocas personas están trabajando en ellas.

En esta sección analizaremos cada uno de estos puntos uno por uno, pero primero presentaremos un escenario ilustrativo en el que el poder se concentra de forma extrema debido a la IA avanzada. El escenario es muy esquemático y hay muchas otras formas en las que podrían desarrollarse los acontecimientos, pero nos da una idea más concreta del tipo de situaciones que nos preocupan.

Un escenario de concentración de poder propiciado por la IA

Ten en cuenta que este escenario, así como las empresas e instituciones que aparecen en él, son ficticios. Intentamos ilustrar un caso hipotético y no tenemos en mente a ningún actor concreto del mundo real.

En 2029, una empresa estadounidense de IA llamada Apex AI logra un avance crucial: su IA ya puede realizar investigaciones en IA tan bien como los científicos humanos. Esto conduce a una explosión de inteligencia, en la que la IA mejora a la IA, que a su vez mejora a la IA, lo que lleva a un aumento muy rápido de las capacidades. Pero sus competidores —incluidos los de China— les pisan los talones y comienzan sus propias explosiones de inteligencia en cuestión de meses. Temiendo que China pronto esté en condiciones de aprovechar su base industrial para superar a Estados Unidos, el gobierno estadounidense crea el Proyecto Fortaleza, consolidando todo el desarrollo de la IA en Estados Unidos bajo un Consejo de Supervisión clasificado formado por funcionarios gubernamentales y ejecutivos de laboratorios. Apex aprovecha su ventaja inicial para asegurarse tres de los nueve puestos del consejo y proporciona la infraestructura central del mismo: sistemas de seguridad, análisis de datos y asesores de IA.

En 2032, las empresas de IA generan la mayor parte de los ingresos fiscales federales, a medida que los sistemas de IA automatizan los trabajos tradicionales. El desempleo aumenta. El Consejo de Supervisión dirige ahora a cientos de millones de trabajadores de IA, controla la mayor parte de la base impositiva y toma las decisiones más importantes sobre la adquisición de IA militar, la inversión en infraestructura y la redistribución de la renta. Solo quienes tienen conexiones directas con el consejo o con las principales empresas de IA acceden a las herramientas más avanzadas, mientras que la mayoría de los ciudadanos interactúa con versiones de consumo limitadas. Cuando el presidente propone bloquear la fusión de Apex con Paradox AI (lo que crearía una entidad combinada que controlaría el 60 % del poder de cómputo utilizado para entrenar y ejecutar los sistemas de IA de EE. UU.), los modelos económicos generados por el consejo advierten que China tomará la delantera y que la economía colapsará si se ejecuta la medida. La propuesta muere silenciosamente. Los sistemas de IA del consejo, todos basados en la arquitectura Apex, promueven sutilmente los intereses de Apex, pero los rastros técnicos son demasiado tenues para que los modelos menos avanzados los detecten. Además, la mayoría de la gente está convencida de que es necesario vencer a China y, cuando preguntan a sus asesores personales de IA (normalmente versiones menos avanzadas de los modelos de Paradox o Apex) sobre la fusión, estos argumentan de forma persuasiva que la operación beneficia al interés nacional.

En 2035, la economía estadounidense se ha triplicado, mientras que la de otras naciones se ha estancado. Las decisiones del Proyecto Fortaleza moldean ahora los mercados globales: qué tecnologías se desarrollan, qué recursos se asignan y qué países reciben asistencia de IA. Los ejecutivos de Apex y Paradox consolidan gradualmente su influencia: sus sistemas de IA redactan la mayoría de las propuestas, sus modelos evalúan las opciones y sus protocolos de seguridad determinan qué información llega a los demás miembros del consejo. Dado que todos los canales de información principales —desde los asesores de IA hasta los análisis de noticias y los informes gubernamentales— se filtran a través de los sistemas que ellos controlan, resulta casi imposible obtener una visión imparcial de la concentración de poder que está teniendo lugar. Todo lo que la gente lee en las redes sociales o escucha en las noticias parece respaldar la idea de que no hay mucho de qué preocuparse.

Los ejecutivos tienen el poder suficiente para asumir el control del consejo de forma unilateral y dictar condiciones a otras naciones, pero no necesitan hacerlo. A través de miles de sutiles empujones —una evaluación de riesgos aquí, una recomendación estratégica allá—, sus sistemas de IA garantizan que cada decisión importante se alinee con su visión del futuro de la humanidad.

La automatización podría concentrar el poder de hacer cosas

Siempre hemos utilizado la tecnología para automatizar partes del trabajo humano: los molinos hidráulicos reemplazaron la molienda manual, la imprenta reemplazó a los escribas y la hiladora reemplazó el hilado a mano. Esta automatización ha tenido impacto en la distribución del poder, a veces significativo: la imprenta ayudó a desplazar el poder de la Iglesia hacia los comerciantes de las ciudades, y las máquinas de las fábricas lo desplazaron de los terratenientes a los capitalistas y hacia los países industrializados.

Lo que diferencia a la IA es que tiene el potencial de automatizar muchos tipos de trabajo humano a la vez. Los principales investigadores en IA creen que hay un 50 % de probabilidades de que la IA pueda automatizar todas las tareas humanas para 2047, aunque muchos creen que esto podría suceder mucho antes (varios directores generales de empresas de IA esperan la IAG en unos pocos años) o mucho más tarde (la misma encuesta a los principales investigadores dio un 50 % de probabilidades de que la IA automatice todas las ocupaciones humanas para 2116). Incluso si la automatización total de las tareas humanas lleva mucho tiempo o nunca llega a producirse, está claro que la IA podría automatizar una gran parte del trabajo humano y, dada la rapidez con la que avanzan actualmente sus capacidades, esto podría empezar a ocurrir pronto.⁠e

Esto podría tener grandes consecuencias para la distribución del poder:

• Por defecto, menos dinero irá a los trabajadores y más a los propietarios del capital. La automatización podría reducir el valor del trabajo humano, lo que en escenarios extremos provocaría que los salarios se desplomaran a niveles muy bajos indefinidamente. f Esto aumentaría la parte del pastel que se destina al capital en comparación con el trabajo, y quienes poseen capital podrían volverse aún más desproporcionadamente poderosos de lo que son ahora.
• Los grupos pequeños podrán hacer más. Hoy en día, los grandes emprendimientos requieren una enorme fuerza laboral humana. En su apogeo, el Proyecto Manhattan empleó a 130 000 personas. Se necesitan 1,5 millones de personas solo para gestionar Amazon. A medida que la IA se vuelva más capaz, será posible llevar a cabo grandes cosas sin grandes equipos humanos —y sin la consiguiente necesidad de convencerlos de que lo que se hace es bueno o, al menos, aceptable— utilizando en su lugar fuerzas de trabajo de IA.
  • Esto ya permitiría a los grupos pequeños hacer más. Pero el efecto será aún mayor, ya que el uso de la IA para realizar tareas no empoderará a todos por igual: empoderará especialmente a aquellos con acceso a los mejores sistemas de IA. Las empresas ya despliegan algunos modelos sin hacerlos públicos, y si las capacidades se vuelven más peligrosas o el mercado menos competitivo, el acceso a las mejores capacidades podría llegar a ser realmente muy limitado.
• El progreso descontrolado del desarrollo automatizado de IA podría otorgar a un desarrollador una gran ventaja en capacidades. El primer proyecto en automatizar la I+D de la IA podría desencadenar una explosión de inteligencia, donde sistemas de IA que mejoran sistemas de IA, que a su vez mejoran sistemas de IA, generan un bucle de retroalimentación positiva; esto significa que sus capacidades de IA pueden superar rápidamente a las de todos los demás. Los competidores podrían seguir con sus propias explosiones de inteligencia, pero si comienzan lo suficientemente rezagados respecto al líder, o si el impulso inicial de capacidades del líder es lo suficientemente enorme, una empresa podría consolidar una ventaja duradera.

Si estas dinámicas son lo suficientemente fuertes, la mayor parte del poder para ganar dinero y realizar tareas podría acabar en manos de unas pocas organizaciones (ya sean empresas de IA⁠g o gobiernos⁠h) con acceso a los mejores sistemas de IA y, por ende, a enormes cantidades de mano de obra inteligente que pueden utilizar para cualquier fin.

Además, dentro de estas organizaciones, cada vez más empleados podrían ser reemplazados por sistemas de IA, de modo que un número muy reducido de personas ejerza una enorme cantidad de poder.⁠i

Hay muchas otras posibilidades, y no es una conclusión inevitable que la IA conduzca a este tipo de concentración de poder. Quizás veamos un cambio más marcado del costoso preentrenamiento hacia un escalado de inferencia más accesible, y se produzca un auge en el número de empresas de vanguardia, poniendo una IA igualmente potente en más manos. Puede que no se produzca una explosión de inteligencia, o que esta se esfume rápidamente, permitiendo que los rezagados se pongan al día. Si la competencia comercial sigue siendo alta, los consumidores tendrán acceso a modelos cada vez más inteligentes, lo que podría nivelar las diferencias de capacidades entre los humanos e impulsar un mayor igualitarismo. La IA podría permitir una democracia mucho más directa al facilitar la agregación de preferencias y una mayor transparencia. Y así sucesivamente (más sobre esto a continuación).

Así pues, existen fuerzas que se oponen a la concentración de poder, así como fuerzas que la impulsan. Es ciertamente posible que la sociedad se adapte naturalmente a estos cambios y se defienda con éxito contra la concentración de poder facilitada por la IA. Pero dada la velocidad que podría alcanzar el progreso de la IA, existe un riesgo real de que no tengamos tiempo suficiente para adaptarnos.

Esto podría conducir a una concentración de poder político sin precedentes

Por lo tanto, podríamos terminar en una situación en la que la mayor parte del poder para ganar dinero y lograr resultados esté en manos de unos pocos.

Este poder podría mantenerse adecuadamente limitado por las instituciones y leyes existentes, de modo que la influencia en las decisiones importantes acerca del futuro permanezca distribuida. Pero no es difícil imaginar que las enormes ventajas de capacidad de algunos actores y la erosión del valor de la mayor parte del trabajo humano podrían socavar nuestros actuales pesos y contrapesos, diseñados para niveles de capacidad mucho más uniformes en un mundo impulsado por el trabajo humano.

Pero, ¿cómo sucedería esto realmente? Quienes hoy ostentan el poder lucharán con uñas y dientes para conservarlo, y el simple hecho de tener una IA realmente buena no te coloca automáticamente al frente de las instituciones clave.

Creemos que el poder podría llegar a concentrarse extremadamente mediante una combinación de:

• Toma de poder facilitada por la IA, en la que los actores utilizan la IA para hacerse con el control de las instituciones existentes.
• Fuerzas económicas, que podrían enriquecer tanto a algunos actores que les permitan influir fácilmente en las instituciones existentes o eludirlas.
• Interferencia epistémica, donde se erosiona la capacidad de la mayoría de las personas para comprender lo que sucede y coordinarse en su propio interés.

Los expertos con los que hemos hablado no se ponen de acuerdo sobre cuál de estas dinámicas es la más importante. Aunque es posible que una sola de estas dinámicas conduzca a una concentración de poder facilitada por la IA, nos preocupa especialmente la combinación de estas dinámicas, ya que podrían reforzarse mutuamente:

• La toma de poder sobre las principales empresas o gobiernos facilitaría la acumulación de riqueza y el control de los flujos de información.
• Cuanto más se concentra la riqueza, más fácil resulta para los más ricos ganar influencia política y posicionarse para una toma de poder.
• Cuanto más se vea comprometida la capacidad de las personas para comprender y coordinarse en defensa de sus propios intereses, más fácil será para los actores poderosos acumular riqueza y apoderarse de las instituciones.

A continuación, profundizamos en cómo cada uno de estos factores —tomas de poder, fuerzas económicas e interferencia epistémica— podría conducir a una concentración de poder facilitada por la IA, en la que un pequeño número de personas tome todas las decisiones importantes sobre el futuro.

Tomas de poder facilitadas por la IA

Ya existen contextos en los que los actores pueden utilizar el dinero, la fuerza u otras ventajas para tomar el control de las instituciones, como demuestran los periódicos golpes militares y las tomas de control corporativas en todo el mundo. Dicho esto, existen límites: las democracias a veces retroceden hacia la dictadura, pero es raro;⁠1 y casi nunca se producen golpes de Estado en democracias maduras.

La IA avanzada podría posibilitar las tomas de poder incluso sobre instituciones muy poderosas y democráticas, al poner enormes fuerzas de trabajo de IA en manos de unos pocos. Esto cambiaría fundamentalmente la dinámica de estas usurpaciones: en lugar de necesitar un gran número de personas para apoyar y ayudar a orquestar una toma de poder, sería posible que un pequeño grupo se apoderara de un gobierno u otra institución poderosa sin ninguna asistencia humana, utilizando únicamente fuerzas de trabajo de IA.

Pero, ¿cómo sería esto en realidad?

Una vía para una toma de poder de todo un gobierno facilitada por la IA es un golpe de Estado automatizado, en el que un actor utiliza el control sobre los sistemas militares de IA para apoderarse de un país. Hay varias formas en las que un actor podría terminar controlando suficientes sistemas militares de IA como para dar un golpe de Estado:

• Estructura de mando defectuosa. Los sistemas militares de IA podrían entrenarse explícitamente para ser leales a un jefe de Estado o a un funcionario del gobierno en lugar de al Estado de derecho. Si los sistemas se entrenaran de esta manera, el funcionario que los controlase podría utilizarlos a su antojo, incluso para dar un golpe de Estado.⁠j
• Lealtades secretas. A medida que avancen las capacidades de la IA, podría ser posible hacer que los sistemas de IA sean secretamente leales a una persona o a un pequeño grupo.⁠k Al igual que los espías humanos, estos sistemas parecerían comportarse según lo previsto, pero secretamente perseguirían otros fines. Especialmente si una empresa tiene una IA mucho más sofisticada que las demás y solo unos pocos actores tienen acceso a ella, estas lealtades secretas podrían ser muy difíciles de detectar para personas externas.⁠l Por lo tanto, las generaciones posteriores de IA desplegadas en el gobierno y el ejército también podrían ser secretamente leales y utilizarse para dar un golpe de Estado, ya sea por líderes de empresas de IA, adversarios extranjeros o sectores del gobierno o del ejército.
• Hacking. Si una empresa o un país posee una gran ventaja ciberofensiva, podría hackear muchos sistemas militares de IA a la vez y desactivarlos o utilizarlos para ejecutar activamente un golpe de Estado.

Estos escenarios pueden parecer inverosímiles. Cabe esperar que las fuerzas armadas sean cautelosas a la hora de desplegar sistemas militares autónomos y exijan las salvaguardias adecuadas para evitar este tipo de uso indebido. Pero la competencia o el conflicto entre grandes potencias podrían impulsar un despliegue precipitado,⁠m y las lealtades secretas podrían ser difíciles de detectar incluso con pruebas rigurosas. Y podría bastar con una pequeña fuerza para ejecutar con éxito un golpe de Estado, especialmente si cuentan con la ayuda de la IA (hay varios ejemplos históricos de unos pocos batallones que lograron hacerse con el poder incluso sin ventaja tecnológica, persuadiendo a otras fuerzas para que no intervinieran).⁠n

Aparte de los golpes militares, otra vía potencial para una toma de poder facilitada por la IA es la ventaja cognitiva abrumadora, en la que un actor tiene una ventaja tan enorme en mano de obra cualificada en IA que puede dominar directamente un país o incluso el resto del mundo. Con una ventaja cognitiva muy grande, podría ser posible tomar el poder utilizando estrategias y persuasión sobrehumanas para convencer a otros de ceder el poder, o construyendo rápidamente una fuerza militar secreta. Esto suena aún más a ciencia ficción, pero algunas personas piensan que podría suceder si se produce una explosión de inteligencia lo suficientemente grande.

Una toma de poder facilitada por la IA —ya sea a través de un golpe militar automatizado o de una ventaja cognitiva abrumadora— no constituiría automáticamente una concentración de poder facilitada por la IA tal y como la hemos definido. Hoy en día no existe ninguna institución única que tome todas las decisiones importantes, ni siquiera el gobierno más poderoso del mundo. Por lo tanto, podría haber un largo camino entre “una toma de poder exitosa sobre una institución” y “tomar todas las decisiones importantes sobre lo que sucederá en el futuro”. Pero una toma de poder podría ser un paso incremental muy importante en el camino para que un pequeño número de personas acabe teniendo el poder de tomar todas las decisiones importantes sobre el futuro⁠o —o, si el poder ya se hubiera concentrado mucho, una toma de poder podría ser el paso final.

Fuerzas económicas

Hay varias formas en que un pequeño grupo podría enriquecerse lo suficiente como para concentrar el poder de manera efectiva, llegando, en casos extremos, a hacer irrelevantes las instituciones existentes:

• Erosionar los incentivos de los gobiernos para representar a su pueblo, haciendo que el electorado sea económicamente irrelevante. Por supuesto, la misión de los gobiernos en las democracias es representar y servir los intereses de sus ciudadanos. Pero actualmente, los gobiernos también tienen incentivos económicos directos para hacerlo: las personas más felices y saludables son trabajadores más productivos y pagan más impuestos (además de ser menos propensas a rebelarse). Si este vínculo se rompiera por la automatización y las empresas de IA proporcionaran la gran mayoría de los ingresos del gobierno, los gobiernos ya no tendrían esta razón egoísta para promover los intereses de su pueblo.
  • Puede que siga habiendo elecciones en las democracias, pero los rápidos avances podrían hacer que los ciclos electorales resulten tan lentos que no tengan mucha influencia, y la desinformación y la presión de algunos grupos podrían distorsionar aún más la votación. En escenarios como este, podría seguir habiendo gobiernos, pero ya no desempeñarían las funciones que ejercen actualmente, sino que atenderían principalmente a los intereses de las grandes empresas de IA.⁠p
• Superar al mundo, donde un país o una empresa se vuelve mucho más rico que el resto del mundo combinado. Una explosión de inteligencia como la descrita anteriormente podría otorgar al desarrollador líder de IA un monopolio (quizás temporal) sobre la IA, lo que le permitiría ganar billones de dólares al año⁠q y diseñar y construir nuevas y potentes tecnologías. En teoría, si ese actor pudiera mantener su monopolio y crecer a un ritmo más rápido que el resto del mundo durante el tiempo suficiente, terminaría poseyendo más del 99 % de los recursos. Hay muchas complicaciones que hacen que superar al mundo sea menos probable,⁠r pero sigue pareciendo posible que un actor pudiera hacerlo con un esfuerzo muy concertado y bien coordinado si tuviera acceso privilegiado a la tecnología más potente del mundo. Las instituciones actuales podrían seguir existiendo, pero no está claro que pudieran tomar decisiones importantes que no fueran del agrado de la empresa o del país.
• Ventajas del pionero en el espacio exterior, donde el líder en IA aprovecha su ventaja para reclamar el control de los recursos espaciales. Si la IA permite un rápido progreso tecnológico, el líder en IA podría ser el primer actor en desarrollar capacidades espaciales avanzadas. Podría reclamar vastos recursos más allá de la Tierra y, si los recursos espaciales resultaran defendibles, podría mantener el control de forma indefinida. No está claro que tales ventajas del pionero existan realmente,⁠s pero si existieran, el pionero en el espacio podría tomar decisiones unilaterales sobre la expansión de la humanidad en el universo, decisiones que podrían ser de enorme importancia para nuestro futuro a largo plazo.

Todas estas vías son bastante especulativas, pero si no tomamos medidas para evitarlas, parece plausible que las fuerzas económicas puedan llevar a que un país o una empresa acabe teniendo mucho más poder político que todos los demás juntos. Si ese actor ya estuviera muy centralizado (como un gobierno autocrático o una empresa en la que la mayoría de los empleados hubieran sido reemplazados por la automatización), o si más tarde se produjera una toma de poder que consolidara el control en manos de un pequeño grupo, esto podría llevar a que todas las decisiones importantes sobre el futuro las tomara un puñado de individuos.

Interferencia epistémica

Las tomas de poder y las fuerzas económicas que socavan las instituciones existentes serían perjudiciales para la mayoría de las personas, por lo que les interesaría coordinarse para detener estas dinámicas. Pero la otra cara de la moneda es que está en el interés de quienes intentan acumular poder el interferir en la capacidad de las personas para comprender lo que está sucediendo y coordinarse para detener una mayor concentración de poder.⁠t

Esta es la menos estudiada de las tres dinámicas que hemos señalado, pero creemos que podría ser muy importante. De manera tentativa, presentamos aquí algunos factores que podrían erosionar el entorno epistémico, algunos de los cuales implican una interferencia deliberada y otros son dinámicas emergentes que favorecen a unos pocos:

• Falta de transparencia. Los actores poderosos de las empresas de IA y los gobiernos tendrán incentivos para ocultar sus actividades, especialmente si buscan poder para sí mismos. También podría resultar técnicamente difícil compartir información sobre las capacidades de la IA y cómo se utilizan sin filtrar información confidencial. Cuanto más se desarrolle la IA en secreto, más difícil será para la mayoría de la gente oponerse a medidas que conduzcan a una mayor concentración de poder.
• Velocidad del progreso de la IA. La situación podría cambiar tan rápidamente que resulte difícil para cualquier ser humano seguir el ritmo. Esto beneficiaría a las personas que tienen acceso a los mejores sistemas de IA y a la mayor capacidad de cómputo: podrían ser las únicas capaces de aprovechar la IA para comprender la situación y actuar para promover sus propios intereses.
• Asesores de IA sesgados. A medida que mejore el asesoramiento de la IA y se acelere el ritmo del cambio, las personas pueden volverse cada vez más dependientes de los sistemas de IA para entender el mundo. Pero estos sistemas podrían ofrecer consejos sutilmente sesgados a favor de las empresas que los construyeron, ya sea porque fueron entrenados deliberadamente para ello o porque nadie pensó detenidamente en cómo los entornos de entrenamiento podrían inclinarlos en esta dirección. Si los sistemas de IA terminan favoreciendo los intereses de las empresas, esto podría sesgar sistemáticamente las creencias y acciones de las personas hacia aquello que contribuya a una mayor concentración de poder.
• Campañas de persuasión y manipulación. Quienes tienen acceso a capacidades superiores de IA y cómputo podrían interferir deliberadamente en la capacidad de otras personas para limitar su poder, llevando a cabo campañas de presión impulsadas por IA o manipulando a responsables individuales de la toma de decisiones. Por ejemplo, la IA podría realizar esfuerzos intensivos y personalizados sin precedentes para influir en cada congresista con el fin de obtener su apoyo en alguna cuestión política, incluyendo ofertas de dinero y asistencia sobrehumana de la IA para sus campañas de reelección. Aún no está claro cuán poderosas serán estas técnicas (tal vez las defensas epistémicas de los humanos ya sean bastante buenas y la IA no avance mucho respecto a lo que los humanos ya pueden hacer), pero si tenemos mala suerte, esto podría perjudicar gravemente la capacidad de la sociedad para detectar y responder a la búsqueda de poder.

Es posible que en esa lista de factores falten aspectos importantes y se incluyan otros que en realidad no serán problemáticos; una vez más, se trata de un área poco estudiada. Pero la incluimos para dar una idea más concreta de cómo la IA podría erosionar (o utilizarse para erosionar) el entorno epistémico, dificultando que las personas se den cuenta de lo que sucede y se resistan a una mayor concentración de poder. La interferencia epistémica por sí sola probablemente no conducirá a una concentración extrema de poder facilitada por la IA, pero podría ser un factor contribuyente.

La concentración de poder facilitada por la IA podría causar un daño enorme y duradero

Por sentido común, entregar las llaves del futuro a un puñado de personas parece claramente equivocado, y es algo a lo que la mayoría de la gente se opondría firmemente. Damos bastante peso a este argumento intuitivo.

También damos cierto peso a argumentos específicos sobre las formas en que la concentración de poder facilitada por la IA sería extremadamente perjudicial, aunque aquí el razonamiento parece más frágil:

• Podría conducir a la tiranía. La democracia suele impedir que pequeños grupos de extremistas tomen las riendas del gobierno y las utilicen para cometer atrocidades masivas contra sus pueblos, al exigir que una gran parte de la población apoye la dirección general del gobierno. Si el poder se concentrara extremadamente, un pequeño grupo podría cometer atrocidades que horrorizarían a la mayoría de la gente. Muchas de las peores atrocidades de la historia de la humanidad fueron perpetradas por un pequeño número de personas que tenían un poder sin control sobre su pueblo (pensemos en los Jemeres Rojos, que asesinaron a una cuarta parte de todos los camboyanos entre 1975 y 1979). Podemos identificar dos formas principales en las que la concentración de poder facilitada por la IA podría conducir a la tiranía:
  • Humanos malintencionados —o simplemente extremadamente egoístas— podrían acabar en el poder. Especialmente en escenarios donde el poder se concentra mediante tomas de poder facilitadas por la IA, parece bastante probable que el tipo de personas dispuestas a hacerse con el poder posean otros rasgos negativos. Es posible que deseen causar daño activamente.
  • El poder corrompe. Incluso si quienes detentan el poder comienzan con buenas intenciones, no tendrían ningún incentivo para seguir promoviendo los intereses de la mayoría de la gente si su poder estuviera asegurado. Siempre que los intereses de otras personas resultaran inconvenientes, existiría una fuerte tentación de desestimarlos, y no habría repercusiones por hacerlo.
• Podría llevarnos a perder futuros realmente buenos. La concentración de poder facilitada por la IA podría no conducir a la tiranía en el sentido más atroz: podríamos acabar, de algún modo, con un dictador benevolente o una casta ilustrada de actores poderosos que velen por el resto de nosotros. Pero incluso en este caso, el futuro podría ser mucho menos favorable de lo que podría haber sido, porque habría:
  • Injusticia y desempoderamiento. La concentración de poder facilitada por la IA desempoderaría políticamente a la gran mayoría de las personas. Desde algunas perspectivas filosóficas,⁠u la justicia y el empoderamiento político son intrínsecamente valiosos, por lo que esto haría que el futuro fuera mucho menos bueno.
  • Menos diversidad de valores y formas de vida. Un grupo más reducido de personas en el poder significa que en el futuro se verá representado un conjunto más limitado de valores y preferencias. Una vez más, desde muchas perspectivas, este tipo de diversidad es intrínsecamente valiosa.
  • Menos reflexión moral (quizás). Tomar buenas decisiones sobre el futuro puede requerir pensar profundamente sobre lo que valoramos y lo que debemos a los demás. Si el poder sobre el futuro está distribuido, es muy probable que al menos algunas personas elijan reflexionar de esta manera, y habrá más desacuerdos y experimentación, lo que podría llevar a otros a reflexionar también. Pero si el poder está extremadamente concentrado, los responsables podrían simplemente imponer su visión actual del mundo sin cuestionarla nunca. Esto podría conducir a errores irreversibles: imagina si los puntos ciegos morales de los victorianos o de los romanos se hubieran convertido en política permanente. Si a quienes detentan el poder les interesa determinar qué es lo correcto, la concentración de poder también podría conducir a una mayor reflexión moral de la que se daría en un mundo por defecto, pero se limitaría a un conjunto reducido de experiencias y perspectivas, y podría pasar por alto ideas importantes que surgen de un diálogo humano más amplio.

La concentración extrema de poder facilitada por la IA probablemente también sería difícil de revertir, lo que haría que cualquier daño fuera muy duradero. Como ya ocurre, los poderosos intentarán aferrarse a su poder. Pero la IA podría permitir hacerlo de una manera extremadamente duradera que no ha sido posible históricamente:

• Incluso si la mayoría de la gente se opusiera a un régimen impulsado por la IA, podrían tener aún menos poder para derrocarlo del que han tenido históricamente los grupos marginados. Si toda la actividad económica y militar se automatiza, los seres humanos no tendrán mano de obra valiosa que retener ni fuerza coercitiva que ejercer, por lo que las huelgas y los levantamientos no tendrán ningún efecto.
• Los dictadores humanos mueren, pero un gobierno dirigido por sistemas de IA podría preservar los valores de un dictador u otro líder humano de forma permanente en el futuro.
• Si el poder se concentra tanto que solo existe un hegemón global, entonces no habrá amenazas externas para el régimen.⁠v

Estos daños deben sopesarse frente a los beneficios potenciales de la concentración de poder facilitada por la IA, como la reducción de las dinámicas competitivas. No tenemos certeza de cómo se desarrollará todo esto, pero tanto nuestra intuición como el análisis anterior sugieren que la concentración de poder facilitada por la IA plantea graves riesgos para el florecimiento humano que debemos esforzarnos por evitar.

Hay formas de reducir este riesgo, pero muy pocos están trabajando en ellas

Muchas personas trabajan para prevenir formas más moderadas de concentración de poder. En un sentido amplio, gran parte de la labor que se realiza en los gobiernos, el sistema jurídico y muchos sectores del ámbito académico y la sociedad civil contribuye a este fin.

Sin embargo, muy pocos se centran en el riesgo de una concentración extrema de poder impulsada por la IA, a pesar de que, si los argumentos anteriores son correctos, se trata de un riesgo muy grave. Tenemos constancia de unas pocas docenas de personas en un puñado de organizaciones que trabajan para reducir este riesgo, y aún menos que lo hagan a tiempo completo. A fecha de septiembre de 2025, la única ronda de financiación pública que conocemos sobre la concentración de poder facilitada por la IA es un programa de subvenciones de 4 millones de dólares (aunque existe más financiación disponible a nivel privado).

Esto sucede a pesar de que existen medidas concretas que podríamos tomar ahora para reducir el riesgo. Por ejemplo, podríamos:

• Trabajar en soluciones técnicas para evitar el mal uso de fuerzas de trabajo masivas de IA, como:
  • Entrenar a la IA para que cumpla la ley
  • Evaluar mediante equipos rojos las especificaciones del modelo (documentos que los sistemas de IA están entrenados para seguir y que especifican cómo deben comportarse) para asegurar que las IA sean entrenadas para no ayudar en la toma del poder
  • Auditar modelos para detectar lealtades secretas
  • Aumentar la seguridad de la información del laboratorio para evitar la manipulación del proceso de desarrollo y el acceso no autorizado, lo que dificultaría la inserción de lealtades secretas o el uso indebido de los sistemas de IA⁠w
• Desarrollar y promover políticas que distribuyan el poder sobre la IA, como:
  • Diseñar los términos de los contratos entre laboratorios y gobiernos para garantizar que ningún actor tenga demasiada influencia
  • Compartir el acceso a las mejores capacidades de IA ampliamente, siempre que sea seguro, y con múltiples actores de confianza, como el Congreso y los auditores, cuando no lo sea, de modo que ningún actor tenga capacidades mucho más poderosas que los demás.
  • Construir centros de datos en democracias no estadounidenses para distribuir el poder de ejecutar sistemas de IA entre más actores.
  • Exigir transparencia sobre las capacidades de la IA, cómo se utilizan, las especificaciones de los modelos, las salvaguardias y las evaluaciones de riesgos, para que sea más fácil detectar comportamientos preocupantes.
  • Introducir protecciones más sólidas para los denunciantes para dificultar que los empleados conspiren o que los ejecutivos de las empresas silencien las preocupaciones de su personal.
  • Todas las soluciones técnicas anteriores.
• Crear y desplegar herramientas de IA que mejoren la capacidad de las personas para razonar y coordinarse, de modo que puedan resistir la interferencia epistémica.

Para ser claros, la reflexión sobre cómo prevenir la concentración de poder mediante la IA se encuentra todavía en una fase muy temprana. No todas las personas que trabajan actualmente en este tema apoyarían todas las intervenciones de esa lista, y no está claro en qué medida se resolvería el problema incluso si implementáramos toda la lista. Podría ser que las fuerzas estructurales que empujan hacia la concentración de poder mediante la IA sean demasiado fuertes para detenerlas.

Pero ciertamente no parece inevitable que el poder se concentre de manera extrema:

• A casi todo el mundo le interesa evitar la concentración de poder propiciada por la IA, incluso a las personas más poderosas de la actualidad, ya que tienen mucho que perder si se ven superadas por la competencia.
• Es prometedor que ya podamos enumerar algunas intervenciones concretas y factibles, aunque la reflexión sobre cómo resolver el problema se encuentre aún en una fase muy temprana.

Hay mucho más trabajo por hacer en este ámbito que personas dedicadas a ello.

¿Cuáles son los principales argumentos en contra de trabajar en este problema?

Hemos abordado estos argumentos en otras partes de este artículo, pero los hemos reunido aquí para que resulte más fácil identificar los puntos más débiles del argumento a favor de priorizar la concentración de poder facilitada por la IA, y para profundizar un poco más.

La concentración de poder facilitada por la IA podría reducir otros riesgos derivados de la IA

Algunas formas de concentración de poder podrían reducir varios otros riesgos de la IA:

• Si no hubiera competencia en el desarrollo de la IA, el único desarrollador no tendría presiones competitivas para escatimar en seguridad, lo que podría reducir el riesgo de toma de control por la IA. Estas presiones competitivas son una de las principales razones para preocuparse de que las empresas de IA se apresuren sin tomar las precauciones de seguridad adecuadas.
• El riesgo de una guerra entre grandes potencias desaparecería si el poder se concentrara por completo en un solo país.
• El riesgo de mal uso catastrófico de armas biológicas y otras tecnologías peligrosas sería mucho menor si solo un actor tuviera acceso a capacidades peligrosas. El hecho de que la IA pueda democratizar el acceso a tecnologías extremadamente peligrosas, como las armas biológicas, es uno de los principales motivos de preocupación por su mal uso.

Dicho esto:

• Hay otras formas de gestionar esos riesgos. No es cierto que debamos elegir entre una dictadura benevolente o sufrir una catástrofe existencial por otros riesgos de la IA. Una combinación de regulación nacional, coordinación internacional, avances técnicos en alineación y control, y herramientas de IA para la seguridad epistémica podría permitirnos sortear todos estos riesgos.
• La perspectiva de una concentración de poder facilitada por la IA también podría exacerbar otros riesgos de la IA. Una cosa es imaginar un mundo en el que el poder ya esté extremadamente concentrado. Pero el proceso de llegar a ese mundo podría aumentar drásticamente lo que está en juego en la competencia y hacer que los actores poderosos estén más dispuestos a realizar apuestas arriesgadas y tomar medidas hostiles para evitar quedarse atrás.
• Muchas intervenciones para reducir la concentración de poder facilitada por la IA también ayudan a reducir otros riesgos. En la práctica, no siempre existen contrapartidas. Por ejemplo, las auditorías de alineación ayudan a reducir el riesgo tanto de concentración de poder como de la toma de control por la IA, al dificultar que tanto los humanos como las IA manipulen los objetivos de los sistemas de IA. Y compartir las capacidades más ampliamente podría reducir los desequilibrios de poder y permitir a la sociedad desplegar la IA defensivamente: si podemos proteger suficientemente los modelos de IA, esto no tiene por qué aumentar los riesgos de un mal uso catastrófico.

Sopesar estos riesgos es complicado, y no afirmamos que no existan contrapartidas. Actualmente creemos que no está claro si los efectos de la concentración de poder facilitada por la IA resultan, en el balance final, beneficiosos o perjudiciales para otros riesgos de la IA. Dado que la concentración de poder es un problema importante y desatendido por derecho propio, creemos que sigue mereciendo mucho la pena trabajar en ello. (Pero animamos a quienes trabajan en la concentración de poder facilitada por la IA a tener en cuenta que sus acciones podrían influir en estas otras cuestiones, e intenten evitar empeorarlas).

El futuro aún podría ir bien, incluso si existe una concentración de poder con IA

Por las razones expuestas anteriormente, creemos que la concentración extrema de poder probablemente sea mala. Pero, aunque estés de acuerdo, existen razones para pensar que un futuro con concentración de poder con IA aún podría salir bien en algunos aspectos:

• Abundancia material: La IA podría generar una riqueza tan enorme que la mayoría de la gente viviría en condiciones materiales mucho mejores que las de los más ricos de hoy en día. En un mundo con concentración de poder con IA, la gente carecería de poder político, pero si los poderosos decidieran permitirlo, aún podrían disfrutar de bienestar material.
• Menos incentivos para la represión y la brutalidad: parte de la razón por la que las autocracias reprimen a sus pueblos es que sus líderes intentan afianzar su propio poder. Si el poder se concentrara tanto que los líderes tuvieran garantizada la permanencia en el cargo para siempre, dejaría de haber incentivos racionales para acciones como restringir la libertad de expresión o torturar a disidentes (aunque seguiría habiendo incentivos irracionales como el rencor o las ideologías fanáticas).
• Efectos de selección: aunque tal vez no sea probable, es posible que las personas que acaben en el poder quieran realmente mejorar el mundo. Quizá llegar a una posición tan poderosa seleccione a personas inusualmente competentes, y tal vez asumieran el poder a regañadientes porque había una carrera por desarrollar una IA insegura y la concentración de poder parecía el menor de los males.

Una vez más, no nos parecen argumentos particularmente convincentes, pero creemos que son lo suficientemente plausibles como para que valga la pena considerarlos y sopesarlos.

Los esfuerzos para reducir la concentración de poder facilitada por la IA podrían ser contraproducentes

La concentración de poder facilitada por la IA es un tema espinoso, y los esfuerzos por evitarla podrían fácilmente resultar contraproducentes. Cuanto más notorio es el riesgo de la concentración de poder mediante IA, más notorio resulta para los actores que buscan el poder. Trabajar para reducir la concentración de poder facilitada por la IA podría:

• Movilizar la oposición a las intervenciones por parte de quienes se beneficiarían de la concentración de poder.
• Dar ideas directamente a los actores que buscan poder, generando y difundiendo información sobre cómo pequeños grupos podrían llegar a acumular grandes cantidades de poder.
• Desencadenar una lucha por el poder. Si todos piensan que los demás están tratando de consolidar su poder, es más probable que intenten hacerse con el poder ellos mismos para anticiparse.

Algunas intervenciones también podrían reducir la probabilidad de que un actor acabe teniendo demasiado poder, pero aumentando la probabilidad de que otro actor lo tenga. Por ejemplo, aumentar la supervisión gubernamental sobre las empresas de IA podría dificultar la toma de poder por parte de las empresas, pero simultáneamente facilitar que los funcionarios gubernamentales orquesten una toma de poder.

Creemos que prevenir la concentración de poder facilitada por la IA es un terreno algo minado, y esa es parte de la razón por la que pensamos que, por ahora, la mayoría de la gente debería tener en cuenta el riesgo en lugar de trabajar directamente en ello. Pero hay formas de hacer que este trabajo tenga menos probabilidades de ser contraproducente, como:

• Ser reflexivo y consciente de los riesgos de efectos contraproducentes. Si crees que no tienes buen criterio para este tipo de cosas (o no tendrías a nadie con buen criterio para darte su opinión), probablemente sea mejor que trabajes en otra cosa.
• Utilizar marcos y un lenguaje menos antagónicos. Por ejemplo, “acaparamiento de poder” parece más provocador que “concentración de poder” como marco.
• Centrarse en tipos de trabajo que sean difíciles de usar indebidamente por actores que buscan poder. Por ejemplo, desarrollar e implementar mitigaciones como medidas de transparencia o auditorías de alineación es más difícil de aprovechar para un actor que busca poder que el modelado de amenazas detallado.

El poder podría permanecer distribuido por defecto

Más arriba argumentamos que el poder podría llegar a concentrarse extremadamente. Pero esto no es inevitable, y los argumentos podrían resultar erróneos. Por ejemplo:

• Es posible que las capacidades de la IA simplemente no lleguen a ser tan potentes. Quizás el techo de capacidades importantes como la persuasión o la I+D en IA sea bastante bajo, de modo que los efectos de la IA sean menos transformadores en todos los ámbitos.
  • Una variante especialmente importante de esto es que quizás las dinámicas de autorrefuerzo derivadas de la automatización de la I+D en IA sean débiles, en cuyo caso podría no producirse una explosión de inteligencia, o solo una pequeña. Esto significaría que ningún desarrollador de IA podría, por sí solo, obtener y mantener una gran ventaja de capacidades sobre otros desarrolladores.
• La respuesta regulatoria por defecto (y el marco institucional en lugares como Estados Unidos) podría bastar para redistribuir las ganancias de la automatización y evitar el mal uso de las grandes fuerzas laborales de IA. Las personas que hoy ostentan el poder —lo que en las democracias incluye al electorado, la sociedad civil y los medios de comunicación— se esforzarán mucho por mantener su propio poder frente a los recién llegados si logran entender lo que sucede, y la mayoría de la gente saliera perdiendo con la concentración de poder facilitada por la IA.
• Si a la gente le preocupa que la IA esté desalineada, es decir, que no persiga de forma fiable los objetivos que sus usuarios o creadores desean, esto podría reducir los impactos económicos de la IA (porque habría menos despliegue) y hacer que las personas que buscan el poder estén menos dispuestas a utilizar la IA para intentar hacerse con él (porque la IA podría volverse contra ellas).

Creemos que la probabilidad de que el poder se concentre de forma extrema es lo suficientemente alta como para ser muy preocupante. Pero coincidimos en que está lejos de estar garantizado.

Puede que sea demasiado difícil detener la concentración de poder mediante IA

Por otro lado, podría resultar que no valga la pena trabajar en la concentración de poder facilitada por la IA porque es demasiado difícil de detener:

• Las fuerzas estructurales que impulsan la concentración de poder facilitada por la IA podrían ser muy fuertes. Por ejemplo, si se produjera una enorme explosión de inteligencia que otorgara a un desarrollador de IA acceso exclusivo a capacidades casi divinas de IA, podría decirse que lo que sucediera a continuación quedaría a su entera discreción.
• La mayoría de los actores que podrían beneficiarse de la concentración de poder facilitada por la IA ya son muy poderosos. Podrían oponerse a los esfuerzos por mitigar el riesgo, ocultar lo que está sucediendo e interferir en la capacidad de otras personas para coordinarse contra la concentración de poder.

Dicho esto, no creemos que debamos rendirnos todavía:

• Aún no sabemos cómo se desarrollará la dinámica estructural. Podríamos estar en un mundo en el que sea muy posible limitar la concentración de poder.
• A casi todo el mundo le interesa evitar la concentración de poder facilitada por la IA, incluidos los intereses de las personas más poderosas de la actualidad, ya que la mayoría saldría perdiendo si un pequeño grupo obtuviera el control de las decisiones más importantes. Podría ser posible coordinarse para evitar la concentración de poder y hacer que la deserción resulte muy costosa.
• Ya existen algunas intervenciones para evitar la concentración de poder facilitada por la IA que parecen prometedoras (véase arriba). Si se presta más atención a este ámbito, es posible que encontremos más.

¿Qué puedes hacer para ayudar?

Dado que hasta la fecha se ha realizado muy poco trabajo dedicado a prevenir la concentración extrema de poder facilitada por la IA, todavía no existen intervenciones hacia las que podamos dirigir con confianza a mucha gente. Y, desde luego, ¡no hay muchos puestos de trabajo dedicados directamente a este tema!

Por ahora, nuestro principal consejo para la mayoría de las personas es:

• Ten en cuenta el riesgo de la concentración de poder mediante IA. Es más probable que evitemos la concentración de poder mediante IA si las personas razonables son conscientes de este riesgo y quieren prevenirlo. Esto es especialmente relevante si trabajas en una empresa de IA o en gobernanza y seguridad de la IA: las políticas o las nuevas tecnologías suelen tener repercusiones en la concentración de poder y, al ser consciente de ello, tal vez puedas evitar aumentar el riesgo inadvertidamente.
• Ten presente que los esfuerzos para reducir este riesgo podrían ser contraproducentes o aumentar otros riesgos.

También existen algunas agendas prometedoras en fase inicial, y creemos que algunas personas ya podrían empezar a hacer un buen trabajo en este ámbito. Nos encantaría ver a más gente trabajando en:

• IA que cumple la ley. Entrenar a los sistemas de IA para que cumplan la ley y otras restricciones dificultaría el uso de sistemas de IA para tomar el poder. Law-following AI: Designing AI agents to obey human laws es el artículo principal sobre el tema e incluye una agenda con temas para futuras investigaciones.⁠x
• Auditorías de alineación e integridad de sistemas para evitar manipulaciones. Esto dificultaría que actores malintencionados introdujeran lealtades secretas o hicieran un uso indebido de los sistemas de IA para obtener poder. El informe del Institute for Progress sobre la prevención de agentes durmientes de IA ofrece una visión general; hay otra en este artículo sobre golpes de Estado con IA.
• Crear herramientas de IA que mejoren la capacidad de las personas para razonar y coordinarse. Esto podría ayudar a las personas a comprender lo que está sucediendo en términos de concentración de poder y a coordinarse para proteger sus propios intereses. AI tools for existential security ofrece una visión general del tema, al igual que nuestro propio artículo sobre la toma de decisiones mejorada por la IA (pero con más salvedades). Hay más ideas aquí y aquí, y la Future of Life Foundation ha organizado recientemente una beca sobre IA para el razonamiento humano.
• Desarrollar y promover políticas que distribuyan el poder sobre la IA. Esto está menos definido que las agendas anteriores, pero podría incluir políticas para compartir las capacidades de la IA y el cómputo de manera más amplia, transparencia en las capacidades de la IA y su uso, y protección de los denunciantes.

Puedes expresar tu interés en trabajar para reducir el riesgo de una concentración extrema de poder aquí.⁠y

Para encontrar más ideas, puedes consultar las secciones sobre mitigaciones de estos artículos sobre golpes de Estado con IA, la pérdida gradual de poder y la maldición de la inteligencia; así como estas listas de proyectos sobre la pérdida gradual de poder. El campo aún se encuentra en una fase muy temprana, por lo que lo más importante podría ser simplemente seguir a las organizaciones e investigadores que trabajan en este ámbito,⁠z y buscar formas de participar.

Más información

El problema de la concentración de poder facilitada por la IA

• Toma de poder:
  • AI-enabled coups: How a small group could use AI to seize power, de Tom Davidson, Lukas Finnveden y Rose Hadshar
  • Pódcast: Tom Davidson on how AI-enabled coups could allow a tiny group to seize power
  • How an AI company CEO could quietly take over the world, por Alex Kastner
  • Secretly loyal AIs: Threat vectors and mitigation strategies, por Dave Bannerjee
• Dominio económico:
  • The Intelligence Curse, por Luke Drago y Rudolf Laine
  • Could one country outgrow the rest of the world after AGI?, por Tom Davidson
• Gradual disempowerment, por Jan Kulveit et al. (y nuestro resumen y la entrevista con David Duvenaud)
• AGI, governments, and free societies, por Justin Bullock et al.

Cuán perjudicial podría ser la concentración de poder facilitada por la IA

• AGI and lock-in, por Lukas Finnveden, Jess Riedel y Carl Shulman
• Nuestro perfil de problema sobre el totalitarismo estable
• ‘Reducir los riesgos a largo plazo ocasionados por actores malevolentes’, por David Althaus y Tobias Baumann
• Human takeover might be worse than AI takeover, por Tom Davidson

Algunas medidas para mitigar la concentración de poder facilitada por la IA

• Law-following AI: Designing AI agents to obey human laws, por Cullen O’Keefe et al.
• Auditing language models for hidden objectives, por Samuel Marks et al.
• AI tools for existential security, por Lizka Vaintrob y Owen Cotton-Barratt, o nuestro artículo similar sobre la toma de decisiones mejorada por la IA, que abarca gran parte del mismo terreno, pero explora más a fondo las objeciones a trabajar en esta área.
• Las secciones de mitigación de los artículos sobre los golpes de Estado facilitados por la IA, la pérdida gradual de poder y la maldición de la inteligencia
• Gradual disempowerment: Concrete research projects, por Raymond Douglas
• The best approaches for mitigating “the intelligence curse” (or gradual disempowerment), por Ryan Greenblatt

---

Publicación original: Rose Hadshar (2025) Extreme power concentration, 80,000 Hours, abril.