Idea: la convención de la explosión de inteligencia

Explosión de inteligenciaGobernanza de la IAGobernanza globalIA transformadoraLargoplacismoRelaciones internacionales

Esta nota fue escrita como parte de una línea de investigación que por el momento no tengo previsto continuar. Es más un trabajo en curso que una de las publicaciones habituales de Forethought, pero la comparto porque creo que puede resultar útil para algunos lectores.

Introducción

La IA bien podría conducir a un ritmo de desarrollo tecnológico mucho más rápido (incluido el desarrollo de las capacidades de la IA): una “revolución de la IA” que daría lugar a una aceleración del desarrollo tecnológico de una magnitud similar a la de las revoluciones agrícola e industrial. Si eso ocurre, la humanidad tendrá que enfrentarse a un gran número de desafíos en un breve lapso, potencialmente en solo unos meses o años. El riesgo de que una IA desalineada tome el control es uno de ellos, pero hay muchos otros, entre los que se incluyen:

Mantener la democracia incluso después de que las fuerzas militares y policiales hayan sido o puedan ser automatizadas.
Regular las nuevas tecnologías con el potencial de ser sumamente peligrosas (incluidas aquellas que aún no hemos concebido).
Gobernar la carrera por hacerse con las nuevas fuentes de recursos que han quedado disponibles (como los recursos espaciales).
Cómo otorgar derechos y consideración a los seres digitales potencialmente sintientes.

Creo que la forma en que gobernemos este periodo (que denominaré explosión de inteligencia) es crucial, y resolver cómo hacerlo es una de las acciones de mayor impacto que podemos emprender. A continuación, esbozo una propuesta para gobernar la explosión de inteligencia.

Una convención para gobernar la explosión de inteligencia: panorama general

El plan es el siguiente:

Definir un punto que sirva como un umbral que marque el comienzo de la explosión de inteligencia.
1. Este punto se caracteriza por:
  1. Un conjunto de benchmarks técnicos, como directrices.
    1. Estos podrían abarcar benchmarks técnicos de IA, medidas de inversión en IA e indicadores macroeconómicos.
  2. Un panel de expertos destacados, que toman la decisión definitiva sobre si se ha superado ese umbral.
2. Idealmente, el punto ocurriría
  1. Lo suficientemente temprano como para que
    1. Aún no nos enfrentemos a un riesgo grave de toma de poder por parte de la IA, ni a otros riesgos catastróficos derivados de esta.
    2. Aún no estemos tan inmersos en la explosión de inteligencia como para que un país tenga un poder mucho mayor que todos los demás. Las amenazas convencionales (como las amenazas de robar pesos de modelos o conocimientos algorítmicos, la negativa a proporcionar equipos esenciales o incluso una represalia nuclear) siguen teniendo fuerza.
  2. Lo suficientemente tarde como para que
    1. Sea evidente que una explosión de inteligencia está potencialmente muy cerca y se encuentra dentro de los horizontes temporales de la toma de decisiones políticas ordinarias.
    2. Podamos aprovechar la asistencia deliberativa de la IA.
Estados Unidos se compromete de antemano a una pausa de un mes en el desarrollo de la IA de vanguardia una vez alcanzado este umbral.
1. Durante este periodo, convoca una convención de un mes para definir los regímenes de gobernanza para la explosión de inteligencia y las nuevas cuestiones, aún sin regular, que surgirán del explosivo avance de las capacidades.
2. Otros países que también detengan de forma verificable el desarrollo de la IA de vanguardia durante este periodo (y no participen en otro tipo de acciones agresivas, como el robo de pesos de modelos) pueden enviar delegados a la convención para hacer aportaciones.
  1. Me refiero a “otros países” en términos generales, pero los países clave serían Estados Unidos, algunos países europeos y China.
  2. En última instancia, por razones de viabilidad política, probablemente siga siendo Estados Unidos quien tome las decisiones. (Sin embargo, los detalles precisos aquí son cruciales).
  3. Una analogía es la formación de la ONU: en parte como recompensa por aliarse contra las potencias del Eje, los países podían convertirse en miembros de la ONU. Sin embargo, el texto de la carta fue redactado casi en su totalidad por Estados Unidos. (Esto no quiere decir que la ONU fuera un gran éxito, sino solo que estuvo a punto de ser un régimen de gobernanza global significativo y que sirve como un punto de referencia útil).
El periodo de un mes implica la redacción de una serie de tratados multilaterales para cuestiones que deben abordarse durante la explosión de inteligencia y que actualmente tienen poco o ningún marco regulatorio. Esto incluye, pero no se limita a, la regulación de la propia IA. Algunos ejemplos ilustrativos incluyen:
1. Las restricciones, si las hubiera, para el futuro desarrollo de la IA.
  1. Esto podría lograrse mediante restricciones en áreas no directamente relacionadas con la IA; por ejemplo, restricciones al uso de la energía.
2. Las inversiones en seguridad de la IA.
3. Las restricciones, si las hubiera, sobre la proliferación de la IA: el control de la superinteligencia por muchos o por unos pocos; las medidas de seguridad que deben tener los sistemas de IA antes de ser desplegados.
4. La gobernanza de los nuevos recursos terrestres de alto valor, por ejemplo:
  1. El deuterio en los océanos para la energía de fusión.
  2. La superficie oceánica para la energía solar.
5. La gobernanza de los nuevos recursos espaciales de alto valor (como la energía solar).
6. La gobernanza de las nuevas armas de destrucción masiva u otras tecnologías altamente disruptivas (como la persuasión o la vigilancia muy avanzadas).
7. Medidas para proteger la democracia una vez que el trabajo humano (incluidas las fuerzas militares y policiales humanas) quede obsoleto.
8. Medidas para otorgar poder económico a las personas una vez que el trabajo humano quede obsoleto.
9. Los derechos de los seres digitales, si es que los llegan a tener; las restricciones sobre los tipos de sistemas de IA que es posible crear.
10. Nuevas cuestiones en las que aún no hemos pensado, pero que se harán más claras conforme nos acerquemos a la explosión de inteligencia.

Algunos argumentos a favor de este plan

Convierte un proceso gradual (el desarrollo progresivamente acelerado de la IA y la tecnología) en un cambio radical (“ahora comienza la explosión de inteligencia”), lo que, según creo, facilitará que los políticos actúen y que la sociedad civil se movilice, etc.
Pausa el desarrollo de la IA en el momento en que más nos beneficia tener tiempo extra para pensar, porque
1. De lo contrario, las cosas empezarían a suceder muy deprisa y podrían ser muy disruptivas.
2. Tendremos acceso a una asistencia deliberativa de IA de mayor calidad que la actual, lo que podría aumentar drásticamente nuestra eficiencia para averiguar qué hacer a continuación.
3. Estaremos más cerca de la explosión de inteligencia y tendremos una mejor comprensión de cómo se desarrollarán las cosas.
4. Las señales de una inminente explosión de inteligencia serán más claras, por lo que un grupo mucho más amplio de personas (incluidos los líderes políticos de diferentes países) apoyará los preparativos.
Es una pausa factible.
1. Suponiendo que Estados Unidos tenga una ventaja significativa de más de un mes sobre sus rivales, no pierde su ventaja al implementar esta pausa.
2. Parece razonable que a todos les convenga hacer una pausa conjunta en este momento, ya que la explosión de inteligencia podría ser muy disruptiva (incluso para los líderes políticos) y los beneficios de la colaboración en este punto podrían ser enormes.
3. Potencialmente, la comunidad del aprendizaje automático podría usar su influencia para lograr esta pausa. Podrían formar una “Unión de Científicos Informáticos Preocupados”, con un acuerdo entre sus miembros de que solo continuarán con la investigación en aprendizaje automático, una vez superado el umbral, si Estados Unidos cumple con el plan.
Podría dar lugar a pausas más largas: una pausa de un mes parece factible, pero si queda claro que se necesita más tiempo, la convención podría prorrogarse.
1. Alternativamente, podría provocar el retraso de momentos concretos de fijación. Por ejemplo, podría resultar en restricciones a la obtención de recursos espaciales, con el fin de posponer los puntos de fijación (además de ralentizar potencialmente la explosión de inteligencia).
2. También podría habilitar caminos para la ralentización de la IA por vías no convencionales (por ejemplo, mediante restricciones en el uso de la energía).
Crea un objetivo para el análisis y la incidencia política. Sabiendo que se prevé que tal evento ocurra en el futuro, los think tanks (etc.) tienen mayores incentivos para trabajar en estas cuestiones con antelación.
1. Cabe señalar que esta convención no es incompatible con, ni un reemplazo de, convenciones y conferencias anteriores sobre las cuestiones que abarcaría la convención para regular la explosión de inteligencia.

Algunas objeciones a este plan y sus respuestas

El plan es un esbozo de muy alto nivel. El diablo está en los detalles y es muy posible que fracase una vez que se especifiquen. A modo de comparación, “crear una federación mundial para evitar otra guerra mundial” probablemente parecía un plan excelente en la década de 1910. Pero tanto la Sociedad de Naciones como la ONU han sido bastante ineficaces; es plausible que esto se deba a que no había forma, compatible con la realpolitik de la época, de dotarlas de poder real.
1. Respuesta:
  1. Estamos en un entorno muy diferente al del mundo de 1920 o 1945, lo que podría cambiar las cosas de manera muy significativa. Por ejemplo, las potencias occidentales están muy estrechamente aliadas y, en conjunto, tienen un poder económico y militar mucho mayor que el de cualquiera de sus rivales. El nivel de desconfianza entre las potencias occidentales y China es considerablemente menor que el que existía entre Occidente y la URSS tras la creación de la ONU.
  2. Los tratados multilaterales más específicos han tenido mucho más éxito que la Sociedad de Naciones o la ONU. Entre ellos se incluyen: el Tratado sobre la No Proliferación de las Armas Nucleares; el Protocolo de Montreal; el Acuerdo de Marrakech por el que se establece la Organización Mundial del Comercio; y la Convención sobre las Armas Químicas.
Estados Unidos tendrá pocos incentivos para adoptar este plan. Si van a la cabeza, pueden simplemente seguir avanzando y hacerse con todo el poder, por lo que no querrán hacer una pausa.
1. Respuesta:
  1. Al adoptar este plan, pueden reducir la posibilidad de robo de los pesos que regulan los modelos, de interrupciones en la cadena de suministro o de acciones militares preventivas por parte de otros países. Esto, por sí solo, es una razón de peso para que apoyen el plan.
  2. Es de esperar que los líderes políticos se sientan bastante incómodos con la explosión de inteligencia. Actualmente, están en la cima del poder dentro de sus países; los efectos de la explosión de inteligencia son difíciles de predecir y podrían socavar su posición.
  3. No creo que los líderes políticos actúen únicamente por el interés particular del país que dirigen, sino que están impulsados en gran medida por la ideología. Puesto que la “pérdida” que una convención de este tipo supondría para los Estados Unidos sería pequeña, que sería una pérdida derivada únicamente de ganancias de riqueza verdaderamente enormes y que existen razones plausibles para suponer que dicha convención redundaría en el mayor beneficio de los Estados Unidos, parece que la celebración de una convención y la promulgación de tratados de colaboración estarían dentro del rango de decisiones aceptables.
O la gente ve venir una explosión de inteligencia o no. Si la ven, entonces no tiene sentido abogar por esto, ya que solo sustituirá procesos que, en mayor o menor medida, ocurrirán de todos modos. Si no la ven, entonces no querrán hacer una pausa ni celebrar una convención, incluso una vez que se haya alcanzado el umbral.
1. Respuesta:
  1. Creo que podemos aumentar significativamente la probabilidad de que los líderes políticos anticipen la explosión de inteligencia, se la tomen en serio y respondan de forma adecuada.
Los resultados de las negociaciones que tengan lugar durante la convención no tendrán fuerza, porque, de todos modos, Estados Unidos tendrá todo el poder poco después.
1. Respuesta:
  1. No es imposible que Estados Unidos decida cumplir los acuerdos aunque no “tenga” que hacerlo.
  2. Como parte de las negociaciones, podría haber garantías de cumplimiento continuo, con mecanismos para asegurarlo. Por ejemplo, podría haber un acuerdo para que el desarrollo futuro de la IA se realice a través de una colaboración internacional.
Solo ayuda en escenarios de despegue de la IA a “velocidad media”. Es muy posible que haya un retraso entre el momento en que se cruza el umbral y el momento en que la convención se reúne realmente. En escenarios de despegue muy rápido, para cuando haya comenzado la convención, es posible que ya estemos inmersos en la explosión de inteligencia. En escenarios de despegue muy lento, no será necesaria una convención; la política habitual podría ocuparse de estas cuestiones.
1. Respuesta:
  1. Un despegue a “velocidad media” (que se acelera a lo largo de varios meses o unos pocos años) es el escenario que considero más probable.
  2. Aunque es cierto que esta propuesta no ayuda si el despegue ocurre en cuestión de días o semanas, ese escenario me parece muy improbable.
  3. Si el despegue es más lento, convocar la convención no presenta ninguna desventaja significativa.
  4. Con respecto al escenario de despegue rápido: si se pudieran alcanzar acuerdos con antelación, la “pausa” podría programarse para producirse inmediatamente después de cruzar el umbral.
Solo ayuda en escenarios donde el líder tenga una ventaja significativa. Si su ventaja es solo de unos meses, una pausa de un mes podría ser excesiva.
1. Respuesta:
  1. En el escenario que considero más probable, el líder tendrá más de un mes de ventaja.
  2. Pero este es un aspecto en el que el plan es imperfecto y podría fallar.
Les da a los países rezagados un mes más para intentar robar los pesos de los modelos, etc.
1. Respuesta:
  1. Mi opinión es que las ventajas de que otros países se unan a la convención y colaboren en la negociación de tratados superarán para ellos los beneficios esperados de tomar medidas más agresivas.

Alternativas a este plan, con respuestas

Simplemente, tratar de elaborar una normativa sustantiva para todas estas cuestiones lo antes posible, en lugar de perder el tiempo impulsando esta solución de “pasarse la pelota”. Dicha normativa sustantiva podría ser mínima, pero aun así sería suficiente para desincentivar las carreras, el robo de pesos de modelos, etc.
1. Respuesta:
  1. Creo que esta es la alternativa al plan más importante y convincente.
  2. Pero se pierden los beneficios de la deliberación asistida por IA que podríamos obtener en ese momento, el beneficio de saber con mayor claridad cómo se desarrollarán las cosas y el de que más gente haya tomado conciencia de la posibilidad de una explosión de inteligencia a corto plazo.
  3. Y creo que si se planificara esta convención, aumentaría la cantidad de regulación sustantiva que se realiza de antemano. Analogía: a menudo, la mayor parte del trabajo de redacción de la constitución de un nuevo país se lleva a cabo mucho antes de la convención constitucional.
No agrupar las diferentes cuestiones (por ejemplo, la gobernanza del espacio y los derechos digitales); en su lugar, impulsar convenciones separadas para debatir los tratados.
1. Respuesta a favor de la agrupación:
  1. Debido al explosivo avance de las capacidades, muchas de estas cuestiones aparecerán en el radar político aproximadamente al mismo tiempo.
  2. Muchas de las cuestiones interactuarán entre sí; agruparlas ayuda a evitar conflictos entre los tratados.
  3. Es muy posible que surjan cuestiones totalmente nuevas en las que aún no hemos pensado (como resultado del rápido progreso intelectual o tecnológico), y sería conveniente contar con un procedimiento general que permita abordarlas.
El plan debería ser más ambicioso, en particular en cuanto al poder otorgado a los países no estadounidenses. En lugar de limitarnos a permitir que otros países hagan sus aportaciones, y en vez de aspirar a una serie de tratados multilaterales, deberíamos impulsar algo más sustancial.
1. Respuesta:
  1. Para mí, esto está sobre la mesa. Sin embargo, mi opinión actual es que esto sería mucho menos viable políticamente y que su costo es lo suficientemente alto como para que sea un factor decisivo para no impulsarlo.
Lo que hay que hacer es centrarse en averiguar qué resultado sería realmente el mejor para la civilización futura, para luego identificar las formas en que podríamos fracasar en alcanzar ese futuro y, finalmente, determinar qué intervenciones específicas podrían prevenir esos modos de fallo.
1. Respuesta: Me parece una buena idea, solo que es un proyecto diferente.
Lo que hay que hacer es centrarse en garantizar que ningún país pueda obtener una ventaja significativa sobre los demás para mantener el equilibrio de poder, por ejemplo, asegurando que la cadena de suministro necesaria para desarrollar una IA esté cada vez mejor distribuida a nivel mundial.
Respuesta: Me parece bastante interesante; aunque, de nuevo, no creo que esto sea incompatible con el plan propuesto.

Gracias a muchas personas por sus comentarios y la discusión, y a Rose Hadshar por su ayuda con la edición.

Publicación original: William MacAskill (2026) Idea: the intelligence explosion convention, Effective Altruism Forum, 4 de febrero.

Introducción

Mantener la democracia incluso después de que las fuerzas militares y policiales hayan sido o puedan ser automatizadas.

Regular las nuevas tecnologías con el potencial de ser sumamente peligrosas (incluidas aquellas que aún no hemos concebido).

Gobernar la carrera por hacerse con las nuevas fuentes de recursos que han quedado disponibles (como los recursos espaciales).

Cómo otorgar derechos y consideración a los seres digitales potencialmente sintientes.

Una convención para gobernar la explosión de inteligencia: panorama general

El plan es el siguiente:

Definir un punto que sirva como un umbral que marque el comienzo de la explosión de inteligencia.

Este punto se caracteriza por:
1. Un conjunto de benchmarks técnicos, como directrices.
  1. Estos podrían abarcar benchmarks técnicos de IA, medidas de inversión en IA e indicadores macroeconómicos.
2. Un panel de expertos destacados, que toman la decisión definitiva sobre si se ha superado ese umbral.
Idealmente, el punto ocurriría
1. Lo suficientemente temprano como para que
  1. Aún no nos enfrentemos a un riesgo grave de toma de poder por parte de la IA, ni a otros riesgos catastróficos derivados de esta.
  2. Aún no estemos tan inmersos en la explosión de inteligencia como para que un país tenga un poder mucho mayor que todos los demás. Las amenazas convencionales (como las amenazas de robar pesos de modelos o conocimientos algorítmicos, la negativa a proporcionar equipos esenciales o incluso una represalia nuclear) siguen teniendo fuerza.
2. Lo suficientemente tarde como para que
  1. Sea evidente que una explosión de inteligencia está potencialmente muy cerca y se encuentra dentro de los horizontes temporales de la toma de decisiones políticas ordinarias.
  2. Podamos aprovechar la asistencia deliberativa de la IA.

Estados Unidos se compromete de antemano a una pausa de un mes en el desarrollo de la IA de vanguardia una vez alcanzado este umbral.

Durante este periodo, convoca una convención de un mes para definir los regímenes de gobernanza para la explosión de inteligencia y las nuevas cuestiones, aún sin regular, que surgirán del explosivo avance de las capacidades.
Otros países que también detengan de forma verificable el desarrollo de la IA de vanguardia durante este periodo (y no participen en otro tipo de acciones agresivas, como el robo de pesos de modelos) pueden enviar delegados a la convención para hacer aportaciones.
1. Me refiero a “otros países” en términos generales, pero los países clave serían Estados Unidos, algunos países europeos y China.
2. En última instancia, por razones de viabilidad política, probablemente siga siendo Estados Unidos quien tome las decisiones. (Sin embargo, los detalles precisos aquí son cruciales).
3. Una analogía es la formación de la ONU: en parte como recompensa por aliarse contra las potencias del Eje, los países podían convertirse en miembros de la ONU. Sin embargo, el texto de la carta fue redactado casi en su totalidad por Estados Unidos. (Esto no quiere decir que la ONU fuera un gran éxito, sino solo que estuvo a punto de ser un régimen de gobernanza global significativo y que sirve como un punto de referencia útil).

El periodo de un mes implica la redacción de una serie de tratados multilaterales para cuestiones que deben abordarse durante la explosión de inteligencia y que actualmente tienen poco o ningún marco regulatorio. Esto incluye, pero no se limita a, la regulación de la propia IA. Algunos ejemplos ilustrativos incluyen:

Las restricciones, si las hubiera, para el futuro desarrollo de la IA.
1. Esto podría lograrse mediante restricciones en áreas no directamente relacionadas con la IA; por ejemplo, restricciones al uso de la energía.
Las inversiones en seguridad de la IA.
Las restricciones, si las hubiera, sobre la proliferación de la IA: el control de la superinteligencia por muchos o por unos pocos; las medidas de seguridad que deben tener los sistemas de IA antes de ser desplegados.
La gobernanza de los nuevos recursos terrestres de alto valor, por ejemplo:
1. El deuterio en los océanos para la energía de fusión.
2. La superficie oceánica para la energía solar.
La gobernanza de los nuevos recursos espaciales de alto valor (como la energía solar).
La gobernanza de las nuevas armas de destrucción masiva u otras tecnologías altamente disruptivas (como la persuasión o la vigilancia muy avanzadas).
Medidas para proteger la democracia una vez que el trabajo humano (incluidas las fuerzas militares y policiales humanas) quede obsoleto.
Medidas para otorgar poder económico a las personas una vez que el trabajo humano quede obsoleto.
Los derechos de los seres digitales, si es que los llegan a tener; las restricciones sobre los tipos de sistemas de IA que es posible crear.
Nuevas cuestiones en las que aún no hemos pensado, pero que se harán más claras conforme nos acerquemos a la explosión de inteligencia.

Algunos argumentos a favor de este plan

Convierte un proceso gradual (el desarrollo progresivamente acelerado de la IA y la tecnología) en un cambio radical (“ahora comienza la explosión de inteligencia”), lo que, según creo, facilitará que los políticos actúen y que la sociedad civil se movilice, etc.

Pausa el desarrollo de la IA en el momento en que más nos beneficia tener tiempo extra para pensar, porque

De lo contrario, las cosas empezarían a suceder muy deprisa y podrían ser muy disruptivas.
Tendremos acceso a una asistencia deliberativa de IA de mayor calidad que la actual, lo que podría aumentar drásticamente nuestra eficiencia para averiguar qué hacer a continuación.
Estaremos más cerca de la explosión de inteligencia y tendremos una mejor comprensión de cómo se desarrollarán las cosas.
Las señales de una inminente explosión de inteligencia serán más claras, por lo que un grupo mucho más amplio de personas (incluidos los líderes políticos de diferentes países) apoyará los preparativos.

Es una pausa factible.

Suponiendo que Estados Unidos tenga una ventaja significativa de más de un mes sobre sus rivales, no pierde su ventaja al implementar esta pausa.
Parece razonable que a todos les convenga hacer una pausa conjunta en este momento, ya que la explosión de inteligencia podría ser muy disruptiva (incluso para los líderes políticos) y los beneficios de la colaboración en este punto podrían ser enormes.
Potencialmente, la comunidad del aprendizaje automático podría usar su influencia para lograr esta pausa. Podrían formar una “Unión de Científicos Informáticos Preocupados”, con un acuerdo entre sus miembros de que solo continuarán con la investigación en aprendizaje automático, una vez superado el umbral, si Estados Unidos cumple con el plan.

Podría dar lugar a pausas más largas: una pausa de un mes parece factible, pero si queda claro que se necesita más tiempo, la convención podría prorrogarse.

Alternativamente, podría provocar el retraso de momentos concretos de fijación. Por ejemplo, podría resultar en restricciones a la obtención de recursos espaciales, con el fin de posponer los puntos de fijación (además de ralentizar potencialmente la explosión de inteligencia).
También podría habilitar caminos para la ralentización de la IA por vías no convencionales (por ejemplo, mediante restricciones en el uso de la energía).

Crea un objetivo para el análisis y la incidencia política. Sabiendo que se prevé que tal evento ocurra en el futuro, los think tanks (etc.) tienen mayores incentivos para trabajar en estas cuestiones con antelación.

Cabe señalar que esta convención no es incompatible con, ni un reemplazo de, convenciones y conferencias anteriores sobre las cuestiones que abarcaría la convención para regular la explosión de inteligencia.

Algunas objeciones a este plan y sus respuestas

El plan es un esbozo de muy alto nivel. El diablo está en los detalles y es muy posible que fracase una vez que se especifiquen. A modo de comparación, “crear una federación mundial para evitar otra guerra mundial” probablemente parecía un plan excelente en la década de 1910. Pero tanto la Sociedad de Naciones como la ONU han sido bastante ineficaces; es plausible que esto se deba a que no había forma, compatible con la realpolitik de la época, de dotarlas de poder real.

Respuesta:
1. Estamos en un entorno muy diferente al del mundo de 1920 o 1945, lo que podría cambiar las cosas de manera muy significativa. Por ejemplo, las potencias occidentales están muy estrechamente aliadas y, en conjunto, tienen un poder económico y militar mucho mayor que el de cualquiera de sus rivales. El nivel de desconfianza entre las potencias occidentales y China es considerablemente menor que el que existía entre Occidente y la URSS tras la creación de la ONU.
2. Los tratados multilaterales más específicos han tenido mucho más éxito que la Sociedad de Naciones o la ONU. Entre ellos se incluyen: el Tratado sobre la No Proliferación de las Armas Nucleares; el Protocolo de Montreal; el Acuerdo de Marrakech por el que se establece la Organización Mundial del Comercio; y la Convención sobre las Armas Químicas.

Estados Unidos tendrá pocos incentivos para adoptar este plan. Si van a la cabeza, pueden simplemente seguir avanzando y hacerse con todo el poder, por lo que no querrán hacer una pausa.

Respuesta:
1. Al adoptar este plan, pueden reducir la posibilidad de robo de los pesos que regulan los modelos, de interrupciones en la cadena de suministro o de acciones militares preventivas por parte de otros países. Esto, por sí solo, es una razón de peso para que apoyen el plan.
2. Es de esperar que los líderes políticos se sientan bastante incómodos con la explosión de inteligencia. Actualmente, están en la cima del poder dentro de sus países; los efectos de la explosión de inteligencia son difíciles de predecir y podrían socavar su posición.
3. No creo que los líderes políticos actúen únicamente por el interés particular del país que dirigen, sino que están impulsados en gran medida por la ideología. Puesto que la “pérdida” que una convención de este tipo supondría para los Estados Unidos sería pequeña, que sería una pérdida derivada únicamente de ganancias de riqueza verdaderamente enormes y que existen razones plausibles para suponer que dicha convención redundaría en el mayor beneficio de los Estados Unidos, parece que la celebración de una convención y la promulgación de tratados de colaboración estarían dentro del rango de decisiones aceptables.

O la gente ve venir una explosión de inteligencia o no. Si la ven, entonces no tiene sentido abogar por esto, ya que solo sustituirá procesos que, en mayor o menor medida, ocurrirán de todos modos. Si no la ven, entonces no querrán hacer una pausa ni celebrar una convención, incluso una vez que se haya alcanzado el umbral.

Respuesta:
1. Creo que podemos aumentar significativamente la probabilidad de que los líderes políticos anticipen la explosión de inteligencia, se la tomen en serio y respondan de forma adecuada.

Los resultados de las negociaciones que tengan lugar durante la convención no tendrán fuerza, porque, de todos modos, Estados Unidos tendrá todo el poder poco después.

Respuesta:
1. No es imposible que Estados Unidos decida cumplir los acuerdos aunque no “tenga” que hacerlo.
2. Como parte de las negociaciones, podría haber garantías de cumplimiento continuo, con mecanismos para asegurarlo. Por ejemplo, podría haber un acuerdo para que el desarrollo futuro de la IA se realice a través de una colaboración internacional.

Solo ayuda en escenarios de despegue de la IA a “velocidad media”. Es muy posible que haya un retraso entre el momento en que se cruza el umbral y el momento en que la convención se reúne realmente. En escenarios de despegue muy rápido, para cuando haya comenzado la convención, es posible que ya estemos inmersos en la explosión de inteligencia. En escenarios de despegue muy lento, no será necesaria una convención; la política habitual podría ocuparse de estas cuestiones.

Respuesta:
1. Un despegue a “velocidad media” (que se acelera a lo largo de varios meses o unos pocos años) es el escenario que considero más probable.
2. Aunque es cierto que esta propuesta no ayuda si el despegue ocurre en cuestión de días o semanas, ese escenario me parece muy improbable.
3. Si el despegue es más lento, convocar la convención no presenta ninguna desventaja significativa.
4. Con respecto al escenario de despegue rápido: si se pudieran alcanzar acuerdos con antelación, la “pausa” podría programarse para producirse inmediatamente después de cruzar el umbral.

Solo ayuda en escenarios donde el líder tenga una ventaja significativa. Si su ventaja es solo de unos meses, una pausa de un mes podría ser excesiva.

Respuesta:
1. En el escenario que considero más probable, el líder tendrá más de un mes de ventaja.
2. Pero este es un aspecto en el que el plan es imperfecto y podría fallar.

Les da a los países rezagados un mes más para intentar robar los pesos de los modelos, etc.

Respuesta:
1. Mi opinión es que las ventajas de que otros países se unan a la convención y colaboren en la negociación de tratados superarán para ellos los beneficios esperados de tomar medidas más agresivas.

Alternativas a este plan, con respuestas

Simplemente, tratar de elaborar una normativa sustantiva para todas estas cuestiones lo antes posible, en lugar de perder el tiempo impulsando esta solución de “pasarse la pelota”. Dicha normativa sustantiva podría ser mínima, pero aun así sería suficiente para desincentivar las carreras, el robo de pesos de modelos, etc.

Respuesta:
1. Creo que esta es la alternativa al plan más importante y convincente.
2. Pero se pierden los beneficios de la deliberación asistida por IA que podríamos obtener en ese momento, el beneficio de saber con mayor claridad cómo se desarrollarán las cosas y el de que más gente haya tomado conciencia de la posibilidad de una explosión de inteligencia a corto plazo.
3. Y creo que si se planificara esta convención, aumentaría la cantidad de regulación sustantiva que se realiza de antemano. Analogía: a menudo, la mayor parte del trabajo de redacción de la constitución de un nuevo país se lleva a cabo mucho antes de la convención constitucional.

No agrupar las diferentes cuestiones (por ejemplo, la gobernanza del espacio y los derechos digitales); en su lugar, impulsar convenciones separadas para debatir los tratados.

Respuesta a favor de la agrupación:
1. Debido al explosivo avance de las capacidades, muchas de estas cuestiones aparecerán en el radar político aproximadamente al mismo tiempo.
2. Muchas de las cuestiones interactuarán entre sí; agruparlas ayuda a evitar conflictos entre los tratados.
3. Es muy posible que surjan cuestiones totalmente nuevas en las que aún no hemos pensado (como resultado del rápido progreso intelectual o tecnológico), y sería conveniente contar con un procedimiento general que permita abordarlas.

El plan debería ser más ambicioso, en particular en cuanto al poder otorgado a los países no estadounidenses. En lugar de limitarnos a permitir que otros países hagan sus aportaciones, y en vez de aspirar a una serie de tratados multilaterales, deberíamos impulsar algo más sustancial.

Respuesta:
1. Para mí, esto está sobre la mesa. Sin embargo, mi opinión actual es que esto sería mucho menos viable políticamente y que su costo es lo suficientemente alto como para que sea un factor decisivo para no impulsarlo.

Lo que hay que hacer es centrarse en averiguar qué resultado sería realmente el mejor para la civilización futura, para luego identificar las formas en que podríamos fracasar en alcanzar ese futuro y, finalmente, determinar qué intervenciones específicas podrían prevenir esos modos de fallo.

Respuesta: Me parece una buena idea, solo que es un proyecto diferente.

Lo que hay que hacer es centrarse en garantizar que ningún país pueda obtener una ventaja significativa sobre los demás para mantener el equilibrio de poder, por ejemplo, asegurando que la cadena de suministro necesaria para desarrollar una IA esté cada vez mejor distribuida a nivel mundial.

Respuesta: Me parece bastante interesante; aunque, de nuevo, no creo que esto sea incompatible con el plan propuesto.

Gracias a muchas personas por sus comentarios y la discusión, y a Rose Hadshar por su ayuda con la edición.

Publicación original: William MacAskill (2026) Idea: the intelligence explosion convention, Effective Altruism Forum, 4 de febrero.