Idea: la convención de la explosión de inteligencia

Algunos argumentos a favor de este plan

1. Convierte un proceso gradual (el desarrollo progresivamente acelerado de la IA y la tecnología) en un cambio radical (“ahora comienza la explosión de inteligencia”), lo que, según creo, facilitará que los políticos actúen y que la sociedad civil se movilice, etc.
2. Pausa el desarrollo de la IA en el momento en que más nos beneficia tener tiempo extra para pensar, porque
   1. De lo contrario, las cosas empezarían a suceder muy deprisa y podrían ser muy disruptivas.
   2. Tendremos acceso a una asistencia deliberativa de IA de mayor calidad que la actual, lo que podría aumentar drásticamente nuestra eficiencia para averiguar qué hacer a continuación.
   3. Estaremos más cerca de la explosión de inteligencia y tendremos una mejor comprensión de cómo se desarrollarán las cosas.
   4. Las señales de una inminente explosión de inteligencia serán más claras, por lo que un grupo mucho más amplio de personas (incluidos los líderes políticos de diferentes países) apoyará los preparativos.
3. Es una pausa factible.
   1. Suponiendo que Estados Unidos tenga una ventaja significativa de más de un mes sobre sus rivales, no pierde su ventaja al implementar esta pausa.
   2. Parece razonable que a todos les convenga hacer una pausa conjunta en este momento, ya que la explosión de inteligencia podría ser muy disruptiva (incluso para los líderes políticos) y los beneficios de la colaboración en este punto podrían ser enormes.
   3. Potencialmente, la comunidad del aprendizaje automático podría usar su influencia para lograr esta pausa. Podrían formar una “Unión de Científicos Informáticos Preocupados”, con un acuerdo entre sus miembros de que solo continuarán con la investigación en aprendizaje automático, una vez superado el umbral, si Estados Unidos cumple con el plan.
4. Podría dar lugar a pausas más largas: una pausa de un mes parece factible, pero si queda claro que se necesita más tiempo, la convención podría prorrogarse.
   1. Alternativamente, podría provocar el retraso de momentos concretos de fijación. Por ejemplo, podría resultar en restricciones a la obtención de recursos espaciales, con el fin de posponer los puntos de fijación (además de ralentizar potencialmente la explosión de inteligencia).
   2. También podría habilitar caminos para la ralentización de la IA por vías no convencionales (por ejemplo, mediante restricciones en el uso de la energía).
5. Crea un objetivo para el análisis y la incidencia política. Sabiendo que se prevé que tal evento ocurra en el futuro, los think tanks (etc.) tienen mayores incentivos para trabajar en estas cuestiones con antelación.
   1. Cabe señalar que esta convención no es incompatible con, ni un reemplazo de, convenciones y conferencias anteriores sobre las cuestiones que abarcaría la convención para regular la explosión de inteligencia.

Algunas objeciones a este plan y sus respuestas

1. El plan es un esbozo de muy alto nivel. El diablo está en los detalles y es muy posible que fracase una vez que se especifiquen. A modo de comparación, “crear una federación mundial para evitar otra guerra mundial” probablemente parecía un plan excelente en la década de 1910. Pero tanto la Sociedad de Naciones como la ONU han sido bastante ineficaces; es plausible que esto se deba a que no había forma, compatible con la realpolitik de la época, de dotarlas de poder real.
   1. Respuesta:
      1. Estamos en un entorno muy diferente al del mundo de 1920 o 1945, lo que podría cambiar las cosas de manera muy significativa. Por ejemplo, las potencias occidentales están muy estrechamente aliadas y, en conjunto, tienen un poder económico y militar mucho mayor que el de cualquiera de sus rivales. El nivel de desconfianza entre las potencias occidentales y China es considerablemente menor que el que existía entre Occidente y la URSS tras la creación de la ONU.
      2. Los tratados multilaterales más específicos han tenido mucho más éxito que la Sociedad de Naciones o la ONU. Entre ellos se incluyen: el Tratado sobre la No Proliferación de las Armas Nucleares; el Protocolo de Montreal; el Acuerdo de Marrakech por el que se establece la Organización Mundial del Comercio; y la Convención sobre las Armas Químicas.
2. Estados Unidos tendrá pocos incentivos para adoptar este plan. Si van a la cabeza, pueden simplemente seguir avanzando y hacerse con todo el poder, por lo que no querrán hacer una pausa.
   1. Respuesta:
      1. Al adoptar este plan, pueden reducir la posibilidad de robo de los pesos que regulan los modelos, de interrupciones en la cadena de suministro o de acciones militares preventivas por parte de otros países. Esto, por sí solo, es una razón de peso para que apoyen el plan.
      2. Es de esperar que los líderes políticos se sientan bastante incómodos con la explosión de inteligencia. Actualmente, están en la cima del poder dentro de sus países; los efectos de la explosión de inteligencia son difíciles de predecir y podrían socavar su posición.
      3. No creo que los líderes políticos actúen únicamente por el interés particular del país que dirigen, sino que están impulsados en gran medida por la ideología. Puesto que la “pérdida” que una convención de este tipo supondría para los Estados Unidos sería pequeña, que sería una pérdida derivada únicamente de ganancias de riqueza verdaderamente enormes y que existen razones plausibles para suponer que dicha convención redundaría en el mayor beneficio de los Estados Unidos, parece que la celebración de una convención y la promulgación de tratados de colaboración estarían dentro del rango de decisiones aceptables.
3. O la gente ve venir una explosión de inteligencia o no. Si la ven, entonces no tiene sentido abogar por esto, ya que solo sustituirá procesos que, en mayor o menor medida, ocurrirán de todos modos. Si no la ven, entonces no querrán hacer una pausa ni celebrar una convención, incluso una vez que se haya alcanzado el umbral.
   1. Respuesta:
      1. Creo que podemos aumentar significativamente la probabilidad de que los líderes políticos anticipen la explosión de inteligencia, se la tomen en serio y respondan de forma adecuada.
4. Los resultados de las negociaciones que tengan lugar durante la convención no tendrán fuerza, porque, de todos modos, Estados Unidos tendrá todo el poder poco después.
   1. Respuesta:
      1. No es imposible que Estados Unidos decida cumplir los acuerdos aunque no “tenga” que hacerlo.
      2. Como parte de las negociaciones, podría haber garantías de cumplimiento continuo, con mecanismos para asegurarlo. Por ejemplo, podría haber un acuerdo para que el desarrollo futuro de la IA se realice a través de una colaboración internacional.
5. Solo ayuda en escenarios de despegue de la IA a “velocidad media”. Es muy posible que haya un retraso entre el momento en que se cruza el umbral y el momento en que la convención se reúne realmente. En escenarios de despegue muy rápido, para cuando haya comenzado la convención, es posible que ya estemos inmersos en la explosión de inteligencia. En escenarios de despegue muy lento, no será necesaria una convención; la política habitual podría ocuparse de estas cuestiones.
   1. Respuesta:
      1. Un despegue a “velocidad media” (que se acelera a lo largo de varios meses o unos pocos años) es el escenario que considero más probable.
      2. Aunque es cierto que esta propuesta no ayuda si el despegue ocurre en cuestión de días o semanas, ese escenario me parece muy improbable.
      3. Si el despegue es más lento, convocar la convención no presenta ninguna desventaja significativa.
      4. Con respecto al escenario de despegue rápido: si se pudieran alcanzar acuerdos con antelación, la “pausa” podría programarse para producirse inmediatamente después de cruzar el umbral.
6. Solo ayuda en escenarios donde el líder tenga una ventaja significativa. Si su ventaja es solo de unos meses, una pausa de un mes podría ser excesiva.
   1. Respuesta:
      1. En el escenario que considero más probable, el líder tendrá más de un mes de ventaja.
      2. Pero este es un aspecto en el que el plan es imperfecto y podría fallar.
7. Les da a los países rezagados un mes más para intentar robar los pesos de los modelos, etc.
   1. Respuesta:
      1. Mi opinión es que las ventajas de que otros países se unan a la convención y colaboren en la negociación de tratados superarán para ellos los beneficios esperados de tomar medidas más agresivas.

Alternativas a este plan, con respuestas

1. Simplemente, tratar de elaborar una normativa sustantiva para todas estas cuestiones lo antes posible, en lugar de perder el tiempo impulsando esta solución de “pasarse la pelota”. Dicha normativa sustantiva podría ser mínima, pero aun así sería suficiente para desincentivar las carreras, el robo de pesos de modelos, etc.
   1. Respuesta:
      1. Creo que esta es la alternativa al plan más importante y convincente.
      2. Pero se pierden los beneficios de la deliberación asistida por IA que podríamos obtener en ese momento, el beneficio de saber con mayor claridad cómo se desarrollarán las cosas y el de que más gente haya tomado conciencia de la posibilidad de una explosión de inteligencia a corto plazo.
      3. Y creo que si se planificara esta convención, aumentaría la cantidad de regulación sustantiva que se realiza de antemano. Analogía: a menudo, la mayor parte del trabajo de redacción de la constitución de un nuevo país se lleva a cabo mucho antes de la convención constitucional.
2. No agrupar las diferentes cuestiones (por ejemplo, la gobernanza del espacio y los derechos digitales); en su lugar, impulsar convenciones separadas para debatir los tratados.
   1. Respuesta a favor de la agrupación:
      1. Debido al explosivo avance de las capacidades, muchas de estas cuestiones aparecerán en el radar político aproximadamente al mismo tiempo.
      2. Muchas de las cuestiones interactuarán entre sí; agruparlas ayuda a evitar conflictos entre los tratados.
      3. Es muy posible que surjan cuestiones totalmente nuevas en las que aún no hemos pensado (como resultado del rápido progreso intelectual o tecnológico), y sería conveniente contar con un procedimiento general que permita abordarlas.
3. El plan debería ser más ambicioso, en particular en cuanto al poder otorgado a los países no estadounidenses. En lugar de limitarnos a permitir que otros países hagan sus aportaciones, y en vez de aspirar a una serie de tratados multilaterales, deberíamos impulsar algo más sustancial.
   1. Respuesta:
      1. Para mí, esto está sobre la mesa. Sin embargo, mi opinión actual es que esto sería mucho menos viable políticamente y que su costo es lo suficientemente alto como para que sea un factor decisivo para no impulsarlo.
4. Lo que hay que hacer es centrarse en averiguar qué resultado sería realmente el mejor para la civilización futura, para luego identificar las formas en que podríamos fracasar en alcanzar ese futuro y, finalmente, determinar qué intervenciones específicas podrían prevenir esos modos de fallo.
   1. Respuesta: Me parece una buena idea, solo que es un proyecto diferente.
5. Lo que hay que hacer es centrarse en garantizar que ningún país pueda obtener una ventaja significativa sobre los demás para mantener el equilibrio de poder, por ejemplo, asegurando que la cadena de suministro necesaria para desarrollar una IA esté cada vez mejor distribuida a nivel mundial.
6. Respuesta: Me parece bastante interesante; aunque, de nuevo, no creo que esto sea incompatible con el plan propuesto.

Gracias a muchas personas por sus comentarios y la discusión, y a Rose Hadshar por su ayuda con la edición.

Publicación original: William MacAskill (2026) Idea: the intelligence explosion convention, Effective Altruism Forum, 4 de febrero.