Las reglas del juego han cambiado: es momento de reevaluar lo que estás haciendo

Hemos sido testigos de que el desempeño respecto a los parámetros de referencia supera con creces lo que la mayoría predijo. Más recientemente, Epoch se sorprendió al ver que el modelo o3 de OpenAI lograba un 25 % en el conjunto de datos Frontier Math (aunque hay cierto grado de controversia). De igual forma, o3 tuvo un desempeño sorprendentemente bueno en programación. En muchos ámbitos del mundo real, ya estamos viendo que la IA iguala a los mejores expertos y parece que pronto los superará.

Ahora que la IAG parece tan cercana, vale la pena recordar que es poco probable que las capacidades se estanquen en torno al nivel humano. Es posible que veamos sistemas mucho más capaces muy poco después de desarrollar sistemas que puedan de igualar o superar a los humanos en los ámbitos más importantes (quizás meses, quizás años después).

Aunque nada es seguro, y ciertamente existe la posibilidad de que estemos ante lo que se ha denominado “pensamiento de grupo”, creo que estas evidencias deberían llevarnos a actualizar hacia plazos más cortos.

Posibles implicaciones:

• Aunque aún deberíamos estar preparados para plazos más largos, ahora es mucho más importante poder elaborar un relato en el sentido de que lo que estés haciendo hoy tendrá un impacto en los próximos años.
  • Ten en cuenta que, dado que los escenarios con plazos cortos ocurren antes y a menudo no se compensan demasiado con los escenarios con plazos más largos, incluso si solo asignas un 30 % a plazos inferiores a 4 años, podría valer la pena tenerlo como máxima prioridad.⁠b
• El riesgo asociado a la IA ya no es cosa del futuro; ya es cosa de “tal vez todos mis seres queridos y yo vamos a morir muy pronto”. Trabajar para prevenir una catástrofe existencial provocada por la IA ya no es una discusión filosófica y no requiere ni una pizca de buena voluntad hacia la humanidad, sino solo un sentido de autoconservación.
• Los planes que dependen de un trabajo que lleva varios años deberían en general descartarse; por ejemplo, los planes que involucran un nivel de seguridad ASL5 de los modelos si requieren más de 5 años.
• Hay una posibilidad real de que alcancemos la IAG durante la presidencia de Trump.
• Podemos hacernos una idea razonable del paradigma que nos llevará a la IAG, así como de los recursos y del tiempo necesarios para llegar a ella.
• Conocemos a los actores que probablemente alcanzarán la IAG y tenemos una idea aproximada de cómo será el panorama.

La presidencia de Trump

Intuyo que muchos en la comunidad de la gobernanza de la IA se estaban preparando para un escenario de continuidad, e implícitamente esperaban otra administración demócrata o elaboraban planes en torno a ello porque parecía más probable que se establecieran regulaciones relativas a la IA. Probablemente no baste con ajustar estas estrategias para la nueva administración: elaborar políticas para la administración de Trump es un juego completamente diferente.

Todavía no sabemos si la administración de Trump se tomará en serio el riesgo asociado a la IA. Durante los primeros días de su administración, hemos visto señales en ambas direcciones, con Trump promoviendo Stargate, pero también anunciando que Estados Unidos podría imponer aranceles de hasta el 100 % a los semiconductores taiwaneses. Hasta ahora, Elon Musk parece haber hecho poco para impulsar acciones que mitiguen el riesgo existencial asociado a la IA (aunque todavía es una posibilidad que podría valer la pena promover) y tenemos pocos aliados cercanos a la administración, si es que tenemos alguno. Dicho esto, aún es pronto, y prevenir el riesgo existencial asociado a la IA no tiene tintes partidistas (a diferencia de la ética de la IA, por ejemplo), así que creo que hay una posibilidad razonable de que podamos convencer a Trump o a otras figuras influyentes de que vale la pena tomarse en serio estos riesgos (por ejemplo, Trump hizo algunos comentarios prometedores sobre la superinteligencia artificial hace poco y parecía preocupado en su entrevista con Logan Paul el año pasado).

Posibles implicaciones:

• Gran parte de la estrategia de comunicación centrada en la seguridad de la IA debe actualizarse para atraer a un público muy distinto (por ejemplo, Fox News es el nuevo New York Times).⁠c
• Las opciones de políticas ideadas bajo la administración de Biden deben replantearse a fondo para captar la atención de los republicanos.
  • Un aspecto positivo es que la presidencia de Trump amplía el abanico de posibilidades. Por ejemplo, es posible que Trump esté en mejores condiciones de negociar un tratado vinculante con China (similar a aquella idea de que “solo Nixon podría ir a China”), aunque no está claro si querrá hacerlo.
• Tenemos que mejorar nuestras redes en Washington D. C. debido a la nueva administración.
• Debemos forjar coaliciones con actores completamente diferentes a aquellos en los que nos hemos centrado hasta ahora (por ejemplo, tender puentes con la comunidad de la ética probablemente sea contraproducente a corto plazo; tal vez deberíamos acercarnos a personas como Joe Rogan).
• Es más importante que nunca garantizar que se mantengan los controles y contrapesos a fin de que los líderes de los laboratorios o los políticos no abusen de la potencia de la IA.

Advertencia importante: Los demócratas aún podrían tener mucho peso si los plazos no son extremadamente cortos o si nos quedan años entre la IAG y la superinteligencia artificial (SIA).⁠d Es muy probable que los demócratas recuperen el control de la Cámara de Representantes en 2026 (probabilidades del 70 %), moderadamente probable que ganen la presidencia en 2028 (probabilidades del 50 %) y existe la posibilidad de un Senado demócrata (probabilidades del 20 %). Esto significa que el movimiento del riesgo asociado a la IA debe seguir actuando con cautela para no aumentar la polarización o alienar a la izquierda. Es un equilibrio difícil de lograr y no estoy seguro de cómo hacerlo. Afortunadamente, la comunidad no es monolítica y, hasta cierto punto, algunos pueden centrarse en el juego a largo plazo mientras que otros buscan un cambio a corto plazo.

El paradigma de o1

Paralelamente al escalado de las series de entrenamiento, parece que el poder de cómputo de inferencia será clave para alcanzar la IA de nivel humano e incluso superior. En comparación con el paradigma anterior, el poder de cómputo puede convertirse directamente en capacidades mucho más rápido con solo ejecutar los modelos durante más tiempo.

Posibles implicaciones:

• En la medida en que hayamos desbloqueado la capacidad de convertir el poder de cómputo de inferencia en mejores respuestas, los actores con más recursos podrán pagar más para obtener mejores respuestas. Esto significa que cada vez será más difícil para el usuario medio acceder a las mejores capacidades,⁠e aunque es probable que sigamos teniendo acceso a modelos cada vez mejores durante algún tiempo.
• Dado que este paradigma requiere más poder de cómputo para ejecutarse marginalmente, puede resultar más difícil ejecutar muchas iteraciones de manera paralela. Esto significa que, en lugar de tener el equivalente a millones de científicos de alto nivel trabajando simultáneamente en investigación y desarrollo, podríamos tener el equivalente a decenas o cientos de miles, lo que podría ralentizar un poco la velocidad de despegue.
• Esto tiene implicaciones para la competencia con China que aún no veo del todo claras. Podría significar que las restricciones del poder de cómputo son más duras en términos de aprovechar la IAG para alcanzar la SIA. Por otra parte, el equivalente a o1 de Deepseek también parece mucho más eficiente en cuanto a poder de cómputo.
• Parece poco probable que los datos sean un cuello de botella clave en el progreso de cualquier cosa que tenga una respuesta clara, ya que parece que hemos descifrado el juego automático de los modelos de lenguaje a gran escala. Esto significa que el camino hacia un rendimiento sobrehumano en cualquier ámbito con respuestas correctas específicas está claro (por ejemplo, programación, matemáticas y muchas otras ciencias). De hecho, estos modelos ya alcanzaron un nivel de doctorado en muchos campos. Lo que no es tan seguro es hasta qué punto puede aplicarse a problemas con respuestas menos claras (por ejemplo, la calidad de la redacción) y no se han resuelto las tareas a largo plazo.

Deepseek

Deepseek es altamente eficiente en cuanto a poder de cómputo y ha logrado replicar el paradigma de o1 a un costo mucho menor (aunque no tan bajo como parecía inicialmente). Al parecer, es posible que el simple hecho de ampliar la escala de lo que tienen podría generar enormes beneficios más allá de lo que ya tienen (aunque esto no está claro).

Los métodos de Deepseek son, en su mayoría, de código abierto. Eso significa que cualquiera que tenga un modelo base sólido puede ahora desarrollar un razonador impresionante a partir de él sin apenas costos adicionales.

Posibles implicaciones:

• Estados Unidos tiene un foso mucho más pequeño de lo que muchos imaginaban. Lo último que había oído era que Estados Unidos tenía unos dos años de ventaja con respecto a China en materia de IA. Ahora parece que China estaría rezagada entre tres y doce meses, aunque esto no está muy claro, ya que las principales empresas estadounidenses tienden a mantener en secreto sus mejores capacidades. Tampoco está claro si la República Popular China está preparada para superar a EE. UU. o si continuaría en una posición de “perseguidor rápido” incluso si nosotros redujéramos la velocidad.
  • Vale la pena señalar también que Gemini 2 Flash Thinking podría superar a Deepseek r1 en la mayoría de las métricas pertinentes.
• Si bien es cierto que el costo de entrenamiento fue bajo, esto no significa que el poder de cómputo haya dejado de ser importante. Un mayor poder de cómputo aún permite obtener un mejor modelo, por lo que las innovaciones de Deepseek pueden simplemente acelerar el progreso y, en todo caso, aumentar el valor del poder de cómputo. De hecho, Deepseek mencionó específicamente que el poder de cómputo fue una limitación para ellos.
• La ventaja algorítmica es difícil de mantener
  • El paradigma de o1 se copió fácilmente
  • Los múltiples enfoques de utilizar el aprendizaje por refuerzo para impulsar los modelos de lenguaje parecen funcionar igual de bien. Pareciera que no se necesitan ideas brillantes para alcanzar la IAG, lo cual supone un foso pequeño.
• Es muy posible que sigamos viendo modelos de código abierto lanzados por defecto, quizás incluso hasta la IAG. Este es el objetivo declarado de Deepseek y, en menor medida, de Meta. Para ser sincero, ni siquiera he empezado a entender cuáles podrían ser las implicaciones de esto, pero es evidente que serían enormes.
• Actualmente, todo el mundo tiene acceso a un modelo de código abierto que compite con los modelos de vanguardia de los mejores laboratorios. Esto incluye:
  • Investigadores de alineación que pueden utilizarlo para acelerar su investigación
  • Actores malintencionados que pueden utilizarlo para ciberataques, estafas, armas biológicas y mucho más.
    • Su acceso a este modelo podría aumentar la posibilidad de disparos de advertencia.
• Todos los proyectos de IA ahora tienen la capacidad de adaptar sus modelos al paradigma de o1, dado que Deepseek ha explicado su metodología y es probable que sea fácil de copiar. Esto significa una mejora de las capacidades en todos los ámbitos.

Gasto en centros de datos de Stargate/IA

OpenAI y sus socios tienen la intención de invertir 100 000 millones de dólares en 2025 y 500 000 millones de dólares en los próximos 4 años.⁠f Microsoft pretende gastar 80 000 millones de dólares en la construcción de centros de datos este año, y otras empresas parecen igualmente interesadas en invertir dinero en poder de cómputo.

El gobierno de EE. UU. se ha involucrado cada vez más en la IA y Sam Altman ocupó un lugar destacado en la toma de posesión de Trump. Hasta ahora, la participación real del gobierno ha consistido principalmente en ayudar a las empresas a agilizar el proceso de obtención de permisos. (Más detalles aquí.)

Implicaciones provisionales:

• En la medida en que el poder de cómputo es la mayor parte de lo que se necesita para alcanzar la IAG, OpenAI podría tener una ventaja decisiva sobre sus competidores. Esto debería apartarnos un poco de la creencia de que laboratorios como Anthropic son verdaderos competidores.
• El gobierno de EE. UU. se está involucrando en la carrera por desarrollar la IAG. Influir en él para que se tome en serio la seguridad es más decisivo que nunca.

Mayor despliegue interno

Esto es más especulativo, pero espero que veamos cada vez menos de lo que producen los laboratorios y que tengamos menos acceso a los mejores modelos. Esto debido a una serie de factores, incluyendo los siguientes:

• A medida que los sistemas de IA produzcan más valor, las empresas de IA podrán captar una mayor plusvalía de los modelos mediante acuerdos entre empresas y utilizando la IA para producir valor directamente (por ejemplo, utilizándola para estrategias de operaciones bursátiles). Dicho esto, una competencia feroz podría mantener los precios bajos y los modelos abiertamente accesibles.
• Los sistemas de IA pueden ser útiles en investigación y desarrollo de la IA y los modelos a gran escala pueden ayudar a mejorar los modelos pequeños. Esto significa que a menudo puede valer la pena que las empresas retrasen el despliegue para poder utilizar los recursos escasos para mejorar aún más sus modelos existentes.
• Una razón clave para desplegar modelos es generar ingresos e interés. Hasta ahora, los inversionistas han estado inundando las empresas con inversiones. Sospecho que atraer inversiones no es un gran cuello de botella dentro de plazos cortos (aunque si la carrera por la SIA se prolonga, obtener un mayor flujo de ingresos se vuelve mucho más importante).
• A medida que la competencia se intensifique y los Estados nación inviertan más en la carrera hacia la superinteligencia, la importancia del secreto industrial aumentará. Es probable que OpenAI quiera evitar mostrar sus cartas diciendo al mundo que ha entrado en un bucle de realimentación de investigación y desarrollo en IA capaz de ayudarle a alcanzar rápidamente la superinteligencia (y potencialmente lograr una ventaja estratégica decisiva). También querrá evitar que salga a la luz la receta secreta que le permitió hacerlo, lo cual sería más difícil si despliega el modelo.

Posibles implicaciones:

• Las personas ajenas a los laboratorios tienen menos probabilidades de tener acceso a los mejores modelos y serán menos conscientes de los últimos avances.
• Los disparos de advertencia son menos probables, ya que es posible que los modelos más avanzados nunca se desplieguen de manera externa.
• Es probable que sepamos menos acerca de dónde estamos en términos del progreso de la IA.
• Trabajar en laboratorios es quizás más importante que nunca para mejorar la seguridad, y es probable que los investigadores que no trabajan en laboratorios tengan una capacidad limitada para contribuir de manera significativa.
• Las denuncias de irregularidades y la obligación legal de informar podrían cobrar más importancia, ya que sin ellos el gobierno tendría poca capacidad para regular la IA de vanguardia.
• Toda regulación basada exclusivamente en el despliegue (lo cual ha sido bastante común) debería ajustarse para tener en cuenta que los modelos más peligrosos pueden utilizarse de manera interna mucho antes de su despliegue.

Ausencia de consideraciones sobre el riesgo existencial o la seguridad de la IA en el discurso predominante

Durante un tiempo, después de ChatGPT, parecía que el riesgo asociado a la IA sería un factor permanente del discurso en el futuro, en gran medida gracias a esfuerzos como la “Carta de extinción provocada por la IA” del Center for AI Safety, que consiguió firmantes de alto perfil y cobertura en las noticias. Sin embargo, durante el último año, las preocupaciones sobre el riesgo existencial asociado a la IA no han tenido mucha presencia en los principales ciclos mediáticos. No ha habido grandes historias orientadas a la seguridad en los principales medios de comunicación respecto a los recientes acontecimientos relacionados con la IA y sus fuertes implicaciones para los plazos de la IAG y el riesgo existencial (por ejemplo, Deepseek, Stargate). Un ejemplo notable de la falta de capacidad de la comunidad de la seguridad de la IA para influir en los medios de comunicación fue la pérdida decisiva del juego mediático durante el drama del consejo de OpenAI.

Dicho esto, ahora tenemos a más personas escribiendo directamente sobre cuestiones de seguridad y gobernanza de la IA en diversos Substacks y en Twitter/X. También tenemos a muchas personas destacadas que podrían aparecer en las noticias si hiciéramos un esfuerzo concertado para ello (por ejemplo, Yoshua Bengio, Geoff Hinton).

Posibles implicaciones:

• No estamos bien encaminados para convencer a los círculos con poder de decisión de que el riesgo existencial asociado a la IA debería ser una preocupación importante. Aunque el público está preocupado por la IA (y, en cierta medida, por el riesgo existencial asociado a la misma), esta preocupación no está teniendo un efecto multiplicador.
• Tenemos que esforzarnos mucho para conseguir cobertura si queremos influir en el discurso sobre la IA; esto no ocurrirá de forma automática.

Implicaciones para las prioridades estratégicas

Implicaciones adicionales para la competencia entre EE. UU. y China

Los acontecimientos recientes ponen en tela de juicio cualquier estrategia basada en la idea de que EE. UU. tendrá una ventaja significativa sobre China que podría utilizar, por ejemplo, para obtener una ventaja decisiva o para desacelerar e investigar más sobre la seguridad. Esto se debe a que:

• Es poco probable que EE. UU. pueda evitar que China (o Rusia) robe los pesos de los modelos en el corto plazo, dadas las limitaciones tecnológicas y la dificultad (y el costo) de implementar protocolos de seguridad suficientes. Debemos asumir que China será capaz de robar nuestros modelos.
• China no está tan alejada como pensábamos y parece que vale la pena asumir que estará bastante cerca en lo que respecta a la IAG y, potencialmente (aunque esto es menos claro) también a la SIA.
  • Sería bueno saber si China sería capaz de superar a EE. UU. si ralentizáramos el progreso, o si podríamos construir un modelo en el que sea suficientemente seguro que va ligeramente rezagada, sin importar lo rápido que vaya EE. UU. Dicho esto, no creo que lo sepamos nunca con el nivel de confianza necesario para convencer a los responsables de la toma de decisiones de que ralentizar la marcha no le daría la victoria a China.
• Hay algunas preguntas importantes en torno a la eficiencia del poder de cómputo. Quizás sea posible crear IAG con el poder de cómputo que ya tiene China o que probablemente tendrá en los próximos dos años. No está claro si eso sería suficiente para alcanzar la SIA, pero sí significa que China tendrá acceso a sistemas de IA generalmente capaces más o menos al mismo tiempo que nosotros.
• Incluso es posible que presenciemos una IAG de código abierto (que es el objetivo declarado de Deepseek). Esto cambiaría las reglas del juego radicalmente y haría que los terceros países fueran mucho más relevantes.

En general, la idea de que EE. UU. pueda ganar unilateralmente una carrera de la IA e imponer restricciones a otros actores parece menos probable en la actualidad. Sospecho que esto significa que un acuerdo internacional es mucho más importante de lo que pensábamos, aunque no estoy seguro de creer que los acontecimientos recientes lo hagan más o menos probable.

Nota: Las siguientes opiniones son mucho más especulativas y aún no las he analizado en profundidad. Aun así, me parece útil dar algunas ideas generales sobre lo que creo que está mejorando y empeorando dados los recientes acontecimientos, pero para poder publicarlas lo antes posible, dejaré los detalles para un artículo posterior.

¿Qué parece menos probable que funcione?

• Trabajar con la UE y el Reino Unido
  • Es mucho menos probable que Trump se inspire en la normativa de los países europeos y, en general, que tenga la intención de adoptar medidas regulatorias. Por otro lado, tal vez bajo una administración demócrata en 2028 se prestaría mayor atención a las regulaciones de la UE y del Reino Unido.
  • La UE y el Reino Unido ya están limitando las ambiciones de sus regulaciones de la IA por temor a que Trump tome represalias si imponen límites a las empresas estadounidenses.
• Acuerdos internacionales que se elaboren sin pensar específicamente en Trump.
• Legislación al estilo de la Ley SB 1047 a nivel nacional en EE. UU.
• Apelar a la izquierda estadounidense (al menos a corto plazo)
• Una pequeña actualización en contra de la idea de que la gobernanza del poder de cómputo es el medio coercitivo que pensamos que podría ser (aunque sigue siendo un recurso muy importante):
  • La claridad sobre cómo desarrollar la IAG y la cantidad de poder de cómputo aparentemente necesaria para desarrollarla significan que los controles de exportación contra China pueden no tener tiempo suficiente para surtir efecto.
  • Deepseek demuestra que es posible crear modelos extremadamente potentes con poco poder de cómputo. Es perfectamente posible que la IAG pueda desarrollarse con los recursos de poder de cómputo a los que China ya tiene acceso. No está tan claro si eso también se aplicaría a la SIA.

¿Qué deberían hacer ahora las personas preocupadas por la seguridad de la IA?

• Trabajo de comunicación, especialmente si está dirigido al público en general o a una élite conservadora
  • Demostraciones de capacidades peligrosas o desalineación que idealmente tengan una clara conexión con las preocupaciones relativas a la IAG/SIA.
  • Participación en los medios de comunicación
  • Explicaciones de por qué deberíamos estar preocupados y relatos de cosas que salen mal
    • La comunidad de la seguridad de la IA aún no ha logrado transmitir al público en general por qué estamos preocupados. Superinteligencia: caminos, peligros, estrategias y Life 3.0 hicieron un trabajo razonable en 2013, pero desde entonces no hemos tenido ningún relato destacado de fatalidad dirigida a una audiencia más amplia. La mayoría de los contenidos tienden a eludir este tema.
    • Considero que no hemos impulsado esto tanto como deberíamos y que resulta muy difícil dar con los relatos adecuados, que sin embargo podrían cambiar por completo las reglas del juego (por ejemplo, una buena película que muestre una catástrofe provocada por la IA podría ser muy útil).
  • Construcción de un movimiento de masas
  • Algunos cuellos de botella en la mejora de las comunicaciones:
    • ¿Qué estamos impulsando? Por ejemplo, ¿qué políticas son convenientes/realistas? ¿Qué deberíamos impulsar en los laboratorios?
    • ¿Hay alguna idea que el público podría apoyar y que haga un seguimiento suficiente de la prevención de riesgos asociados a la IA?
• Conseguir trabajo en un laboratorio líder. Los investigadores de los laboratorios ya tienen acceso a modelos mucho más avanzados y, si continúa la tendencia hacia largos períodos de implementación interna, será difícil que personas externas contribuyan de manera significativa a resolver el control o la alineación. Además, bajo el supuesto de que los plazos sean cortos, los laboratorios son relativamente más influyentes, e incluso los cambios culturales menores hacia la conciencia del riesgo parecen importantes.
• Organización dentro de los laboratorios para mejorar las medidas de seguridad
  • Aunque no estoy seguro de que valga la pena, en la medida en que esto aleje a las personas más aplicadas de los puestos influyentes dentro del laboratorio.
• Hacer contactos o trabajar en la administración de Trump
• Desarrollar nuevas propuestas de políticas que se ajusten a los intereses de la facción de Trump y/o de miembros influyentes del Congreso.
• Ideas para evitar el acaparamiento de poder mediante el uso de IA avanzada.
• Repensar nuestras prioridades estratégicas e investigar cuestiones clave en este ámbito.
  • Por ejemplo, ¿cuánto tiempo esperamos que nos lleve pasar de la IAG a la SIA?
  • ¿Cómo será un mundo post-IAG y qué efecto tendrá en lo que debemos impulsar y cómo debemos hacerlo? ¿Hay algo que deberíamos estar haciendo para prepararnos ante este escenario?
• Invertir en la adopción de herramientas de IA para el trabajo de seguridad y gobernanza de la IA.
  • Y crear organizaciones que puedan aprovechar con rapidez las nuevas herramientas de IA.
• Conseguir que el gobierno adopte asesores de IA “sabios” para navegar la transición a la IA.
• Inversiones de alto riesgo en IA que pagarán dividendos cuantiosos en plazos cortos (y que idealmente tengan lugar lo más pronto posible antes de la IAG/SIA). Estas inversiones podrían tener un efecto multiplicador durante el período crítico en torno al desarrollo de la IAG.

Agradecimientos

Muchas personas comentaron una versión anterior de esta publicación y me ayudaron muchísimo a pulir mis opiniones. Quiero expresar mi especial agradecimiento a Trevor Levin, John Croxton y a otras personas que prefieren permanecer en el anonimato. ¡Gracias también a todos los que asistieron al taller que organicé sobre este tema!

Publicación original: Alex Lintz (2025) The Game Board has been Flipped: Now is a good time to rethink what you’re doing, Effective Altruism Forum, marzo.