Puntos en común entre «IA 2027» y «La IA como tecnología normal»
AI 2027 y AI as Normal Technology se publicaron en abril de este año. Ambos tuvieron una difusión mucho mayor de la que nosotros, sus autores, esperábamos.
Algunos de nosotros (Eli, Thomas, Daniel, los autores de «IA 2027») esperamos que la IA transforme radicalmente el mundo en la próxima década, hasta llegar a incluir posibilidades que suenan a ciencia ficción, como la superinteligencia, las nanofábricas y los enjambres de Dyson. El progreso será continuo, pero se acelerará rápidamente alrededor del momento en que las IA automaticen la investigación sobre IA.
Otros (Sayash y Arvind, los autores de «La IA como tecnología normal») piensan que los efectos de la IA serán mucho más normales. Sí, podemos esperar crecimiento económico, pero será la mejora gradual, año tras año, que acompañó a innovaciones tecnológicas como la electricidad o Internet, no una ruptura radical en el curso de la historia de la humanidad.
Se trata de desacuerdos sustanciales, que se han debatido en parte aquí y aquí.
No obstante, hemos descubierto que todos tenemos más en común de lo que cabría esperar.
En este ensayo, nos hemos reunido para exponer los puntos en los que coincidimos sobre cómo es probable que continúe (o no) el progreso de la IA en los próximos años.1
1. Antes de la IAG fuerte, la IA será una tecnología normal
En términos generales, incluso los autores de AI 2027 coinciden en que la IA es una tecnología normal antes de la IAG fuerte.
(El término «IAG fuerte» tiene diferentes acepciones según quién lo utilice, lo que ha generado una gran confusión. A efectos de esta entrada, nos referimos a algo así como «seres humanos en la nube», es decir, sistemas de IA que pueden aprender, adaptarse, generalizar ante nuevas situaciones, funcionar de forma autónoma y coordinarse entre sí al menos tan bien como los mejores seres humanos. En general, pueden hacer prácticamente todo lo que hacen los seres humanos igual de bien, pero más rápido y más barato.)2
Antes de que dispongamos de una IAG fuerte, cuando los sistemas de IA sean lo suficientemente buenos como para automatizar cualquier tarea dada, los humanos que realizaban esa tarea probablemente podrán pasar a otra. Por ejemplo, cuando se automatice alguna parte del proceso de investigación en IA, el proceso global se verá frenado por algún otro factor. Como resultado, el progreso total de la investigación se acelerará, pero no de forma espectacular. La IA funcionará principalmente como una herramienta; no será capaz de operar de forma autónoma durante largos periodos. La difusión de la IA por toda la economía seguirá siendo bastante gradual, y los sectores irán cediendo tareas a las IA poco a poco a medida que se convenzan de que estas son lo suficientemente fiables y a medida que construyan la infraestructura, las interfaces y los nuevos flujos de trabajo necesarios.
2. Una IAG fuerte desarrollada y desplegada en el futuro cercano no sería una tecnología normal
Incluso los autores de AI as Normal Technology coinciden en que, si se desarrollara y desplegara una IAG fuerte en la próxima década, la situación no sería en absoluto normal. Dado que la IAG fuerte, por definición, igualará o superará a los mejores seres humanos en términos de fiabilidad, aprendizaje, adaptación y generalización, sería necesariamente mejor que los humanos a la hora de pasar a nuevas tareas a medida que las antiguas se automatizan.
En opinión de Arvind y Sayash, el concepto de «IAG fuerte», o cualquier otro concepto de IAG, es una propiedad conjunta del sistema y su entorno. Creen que la IAG fuerte no se desarrollará en el laboratorio (por ejemplo, escalando los LLM). Más bien, la creación de una IAG fuerte requerirá un bucle de realimentación con el mundo real que establecería límites al ritmo del progreso. Por lo tanto, si se desarrolla y despliega una IAG fuerte en la próxima década, será en un mundo en el que la visión de la tecnología normal habrá fracasado o ya no será útil. Por otro lado, una ruta más gradual hacia una «IAG fuerte» podría ser aquella en la que el marco siga resultando útil, aunque el punto final de esta ruta sea algo que consideran fuera del horizonte que se puede prever y planificar razonablemente.
Por el contrario, los autores de «IA 2027» ven los avances actuales como precursores de la IAG fuerte. Esperan que el progreso sea continuo, pero rápido, y que se acelere drásticamente cuando las IA automaticen por completo la investigación en IA. Las principales empresas de IA afirman que automatizarán la investigación en IA y alcanzarán la superinteligencia para 2027 o 2028. Los autores de «IA 2027» no están seguros, pero creen que lo más probable es que suceda en la próxima década.
3. Es probable que la mayoría de los benchmarks existentes se saturen pronto
El progreso en IA se mide con frecuencia evaluando su capacidad para resolver problemas de diversos benchmarks.3
Todos creemos que, en los próximos años, la mayoría de los benchmarks existentes, así como sus extensiones estándar, se «saturarán»; es decir, los sistemas de IA igualarán o superarán el rendimiento de los expertos humanos en todas las tareas que evalúan.
Para concretarlo, creemos que es posible que, para 2027 o 2028, los sistemas de IA saturen todos los benchmarks de capacidad a los que se hace referencia en los informes técnicos de GPT-5, Claude 4 o Gemini 2.5. Esto incluye benchmarks de respuesta a preguntas como MMLU o «Humanity’s Last Exam», y benchmarks de agentes como SWE-Bench, RE-Bench, MLE-Bench o Terminal Bench. Si planteáramos a un experto humano en el ámbito del problema correspondiente cualquier pregunta específica de uno de estos benchmarks y lo calificáramos según sus reglas, creemos que es posible que los sistemas de IA superen la puntuación de los mejores humanos. Creemos que esto podría ser cierto incluso para los benchmarks etiquetados como «IAG», como ARC-AGI (v1, v2 o incluso v3). Además, creemos que esto podría ser cierto para un único sistema de IA y que no será necesario ajustar los modelos individuales tarea por tarea.
Arvind y Sayash consideran que estos benchmarks tienen una validez de constructo deficiente y, en consecuencia, que su saturación no significa que la tarea subyacente vaya a ser fácil de automatizar. El mero hecho de que un sistema de IA pueda resolver problemas de SWE-Bench con un desempeño sobrehumano no implica que vaya a ser capaz de empezar a sustituir a los humanos en el trabajo de ingeniería de software. Al menos durante los próximos 50 años, esperan que haya muchos puestos de trabajo en los que los humanos superen a las mejores IA en cuanto a desempeño.
Thomas, Eli y Daniel coinciden en que existe una brecha importante entre las puntuaciones de los benchmarks y la utilidad en el mundo real; su desacuerdo se centra en la magnitud de dicha brecha. Consideran que algunos de estos benchmarks (por ejemplo, RE-Bench y HCAST) constituyen una fuente importante de evidencia sobre lo cerca que estamos de la automatización de la I+D en IA.
4. Es posible que las IA sigan fallando con frecuencia en tareas humanas cotidianas; puede que la IAG fuerte no llegue en esta década
En el otro extremo, todos creemos también que probablemente seguirá ocurriendo que los sistemas de IA fallen con frecuencia al automatizar tareas que a los humanos les resultan relativamente sencillas. Por ejemplo, para finales de 2029, a ninguno de nosotros le sorprendería tanto que los sistemas de IA no pudieran realizar de forma fiable tareas sencillas como «resérvame un vuelo a París» utilizando una página web estándar para humanos.4
Pensamos lo mismo sobre la mayoría de las tareas que las personas realizan habitualmente a lo largo de su vida: comprar productos por Internet, declarar impuestos, programar reuniones, etc. Esperamos que un sistema de IA sea capaz de obtener puntuaciones altas en versiones de benchmark de estas tareas, pero, al enfrentarse al mundo real, no prevemos con certeza que vaya a superar de forma sistemática el desempeño humano.
Creemos que esto es cierto por varias razones, pero principalmente porque gestionar de manera robusta la larga cola de errores es todo un desafío. Al mismo tiempo, es posible que los sistemas de IA resuelvan bien las tareas en promedio y que, sin embargo, en el peor de los casos se comporten mucho peor de lo que lo haría cualquier ser humano. Creemos que, en ámbitos donde un ser humano pueda verificar razonablemente el trabajo, los sistemas de IA serán lo suficientemente fiables como para resultar útiles en la práctica. Pero todos coincidimos en que es posible que, incluso para 2029, los sistemas de IA no puedan utilizarse en entornos que exijan altos niveles de garantías.5 Aunque los modelos de «razonamiento» pueden ayudar a mitigar este tipo de confusiones simples, no esperamos que resuelvan este problema por completo.
Todos esperamos que la IAG fuerte probablemente no llegue antes de 2029, y que a principios de 2029 el mundo probablemente siga siendo básicamente como es hoy. Habrá sistemas de IA que tendrán éxito en cada vez más tareas, pero los humanos seguirán estando empleados para hacer la mayoría de las cosas, y las IA no serán capaces de descubrir nueva ciencia de forma independiente.
Arvind y Sayash están de acuerdo con esto porque no esperan que la «IAG fuerte» llegue en un futuro próximo.
Pero los autores de «IA 2027» también están de acuerdo, aunque por muy poco; consideran que su escenario de «IAG fuerte en 2027» es plausible, pero más rápido que sus expectativas medianas. Los plazos medianos de Daniel, Eli y Thomas sobre cuándo desarrollaremos la IAG fuerte son 2030, 2035 y 2033, respectivamente.6
5. La IA tendrá (al menos) tanta relevancia como Internet
Aunque discrepamos sobre el límite superior de sus capacidades, todos coincidimos en que la IA tendrá una «gran relevancia». (Formalizar esto resulta algo complicado, pero lo intentaremos ahora). El mundo cambiará como consecuencia de esta tecnología, y cosas que parecían de ciencia ficción pronto serán posibles, al igual que el mundo de hoy es diferente al de hace treinta años. De hecho, en muchos aspectos, la tecnología de la que disponemos en la actualidad supera las capacidades de la ciencia ficción de aquella época.
Internet alteró de forma radical la manera en que funciona el mundo. ¿Quieres reservar un vuelo? No llamas a una agencia de viajes, vas a la página web de la aerolínea. ¿Quieres acceder a tu banco? Entras en la página web del banco. ¿Videollamadas a alguien que está al otro lado del mundo? ¿Ver tu serie de televisión favorita cuando quieras? ¿Redes sociales? ¿Periódicos? ¿Enciclopedias? ¿Compras? Todo está en Internet. Todos creemos que la IA podría ser, como mínimo, igual de transformadora. Ir más allá de esto es tan difícil como pedirle a alguien en 1990 que predijera cómo transformaría Internet la sociedad. Acertaríamos en algunos aspectos, nos equivocaríamos por completo en otros y pasaríamos por alto categorías enteras de cambio.
Arvind y Sayash coinciden en que la IA es una tecnología de uso general que tendrá efectos transformadores similares. A largo plazo, prevén que la IA podría automatizar la mayoría de las tareas cognitivas, al igual que la Revolución Industrial condujo a la automatización de la mayoría de las tareas físicas, en el sentido de que las máquinas se encargan ahora de una cantidad de trabajo físico mucho mayor que la que realiza la población humana. Dicho esto, esperan que el impacto de la IA siga en gran medida la trayectoria de las tecnologías de uso general anteriores, cuyo avance se ve obstaculizado por las barreras a su difusión y adopción más que por sus capacidades. Y prevén que aún quedará mucho por hacer para los seres humanos, como controlar los sistemas de IA y decidir cómo deben utilizarse.
Los autores de AI 2027 creen claramente que la IA tendrá al menos tanta importancia como Internet. Pero creen que a esto le seguirá muy rápidamente una IA que será más importante que cualquier otra tecnología jamás desarrollada (en este artículo, denominada de forma genérica «IAG fuerte». En otros contextos, a veces se le denomina SIA o superinteligencia, o simplemente IAG).
Los acuerdos anteriores se centran principalmente en predicciones específicas sobre los acontecimientos que esperamos que ocurran (o no) en esta década. Pero también tenemos muchos acuerdos sobre propuestas de políticas viables. A pesar de nuestras diferentes visiones del mundo, consideramos que muchas acciones son sensatas en cualquier mundo futuro posible, y somo partidarios de que se investigue más sobre las formas de mitigar los posibles daños derivados de la IA avanzada.
Esperamos poder animar a los responsables de políticas a promulgar una legislación sensata que pueda contar con un amplio consenso, independientemente de los plazos concretos de la IA en los que nos encontremos.
6. La alineación de la IA sigue sin resolverse
Todos estamos de acuerdo en que la «alineación de la IA» —es decir, el problema de entrenar a las IA para que se comporten de una manera que se alinee con nuestros valores y expectativas— no se ha resuelto en lo que respecta a los sistemas de IA actuales.
Todos coincidimos en que es importante invertir en investigación destinada a alinear los sistemas de IA actuales y futuros —por ejemplo, la monitorización de la cadena de pensamiento, la interpretabilidad mecanicista, la supervisión extensible y la ciencia de la generalización—.
Todos estamos de acuerdo en que, siguiendo la trayectoria actual, las IA seguirán estando desalineadas, a menudo de formas que las evaluaciones no detectan. Por lo tanto, todos coincidimos en que no debemos confiar en la alineación de la IA como nuestra última (o única) línea de defensa frente a una IA avanzada desalineada. Deberíamos desarrollar mecanismos para controlar los sistemas de IA que funcionen incluso sin resolver el problema de la alineación. La gente debería tratar cada sistema de IA como si estuviera potencialmente desalineado y actuar en consecuencia; en particular, deberíamos ser cautelosos respecto al grado de confianza que depositamos en los sistemas de IA y no otorgarles suficiente poder como para que supongan un riesgo catastrófico en caso de estar desalineados.
Sayash y Arvind creen que, aunque la alineación es útil, otros mecanismos para controlar los sistemas de IA ayudarán a gestionar los impactos del despliegue de la IA. Daniel, Eli y Thomas coinciden en que esto es cierto para los sistemas de IA más débiles, pero consideran que resolver el problema de la alineación es extremadamente importante para una IAG fuerte, porque esperan que otros mecanismos de control fallen a medida que las IA se vuelvan cada vez más sobrehumanas.
7. Las IA no deben tomar decisiones importantes ni controlar sistemas críticos
Todos creemos que no se debe permitir que las IA actuales tengan control autónomo sobre sistemas críticos.7 Esto incluye casos extremos como dar a las IA el control de centros de datos, armas nucleares, empresas tecnológicas o procesos de toma de decisiones del gobierno.
8. La transparencia, las auditorías y la presentación de informes son beneficiosas
Todos creemos que mejorar la transparencia, las auditorías y la presentación de informes es importante para garantizar el desarrollo seguro de la IA. Se debería exigir a los desarrolladores de IA de vanguardia que sean transparentes sobre las medidas de seguridad que han implementado. Los auditores independientes deberían evaluar periódicamente la seguridad de los sistemas de IA durante su entrenamiento y al finalizarlo. Se deberían reforzar las protecciones para los denunciantes. Se deberían establecer puertos seguros para los investigadores independientes con el fin de fomentar la investigación sobre seguridad. Los desarrolladores de IA deberían publicar informes detallados sobre cómo y por qué consideran que sus sistemas son seguros para su uso.
9. Los gobiernos deben desarrollar la capacidad de seguir y comprender los avances de la industria de la IA
Todos coincidimos en que desarrollar conocimientos técnicos dentro del gobierno para seguir el progreso y la difusión de las capacidades de la IA resulta útil para comprender la tecnología y determinar sus posibles implicaciones sociales. Los gobiernos pueden tomar parte en la evaluación de los modelos de IA (especialmente en ámbitos con implicaciones para la seguridad nacional), en la resolución de problemas de coordinación (como cuando las defensas deben ser implementadas por actores distintos a las empresas de IA) y en la comprensión de los nuevos avances y en la reacción adecuada ante ellos.
10. En general, la integración de la IA en la economía es positiva
Los impactos productivos de la IA se materializarán a medida que se difunda por toda la sociedad. Y los gobiernos y otros actores pueden desempeñar numerosas funciones para facilitar dicha difusión. El despliegue de la IA también puede ayudar a desarrollar resiliencia, ya que los defensores pueden descubrir cómo utilizar estos sistemas para responder mejor ante riesgos como los ciberataques y otras amenazas basadas en IA.
Para que quede claro, no estamos recomendando introducir la IA a la fuerza en todas partes lo más rápido posible. Simplemente queremos decir que, en general, es positivo que los productos y servicios de IA se integren en la economía; aportarán muchos beneficios inmediatos y también nos ayudarán a aprender más sobre la IA, sus fortalezas y debilidades, y sus oportunidades y riesgos.
11. Una explosión secreta de inteligencia —o cualquier cosa remotamente similar— sería perjudicial, y los gobiernos deberían estar atentos
Empresas tecnológicas como OpenAI y Anthropic planean explícitamente automatizar sus propios puestos de trabajo lo más rápido posible; es decir, su objetivo es entrenar sistemas de IA que puedan automatizar por completo el propio proceso de I+D en IA. La «automejora recursiva» resultante podría dar lugar a una «explosión de inteligencia» con rápidos aumentos de capacidad (al menos, eso es lo que esperan los autores de «IA 2027»), o podría verse limitada por otros factores, como la falta de datos del mundo real (al menos, eso es lo que esperan los autores de «La IA como tecnología normal»).8
Sin embargo, todos coincidimos en que si las rápidas mejoras en las capacidades de la IA se produjeran en secreto, esto sería peligroso —y potencialmente catastrófico—. El secretismo obstaculizaría la supervisión y la coordinación que podrían ser necesarias, independientemente de lo transformadora que llegue a ser la tecnología. En su lugar, la información sobre las últimas tendencias en las capacidades de la IA, las directrices y restricciones que las empresas de IA intentan integrar en sus modelos, las técnicas de alineación y control que utilizan, así como los incidentes de seguridad y los resultados de las evaluaciones relevantes para todo ello, debe fluir rápidamente desde las empresas hacia el público. La transparencia sobre el desarrollo de la IA es ampliamente beneficiosa desde muy diversas perspectivas, incluso si no hay automejora recursiva ni una IAG fuerte.
Conclusión
El futuro sigue siendo incierto. Pero, al menos en lo que se refiere a los próximos años, todos estamos más de acuerdo que en desacuerdo sobre cómo es probable que continúe el progreso de la IA. Esperamos que exponer aquí nuestros puntos de acuerdo ayude a otros a comprender mejor nuestras posturas divergentes y la confianza con la que las defendemos.
Distinguir entre estos dos futuros posibles (futuros similares a AI 2027 frente a los futuros descritos en AI as Normal Technology) es importante, y cuanto antes podamos desarrollar métodos que nos ayuden a predecir hacia qué futuro nos dirigimos, mejor. Por lo tanto, una contribución importante a la investigación podría consistir en desarrollar métricas que ayuden a distinguir entre estos dos futuros posibles antes de que lleguemos a ellos. De hecho, continuamos colaborando en la creación de dichas métricas. Estén atentos.
Atribución: Nicholas Carlini reunió al grupo y redactó el primer borrador a partir de las conversaciones que mantuvo con los demás en The Curve, el CSET y otros lugares. A continuación, los demás autores lo revisaron varias veces, reescribiéndolo y editándolo hasta que reflejara sus puntos de vista. Agradecemos también a Clara Collier por las correcciones y por publicarlo en este blog.