Cómo la IA podría generar los mayores problemas del mundo
Imagina que vives 15 000 años atrás. Perteneces a una comunidad de cazadores-recolectores y duermes bajo las estrellas. Si alguien te dijera que los humanos algún día construirían ciudades con millones de personas, volarían por los aires o llevarían todo el conocimiento humano en sus bolsillos, ni siquiera podrías imaginar a qué se refería.
Pero aquí estamos.
¿Cómo han cambiado nuestras vidas hasta quedar irreconocibles? La historia es compleja, pero hay un patrón general. En algunas ocasiones a lo largo de la historia, algún avance tecnológico radical —como el desarrollo del arado y la máquina de vapor— ha dado lugar a una ola de productividad, innovación y cambio social que, en última instancia, ha transformado el mundo.
Ahora nos encontramos en el umbral de un nuevo y enorme avance: la inteligencia artificial capaz de igualar o superar las capacidades humanas en una amplia gama de tareas.
Esto podría traer consigo otra era de transformación. Podría producirse una explosión de inteligencia e innovación, y surgir toda una nueva población de seres digitales. Y con ello, la civilización podría experimentar cambios al menos tan profundos como los provocados por la industrialización o el auge de la agricultura.
Pero, a diferencia de la Revolución Industrial y la Revolución Neolítica, una transformación impulsada por la IA avanzada podría no tardar cientos o miles de años en desplegarse. Esta vez, el mundo podría volverse irreconocible en cuestión de décadas, o menos.
Este periodo de transformación podría traer una prosperidad asombrosa, y la IA permitiría avances médicos que salvan vidas e innovaciones para hacer frente a la crisis climática. Pero también podría lanzarnos, sin estar preparados, a un mundo extraño lleno de desafíos. Imaginemos a esos cazadores-recolectores encontrándose de repente en asentamientos superpoblados donde las enfermedades se propagaban como la pólvora, al tiempo que se enfrentaban por primera vez a guerras entre ejércitos organizados. O imaginemos a los seres humanos preindustriales obligados a lidiar con enormes fábricas que emiten contaminantes —y con nuevas y misteriosas armas llamadas “misiles nucleares” capaces de arrasar ciudades enteras.
Este artículo explicará por qué creemos que la IA avanzada podría ser tan transformadora, y por qué trabajar para abordar los riesgos —y, en general, procurar que el futuro de la IA sea bueno— puede ser tu mejor oportunidad para tener un impacto positivo en el mundo.
Resumen
Esperamos que en la próxima década haya un progreso sustancial en la IA, hasta el punto de que las máquinas podrían superar a los humanos en muchas tareas, si no en todas. Reemplazar a los trabajadores humanos con sistemas de IA en campos críticos podría aumentar drásticamente la innovación y la productividad económica, lo que conduciría a una rápida y drástica transformación de la sociedad.
Esta transformación podría traer enormes beneficios y ayudarnos a resolver problemas globales que actualmente son irresolubles. Pero también podría plantear graves riesgos, algunos de los cuales podrían ser existenciales, es decir, que podrían causar la extinción humana o un desempoderamiento igualmente permanente y grave de la humanidad. Por ejemplo, la humanidad podría perder el control de su futuro ante sistemas de IA altamente inteligentes, o un grupo peligroso podría usar sistemas de IA para lograr (y mantener) un poder sin precedentes sobre otros humanos.
No hay, ni de lejos, suficientes personas tratando de abordar estos retos, y los incentivos existentes no favorecen necesariamente el trabajo en los riesgos más graves asociados a la IA. Estimamos que solo hay unos pocos miles de personas centradas en abordar los retos más importantes que plantea la IA —muchas menos de las que vemos trabajando en otros problemas mundiales, como el cambio climático, y muchas menos de las que creemos que serían necesarias, dada la escala de los cambios que podríamos estar a punto de ver.
Por todo ello, creemos que los retos que plantea la IA avanzada son los problemas más graves que enfrenta la humanidad hoy en día.
Puedes encontrar explicaciones completas de los riesgos específicos que plantea la IA avanzada —y qué puedes hacer al respecto— en nuestra serie sobre los problemas más graves del mundo.
Este es uno de los muchos perfiles de problemas que hemos redactado para ayudar a las personas a encontrar los problemas más graves que pueden resolver con su carrera profesional. Obtén más información sobre cómo comparamos los diferentes problemas y cómo se compara este problema con los demás que hemos analizado hasta ahora.
Por qué creemos que la IA avanzada plantea los problemas más graves del mundo
Durante más de una década, hemos analizado los mayores problemas del mundo y los enfoques para resolverlos. Creemos que el conjunto de retos que plantea la IA avanzada constituye los problemas más graves que enfrenta la humanidad hoy en día, dada su escala y las oportunidades prometedoras, pero desatendidas, para abordarlos.
Nuestra preocupación por los riesgos asociados a la IA no es una reacción al auge del interés por esta tecnología desde el lanzamiento de ChatGPT en 2022. Llevamos argumentando desde 2016 que la IA podría plantear riesgos catastróficos, y otros plantearon preocupaciones relacionadas mucho antes de esa fecha (1 2, 3, 4).
En resumen, creemos que es plausible que la IA avanzada pueda transformar radicalmente el mundo. Esto podría plantear retos extremos para la humanidad, y supone una oportunidad potencialmente única para tener un impacto positivo.
Repasamos los retos específicos que consideramos más graves en nuestros perfiles de problemas. Este artículo explica por qué creemos que la IA avanzada da lugar a cuestiones tan importantes en general.
Hay muchos argumentos que se podrían esgrimir aquí, como el de que la IA avanzada constituirá una “segunda especie” o que la IA convertirá el siglo XXI en “el siglo más importante” para la humanidad.a
Pero esta es la versión del argumento que más nos convence:
- La IA podría sustituir el trabajo humano en algunos de los campos de mayor valor económico.
- La sustitución del trabajo humano en estos campos podría desencadenar la próxima transformación radical de la sociedad.
- Esta transformación podría ser extremadamente rápida y dramática, especialmente si existen bucles de realimentación rápidos en la I+D de la IA.
- Una rápida transformación impulsada por la IA plantearía una serie de retos importantes, incluidos los riesgos existenciales.
- El trabajo en estos retos es tratable pero desatendido.
A continuación, argumentaremos a favor de cada una de estas afirmaciones.
Para que quede claro, no todos los problemas de escala existencial relacionados con la IA avanzada se canalizan a través de este argumento. Incluso sin automatizar gran parte del trabajo humano, los sistemas de IA podrían seguir causando un daño enorme. Por ejemplo, actores malintencionados podrían utilizar la IA para diseñar nuevas armas biológicas o llevar a cabo ciberataques sofisticados. Eso en sí mismo podría ser motivo suficiente para trabajar en riesgos específicos asociados a la IA.
Pero la historia que contamos a continuación —con un mundo que se transforma rápidamente a través de una automatización generalizada— es el caso de mayor alcance que conocemos para dar prioridad a los riesgos asociados a la IA de manera más general. Explica por qué podrían surgir diversos retos sin precedentes casi al mismo tiempo, y por qué es posible que no tengamos mucho tiempo para prepararnos.
1. La IA podría sustituir al trabajo humano en los campos de mayor valor económico
Muchas tecnologías —como las criptomonedas, los NFT, el “internet de las cosas”, la fusión y la computación cuántica— han sido objeto de un exceso de expectación. La gente suele tener grandes expectativas sobre hasta qué punto una nueva innovación cambiará el mundo, y la realidad a veces no está a la altura.
Pero creemos que la IA va a ser diferente.
Eso es porque, a diferencia de otras tecnologías, la IA tiene el potencial de competir con la inteligencia humana, e incluso podría superarla. Y eso significa que podría sustituir y reproducir el principal motor del progreso en nuestra historia: el trabajo humano flexible.
Algunas tecnologías, como los cajeros automáticos, imitan formas extremadamente limitadas de trabajo humano. Otras, como las máquinas de vapor y las computadoras, también amplían lo que los humanos pueden hacer. Pero la idea detrás de la inteligencia artificial es que será capaz de realizar casi cualquier trabajo que los humanos puedan hacer —y hacerlo de forma mayormente autónoma.
Los cajeros automáticos no dejaron sin empleo a todos los cajeros de bancob porque había otras tareas que los humanos podían asumir fácilmente. Pero imagina un cajero automático que no solo pudiera dispensar efectivo, sino también gestionar los sistemas informáticos del banco, contribuir a la estrategia de la empresa y ofrecer a los clientes asesoramiento financiero personalizado. Imagina que pudiera hacer todo esto casi sin nuestra ayuda y de manera más económica que los trabajadores humanos. Si ese fuera el caso, no está claro por qué el banco seguiría empleando a seres humanos.c
Supongamos ahora que el mismo sistema que hacía todo esto para el banco también pudiera realizar un trabajo equivalente para empresas tecnológicas, laboratorios de investigación científica, consultoras, think tanks, The New York Times, el Gobierno de EE. UU., etc.
Esa es la perspectiva que plantea la IA.
Ya estamos viendo destellos de la capacidad cada vez más general de la IA para realizar trabajo humano. Los sistemas de IA actuales pueden hacer cosas que hace tan solo una década habrían sido asombrosas.
Por ejemplo, pensemos en el rápido progreso que han logrado los modelos de lenguaje en el benchmark GPQA, que plantea preguntas complejas de nivel de doctorado sobre química, física y biología. A mediados de 2023, el rendimiento de la IA de vanguardia era solo ligeramente mejor que las conjeturas aleatorias en estas preguntas. Pero desde principios de 2025, muchos modelos han superado a los expertos humanos, y a veces por un amplio margen.
También han mostrado una mejora impresionante en tareas de ingeniería de software. Por ejemplo, la herramienta agéntica de programación de Anthropic, Claude Code, permite a los usuarios crear aplicaciones describiendo lo que quieren, incluso si no tienen experiencia en programación.
Una ingeniera sénior de Google informó de que Claude Code tardó una hora en generar un prototipo de un sistema en cuyo desarrollo su equipo había invertido un año explorando diferentes enfoques. Y Anthropic creó su producto “Cowork” (una versión más fácil de usar de Claude Code para no desarrolladores) en menos de dos semanas haciendo que Claude Code escribiera la mayor parte del código.d
Los sistemas de IA actuales también pueden:
- Predecir estructuras e interacciones biomoleculares complejas: AlphaFold 3 de Google DeepMind —sucesor de un sistema de IA ganador del Premio Nobel— puede predecir cómo interactúan las proteínas con el ADN, el ARN y otras estructuras a nivel molecular.
- Resolver problemas matemáticos difíciles a nivel competitivo: Según se informa, varios modelos de IA han alcanzado un rendimiento digno de medalla de oro en la Olimpiada Internacional de Matemática. Por otra parte, cuando se retó a 30 matemáticos de primer nivel a idear problemas que creían que la IA no sería capaz de resolver, el o4 mini de OpenAI frustró muchos de sus mejores intentos, llegando incluso a resolver una pregunta de nivel de doctorado en unos diez minutos.
- Mejorar la robótica: Muchos de los principales modelos robóticos funcionan ahora con IA. Por ejemplo, Boston Dynamics está mejorando sus robots Atlas con la IA de Google DeepMind para ayudarles a comprender y manipular mejor su entorno. Estos robots se utilizarán para trabajos industriales en las fábricas de Hyundai.
- Realizar tareas prolongadas de forma independiente en la computadora: A diferencia de los modelos anteriores que solo podían generar texto, las nuevas IA “agentes” como Claude Code y Codex de OpenAI ahora pueden utilizar muchas herramientas en tu computadora, ejecutar código, buscar en la web y encadenar múltiples pasos, lo que les permite completar tareas prolongadas del mundo real con mucha menos intervención humana.
- Ayudar en el propio desarrollo de la IA: También hay evidencia de que los sistemas de IA pueden superar a los humanos en tareas de I+D en IA, al menos cuando se les limita a un periodo de dos horas.
- Y mucho más.e Este es el tipo de sistema que las empresas líderes en IA están intentando construir activamente, y están invirtiendo miles de millones de dólares para ser las primeras en lograrlo.
A la luz de las tendencias recientes en el desarrollo de la IA, creemos que es sorprendentemente plausible (aunque está lejos de ser una garantía) que tengamos este tipo de IAG en la próxima década.
Pero es probable que esto no se detenga ahí. No hay razón para pensar que los humanos representen el límite de la capacidad mental, por lo que, con el tiempo, la IA podría superar ampliamente el rendimiento humano en muchas (si no en todas) las tareas cognitivas. Es plausible que incluso pudiera realizar trabajos que estén tan por encima de las capacidades humanas como el cálculo lo está de las de los chimpancés.f
Tampoco es probable que pase mucho tiempo antes de que la sociedad logre avances gigantescos en robótica. Aunque los robots actuales son muy rudimentarios, están mejorando. Y a medida que nuestras IA se vuelvan cognitivamente más inteligentes, también mejorará su capacidad para controlar y diseñar extremidades robóticas. Esto significa que los sistemas de IA podrían superar rápidamente a los humanos también en cualquier tarea física.
En las siguientes secciones, explicaremos cómo las IA avanzadas del futuro podrían transformar la sociedad y plantear graves riesgos.
Nuestro argumento se centra en la perspectiva de que la humanidad desarrolle una IAG o algo similar. Este no es el único hito importante (véase más abajo). Pero creemos que si la IA puede igualar las capacidades humanas en las tareas cognitivas que más impulsan la innovación y la producción económica, eso probablemente bastará para permitir el rápido progreso que describimos en las siguientes secciones.g Y si la IA llega a ser aún más impresionante —lo cual creemos probable—, los efectos podrían ser aún más dramáticos.
2. Reemplazar tanta mano de obra humana podría desencadenar la próxima transformación radical de la sociedad
Entonces, ¿qué significaría que los sistemas de IA pudieran superar a los humanos en una gama tan amplia de tareas?
Lo primero en lo que suele pensar la gente es en el desempleo generalizado. Se trata de una posibilidad seria, que tendría graves consecuencias para la sociedad.h Pero creemos que, al centrarnos en ello, en realidad pasamos por alto una cuestión aún más importante.
Un mundo con máquinas capaces de sustituir a tanta mano de obra humana sería tan radicalmente diferente que resulta difícil de imaginar.
A modo de comparación, pensemos en lo diferente que es el mundo actual del que conocieron nuestros antepasados hace 200, 2000 o 20 000 años. Los mundos anteriores a la electricidad, la imprenta o la agricultura eran, literalmente, muy diferentes y tenían formas de vida totalmente distintas.
Con cada uno de estos grandes avances tecnológicos, el mundo se ha transformado.
Tomemos como ejemplo la primera Revolución Neolítica. Antes de la agricultura, los seres humanos eran en su mayoría cazadores-recolectores y a menudo vivían en pequeñas bandas.i El desarrollo de tecnologías agrícolas como el arado nos permitió producir mucho más alimento por persona, lo que dio lugar a las primeras ciudades. Y, cada vez más, algunas personas pudieron especializarse en tareas distintas de la búsqueda de alimento, lo que permitió a los seres humanos inventar la metalurgia, la escritura y los primeros sistemas de gobierno.
La Revolución Industrial siguió un patrón similar. La llegada de tecnologías como la máquina de vapor aumentó drásticamente la productividad —y desencadenó innovaciones en la fabricación y la comunicación. Una vez más, esto condujo a cambios radicales en la vida humana: bienes que antes eran artículos de lujo pasaron a estar al alcance de la gente común, los ferrocarriles conectaron ciudades distantes y grandes masas de personas pasaron de la vida rural a la urbana.
¿Qué está pasando aquí?
Cada período de transformación de la historia tiene su propio y complejo relato, y existen teorías contrapuestas sobre qué los impulsó. Pero una explicación popular sostiene que seguimos viendo el mismo patrón general: una nueva y poderosa tecnología nos permite tanto sostener poblaciones más grandes como que la gente haga más con los mismos cuerpos y mentes. Esto se traduce en más mano de obra humana y mayor productividad, lo que tiene efectos compuestos, ya que conduce a una ola de innovación aún mayor.j
Dado que la innovación suele alimentar el crecimiento económico, la humanidad también se ha enriquecido mucho en este proceso. De hecho, desde las últimas etapas de la Revolución Industrial, hemos visto un crecimiento aproximadamente exponencial del PIB.k
Un denominador común en todas estas historias es que parece que el crecimiento siempre ha dependido del trabajo humano: la sociedad solo ha podido progresar al ritmo al que los seres humanos son capaces de producir y poner en práctica nuevas ideas (es decir, nuevas teorías, inventos, formas de trabajar, etc.).
Pero ahora nos encontramos al borde de un nuevo avance.
Si las futuras IA pueden sustituir a los trabajadores humanos en los campos de mayor valor económico, ya no dependeremos tanto del trabajo humano para sostener estos ciclos de innovación y riqueza que se multiplican. En su lugar, la IA podría convertirse en el principal motor del progreso.
Creemos que esto podría dar lugar a otra transformación de la sociedad.
Al igual que otros avances tecnológicos, podría permitir a la sociedad generar muchas más ideas y una producción económica mucho mayor. Pero, a diferencia de las tecnologías anteriores, las IA podrían llegar a asumir el control de los procesos que más impulsan la innovación y la producción económica (incluido el proceso de diseñar mejores IA). Y, como veremos a continuación, estos “trabajadores de IA” también podrían tener enormes ventajas sobre sus homólogos humanos.
Esto podría significar que la transformación provocada por la IA sea extremadamente rápida, y más impactante que cualquier cosa que hayamos visto antes.
3. Esta transformación podría ser extremadamente rápida y dramática
Entonces, ¿qué podría suceder a medida que las IA automaticen cada vez más la economía?
Como mínimo, esperamos ver un rápido aumento de la cantidad total de mano de obra, ya que, a diferencia de los humanos, los sistemas de IA pueden copiarse fácilmente a gran escala, siempre que se disponga de suficiente hardware.
Supongamos que construimos una IA que pudiera sustituir a un ingeniero humano. Las estimaciones sugieren una enorme incertidumbre al respecto, pero ejecutar entre miles y cientos de millones de copias de esta IA a la vez podría ser factible, dependiendo de las circunstancias.l
Y este número podría crecer rápidamente. Con mejoras en la eficiencia de los algoritmos que hay detrás de estos trabajadores de IA, podremos ejecutar un mayor número de copias con el mismo poder de cómputo.m También podríamos destinar más poder de cómputo para ejecutar copias, comprando más chips o diseñando otros más eficientes. Pronto, podríamos tener una fuerza laboral de IA del tamaño de una fracción significativa de la población mundial en edad de trabajar.n
Los trabajadores de IA también podrían tener otras ventajas sobre los trabajadores humanos:
- Las IA pueden trabajar mucho más rápido que los humanos y a menudo comprimen varios días de procesamiento de información en minutos.
- Las IA podrían coordinarse entre sí mucho más eficientemente que los humanos —quizás a menores costos y a mayor escala.
- Las IA pueden especializarse muy rápidamente, con diferentes versiones ajustadas para ser excepcionalmente buenas en tareas específicas.
Basándonos únicamente en estas ventajas, pronto podríamos presenciar niveles sin precedentes de innovación y producción económica a medida que las IA realicen más trabajo. Esto podría transformar la sociedad —por las mismas razones por las que lo hizo la automatización del trabajo físico durante la Revolución Industrial.
Y creemos que todo podría ser aún más rápido y más drástico de lo que cabría esperar basándose en lo anterior.
Esto se debe a que, en algún momento de esta historia, esperamos que las IA se utilicen para automatizar la propia investigación y desarrollo de la IA. Y esto podría desencadenar una “explosión de inteligencia”: un periodo de rápido progreso tecnológico impulsado por sistemas de IA capaces de crear mejores sistemas de IA.
Así es como podría desarrollarse:
- Los sistemas de IA llegan a ser lo suficientemente buenos como para automatizar todo o la mayor parte del trabajo en I+D de IA.
- Estos trabajadores de IA nos ayudan a construir mejores sistemas de IA mucho más rápido.
- Estos mejores sistemas son entonces aún más útiles para automatizar la I+D en IA, lo que nos permite construir sistemas aún mejores, y así sucesivamente.
Si esto ocurre, podría crearse un bucle de realimentación positiva en el que los sistemas de IA fuesen mejorando cada vez más, posiblemente en un periodo de tiempo muy breve.o
Y esto no solo significaría construir sistemas de IA que sean cada vez mejores en I+D en IA. Significaría acelerar las mejoras en las capacidades de la IA de forma más amplia, proporcionándonos trabajadores de IA cada vez más capaces y generales para desplegar en el conjunto de la economía — lo que, a su vez, podría acelerar el progreso en la mayoría de los ámbitos de la sociedad.
¿Cómo sería ese “progreso acelerado”?
Como hemos dicho, los anteriores periodos de transformación de la historia se vieron limitados en última instancia por el ritmo al que los humanos podían producir y poner en práctica nuevas ideas (es decir, nuevas teorías, inventos y formas de trabajar). Pero ahora imagina disponer de una vasta fuerza de trabajo de IA capaz de producir ideas mucho más brillantes que nosotros, mucho más rápido de lo que podíamos antes — y de ponerlas en práctica de forma más eficiente.
Creemos que esto podría transformar la sociedad en un plazo más corto del que jamás hayamos visto.
¿Cómo sería esto? Por un lado, los descubrimientos científicos podrían realizarse a una velocidad sin precedentes. El mercado podría verse repentinamente inundado de nuevas tecnologías que, de otro modo, habrían tardado décadas en desarrollarse. La infraestructura y la producción podrían expandirse a escalas que hoy apenas podemos imaginar. De forma más especulativa, si se desplegaran trabajadores de IA de forma más generalizada, podríamos ver una oleada de ideas nuevas —no solo en ciencia y tecnología, sino también en arte, política, filosofía y entretenimiento— que cambiarían fundamentalmente nuestra forma de pensar sobre el mundo.
El mundo también podría enriquecerse mucho más, ya que muchas innovaciones pueden aumentar la producción económica. De hecho, algunos investigadores creen que una afluencia de nuevas ideas procedentes de trabajadores de IA conduciría a un crecimiento económico “explosivo” —y, a su vez, parte de esta nueva riqueza podría utilizarse para acelerar la producción de ideas aún más.p
¿Con qué rapidez podría transformarse la sociedad, exactamente? Existen algunas limitaciones en cuanto a lo “explosiva” que puede llegar a ser la trayectoria del progreso humano, incluso con estos bucles de realimentación en juego. Por ejemplo:
- En algún momento, nos encontraremos con cuellos de botella en el desarrollo de la IA —por ejemplo, la disponibilidad de poder de cómputo, energía o datos de alta calidad— que limitarán cuánto pueden mejorar los trabajadores de IA en un corto periodo de tiempo.
- En todos los campos, avanzar podría resultar cada vez más difícil a medida que los trabajadores de IA agoten rápidamente las oportunidades al alcance de la mano en cuanto a descubrimientos y nuevas ideas.q
- Si algunos tipos de trabajo son particularmente difíciles de automatizar —como las tareas físicas complejas o ciertos procesos legales o políticos—, esto también podría frenar el impulso.
Pero incluso teniendo en cuenta estos efectos, algunos investigadores siguen argumentando que los efectos de la automatización con IA podrían comprimir un siglo de progreso en una década.
Este nivel de progreso no podría sostenerse indefinidamente. Pero el mundo podría ya haber sido radicalmente transformado para cuando las cosas se ralenticen —al igual que la Revolución Industrial, que finalmente llegó a su fin, pero dejó tras de sí un mundo totalmente irreconocible.
4. Una transformación rápida impulsada por la IA plantearía una serie de retos importantes, incluidos riesgos existenciales
La idea de que la IAG pudiera potenciar la innovación y la producción económica podría ser motivo de celebración. El mundo podría llegar a ser extraordinariamente rico, y podríamos desarrollar rápidamente nuevas tecnologías que nos ayudaran a abordar la crisis climática o a erradicar enfermedades.
De hecho, la promesa de la tecnología es una de las razones por las que esperamos que algunas personas se entusiasmen con el desarrollo de sistemas avanzados de IA. Como dice Dario Amodei (director general de Anthropic): un gran motivador del desarrollo de la IAG es “una visión del futuro genuinamente inspiradora”.
En términos generales, los temores a las tecnologías emergentes suelen ser injustificados. Muchas innovaciones que se han visto con recelo, como las vacunas y los ferrocarriles, han acabado siendo enormemente beneficiosas para la humanidad.
Pero en este caso, la situación parece diferente. Por primera vez, estamos diseñando una población completamente nueva de seres altamente inteligentes: agentes que pueden realizar las tareas de mayor valor económico que las mentes humanas pueden llevar a cabo, y que podrían no depender de los humanos para ello.
Esto introduce dinámicas complejas para las que no parecemos preparados y que ni siquiera comprendemos del todo. Los humanos que se enfrentan a la IA avanzada podrían ser como niños pequeños que intentan desenvolverse en un mundo de adultos, con cambios en todo lo que conocemos —en la ciencia, la economía, la geopolítica e incluso nuestras formas de vida— que se producen más rápido de lo que podemos asimilar los nuevos y difíciles conceptos subyacentes.
Dada la incertidumbre en torno a cómo se desarrollará la IA, es difícil predecir exactamente qué retos enfrentaremos. Pero los que nos parecen más preocupantes son:
- Nos encontraremos con agentes que podrían ser mucho más inteligentes que los humanos y que podrían tener objetivos propios. Esos objetivos podrían llevarlos a socavar los intereses humanos o incluso a desempoderar a la humanidad si no podemos controlarlos.
- Pequeños grupos podrían adquirir un poder sin precedentes. Si los grupos de élite pueden controlar una IA poderosa, dependerán mucho menos de los humanos para llevar a cabo sus planes. Con una amplia plantilla de IA, podrían acumular niveles de influencia económica y política nunca vistos, o incluso hacerse con el poder — y probablemente no tendrían grandes incentivos para representar los intereses de la población en general.
- Las tecnologías peligrosas, como las armas biológicas, podrían volverse mucho más accesibles. El acceso a IA de gran capacidad podría facilitar mucho el diseño o la obtención de armas peligrosas, bajando significativamente la vara para que las personas causen un daño devastador a la humanidad.
- Podríamos crear una nueva y numerosa población de seres cuyo bienestar e intereses importan, lo que plantearía cuestiones complejas sobre cómo coexistir con ellos.
- Estos factores pueden provocar conflictos y disturbios, que podrían culminar en un conflicto entre grandes potencias o generar otros retos imprevistos.
La forma en que manejemos estas dinámicas podría determinar si el futuro resulta bueno o malo.
Si gestionamos las cosas con sensatez, podríamos crear un futuro próspero con una prosperidad sin precedentes para todos los seres sintientes, e incluso podríamos expandirnos hasta las estrellas. Pero si perdemos el control de la IA avanzada, o si hay actores malintencionados que la utilizan para socavar los intereses del resto del mundo, podríamos enfrentarnos a una catástrofe, como que los humanos perdiéramos para siempre nuestra capacidad de moldear el futuro, o que nos extinguiéramos.
En otras palabras, creemos que estas cuestiones conllevan riesgos existenciales, lo que las convierte en uno de los problemas graves del mundo.
Y aunque tenemos la esperanza de que estas cuestiones sean tratables, no podemos dar por sentado que nuestras instituciones se desenvolverán bien por defecto. Al fin y al cabo, se trata de un territorio confuso y sin precedentes. Y hemos visto a la sociedad verse abocada al desastre al enfrentarse a nuevos retos para los que no se había preparado lo suficiente; basta con pensar en la lentitud de las respuestas institucionales a las primeras alertas sobre la COVID-19, o en los numerosos incidentes que estuvieron muy cerca de ser una catástrofe que hemos presenciado con las armas nucleares.
La velocidad de esta transición podría importar mucho
Hay dos formas en las que la velocidad puede ser fundamental para esta transición:
- Importa cuánto tiempo tenemos desde ahora hasta que dispongamos de sistemas de IA extremadamente capaces y generales.
- Importa la rapidez con la que estos sistemas transformen radicalmente el mundo una vez que lleguen.
Si solo quedan unos pocos años para que tengamos una IAG o algo similar, disponemos de un tiempo limitado para evitar los riesgos.
Y si la IA avanzada cambia el mundo muy rápidamente, es posible que no tengamos tiempo para adaptarnos a las circunstancias cambiantes y tomar decisiones acertadas.
Incluso ahora, nuestras instituciones actúan a veces con demasiada lentitud; por ejemplo, se tardó unos 50 años desde las primeras advertencias científicas sobre el calentamiento global para que se firmara el histórico Acuerdo de París sobre el Clima. A menos que introduzcamos grandes cambios en el funcionamiento de nuestras instituciones, si la IA se vuelve rápidamente más capaz y más productiva, parece que será extremadamente difícil para la sociedad seguirle el ritmo.
Existe un animado debate sobre cuándo podrían llegar los sistemas avanzados de IA y con qué rapidez podrían cambiar el mundo. Pero hay al menos una probabilidad considerable de que estén aquí en la próxima década y de que las cosas cambien muy rápido; de hecho, el nivel de preocupación de los expertos sugiere que debemos tomarnos esta posibilidad en serio (1 2, 3). Y dado lo que está en juego, creemos que es importante prepararse para esta posibilidad, aunque solo haya una pequeña probabilidad —por ejemplo, un 10 %— de que se haga realidad.
Esto significa que no podemos simplemente ignorar los riesgos ni tardar en actuar. Necesitamos encontrar soluciones sólidas antes de que sea demasiado tarde.
5. El trabajo en estos problemas es tratable, pero está desatendido
Llevamos más de una década ayudando a personas que quieren trabajar en este problema. En este tiempo, el campo ha crecido sustancialmente.
Un análisis de 2025 sitúa el número total de personas que trabajan en los riesgos existenciales derivados de la IA en 1 100, y creemos que incluso esta cifra podría ser inferior a la real, ya que solo incluye a las organizaciones que se definen explícitamente como dedicadas a la “seguridad de la IA”.
Estimamos que, en realidad, hay unos cuantos miles de personas centrando su trabajo en los riesgos más importantes que plantea la IAG. Pero para ponerlo en perspectiva, Nature Conservancy cuenta por sí sola con entre 3 000 y 4 000 empleados, y es solo una de las muchas organizaciones que trabajan en la protección del medio ambiente y el cambio climático. Otros problemas globales, como la salud pública, también reciben mucha atención; por ejemplo, la Organización Mundial de la Salud emplea a más de 8 000 personas.
Esto significa que los riesgos asociados a la IA están gravemente desatendidos en comparación con muchos otros problemas mundiales, por lo que cada persona adicional que trabaje para abordarlos puede marcar una mayor diferencia.r
También somos optimistas en cuanto a poder avanzar en estos problemas. Al fin y al cabo, los humanos estamos eligiendo diseñar y desplegar estas tecnologías, lo que significa que tenemos cierta influencia sobre cómo van las cosas.
Parte del reto aquí es que las personas que actualmente tienen mayor influencia en el desarrollo de la IA no están necesariamente incentivadas para dar prioridad a la seguridad. Las empresas de IA quieren ganar dinero y se enfrentan a presiones para desarrollar tecnologías sin tener plenamente en cuenta los riesgos que imponen a la sociedad. A los líderes políticos les preocupa la opinión pública y los ciclos electorales, lo que les deja menos tiempo y motivación para centrarse en servir a intereses más amplios o a largo plazo. Por eso necesitamos personas cuya prioridad sea utilizar sus carreras profesionales para ayudar a otros a trabajar en los grandes desafíos que, de otro modo, podrían ser ignorados.
Hay muchas formas en las que puedes ayudar a abordar estos retos. Echa un vistazo a nuestro centro de recursos sobre carreras profesionales en IA para más información.
Objeciones y réplicas
Estás sobreestimando la rapidez y la magnitud con la que la IA transformaría el mundo
Hemos argumentado que la automatización del trabajo humano podría transformar el mundo a un ritmo sin precedentes, pero nuestro argumento podría estar equivocado de varias maneras.
- Puede que no se produzca una explosión de inteligencia. Podríamos desplegar una generación de trabajadores de IA para automatizar algunos campos, pero no conseguir que creen trabajadores de IA aún mejores o más generales —quizás porque hayamos alcanzado el límite de lo que pueden lograr los enfoques actuales de IA, o porque caigamos en otro “invierno de la IA”. Aún así, obtendríamos un aumento puntual en el tamaño y la eficiencia de nuestra fuerza de trabajo, lo que haría que la sociedad fuera mucho más productiva. Pero probablemente no veríamos las mejoras espectaculares y exponenciales que describimos anteriormente.
- Las limitaciones al progreso podrían ser mayores de lo esperado. Incluso si las IA sí nos ayudan a crear trabajadores de IA cada vez más capaces, el bucle de realimentación que esto genera podría no ser tan “explosivo” como hemos descrito. Por ejemplo, los cuellos de botella en la I+D de IA —como la disponibilidad de poder de cómputo, energía y datos de alta calidad— podrían significar que el desarrollo de la próxima generación de trabajadores de IA sea simplemente un proceso lento. Y en cada campo que intentemos automatizar, los beneficios del esfuerzo podrían disminuir drásticamente a medida que los trabajadores de IA agoten rápidamente las oportunidades al alcance de la mano, haciendo que los efectos de una explosión de inteligencia se desvanezcan.
- Las tareas dependientes de los humanos podrían convertirse en cuellos de botella críticos. Algunas tareas económicamente valiosas —por ejemplo, aquellas que requieren una interacción compleja con el mundo físico, o la gestión de proyectos a lo largo de semanas o meses— podrían tardar mucho tiempo en automatizarse. Al menos en las primeras etapas de la automatización, la velocidad del progreso impulsado por la IA podría verse seriamente limitada por el ritmo al que los humanos pueden realizar esas tareas restantes.
- Nuestro modelo de progreso humano podría estar omitiendo componentes clave. Hemos argumentado que el aumento de la mano de obra y las nuevas ideas pueden impulsar un rápido progreso, señalando ejemplos históricos como la Revolución Industrial. Pero otros factores impulsores que no hemos considerado explícitamente aquí, como los cambios institucionales o culturales, podrían ser cruciales —y para cuando tengamos IA capaces de sustituir a los trabajadores humanos, estos factores podrían ser simplemente más débiles de lo necesario para sustentar algo como “un siglo de progreso en una década”.
En cualquiera de estos escenarios, seguimos pensando que la IA podría transformar el mundo (y plantear riesgos graves). Pero esta transformación probablemente no ocurriría tan rápidamente como hemos imaginado. Y como hemos argumentado, la velocidad sí importa: afecta al tiempo del que disponemos para adaptarnos a las circunstancias cambiantes y tomar decisiones acertadas.
Si las objeciones anteriores son correctas, también podría resultar muy difícil mantener un periodo de innovación y producción económica aceleradas. En ese caso, el progreso podría esfumarse rápidamente, quizás incluso antes de que veamos cambios tan drásticos como los que se produjeron durante la Revolución Industrial.
Pero dada la escala de estos riesgos, creemos que es importante estar preparados para un escenario en el que la IA sí transforme el mundo de forma rápida y drástica, aunque haya una probabilidad relativamente pequeña (digamos, un 10 %) de que esto ocurra.
Aun así, la incertidumbre existente dificulta sopesar el trabajo en los riesgos asociados a la IA frente a otros problemas graves, como la cría intensiva de animales.
Es difícil creer que la IA pueda realmente plantear riesgos existenciales
Todo esto suena bastante descabellado. ¿Podría la IA realmente provocar consecuencias tan graves como la extinción humana?
El argumento que expusimos anteriormente —que los efectos transformadores de la IA podrían crear desafíos sin precedentes que amenacen la supervivencia de la humanidad— nos parece convincente. Pero siempre vale la pena realizar un control de sensatez sobre los argumentos audaces y provocadores. Una forma de hacerlo es fijarse en lo que dicen sobre el tema los expertos en la materia y otros líderes. Entonces, ¿qué dicen?
Varias instituciones líderes ya consideran que la IA de vanguardia plantea riesgos catastróficos:
- Investigadores y directores generales. Más de 1 000 científicos especializados en IA y líderes del sector —entre ellos Geoffrey Hinton, Yoshua Bengio, Sam Altman y Demis Hassabis— firmaron la advertencia de una sola frase del Center for AI Safety de que “mitigar el riesgo de extinción por la IA debería ser una prioridad global, al mismo nivel que las pandemias y la guerra nuclear”.
- Gobiernos nacionales. En la Cumbre sobre Seguridad de la IA, 28 países (incluidos EE. UU. y China) emitieron la Declaración de Bletchley, reconociendo el “potencial de daños graves, incluso catastróficos” de los modelos de vanguardia y comprometiéndose a trabajar conjuntamente en la mitigación de riesgos.
- Medida ejecutiva de EE. UU. La orden ejecutiva del presidente Biden del 30 de octubre de 2023 obligó a los laboratorios estadounidenses a compartir los resultados de las pruebas de seguridad con el Gobierno antes de lanzar sistemas potentes, una medida sin precedentes fuera del ámbito de la bioseguridad o la seguridad nuclear. La administración del presidente Donald Trump también ha decidido tratar la IA como una potencial amenaza para la seguridad nacional, a pesar de mostrarse escéptica ante la idea de que la IA pueda suponer riesgos catastróficos.
Algunos líderes no están de acuerdo:
El científico jefe de Meta, Yann LeCun, por ejemplo, ha calificado de “absurdas” las preocupaciones sobre la extinción, argumentando que la IA puede diseñarse para que sea segura.
Otros científicos influyentes, como Gary Marcus, Andrew Ng y Melanie Mitchell, han compartido su escepticismo sobre los riesgos existenciales y los efectos transformadores de la IA.
Las encuestas a investigadores de IA apuntan a probabilidades de extinción nada desdeñables:
Katja Grace, de AI Impacts, encuestó a 2 778 investigadores de IA sobre una serie de cuestiones clave en el campo. La mediana de los encuestados asignó al menos un 5 % de probabilidad a que la IA avanzada pudiera provocar la extinción humana (o un desastre comparable), y aproximadamente entre un tercio y la mitad de los participantes estimaron el riesgo en un 10 % o más.
Es posible que los investigadores de su propio campo estén exagerando el peligro, o subestimándolo. Aun así, este nivel de preocupación debería impulsarnos a tomar el riesgo muy en serio.
Los pronosticadores toman nota (pero dudan de los riesgos):
El Forecasting Research Institute organizó el Torneo de Persuasión sobre Riesgos Existenciales en 2022 para investigar los desacuerdos sobre este tema.
En general, descubrieron que, de todos los temas tratados, la IA era la que generaba la mayor preocupación sobre el riesgo existencial entre los participantes. Pero hubo una gran división de opiniones sobre los riesgos entre los expertos en IA y las personas con una sólida trayectoria en superpronosticación:
- Los expertos en IA estimaron una probabilidad media del 3 % de extinción humana causada por la IA para 2100, mientras que los superpronosticadores la situaron en solo un 0,38 %.
- Ambos grupos coincidieron en la alta probabilidad de que se desarrolle una “IA potente” para 2100 (alrededor del 90 %).
- Incluso los escépticos del riesgo asociado a la IA veían una probabilidad del 30 % de que se produjeran consecuencias catastróficas por causa de la IA en un plazo de 1000 años.
Cabe señalar, sin embargo, que dados los avances en IA desde 2022, cabría esperar que ambos grupos prevean ahora que los plazos para alcanzar una IA potente sean significativamente más cortos. Creemos que esto probablemente elevaría sus estimaciones de los riesgos asociados a la IA.
Visión general:
Muchos líderes y expertos reconocen el potencial de la IA para plantear riesgos importantes, incluso a nivel de la extinción humana. Pero, a diferencia de otros problemas a los que se enfrenta la humanidad, como el cambio climático, no se trata de un consenso científico: existe un desacuerdo constante y muchas personas con credibilidad piensan que los riesgos son menores de lo que nosotros creemos.
Aun así, dado lo que está en juego, creemos que sería imprudente descartar la idea de que la IA pudiera provocar consecuencias como la extinción humana. Vale la pena tomar en serio incluso una probabilidad de catástrofe relativamente pequeña.
¿No es todo este discurso sobre que la IA cambiará el mundo solo una moda pasajera?
Algunas personas piensan que argumentos como los de este artículo son solo una respuesta a la actual ola de furor por la IA y que no resistirán el paso del tiempo.
Es posible que hayamos actualizado nuestras creencias con demasiada firmeza basándonos en los últimos avances en IA, y que nuestras predicciones resulten erróneas. Pero vale la pena señalar que las ideas básicas de este artículo no son especialmente novedosas ni exclusivas de nuestra época. Pensadores destacados llevan advirtiéndonos sobre los peligros y el potencial transformador de la IA desde el siglo XIX:
- 1863: El novelista inglés Samuel Butler especuló en una carta que las máquinas acabarían superando a la humanidad, y que los humanos se convertirían en la “especie inferior”.
- 1920: El dramaturgo Karel Čapek, quien acuñó la palabra “robot”, escribió una obra de teatro en la que los trabajadores artificiales se rebelan y acaban provocando la extinción humana.
- 1940–1950: Isaac Asimov escribió una serie de relatos sobre la IA y los robots, en los que destacaba la necesidad de garantizar su seguridad para la humanidad y sugería que desarrollarían la capacidad de dirigir el futuro de la humanidad.
- 1950: John von Neumann, un prolífico y muy influyente físico y matemático, al parecer, afirmó: “El progreso cada vez más acelerado de la tecnología y los cambios en el modo de vida humano […] dan la impresión de que nos acercamos a alguna singularidad esencial en la historia de la raza”.
- 1951: Alan Turing, considerado el padre de las ciencias de la computación teórica, escribió: “Parece probable que, una vez que el método de pensamiento de las máquinas se ponga en marcha, no tardará mucho en superar nuestras débiles capacidades… Por lo tanto, en algún momento deberíamos esperar que las máquinas tomen el control…”
- 1965: El matemático I. J. Good dijo: “Dado que el diseño de máquinas es una de estas actividades intelectuales, una máquina ultrainteligente podría diseñar máquinas aún mejores; entonces se produciría sin duda una “explosión de inteligencia”, y la inteligencia humana quedaría muy rezagada”.
No consideramos ninguna de estas afirmaciones como una evidencia sólida de que la IA plantee riesgos existenciales. Al fin y al cabo, muchas figuras históricas —incluso científicos extremadamente inteligentes e influyentes— han tenido creencias erróneas sobre el futuro.
Pero sí nos muestran que el argumento de que todo esto es “solo una moda pasajera” no resiste un análisis riguroso.
¿No va a ser la IA como cualquier otra tecnología?
En algunos aspectos, sí, pero eso no significa que no debamos preocuparnos.
Al igual que muchas otras tecnologías, la IA ha tenido sus propios ciclos de auge y caída. Algunos piensan que la trayectoria actual de alta inversión y rápido progreso podría esfumarse, e incluso ir seguida de otro “invierno de la IA”.
Pero eso no es una buena razón para ignorar los riesgos. Aunque es probable que algunos de los motores del progreso de la IA acaben por ralentizarse, creemos que hay muchas posibilidades de que ya dispongamos de una IAG (o algo similar) para cuando esto ocurra. Y para entonces, podríamos estar ya enfrentándonos a grandes desafíos para los que desearíamos estar mejor preparados.
También vale la pena señalar que la IA no necesita ser fundamentalmente diferente de las tecnologías anteriores para cambiar el mundo y plantear riesgos realmente graves. Al fin y al cabo, otras tecnologías de uso general como la máquina de vapor ya lo han hecho antes: la Revolución Industrial impulsó un enorme crecimiento, pero también precipitó el cambio climático y sentó las bases para la invención de las armas nucleares.
Incluso si la IA fuera “solo” otra tecnología de uso general, podría tener un impacto similar. Y eso, por sí solo, ya sería de gran importancia.
Pero sí creemos que hay aspectos en los que la IA podría ser genuinamente diferente de todo lo que la humanidad ha visto hasta ahora, lo que la haría potencialmente más transformadora y más arriesgada que las tecnologías anteriores.
Por un lado, argumentamos en las secciones 1, 2 y 3 anteriores que los sistemas de IA podrían, en la práctica, hacerse cargo de los procesos de innovación y producción económica, lo que significa que el progreso ya no dependería del trabajo humano y podría producirse mucho más rápido que nunca antes.
E incluso si uno se muestra escéptico ante esa idea en particular, sigue siendo difícil negar que aquí está ocurriendo algo sin precedentes. Por primera vez, estamos diseñando una nueva forma de inteligencia que podría superar a la nuestra. Podríamos encontrarnos con toda una nueva población de agentes altamente capaces con intereses propios —y tal vez incluso con la capacidad de sentir bienestar y sufrimiento—. En cierto sentido, podrían ser nuestros competidores. Y la dinámica que esto introduce podría ser distinta de todo lo que la humanidad haya tenido que sortear antes.
¿Es siquiera posible crear inteligencia artificial general?
La gente lleva diciendo desde la década de 1950 que la inteligencia artificial más inteligente que los humanos está a la vuelta de la esquina.
Pero aún no ha sucedido.
Algunos han argumentado que producir inteligencia artificial general es fundamentalmente imposible. Otros piensan que es posible en teoría, pero poco probable que suceda realmente, y menos aún con los métodos actuales de aprendizaje profundo.
Sin embargo, creemos que hay razones de peso para creer que la IAG es alcanzable:
- La existencia de la inteligencia humana demuestra que la inteligencia general es, al menos, posible en principio. Los cerebros humanos están compuestos de materia ordinaria que sigue las mismas leyes físicas que las computadoras.
- Aunque las predicciones del pasado eran excesivamente optimistas sobre el tiempo que llevaría, no estaban necesariamente equivocadas sobre la posibilidad fundamental de la IAG. El campo se encontró con obstáculos desde el principio, pero los investigadores encontraron formas de sortearlos utilizando nuevos métodos creativos y ahora tienen acceso a un poder de cómputo mucho mayor para realizar experimentos y entrenar nuevas IA de lo que podríamos haber imaginado hace unas décadas.
- En los últimos años, hemos visto avances que creemos que no habrían sido predichos por quienes creían que nunca se desarrollaría una IA potente y general. Por ejemplo, los modelos de lenguaje a gran escala han demostrado comportamientos emergentes que no estaban programados explícitamente, como el aprendizaje con pocos ejemplos, el razonamiento analógico y la transferencia entre dominios.
- Aunque algunos sostienen que los métodos actuales de IA nunca llegarán a comprender ciertas formas de razonamiento inteligente, estas críticas a menudo han resultado ser erróneas. Por ejemplo, Yann LeCun afirmó en 2022 que los modelos basados en el aprendizaje profundo, como ChatGPT, nunca serían capaces de decirte qué pasaría si colocaras un objeto sobre una mesa y luego empujaras esa mesa, porque una situación tan básica nunca se ha descrito explícitamente en el texto; sin embargo, GPT-4 ahora puede guiarte a través de escenarios como este con facilidad. En palabras del investigador de IA Leopold Aschenbrenner: “si hay una lección que hemos aprendido de la última década de IA, es que nunca se debe apostar en contra del aprendizaje profundo”
En esto hay una incertidumbre real, y puede que los escépticos tengan razón en que hay algunas cosas que los sistemas de IA avanzados nunca lograrán. Pero para que la IA transforme el mundo, la cuestión importante no es si replicaremos exactamente todos los aspectos de la cognición humana, sino si podemos crear sistemas que puedan:
- Igualar o superar el rendimiento humano en las tareas que más importan para la investigación científica, la productividad económica y otros ámbitos en los que la inteligencia es más valiosa
- Realizar esas tareas más rápido o de forma más económica que los trabajadores humanos
- Trabajar con la autonomía suficiente para que el progreso en los campos que automatizan deje de estar limitado por la velocidad del trabajo humano
Todo esto parece bastante posible.
E incluso todo esto podría no ser necesario para que la IA plantee riesgos graves, o incluso a escala existencial. Por ejemplo, nuestro argumento de que las personas podrían hacer un uso impropio catastrófico de la IA depende en gran medida de que los sistemas de IA se conviertan en herramientas útiles para el diseño de armas. Una IA que sea excelente para ayudar a los humanos en la investigación de la biotecnología podría facilitar enormemente el desarrollo de patógenos peligrosos, independientemente de su rendimiento en otros tipos de investigación o del grado de supervisión humana que requiera.s
Así que, incluso si crees que nunca construiremos IA que sean totalmente generales o completamente autónomas, los riesgos podrían seguir siendo extremadamente graves.
Incluso si la IAG es alcanzable, ¿y si estamos realmente muy lejos de construirla?
Existe un animado debate sobre cuándo construiremos la “IAG” (u otros sistemas avanzados de IA capaces de transformar el mundo de las formas que hemos descrito).
Creemos que hay muchas posibilidades de que esto ocurra pronto, quizá en la próxima década. Y no somos los únicos.
Pero vale la pena considerar otras posibilidades. Por ejemplo, el investigador Ege Erdil ha presentado un influyente argumento a favor de que la IAG aún está a varias décadas de distancia. Y hay quien piensa que aún queda más tiempo.
Además, incluso quienes creen que hay muchas posibilidades de que la IAG (o algo parecido) llegue pronto tienden a pensar también que hay muchas posibilidades de que tarde un tiempo. Sus “distribuciones de probabilidad” sobre cuándo llegará la IAG suelen tener una forma parecida a esta:
Aunque la IAG esté a muchas décadas de distancia, creemos que seguirá transformando el mundo cuando llegue y planteará retos sin precedentes. Pero en este plazo más largo, el trabajo para abordar estos retos sería menos urgente, porque tendríamos más tiempo para prepararnos.
A pesar de ello, seguimos pensando que tiene sentido que muchas personas se centren en los riesgos asociados a la IA ahora. Esto se debe a que:
- Existe una gran incertidumbre en torno al tiempo que llevará desarrollar la IAG. Debemos prepararnos para la posibilidad de que ocurra muy pronto, para estar protegidos ante los peores escenarios.
- Es posible que algunos problemas relacionados con la IA avanzada tarden mucho tiempo en resolverse. Los retos técnicos profundos podrían requerir muchos años de investigación para desentrañarlos, y algunas cuestiones de gobernanza podrían exigirnos rediseñar el funcionamiento de nuestras instituciones, algo que no sucederá de la noche a la mañana. Esforzarnos más ahora nos dará más posibilidades de afrontar los riesgos de forma competente cuando empiecen a surgir.
- Muchas personas que podrían ser de gran ayuda dentro de una década deberían empezar ahora, especialmente si se encuentran en los inicios de su carrera profesional. Se necesita tiempo para desarrollar experticia y acumular capital profesional, por lo que “todavía nos quedan años” no es una razón para no empezar.
¿No es el verdadero peligro la inteligencia artificial actual, en lugar de algún tipo de IAG futurista?
Sin duda, la inteligencia artificial actual entraña peligros.
Por ejemplo:
- La inteligencia artificial se ha relacionado con frecuencia con problemas de seguridad infantil, y hay informes de chatbots de IA que generan imágenes sexualizadas de niños, involucran a menores en conversaciones de carácter sexual e incluso, en algunos casos, animan a usuarios adolescentes emocionalmente dependientes a suicidarse.
- Los datos utilizados para entrenar las redes neuronales suelen contener sesgos ocultos. Esto significa que los sistemas de IA pueden aprender estos sesgos, lo que puede dar lugar a comportamientos racistas y sexistas.
- Los modelos de IA se entrenan con material protegido por derechos de autor sin permiso ni compensación, lo que plantea serias dudas sobre los derechos de propiedad intelectual y amenaza el sustento de artistas, escritores y creadores.
- Las herramientas de IA facilitan la realización de estafas sofisticadas a escala, como vídeos deepfake que suplantan a altos cargos de empresas para autorizar transferencias de dinero fraudulentas.
Estos peligros son reales y graves —y mucha gente debería centrarse en abordarlos. Pero seguimos pensando que es necesario aumentar significativamente la cantidad de trabajo dedicado a los riesgos asociados a la IA a largo plazo.
La buena noticia es que no siempre hay que elegir entre abordar los riesgos asociados a la IA a corto o a largo plazo. Gran parte del trabajo orientado a las amenazas existenciales de los sistemas de IA es también relevante para resolver problemas con los sistemas de IA existentes. Por ejemplo, parte de la investigación sobre seguridad de la IA se centra en garantizar que los modelos de aprendizaje automático hagan lo que queremos que hagan, y que sigan haciéndolo a medida que aumentan su tamaño y sus capacidades; otras investigaciones tratan de averiguar cómo y por qué los modelos existentes están tomando las medidas que toman. Ambas cosas nos ayudarían a evitar que los futuros sistemas de IA tomaran el poder, pero probablemente también nos ayudarían a evitar que los sistemas de IA actuales discriminen a grupos marginados o exploten a usuarios vulnerables.
También creemos que los peligros actuales son solo la punta del iceberg. A medida que los sistemas de IA se vuelvan más capaces, los riesgos podrían volverse cada vez más graves. Como hemos argumentado, parece que los sistemas futuros podrían suponer una amenaza no solo para los seres humanos a título individual, sino también para la misma existencia de la humanidad —por ejemplo, posibilitando una pandemia catastrófica que aniquile a gran parte de la población, o ayudando a un pequeño grupo a establecer un régimen autoritario duradero.
En última instancia, no todo el trabajo sobre los riesgos futuros se traducirá directamente en avances en los problemas actuales. Pero disponemos de un tiempo limitado en nuestras carreras profesionales, y elegir en qué problema centrarse podría ser una forma muy eficaz de aumentar tu impacto. Y parece importante que muchas personas (¡aunque no todas!) se centren en abordar las peores posibilidades. Lee más sobre por qué creemos que es adecuado establecer prioridades entre los problemas.
El progreso tecnológico es algo bueno para la humanidad
Los optimistas tecnológicos señalan que las tecnologías del pasado han mejorado la vida en general, no la han empeorado. ¿Por qué iba a ser diferente la IA?
Si bien es cierto que la tecnología ha aportado muchos beneficios, también ha creado nuevos riesgos y desafíos. Las armas nucleares nos dieron tanto la energía nuclear como la amenaza de una guerra nuclear. La ciencia biomédica avanzada ha curado muchas enfermedades, pero también aumenta el riesgo de armas biológicas y de fugas desastrosas de patógenos peligrosos. La cría intensiva de animales ha abaratado la carne, pero también es una catástrofe moral para los propios animales y tiene muchos efectos secundarios negativos para los seres humanos.
Estamos de acuerdo en que la tecnología por lo general ha beneficiado a la humanidad en su conjunto, pero la cuestión es si lo hará en este caso.
Existen suficientes precedentes de avances tecnológicos peligrosos como para ser cautelosos, y en este caso hay motivos específicos de preocupación, tal y como hemos comentado anteriormente. Y dada la escala y la velocidad potenciales del desarrollo de la IA, el margen de error puede ser menor que con tecnologías anteriores.
Todo esto suena demasiado a ciencia ficción
Que algo suene a ciencia ficción no es motivo en sí mismo para descartarlo de plano. Hay muchos ejemplos de cosas que se mencionaron por primera vez en la ciencia ficción y que luego llegaron a suceder (esta lista de inventos de la ciencia ficción contiene muchos ejemplos).
Incluso hay algunos casos de este tipo relacionados con la tecnología que hoy en día constituyen amenazas existenciales reales:
- En su novela de 1914 The World Set Free, H. G. Wells predijo que la energía atómica alimentaría potentes explosivos, 20 años antes de que comprendiéramos que, en teoría, podían producirse reacciones en cadena de fisión nuclear, y 30 años antes de que se fabricaran realmente las armas nucleares. En las décadas de 1920 y 1930, los físicos ganadores del Premio Nobel Millikan, Rutherford y Einstein predijeron que nunca podríamos utilizar la energía nuclear. Las armas nucleares eran, literalmente, ciencia ficción antes de convertirse en realidad.
- En la película de 1964 Dr. Strangelove, la URSS construye una máquina del fin del mundo que desencadenaría automáticamente un evento nuclear que provocaría la extinción en respuesta a un ataque nuclear, pero la mantiene en secreto. El Dr. Strangelove señala que mantenerla en secreto debilita su efecto disuasorio. Pero ahora sabemos que en la década de 1980 la URSS construyó un sistema extremadamente similar… y lo mantuvo en secreto.
Es razonable querer investigar a fondo algo que suena a ciencia ficción antes de actuar en consecuencia. Pero, una vez investigado, si los argumentos son sólidos, el simple hecho de que suene a ciencia ficción no es motivo para descartarlo.
¿Tiene sentido dedicar mi carrera profesional a resolver un problema basándome en una historia especulativa sobre algo que podría o no llegar a suceder?
Nunca sabemos con certeza lo que va a pasar en el futuro. Así que, por desgracia, si intentamos tener un impacto positivo en el mundo, siempre tendremos que lidiar con al menos cierto grado de incertidumbre.
También creemos que hay una distinción importante entre garantizar que hemos logrado algo bueno y hacer lo mejor que podamos. Para lograr lo primero, no podemos correr ningún riesgo, y eso podría significar perdernos las mejores oportunidades para hacer el bien.
Cuando nos enfrentamos a la incertidumbre, tiene sentido pensar a grandes rasgos en el valor esperado de nuestras acciones: la suma de todas las consecuencias potenciales, buenas y malas, de nuestras acciones, ponderadas por su probabilidad. El valor esperado no es el único marco de referencia que se debe utilizar —también creemos que es importante moderar las estimaciones del valor esperado utilizando el sentido común y otras heurísticas—, pero es un indicador realmente útil de la importancia de un determinado curso de acción.
Dado que hay tanto en juego y que las probabilidades de los riesgos asociados a la IA no son tan bajas, el valor esperado de ayudar a resolver este problema es alto.
Comprendemos la preocupación de que, si trabajas en IA, podrías acabar sin hacer gran cosa, cuando podrías haber hecho un bien enorme trabajando en algo más seguro. Pero creemos que el mundo estará mejor si decidimos que algunos de nosotros debemos trabajar en resolver estos problemas, de modo que juntos tengamos la mejor oportunidad de navegar con éxito la transición hacia un mundo con IA avanzada, en lugar de arriesgarnos a una crisis existencial.
De acuerdo, la IA podría plantear riesgos existenciales. Pero ¿no es el problema X un problema aún mayor?
Quizás pienses que no tiene sentido centrarse en los riesgos asociados a los futuros sistemas de IA cuando el mundo se enfrenta a tantos otros retos.
Por ejemplo, es posible que quieras hacer todo lo que puedas para prevenir la mayor cantidad de muertes y sufrimiento que ocurren ahora. Esto probablemente te llevaría a dar prioridad a abordar la cría intensiva de animales o incluso el sufrimiento de los animales salvajes, ya que estos problemas suponen daños presentes y, además, están increíblemente desatendidos en relación con su escala.
Incluso si quieres centrarte en procurar un buen futuro para la humanidad, quizá sientas que los riesgos asociados a los futuros sistemas de IA son demasiado inciertos. En ese caso, probablemente elegirías trabajar en amenazas que en esta etapa parezcan más concretas, como las guerras catastróficas.
Sin duda, es razonable dar prioridad a trabajar en otras cosas antes que en los riesgos asociados a la IA. Sería arrogante afirmar que hemos comprendido todos los problemas del mundo lo suficientemente bien como para saber que los más graves son definitivamente todos consecuencia de una IA poderosa.
Pero seguimos pensando que centrarse en los riesgos asociados a la IA avanzada suele ser una apuesta que vale la pena, porque:
- Como hemos explicado, existe una posibilidad real de que los futuros sistemas de IA provoquen la extinción humana o que perdamos permanentemente el control del futuro.
- Y a medida que pasa el tiempo, cada vez más razones teóricas de preocupación —como el potencial de comportamiento engañoso en los sistemas de IA— se están viendo confirmadas en la práctica.
- Si la IA transforma el mundo, probablemente configuraría todos los demás retos a los que se enfrenta la sociedad y dictaría cómo pueden o deben abordarse. Por ejemplo, lo que ocurra con la IA podría determinar las capacidades militares de las mayores potencias del mundo, así como las herramientas diplomáticas que utilizan para gestionar los conflictos. Por lo tanto, garantizar que una IA poderosa se maneje de forma responsable podría ser un componente importante para abordar muchos otros problemas mundiales.
No creemos que todos los que lean esto deban dejar lo que están haciendo para trabajar en los riesgos asociados a la IA, y nos sigue entusiasmando ver que la gente avanza en otros problemas graves. Pero si encuentras un puesto centrado en los riesgos asociados a la IA que realmente te encaje, creemos que es muy probable que sea la acción de mayor impacto esperado que podrías realizar.
Más información
- Preparing for the intelligence explosion por Will MacAskill y Fin Moorhouse
- Cómo los bucles de realimentación impulsados por la IA podrían desatar el caos en muy poco tiempo por Benjamin Todd
- El siglo más importante, una serie de Holden Karnofsky y otros autores
- Could advanced AI drive explosive economic growth? por Tom Davidson
- AI 2027 por Daniel Kokotajlo, Scott Alexander, Thomas Larsen, Eli Lifland y Romeo Dean (somos escépticos de que las cosas se desarrollen tan rápidamente como en el escenario que se describe; de hecho, los autores han publicado un modelo actualizado con predicciones más modestas sobre cuándo la IA alcanzará ciertos hitos en sus capacidades)
- Nuestro resumen de la guía de IA
- Por qué la IAG podría llegar en 2030, de Benjamin Todd
- When do experts expect AGI to arrive?, de Benjamin Todd
Agradecimientos
Muchas gracias a Cody Fenwick, quien redactó una versión anterior de este artículo (gran parte de la cual se ha incorporado aquí).
Gracias también a Arden Koehler, Adam Bales, Andreas Mogensen, Benjamin Todd, Niel Bowerman y Aaron Gertler por sus aportes.