Uso impropio catastrófico de la inteligencia artificial
El 16 de julio de 1945, la humanidad vivió una inquietante primicia: los científicos probaron una tecnología —las armas nucleares— que podría provocar la destrucción de la civilización.
Desde los ataques a Hiroshima y Nagasaki, la humanidad no ha vuelto a lanzar ataques nucleares. En parte, esto se debe a que nuestras instituciones desarrollaron normas internacionales que, aunque imperfectas, lograron impedir que se repitieran.
Esperamos que la IA avanzada acelere los avances tecnológicos, y algunos prevén un siglo de progreso científico en una década. Un progreso científico más rápido podría reportar enormes beneficios, desde la cura de enfermedades mortales hasta la exploración espacial.
Sin embargo, este ritmo vertiginoso podría reducir las barreras para la creación de nuevas armas devastadoras, al tiempo que supera nuestra capacidad para establecer las salvaguardias necesarias para controlarlas.
Sin los controles adecuados, un país, un grupo o un individuo podrían utilizar armas de destrucción masiva creadas por IA para provocar una catástrofe global.
Resumen
Los sistemas avanzados de IA pueden acelerar drásticamente el progreso científico, reduciendo potencialmente décadas de investigación a tan solo unos pocos años. Este rápido avance podría permitir el desarrollo de nuevas y devastadoras armas de destrucción masiva —incluidas armas biológicas mejoradas y categorías completamente nuevas de tecnologías peligrosas— más rápido de lo que podemos desarrollar las salvaguardias adecuadas.
Sin los controles adecuados, los actores estatales y no estatales podrían utilizar armas desarrolladas con IA para provocar catástrofes globales o la extinción humana. Sin embargo, estos riesgos pueden mitigarse mediante enfoques de gobernanza y salvaguardias técnicas.
Profundidad del perfil
Profundidad media
La IA avanzada podría acelerar el progreso científico
Los modelos de IA ya obtienen buenos resultados en pruebas de razonamiento científico avanzado.
Por ejemplo, el benchmark GPQA Diamond consiste en preguntas científicas de nivel de doctorado que los no expertos no pueden responder, ni siquiera con Google. Varios modelos de IA desarrollados recientemente superan a los expertos humanos:
Y los sistemas de IA han causado sensación en el mundo de la ciencia. El sistema de IA de Google, AlphaFold, le valió a sus creadores un Premio Nobel por sus avances en la ciencia extraordinariamente compleja del plegamiento de proteínas.
Los sistemas de IA actuales no pueden hacer ciencia por sí solos; siguen necesitando la orientación humana. Pero herramientas especializadas como AlphaFold muestran cómo la IA puede acelerar el progreso en ámbitos específicos, ayudando incluso a resolver problemas que han resistido los esfuerzos humanos durante décadas. Esto incluye áreas con aplicaciones potencialmente peligrosas.
Muchos campos de investigación —como las matemáticas, la genética, la física cuántica y el diseño de algoritmos— están maduros para una exploración sistemática a gran escala. En estas áreas, la IA podría generar y poner a prueba hipótesis rápidamente, acelerando avances que los humanos tardarían años o décadas en lograr.
Los futuros sistemas avanzados de IA podrían generar descubrimientos genuinos bajo demanda, lo que supondría un cambio importante en la forma en que creamos conocimiento y llevamos a cabo la ciencia.
Las empresas de IA están desarrollando activamente sistemas de IA que pueden funcionar con una supervisión humana mínima. Si estos sistemas llegan a ser capaces de llevar a cabo investigación en IA por sí mismos, podrían acelerar drásticamente el progreso en IA, lo que podría apresurar la llegada de la inteligencia artificial general (IAG): sistemas que igualan o superan el rendimiento humano en la mayoría de las tareas. Tales sistemas podrían llegar a realizar investigación científica de forma autónoma, eliminando a los humanos del circuito.
Hemos argumentado en otras ocasiones que esta IAG podría llegar mucho antes de lo que muchos piensan.
Así pues, pronto podríamos encontrarnos en un mundo en el que los sistemas de IAG capaces de llevar a cabo investigación científica se incorporen a la fuerza laboral, ampliando drásticamente el esfuerzo dedicado a impulsar la frontera tecnológica. Pero incluso si tarda más, una vez que llegue la IAG, es probable que revolucione el proceso de la investigación científica.
Esto podría ayudar a los humanos a resolver muchos problemas importantes, como las enfermedades epidémicas y el cambio climático. Pero la ciencia también ha ayudado a la humanidad a crear armas de destrucción masiva: químicas, biológicas y nucleares.
En el siglo pasado, desarrollamos el derecho internacional y las normas diplomáticas en torno a estas armas, limitando su uso. Si la IA nos permite desarrollar más armas de destrucción masiva aún más rápidamente, es posible que nuestras instituciones no puedan seguir el ritmo.
¿Qué tipos de armas podría crear una IA avanzada?
Armas biológicas
La categoría de nueva tecnología destructiva que más nos preocupa es la de las armas biológicas. Incluso sin IA, los avances en biotecnología plantean riesgos extremos. La capacidad de los patógenos para infectar, replicarse, matar y propagarse —a menudo sin ser detectados— los hace excepcionalmente peligrosos. Las pandemias creadas mediante bioingeniería podrían ser mucho más infecciosas y letales que las pandemias de origen natural, que han sido algunos de los acontecimientos más mortíferos de la historia de la humanidad.
Creemos que la IA podría acelerar rápidamente la investigación en biotecnología. El director general de Anthropic, Dario Amodei, ha escrito:
Mi predicción básica es que la biología y la medicina con IA nos permitirán condensar en 5-10 años el progreso que los biólogos humanos habrían logrado en los próximos 50-100 años. Me referiré a esto como el “siglo XXI comprimido”: la idea de que, tras el desarrollo de una IA potente, en pocos años lograremos todos los avances en biología y medicina que habríamos logrado en todo el siglo XXI.
Pero, a medida que la IA acelere la investigación biológica y médica, también facilitará el desarrollo de nuevos riesgos. Las herramientas de doble uso, como la automatización de los procesos de laboratorio, podrían reducir las barreras para los actores malintencionados que intenten fabricar un virus pandémico peligroso.
Incluso los modelos de lenguaje a gran escala actuales podrían utilizarse, en teoría, para aprender a fabricar armas biológicas. Un estudio descubrió que varios sistemas de IA de vanguardia superan a los virólogos humanos en la Prueba de Capacidades Virológicas, lo que sugiere que podrían ayudar a principiantes a realizar experimentos biológicos peligrosos.a
A medida que las IA se vuelvan más potentes y autónomas, se ampliará la gama de formas en que pueden ayudar a fabricar armas biológicas. Por ejemplo, las herramientas de diseño biológico con IA podrían permitir a actores sofisticados reprogramar los genomas de patógenos peligrosos para potenciar específicamente su letalidad, transmisibilidad y evasión inmunológica.b
Si la IA logra acelerar el ritmo del progreso científico y tecnológico, estos riesgos podrían amplificarse y acelerarse, lo que haría que la tecnología peligrosa estuviera más ampliamente disponible o aumentaría su posible poder destructivo.c
En una encuesta de 2023 a expertos en IA, el 73 % de los encuestados manifestó una preocupación “extrema” o “sustancial” de que en el futuro la IA permita a “grupos peligrosos crear herramientas poderosas (por ejemplo, virus modificados genéticamente)”.d
Armas cibernéticas
La IA ya se puede utilizar en ciberataques, como el phishing, y una IA más potente podría plantear mayores retos para la seguridad de la información (aunque también podría ser útil en la ciberdefensa).
Por sí sola, es poco probable que la ciberguerra con IA suponga una amenaza existencial para la humanidad. Ni siquiera los ciberataques a escala social más dañinos y costosos se acercarían a un evento de extinción.
Pero los ciberataques con IA podrían facilitar el acceso a otras tecnologías peligrosas, como armas biológicas, arsenales nucleares o armas autónomas. Por lo tanto, puede que existan riesgos existenciales reales planteados por las armas cibernéticas relacionadas con la IA, pero lo más probable es que estos se materialicen a través de otro riesgo existencial. Por ejemplo, un ciberataque con IA podría desencadenar el lanzamiento de armas nucleares o permitir que un grupo malintencionado acceda a la información que necesita para desarrollar un arma biológica.
Nuevas tecnologías peligrosas
Es posible que no podamos predecir qué nuevas tecnologías peligrosas la IA podría ayudar a los humanos a crear. Cabe señalar que se teorizó por primera vez sobre las armas nucleares apenas doce años antes de que se lanzaran las bombas sobre Hiroshima y Nagasaki.
Con esa salvedad, aún podemos especular sobre algunas posibles nuevas tecnologías. Una posibilidad es la fabricación de precisión atómica, a veces denominada nanotecnología, que se ha postulado como una amenaza existencial —y es una tecnología científicamente plausible que la IA podría ayudarnos a inventar mucho antes de lo que lo haríamos de otro modo.
En The Precipice, Toby Ord estimó que las probabilidades de que se produzca una catástrofe existencial antes de 2120 a causa de “riesgos antropogénicos imprevistos” son de 1 entre 30. Esta estimación sugiere que podría haber otros descubrimientos, tal vez relacionados con una física aún no comprendida, que podrían permitir la creación de tecnologías con consecuencias catastróficas.
Para hacerse una idea de cómo podría ser esto, consideremos los temores que surgieron durante la construcción del Gran Colisionador de Hadrones.
Un grupo de investigadores se reunió para estudiar si las colisiones de iones pesados podrían producir strangelets con carga negativa y agujeros negros, lo que podría suponer una amenaza para todo el planeta. Llegaron a la conclusión de que “no había fundamento para ninguna amenaza concebible”, pero podrían haber descubierto lo contrario, y es posible que futuros experimentos en física planteen riesgos extremos.
Un ejemplo relacionado es el riesgo, considerado por los investigadores de Los Álamos en 1942, de que la primera prueba de un arma nuclear pudiera incendiar toda la atmósfera de la Tierra en una reacción en cadena imparable.
Estas armas supondrían riesgos catastróficos globales
Este tipo de armas podría aumentar el riesgo catastrófico global de dos maneras:
- Podrían desencadenar peligrosas carreras armamentísticas entre países y conducir potencialmente a guerras devastadoras.
- Los grupos terroristas o individuos podrían utilizar las armas para obtener un efecto multiplicador o por razones ideológicas.
En otro artículo, estimamos que hay una probabilidad de uno de cada tres de que estalle una guerra entre grandes potencias antes de 2050. Si los Estados tienen acceso a nuevas armas de destrucción masiva, parece más probable que una guerra de este tipo provoque la extinción humana.
Además de las armas nucleares, hemos visto cómo los gobiernos han desarrollado programas de armas de destrucción masiva en el pasado. Por ejemplo:
- La Unión Soviética operó un amplio programa secreto de armas biológicas durante décadas, en violación de los acuerdos internacionales.
- Durante la Segunda Guerra Mundial, la Unidad 731 del ejército japonés llevó a cabo horribles experimentos en seres humanos y guerra biológica en China.
Por lo tanto, existen precedentes históricos para este tipo de amenaza.
Creemos que es poco probable que Estados rebeldes o grupos terroristas tengan acceso a IA capaces de crear nuevas armas de destrucción masiva. En este momento, parece que lo más probable es que la IA esté controlada por grandes empresas y gobiernos como los de EE. UU. y China. Sin embargo, es posible que los Estados rebeldes o los grupos terroristas puedan hacer un jailbreak a las medidas de seguridad de los modelos de IA existentes,e robar modelos y reutilizarlos, o aprovechar los modelos de pesos abiertos.
Un informe del Instituto Internacional de Estocolmo para la Investigación de la Paz reveló que los efectos desestabilizadores de una carrera armamentista podrían surgir incluso antes de que los avances en IA se implementen realmente. Esto se debe a que la creencia de un Estado de que sus oponentes cuentan con nuevas capacidades nucleares puede ser suficiente para romper el delicado equilibrio de la disuasión. Probablemente se apliquen dinámicas similares a otras nuevas armas de destrucción masiva, como las armas biológicas.
Afortunadamente, también existen formas plausibles en las que la IA podría ayudar a prevenir el uso de armas nucleares y otras armas de destrucción masiva —quizás mejorando la capacidad de los Estados para detectar lanzamientos nucleares, lo que reduciría las posibilidades de falsas alarmas como las que casi provocaron una guerra nuclear en 1983. Y la IA también podría tener efectos estabilizadores: por ejemplo, podría aumentar la capacidad de la humanidad para coordinar y crear acuerdos verificables.
En general, no estamos seguros de si la IA aumentará sustancialmente el riesgo de un conflicto nuclear o convencional a corto plazo, pero creemos que es importante seguir trabajando para reducir los riesgos negativos.
Existen enfoques prometedores para reducir estos riesgos
Aunque la IA avanzada podría acelerar el desarrollo de armas peligrosas, hay medidas concretas que podemos tomar para reducir estos riesgos catastróficos de uso impropio. El trabajo en este ámbito se divide generalmente en dos categorías: enfoques de gobernanza y salvaguardias técnicas.
Enfoques de gobernanza y de políticas
Algunos enfoques de este trabajo incluyen:
- Marcos de responsabilidad: Los marcos legales podrían responsabilizar a los desarrolladores de IA por los daños previsibles de sus sistemas. Esto crearía fuertes incentivos para que las empresas implementaran salvaguardias robustas contra el uso impropio.
- Acuerdos internacionales: Al igual que el mundo elaboró tratados sobre armas nucleares, químicas y biológicas, es posible que necesitemos nuevos acuerdos internacionales que regulen el desarrollo y el despliegue de la IA. Estos podrían incluir acuerdos para compartir información sobre la investigación en seguridad de la IA o para coordinar las respuestas ante incidentes de uso impropio.
- Concesión de licencias y supervisión: Los gobiernos podrían exigir licencias para desarrollar o desplegar los sistemas de IA más avanzados, de forma similar a como regulamos la tecnología nuclear. Esto permitiría a las autoridades garantizar que se apliquen las medidas de seguridad adecuadas antes de que se liberen capacidades peligrosas.
- Controles de exportación y coordinación internacional: Los gobiernos pueden regular la exportación de sistemas avanzados de IA y de los chips informáticos especializados necesarios para su funcionamiento. Estados Unidos ya ha implementado algunos controles sobre las exportaciones de chips a China, y podrían utilizarse enfoques similares para evitar que capacidades peligrosas de IA lleguen a manos de actores hostiles.
- Verificación y supervisión: Se podrían crear organismos internacionales para supervisar el cumplimiento de los acuerdos sobre IA, de forma similar a como el Organismo Internacional de Energía Atómica supervisa los programas nucleares.
Para más información, puedes leer nuestra reseña completa de las trayectorias profesionales en gobernanza y políticas de IA.
Enfoques técnicos para reducir los riesgos de uso impropio
Algunos enfoques en este tipo de trabajo incluyen:
- Seguridad desde el diseño: los desarrolladores de IA pueden incorporar medidas de seguridad directamente en sus sistemas para hacerlos resistentes al uso impropio. Esto incluye desarrollar modelos que se nieguen a proporcionar información sobre la creación de armas de destrucción masiva, incluso cuando se les solicite de formas creativas. Empresas como Anthropic y OpenAI ya han implementado algunas de estas salvaguardias en sus modelos actuales.
- Medidas de bioseguridad: Dado que las armas biológicas suponen uno de los riesgos de uso impropio más graves, hay trabajos técnicos específicos centrados en esta amenaza. Por ejemplo, los investigadores están desarrollando sistemas de IA capaces de examinar los pedidos de síntesis de ADN para detectar secuencias potencialmente peligrosas antes de que se fabriquen. Este enfoque de “control en origen” podría impedir que los actores malintencionados encarguen los componentes genéticos necesarios para las armas biológicas.
- Vigilancia y detección: Los propios sistemas de IA podrían utilizarse para detectar intentos de uso impropio. Por ejemplo, la IA podría supervisar la literatura científica, los patrones de adquisición o las actividades de laboratorio para identificar el desarrollo sospechoso de armas biológicas. Del mismo modo, la IA podría ayudar a detectar ciberataques u otras actividades maliciosas en tiempo real.
- Controles de acceso: Las medidas técnicas pueden limitar quién tiene acceso a las capacidades de IA más peligrosas. Esto podría implicar exigir una autenticación especial para ciertos tipos de solicitudes, o desarrollar modelos de “doble uso” en los que las capacidades más peligrosas solo estén disponibles para usuarios autorizados.
Para obtener más información, puedes leer nuestra reseña completa sobre las trayectorias profesionales en la investigación técnica sobre seguridad de la IA.
El campo de la política y la seguridad de la IA sigue desarrollándose rápidamente, y hay un amplio margen para nuevas ideas y enfoques. Las ideas existentes, como las enumeradas anteriormente, pueden tener importantes inconvenientes que merecen un análisis y un escrutinio más profundos. Muchas de estas soluciones requerirán la coordinación entre múltiples partes interesadas, incluidos tecnólogos, responsables políticos y organismos internacionales.
Es importante destacar que reducir los riesgos del uso impropio no requiere necesariamente detener por completo el desarrollo de la IA, sino que requiere garantizar que las salvaguardias avancen al mismo ritmo que las capacidades. Al igual que hemos aprendido a aprovechar la tecnología nuclear con fines beneficiosos al tiempo que limitamos la proliferación de armas, potencialmente podemos hacer lo mismo con la IA.
El margen de tiempo para implementar estas intervenciones puede ser limitado. A medida que las capacidades de la IA avanzan rápidamente, los actores clave deberán actuar con celeridad para establecer salvaguardias, prácticas y marcos de gobernanza eficaces que eviten el uso impropio catastrófico de estos sistemas.