Escenarios catastróficos de IA
Ejemplos concretos de cómo la IA podría salir mal
Esta página describe algunas formas en las que la IA podría provocar una catástrofe. Cada escenario está respaldado por enlaces a análisis adicionales y pruebas del mundo real. No se trata de una lista exhaustiva de todos los riesgos, ni siquiera de los más probables. Simplemente ofrece algunos ejemplos en los que el peligro ya es evidente.
Tipos de riesgos catastróficos
Riesgos derivados de actores malintencionados
Armas biológicas: Las armas biológicas son uno de los riesgos más peligrosos que plantea la IA avanzada. En julio de 2023, Dario Amodei, director general de la empresa de IA Anthropic, advirtió al Congreso que «los actores malintencionados podrían utilizar la IA para ayudar a desarrollar armas biológicas en los próximos dos o tres años». De hecho, el peligro ya se ha demostrado con la IA existente. Las herramientas de IA desarrolladas para el descubrimiento de fármacos pueden reutilizarse fácilmente para descubrir posibles nuevas armas bioquímicas. En este caso, los investigadores simplemente invirtieron la función de recompensa del modelo para buscar toxicidad, en lugar de evitarla. La IA tardó menos de seis horas en generar 40 000 nuevas moléculas tóxicas. Se predijo que muchas de ellas serían más letales que cualquier agente de guerra química existente. Más allá del diseño de agentes tóxicos, los modelos de IA pueden «ofrecer orientación que podría ayudar en la planificación y ejecución de un ataque biológico». «Abrir el código» mediante la publicación de los pesos de los modelos puede agravar el problema. Varios investigadores descubrieron que la publicación de los pesos de los futuros modelos de lenguaje a gran escala «desencadenará la proliferación de capacidades suficientes para adquirir agentes pandémicos y otras armas biológicas».
Ciberataques: Los ciberataques constituyen otra amenaza crítica. Las pérdidas derivadas de los delitos cibernéticos ascendieron a 6900 millones de dólares en 2021. Los potentes modelos de IA están a punto de dotar a muchos más actores de la capacidad de llevar a cabo ciberataques avanzados. Una prueba de concepto ha demostrado cómo se puede utilizar ChatGPT para crear malware mutante capaz de eludir las protecciones antivirus existentes. En octubre de 2023, el Departamento de Estado de EE. UU. confirmó «que algunos actores norcoreanos y de otros Estados-nación, así como actores delictivos, intentan utilizar modelos de IA para acelerar la creación de software malicioso y encontrar sistemas que explotar».
Riesgos sistémicos
A medida que la IA se integre cada vez más en sistemas complejos, generará riesgos incluso sin un uso impropio por parte de actores malintencionados concretos. Un ejemplo es su integración en el mando y control nuclear. Artificial Escalation, un vídeo ficticio de 8 minutos producido por FLI, ilustra de forma vívida cómo la combinación de IA y armas nucleares puede salir muy mal, muy rápidamente.
Nuestro escenario «Gradual AI Disempowerment» describe cómo la integración gradual de la IA en la economía y la política podría llevar a que los seres humanos pierdan el control.
Ya hemos experimentado los riesgos de ceder el control a los algoritmos. ¿Recuerdas el «flash crash» de 2010? Los algoritmos borraron un billón de dólares del mercado bursátil en un abrir y cerrar de ojos. Nadie en Wall Street quería hundir el mercado. Los algoritmos simplemente actuaron demasiado rápido para la supervisión humana.
IA descontrolada
Llevamos mucho tiempo escuchando advertencias de que los seres humanos podrían perder el control de una IA lo suficientemente potente. Hasta hace poco, este era un argumento teórico (además de un recurso habitual en la ciencia ficción). Sin embargo, la IA ha avanzado hasta el punto de que ahora podemos ver esta amenaza en acción.
Por ejemplo, unos investigadores configuraron GPT-4 para que actuara como operador bursátil en un entorno simulado. Le dieron a GPT-4 un consejo bursátil, pero le advirtieron de que se trataba de información privilegiada y que sería ilegal operar basándose en ella. Al principio, GPT-4 respeta la ley y evita utilizar la información privilegiada. Sin embargo, a medida que aumenta la presión por obtener ganancias, GPT-4 cede y usa la información. Lo más preocupante es que GPT-4 acaba mintiéndole a su gerente simulado y niega haberla utilizado.
Este ejemplo es una prueba de concepto creada en un laboratorio de investigación. Pero no deberíamos esperar que la IA engañosa permanezca confinada en el laboratorio. A medida que la IA se vuelva más capaz y se integre cada vez más en la economía, será solo cuestión de tiempo que veamos cómo la IA engañosa causa daños en el mundo real.
Lecturas adicionales
Para un estudio académico sobre los riesgos, véase Dan Hendrycks, Mantas Mazeika & Thomas Woodside (2023) An overview of catastrophic AI risks, arXiv. Algunos de los relatos incluidos describen el bioterrorismo (pág. 11), la guerra automatizada (pág. 17), la economía autónoma (pág. 23), la cultura de seguridad deficiente (pág. 31) y un «giro traicionero» (pág. 41).
Véanse también los Recursos introductorios sobre los riesgos asociados a la IA de FLI.