Materiales de lectura del curso “Estrategia para la IAG”

Esta colección reúne materiales de lectura en español del curso «AGI Strategy» de BlueDot Impact.⁠⁠1 El curso comprende una introducción al desarrollo de la IA, a los resultados, buenos y malos, que podrían tener lugar, y a las medidas que podríamos tomar para orientarla hacia futuros mejores.

1. Una carrera hacia un futuro mejor

Imaginar un futuro mejor

  • Preparativos para el lanzamiento, de Tim Fist, Tao Burga y Tim Hwang
  • El regreso de Utopía, de Rutger Bregman

Lecturas opcionales

  • Máquinas de gracia amorosa, de Dario Amodei
  • La singularidad apacible, de Sam Altman
  • Solarpunk: una visión para un futuro sostenible, de Joshua Krook
  • La turbulenta era de la IA ya está aquí. Las decisiones que tomemos ahora son cruciales, de Bill Gates

Orientar la carrera hacia la IAG

  • En busca de una visión dinámica para una IA sobrehumana y segura, de Helen Toner
  • Es prácticamente imposible dirigir una gran empresa de IA de forma ética, de Sigal Samuel
  • En busca de estabilidad en la competencia por la ventaja de la IA, de Rehman, Mueller y Mazarr

Lecturas opcionales

  • La era de la inteligencia, de Sam Altman

2. Los motores del progreso de la IA

Tendencias técnicas que impulsan el progreso de la IA

  • La tríada de la IA y lo que significa para la estrategia de seguridad nacional, de Ben Buchanan
  • Escalamiento: el panorama actual de la IA, de Ethan Mollick

Lecturas opcionales

  • ¿Cómo será la IA en 2030?, de David Owen

La explosión de inteligencia

  • El momento más importante de la historia es ahora, de Tomas Pueyo
  • La revolución de la IA: el camino hacia la superinteligencia, de Tim Urban
  • Los plazos «largos» para llegar a una IA avanzada se han acortado muchísimo, de Helen Toner

Lecturas opcionales

  • Puntos en común entre «IA 2027» y «La IA como tecnología normal», de Sayash Kapoor, Arvind Narayanan, Daniel Kokotajlo, Eli Lifland y Thomas Larsen
  • La gobernanza de la superinteligencia, de Sam Altman, Greg Brockman e Ilya Sutskever
  • Cuando las décadas se convierten en días: diseccionando IA 2027, de Steve Newman
  • El laboratorio frente a la vida real: diseccionando «la IA como tecnología normal», de Steve Newman

¿Se acelerará aún más el progreso de la IA?

  • Debates sin resolver sobre el futuro de la IA, de Helen Toner
  • ¿Por qué hay opiniones divergentes sobre cuándo llegará una IA potente?, de Sarah Hastings-Woodhouse
  • Puntos en común entre «IA 2027» y «La IA como tecnología normal», de Sayash Kapoor, Arvind Narayanan, Daniel Kokotajlo, Eli Lifland y Thomas Larsen

3. Vías hacia el daño

Trazar el mapa de las amenazas

  • Escenarios catastróficos de IA, de Ben Eisenpress
  • Un nuevo marco para los modelos de amenaza de la IAG, de Richard Ngo
  • La IA podría derrotarnos a todos juntos, de Holden Karnofsky
  • La inteligencia artificial está reavivando los temores en torno al bioterrorismo. ¿Cuál es el riesgo real?, de Kyle Hiebert
  • Golpes de Estado con IA: cómo un pequeño grupo podría utilizar la IA para hacerse con el poder, de Tom Davidson, Lukas Finnveden y Rose Hadshar

Lecturas opcionales

  • Los ciberataques basados en IA más comunes, en CrowdStrike
  • La adolescencia de la tecnología, de Dario Amodei

Priorizar las vías de amenaza

  • La mentalidad de seguridad, de Bruce Schneier

Opción 1: concentración de poder

  • Golpes de Estado con IA: cómo un pequeño grupo podría utilizar la IA para hacerse con el poder, de Tom Davidson, Lukas Finnveden y Rose Hadshar
  • Concentración extrema de poder, de Rose Hadshar

Lecturas opcionales

  • Convocatoria de propuestas sobre la concentración extrema de poder, de Longview Philanthropy

Opción 2: pérdida gradual de poder

  • La maldición de la inteligencia, de Luke Drago y Rudolf Laine
  • Pérdida gradual de poder: resumen, de Aniket Chakravorty y Dewi Erwan
  • La IA y el Leviatán: parte I—la economía institucional de una explosión de inteligencia, de Samuel Hammond

Opción 3: pandemias catastróficas

  • Cómo la IA podría provocar pandemias catastróficas, de Will Saunter
  • La IA y la evolución de los riesgos biológicos para la seguridad nacional: capacidades, umbrales e intervenciones, de Bill Drexel y Caleb Withers
  • Ficha del sistema: Claude Opus 4 y Claude Sonnet 4 (evaluaciones QBRN), de Anthropic

Opción 4: colapso de infraestructuras críticas

  • Ciberataques contra infraestructuras críticas, de Allianz Commercial
  • Cómo la IA podría propiciar el colapso de las infraestructuras críticas, de Li-Lian Ang
  • Ciberataque a la red eléctrica: un modelo de amenaza informado por la IA, de Byron Tomes
  • El futuro del phishing, de CivAI
  • 3CB: el benchmark de capacidades cibernéticas catastróficas, de Jonathan Ng, Andrey Anurin, Connor Axiotes y Esben Kran

4. Defensa en profundidad

Capa 1: impedir el entrenamiento de IA peligrosa

  • El proyecto, de Leopold Aschenbrenner
  • Llamamiento a un tratado internacional sobre la IA: una carta abierta, de Tolga Bilge

Capa 2: limitar las capacidades peligrosas de la IA

  • ¿Qué es la alineación de la inteligencia artificial?, de Adam Jones
  • Introducción al control de la IA, de Sarah Hastings-Woodhouse
  • Manual para proteger los pesos de los modelos de IA, de Sella Nevo, Dan Lahav, Ajay Karpur, Yogev Bar-On, Henry Alexander Bradley y Jeff Alstott

Capa 3: resistir las acciones peligrosas de la IA

  • d/acc: un año después, de Vitalik Buterin

Lecturas opcionales

  • La maldición de la inteligencia, de Luke Drago y Rudolf Laine

5. Empezar a contribuir

Elegir un enfoque

  • Conviértete en una persona que realmente hace cosas, de Neel Nanda
  • Lista larga de intervenciones, de BlueDot Impact

Profundizar en un área

  • La política de IA en el gobierno de EE. UU., de Avital Morris

Consejos opcionales

  • Consejos profesionales para la seguridad de la IAG, de Richard Ngo
  • Investigación técnica en seguridad de la IA, de Benjamin Hilton
1