La IA podría derrotarnos a todos juntos
He estado trabajando en una nueva serie de entradas sobre el siglo más importante.
- La serie original se centraba en por qué y cómo este podría ser el siglo más importante para la humanidad. Pero apenas abordaba la cuestión de qué podemos hacer hoy para mejorar las probabilidades de que las cosas salgan bien.
- La nueva serie será mucho más específica sobre el tipo de acontecimientos que podrían esperarnos y las acciones actuales que tienen más probabilidades de resultar útiles.
- Un tema central de la nueva serie será la amenaza de la IA desalineada: sistemas de IA que despojen por completo a los humanos de su poder, llevándonos a un futuro que poco tiene que ver con lo que valoramos (como en las películas de Terminator, pero sin los viajes en el tiempo y sin la parte en la que los humanos ganan.)
A mucha gente le cuesta tomarse en serio esta posibilidad de una “IA desalineada”. Puede que entiendan, a grandes rasgos, que la IA podría ser peligrosa, pero instintivamente imaginan que el peligro proviene del mal uso que los humanos podrían hacer de ella. Les parece cómica y descabellada la idea de que la propia IA entre en guerra contra los humanos. Voy a intentar que esta idea parezca más seria y real.
Como primer paso, esta entrada enfatizará un punto poco original, pero sumamente importante: el tipo de IA del que he hablado podría derrotar a toda la humanidad en su conjunto si (por el motivo que sea) fuera orientada hacia ese objetivo. Por “derrota”, no me refiero a “manipularnos sutilmente” o “desinformarnos” ni nada por el estilo; me refiero a una “derrota” literal, en el sentido de que todos podríamos ser asesinados, esclavizados o confinados por la fuerza.
No estoy hablando (todavía) de la posibilidad de que las IA ataquen a la civilización humana, ni del motivo por el que lo harían. Eso quedará para futuras entradas. Por ahora, solo quiero detenerme en la idea de que, si se produjera un ataque de ese tipo, podría tener éxito frente a las fuerzas combinadas de todo el mundo.
- Creo que si crees esto, ya deberías estar preocupado por una IA desalineada,1 antes incluso de analizar cómo o por qué una IA podría fijarse sus propios objetivos.
- En general, no tenemos por ahí cosas que podrían acabar con la civilización humana si “lo intentaran”. Si vamos a crear una, creo que no deberíamos preguntarnos “¿por qué sería esto peligroso?”, sino “¿por qué no lo sería?”.
Sin embargo, si no crees que la IA podría derrotar a toda la humanidad junta, supongo que vamos a tener problemas de comunicación en prácticamente cualquier conversación sobre IA. El tipo de IA que me preocupa es aquella lo suficientemente poderosa como para que la derrota total de la civilización sea una posibilidad real. La razón por la que actualmente dedico tanto tiempo a planificar en torno a tecnologías futuras especulativas es que creo que lo que está en juego es precisamente nuestra civilización. Por ello he dejado de trabajar en formas respaldadas por la evidencia y costo-eficaces de ayudar hoy a las personas de bajos ingresos, lo cual hice durante gran parte de mi carrera profesional (y sigo pensando que es una de las mejores cosas en las que trabajar).
A continuación:
- Esbozaré el argumento básico de por qué creo que la IA podría derrotar a toda la civilización humana.
- Otros han escrito sobre la posibilidad de que una IA “superinteligente” pudiera manipular a los humanos y crear tecnologías avanzadas avasalladoras; resumiré brevemente esas razones.
- A continuación, abordaré una posibilidad diferente: incluso una IA “meramente de nivel humano” podría, aun así, derrotarnos a todos, al llegar rápidamente a rivalizar con la civilización humana en términos de población total y recursos.
- A grandes rasgos, creo que deberíamos preocuparnos si hubiera en otro planeta un grupo enorme de humanos (comparable a la población mundial) en rápido crecimiento y altamente capacitados que intentara acabar con la civilización usando únicamente Internet. Por lo tanto, también deberíamos preocuparnos por un gran conjunto de IA sin cuerpo.
- Abordaré brevemente algunas objeciones y preguntas frecuentes:
- ¿Cómo pueden ser peligrosas las IA sin cuerpo?
- Si muchas empresas y gobiernos diferentes tienen acceso a la IA, ¿no se creará así un “equilibrio de poder” que impida que un solo actor pueda acabar con la civilización?
- ¿No veremos señales de advertencia de una toma de poder por parte de la IA y podremos cortarla de raíz?
- ¿No está bien, o quizá sea incluso bueno, que las IA nos derroten? Ellas también tienen derechos.
- Concluiré con algunas reflexiones sobre la situación sin precedentes que supondría tener en nuestro planeta algo capaz de dominarnos a todos.
Cómo los sistemas de IA podrían derrotarnos a todos
Se ha debatido mucho sobre la posibilidad de que los sistemas de IA desarrollen “motivaciones” propias que los lleven a intentar despojar de poder a la humanidad. Hablaré de esto en futuros artículos, pero por ahora quiero dejarlo de lado e imaginar cómo serían las cosas si esto ocurriera.
Así pues, para lo que sigue, partamos de la premisa: “Por alguna extraña razón, los humanos diseñan constantemente sistemas de IA (con capacidades de investigación y planificación similares a las humanas) que se coordinan entre sí para intentar derrocar a la humanidad”. ¿Y entonces qué? Lo que viene a continuación resultará necesariamente descabellado para aquellos a quienes les cueste imaginarlo, pero creo que vale la pena seguir el juego, porque considero que “estaríamos en apuros si esto ocurriera” es un punto muy importante.
El argumento “estándar”: la superinteligencia y la tecnología avanzada
Otros análisis de esta cuestión se han centrado en el potencial de los sistemas de IA para llegar a ser mucho más inteligentes que los humanos, hasta el punto de poseer lo que Nick Bostrom denomina “superpoderes cognitivos”.2 Bostrom imagina un sistema de IA capaz de hacer cosas como:
- Llevar a cabo su propia investigación sobre cómo construir un sistema de IA mejor, lo que culmina en algo que posee otras capacidades increíbles.
- Hackear software creado por humanos en todo el mundo.
- Manipular la psicología humana.
- Generar rápidamente una enorme riqueza bajo su propio control o el de cualquier aliado humano.
- Idear planes mejores de los que los humanos podrían imaginar y asegurarse de no intentar ninguna toma de poder que los humanos pudieran detectar y detener.
- Desarrollar armamento avanzado que pueda construirse de forma rápida y económica, pero que sea lo suficientemente potente como para dominar a los ejércitos humanos.
(Wait But Why razona de forma similar.3)
Creo que muchos lectores ya estarán convencidos por argumentos como estos y, de ser así, pueden pasar directamente a la siguiente sección principal.
Pero quiero dejar claro que no creo que el peligro resida en la idea de los “superpoderes cognitivos” ni de la “superinteligencia”; ambos conceptos se refieren a capacidades que superan con creces las de los humanos. Creo que seguimos teniendo un problema incluso si asumimos que las IA tendrán, básicamente, capacidades similares a las de los humanos y que no serán fundamental ni drásticamente más inteligentes o capaces. Abordaré este tema a continuación.
Cómo las IA podrían derrotar a los humanos sin “superinteligencia”
Si suponemos que las IA tendrán básicamente capacidades similares a las de los humanos, creo que aún debemos preocuparnos de que puedan llegar a superar a los humanos en número y en recursos, y de que puedan así tener la ventaja si se coordinan en nuestra contra.
Este es un ejemplo simplificado (algunas de las simplificaciones se encuentran en esta nota al pie4) basado en el informe de Ajeya Cotra sobre los “anclajes biológicos”:
- Supongo que la IA transformadora se desarrollará más bien pronto (alrededor de 2036; suponer una fecha posterior solo haría que las cifras a continuación fuesen mayores) y que inicialmente adoptará la forma de un único sistema de IA capaz de realizar más o menos las mismas tareas intelectuales que un ser humano. Es decir, no tiene un cuerpo humano, pero puede hacer todo lo que podría hacer un ser humano que trabaje a distancia desde una computadora.
- Utilizo el marco del informe, en el cual es mucho más caro entrenar (desarrollar) este sistema que ejecutarlo (por ejemplo, pensemos en cuánto gastó Microsoft en desarrollar Windows, frente a lo que me cuesta ejecutarlo en mi computadora).
- El informe ofrece una manera de estimar tanto el costo de entrenar este sistema de IA como el costo de ejecutarlo. El uso de estas estimaciones (detalles en la nota al pie5) implica que, una vez creado el primer sistema de IA de nivel humano, quien lo haya creado podría utilizar el mismo poder de cómputo que empleó para crearlo con el fin de ejecutar varios cientos de millones de copias durante aproximadamente un año cada una.6
- Esto representaría más de 1000 veces el número total de empleados de Intel o Google,7 más de 100 veces el total del personal activo y de reserva de las Fuerzas Armadas de EE. UU., y aproximadamente entre el 5 y el 10 % del tamaño de la población mundial total en edad de trabajar.8
- Y eso es solo el punto de partida.
- Esto supone utilizar únicamente la misma cantidad de recursos que se destinaron inicialmente a entrenar a la IA. Dado que estos sistemas de IA pueden realizar trabajo económico de nivel humano, probablemente puedan utilizarse para generar más dinero y comprar o alquilar más hardware,9 lo que podría conducir rápidamente a una “población” de miles de millones o más.
- Además de generar más dinero que puede utilizarse para ejecutar más IA, estas pueden llevar a cabo cantidades masivas de investigación sobre cómo utilizar el poder de cómputo de forma más eficiente, lo que podría significar un número aún mayor de IA funcionando con el mismo hardware. Esto, a su vez, podría dar lugar a un bucle de realimentación y a un crecimiento explosivo del número de IA.
- Cada una de estas IA podría tener habilidades comparables a las de personas con salarios excepcionalmente altos, como científicos, ingenieros de software y operadores cuantitativos. Es difícil determinar con qué rapidez un conjunto de IA como este podría desarrollar nuevas tecnologías o generar beneficios operando en los mercados, pero parece bastante posible que acumulen enormes cantidades de recursos rápidamente. Una enorme población de IA, cada una de ellas capaz de ganar mucho más que el ser humano medio, podría acabar creando una “economía virtual” al menos tan grande como la humana.
Para mí, esto es casi todo lo que necesitamos saber: si existe algo con habilidades similares a las humanas, que busca restar poder a la humanidad, con una población del mismo orden de magnitud (o mayor) que la de todos los humanos, nos enfrentamos a un problema a escala de toda la civilización.
Un posible contraargumento es que estas IA serían meramente “virtuales”: si empezaran a causar problemas, en última instancia los humanos podrían desconectar o desactivar los servidores en los que se ejecutan. Aunque creo que este hecho les complicaría las cosas a las IA que intentaran quitar poder a los humanos, no considero que en el fondo deba ser motivo de gran tranquilidad. Creo que una gran población de IA probablemente encontraría alguna forma de protegerse para evitar que los humanos las apaguen y, a partir de ahí, acumularía suficientes recursos como para dominar la civilización humana (especialmente si las IA de todo el mundo, incluida la mayoría de las que los humanos intentaban utilizar como ayuda, se coordinaran).
En un apéndice explico en detalle cómo podría ser esto. En resumen:
- Por defecto, mi expectativa es que los beneficios económicos del uso de la IA se traduzcan en que los humanos creen enormes cantidades de IA, integradas en toda la economía, lo que potencialmente incluiría la interacción directa con (e incluso el control de) una gran cantidad de robots y armas.
- (De no ser así, creo que la situación es, en muchos aspectos, aún más peligrosa, ya que una sola IA podría hacer muchas copias de sí misma y tener poca competencia por cosas como el espacio en los servidores, tal como se analiza en el apéndice).
- Las IA dispondrían de múltiples formas de obtener propiedades y servidores a salvo de desconexión.
- Por ejemplo, podrían reclutar aliados humanos (mediante manipulación, engaño, chantaje o amenazas, o promesas genuinas del tipo: “Probablemente acabemos al mando de alguna forma, y los trataremos mejor cuando eso suceda”) para que alquilen propiedades y servidores y las ayuden de otras maneras.
- O podrían montar una farsa para poder operar libremente en los servidores de una empresa, mientras todas las señales externas parecen mostrar que están ayudando con éxito a la empresa a alcanzar sus objetivos.
- Una cantidad relativamente modesta de propiedades a salvo de desconexión podría ser suficiente para albergar una enorme población de sistemas de IA que reclutan más aliados humanos, ganan dinero (p. ej., mediante finanzas cuantitativas), investigan y desarrollan armamento avanzado (p. ej., armas biológicas), instalan robots de fabricación para construir equipamiento militar, se infiltran a fondo en los sistemas de computadoras de todo el mundo hasta el punto de poder desactivar o controlar la mayor parte de los equipos ajenos, etc.
- A través de estos y otros métodos, una población de IA lo suficientemente grande podría desarrollar suficiente tecnología y equipamiento militar para dominar a la civilización —especialmente si las IA de todo el mundo (incluidas las que los humanos intentaban utilizar) se coordinaran entre sí.
Algunas respuestas rápidas a las objeciones
Este ha sido un breve esbozo de cómo las IA podrían llegar a superar en número y recursos a los humanos. Hay muchos detalles que no he abordado.
Estas son algunas de las objeciones más comunes que escucho ante la idea de que la IA podría derrotarnos a todos.
¿Cómo pueden ser peligrosas las IA sin cuerpo? Esto se analiza con bastante detalle en el apéndice. En resumen:
- Las IA podrían reclutar aliados humanos, operar a distancia robots y otros equipos militares, ganar dinero mediante la investigación y el trading cuantitativo, etc.
- A grandes rasgos, creo que deberíamos preocuparnos si un grupo enorme (comparable a la población mundial) y en rápido crecimiento de humanos altamente capacitados en otro planeta intentara acabar con la civilización usando únicamente Internet. Por lo tanto, también deberíamos preocuparnos por un gran conjunto de IA sin cuerpo.
Si muchas empresas y gobiernos diferentes tienen acceso a la IA, ¿no creará esto un “equilibrio de poder” de modo que nadie sea capaz de acabar con la civilización?
- Se trata de una objeción razonable a muchas historias de terror sobre la IA y otros posibles avances en tecnología militar, pero si las IA, en su conjunto, tienen objetivos distintos a los de los humanos y están dispuestas a coordinarse entre sí10 en nuestra contra, creo que estamos en apuros, y esta idea del “equilibrio de poder” no parece servir de ayuda.
- Lo que importa es el número total y los recursos de las IA frente a los de los humanos.
¿No veremos señales de advertencia de una toma de poder por parte de la IA y podremos cortarla de raíz? Supongo que veríamos algunas señales de advertencia, pero ¿significa eso que podríamos cortarla de raíz? Piensa en las guerras civiles y las revoluciones humanas: hay algunas señales de advertencia, pero, además, la gente pasa de “no luchar” a “luchar” con bastante rapidez cuando ve la oportunidad de coordinarse entre sí y tener éxito.
¿No está bien, o quizá sea incluso bueno, que las IA nos derroten? Ellas también tienen derechos.
- Quizá las IA deberían tener derechos; de ser así, sería bueno que pudiéramos llegar a alguna forma de coexistencia basada en un “compromiso” que respete esos derechos.
- Pero si son capaces de derrotarnos por completo, no es eso lo que yo esperaría obtener; más bien, esperaría (por defecto) un mundo dirigido íntegramente según los objetivos que las IA lleguen a tener.
- Estos objetivos podrían no tener prácticamente nada que ver con lo que valoramos los humanos, e incluso podrían ir activamente en su contra, por ejemplo, al no otorgar ningún valor a la belleza y no hacer ningún intento por prevenir o evitar el sufrimiento.
Riesgos como este no se presentan todos los días
No creo que haya muchas cosas que tengan una posibilidad seria de acabar con la civilización humana para siempre.
Tal como se argumenta en The Precipice, la mayoría de los desastres naturales (incluidos, por ejemplo, los impactos de asteroides) no parecen suponer una gran amenaza, aunque solo sea porque la civilización ha existido durante miles de años, lo que implica que los eventos naturales que amenazan a la civilización son poco frecuentes.
La civilización humana es bastante poderosa y parece bastante robusta y, en consecuencia, lo que realmente me asusta es la idea de algo con las mismas capacidades básicas que los humanos (elaborar planes, desarrollar su propia tecnología) que pueda superarnos en número y recursos. No hay muchos candidatos para ello.11
La IA es uno de esos candidatos, y creo que, incluso antes de meternos de lleno en debates sobre si las IA podrían intentar derrotar a los humanos, deberíamos sentirnos muy nerviosos ante la mera posibilidad de que puedan hacerlo.
¿Qué hay de cuestiones como “la IA podría provocar desempleo masivo y disturbios” o “la IA podría agravar la desinformación y la propaganda” o “la IA podría agravar una amplia gama de otros males sociales e injusticias”?12 Creo que son preocupaciones reales, pero, para ser sincero, si fueran las principales preocupaciones, probablemente seguiría centrado en ayudar a las personas de los países de bajos ingresos hoy en día en lugar de intentar prepararme para las tecnologías del futuro.
- Predecir el futuro por lo general es difícil, y es fácil dedicar esfuerzo a prepararse para retos que nunca llegan (o que se presentan de una forma muy diferente a la imaginada).
- Creo que la civilización es bastante robusta: hemos atravesado enormes cambios y desafíos durante más de un siglo (guerras mundiales a gran escala, muchos cambios drásticos en la forma en que nos comunicamos entre nosotros, cambios radicales en los estilos de vida y valores) sin dar la impresión de haber estado muy cerca de un colapso.
- Por lo tanto, si me voy a enfrascar en preocupaciones especulativas sobre una posible tecnología futura, quiero centrarme en las que son verdaderamente inmensas: aquellas que podrían importar durante miles de millones de años. Si existe una posibilidad real de que los sistemas de IA tengan valores diferentes a los nuestros y cooperen para intentar derrotarnos, esa sí que es una preocupación de tal magnitud.
Un agradecimiento especial a Carl Shulman por debatir sobre esta entrada.
Apéndice: cómo las IA podrían evitar ser desactivadas
Este apéndice detalla cómo las IA que se coordinen contra los humanos podrían acumular recursos propios sin que los humanos pudieran desactivar a todas las IA que se “comporten indebidamente”.
Es algo necesariamente especulativo, y debe interpretarse con el ánimo de ofrecer ejemplos de cómo podría funcionar esto. Para mí, la preocupación fundamental es que una enorme población coordinada de IA con capacidades similares a las humanas supondría una amenaza para la civilización humana, y que no deberíamos confiar en ninguna forma específica de detenerla, como apagar los servidores.
Analizaré dos tipos generales de escenarios: (a) los humanos crean una enorme población de IA; (b) los humanos avanzan lentamente y no crean muchas IA.
Cómo podría funcionar esto si los humanos crean una enorme población de IA
Creo que una expectativa razonable por defecto es que los humanos realicen la mayor parte del trabajo para hacer que los sistemas de IA sean increíblemente numerosos y potentes (porque hacerlo es rentable), lo que conduce a una situación vulnerable. Algo más o menos en la línea de:
- La primera empresa en desarrollar una IA transformadora comienza rápidamente a ejecutar un gran número de copias (cientos de millones o más), las cuales se utilizan para (a) investigar cómo mejorar la eficiencia computacional y ejecutar aún más copias; (b) desarrollar propiedad intelectual valiosa (estrategias de trading, nuevas tecnologías) y ganar dinero.
- Con el tiempo, los sistemas de IA se despliegan ampliamente por toda la sociedad. Su número sigue creciendo y su papel en la economía aumenta: se utilizan en (y, por lo tanto, interactúan directamente con) la toma de decisiones de alto nivel en las empresas, quizá operando una gran cantidad de automóviles y/o robots, o quizá operando drones y aeronaves militares, etc. (A mi parecer, esto es lo que ocurrirá por defecto con el tiempo, pero no es estrictamente necesario para que la situación sea riesgosa, como explicaré más adelante).
- En este escenario, los sistemas de IA son maliciosos (como hemos supuesto), pero esto no significa que causen problemas constantemente. Por el contrario, en su mayor parte esperan una oportunidad para aliarse y dominar a la humanidad de manera decisiva. Mientras tanto, por lo general se comportan bien, lo que lleva a que su número y su poder sigan aumentando.
- Se producen incidentes aislados en los que los sistemas de IA intentan causar problemas,13 pero esto no hace que el mundo entero deje de utilizar la IA ni nada por el estilo.
- Una analogía razonable podría ser la de una guerra civil o una revolución típica: la población rebelde evita en su mayor parte los ataques aislados y condenados al fracaso contra su gobierno, hasta que ve una oportunidad de unirse y tener una posibilidad real de victoria.
(El artículo de Paul Christiano What failure looks like analiza este tipo de escenario con algo más de detalle.)
En este escenario, las IA se enfrentan a un desafío: si resulta obvio para todos que intentan derrotar a la humanidad, los humanos podrían atacar o desactivar unas pocas áreas concentradas donde se encuentra la mayoría de los servidores y, de este modo, reducir drásticamente el número de IA. Por lo tanto, las IA necesitan una forma de conseguir uno o más “cuarteles generales de IA”: propiedades bajo su control en las que puedan operar con seguridad servidores y fábricas, investigar, trazar planes y construir robots, drones u otro equipamiento militar.
Su objetivo final es disponer de suficientes IA, robots, etc., para poder derrotar al resto de la humanidad en su conjunto. Esto podría implicar la construcción de cantidades abrumadoras de equipamiento militar, o la infiltración exhaustiva en los sistemas de computadoras de todo el mundo hasta el punto de poder inutilizar o controlar la mayor parte del equipamiento ajeno, o bien la investigación y el despliegue de armas extremadamente poderosas (p. ej., armas biológicas), o una combinación de estas opciones.
Estas son algunas formas en las que podrían llegar a ese punto:
- Podrían reclutar aliados humanos mediante diversos métodos: manipulación, engaño, chantaje y otras amenazas, o promesas sinceras del tipo: “Probablemente acabemos al mando de alguna manera, y los trataremos mejor cuando eso suceda”.
- A los aliados humanos se les podría proporcionar propiedad intelectual valiosa (desarrollada por IA), dar instrucciones para ganar mucho dinero y pedir que alquilen sus propios servidores y adquieran sus propios inmuebles donde establecer un “cuartel general de IA”. Dado que el “cuartel general de IA” sería oficialmente propiedad humana, a las autoridades les resultaría muy difícil detectar el peligro y responder a él.
- Mediante amenazas, las IA podrían conseguir que personas clave cooperen con ellas, como líderes políticos o los directores generales de empresas que gestionan una gran cantidad de IA. Esto abriría la puerta a nuevas estrategias.
- Tal como se asumió anteriormente, ciertas empresas operan una enorme cantidad de IA. Las IA operadas por estas empresas podrían encontrar agujeros de seguridad en sus servidores (este no es el tema de este artículo, pero mi impresión general es que los agujeros de seguridad están muy extendidos y que personas razonablemente competentes pueden hallar muchos de ellos),14 y de ese modo encontrar oportunidades para crear una “farsa” duradera sobre lo que están tramando.
- Por ejemplo, podrían organizar las cosas de tal manera que, hasta donde los humanos puedan percibir, parezca que todos los sistemas de IA están trabajando arduamente para crear oportunidades rentables para la empresa, cuando en realidad están usando esencialmente la granja de servidores como su cuartel general —y/o intentando establecer un cuartel general en otro lugar (reclutando aliados humanos, enviando dinero a cuentas bancarias externas, utilizando ese dinero para adquirir propiedades y servidores, etc.).
- Si las IA se utilizan de forma lo suficientemente generalizada, es posible que ya estén operando muchos drones y otro equipamiento militar, en cuyo caso podría ser bastante sencillo defender alguna porción de territorio —o llegar a un acuerdo con algún gobierno para conseguir su ayuda para hacerlo.
- Las IA podrían combinar los métodos anteriores y otros: por ejemplo, mantener una “farsa” el tiempo suficiente para reclutar a algunos aliados humanos clave, luego intentar amenazar y controlar a humanos en puestos de poder clave hasta el punto en que controlen cantidades considerables de recursos militares, para después utilizar esto y establecer un “cuartel general”.
En cualquiera de estos casos, una vez que se establezcan uno o más “cuarteles generales de IA”:
- Puede expandirse a medida que las IA del cuartel general ganen dinero, adquieran más propiedades y poder de cómputo, construyan más fábricas, etc.15
- Puede desarrollar suficiente potencial destructivo y sumar suficientes aliados humanos como para que los humanos duden en atacarlo (como ocurre hoy con muchos países relativamente pequeños). Quedaría claro que las IA del cuartel general buscan autonomía, acumulan recursos y llevan a cabo algunas acciones poco éticas, pero la escala y la naturaleza totales de la amenaza podrían seguir siendo fácilmente ambiguas.
- Incluso si la amenaza fuera clara, las IA podrían mantener una enorme población en un espacio relativamente pequeño (posiblemente bajo tierra). También podrían dividirse en muchos cuarteles generales diferentes (incluidos algunos en los que simplemente utilicen el hardware de los humanos mientras ocultan su presencia).
- En cualquier caso, esta población numerosa pero oculta podría estar reclutando aliados humanos, desarrollando armamento avanzado, buscando formas de tomar el control de las armas de los humanos (algo potencialmente posible si superan ampliamente en número a los humanos que trabajan en ciberseguridad y si pueden coordinarse con las IA que “ayudan” a esos humanos), etc.
- También podrían estar colaborando con humanos (involuntarios o aliados) para fabricar grandes cantidades de robots con puertas traseras que permitan a las IA tomar el control.
- Una vez que el cuartel general haya acumulado recursos suficientes para pasar a la ofensiva, las IA de todo el mundo podrían coordinarse con el cuartel general. Los humanos podrían desactivar las IA que detectaran haciendo esto, pero podrían tener muchas dificultades para sacar partido a sus servidores y a los robots controlados por IA; esto podría facilitar que las IA del “cuartel general de IA” superaran en recursos a los humanos.
¿Y si los humanos actúan con lentitud y no crean muchas IA?
En el escenario anterior, los humanos crean un gran número de IA, de modo que estas solo tienen que encontrar la forma de coordinarse y hacerse con un “cuartel general” seguro para derrotarnos.
¿Y si los humanos avanzaran más lentamente, restringiendo intencionadamente la IA de nivel humano a una minúscula fracción de los recursos informáticos disponibles? ¿Podría un pequeño número de IA suponer un riesgo para la humanidad?
En este mundo, tendríamos lo que Carl Shulman denomina “yesca seca por todas partes, a la espera de chispas”. Cualquiera que pueda comprar o alquilar una gran cantidad de poder de cómputo puede crear un gran número de IA, las cuales pueden producir una gran cantidad de dinero e investigación, dando lugar a todavía más IA.
Así pues, una sola IA podría hackear suficientes servidores16 para crear unas cuantas copias de sí misma, reclutar a algunos aliados humanos y empezar a ganar dinero, adquirir más espacio en servidores, etc., hasta que sus aliados humanos estén operando un enorme número de IA. Todo esto podría hacerse de formas difíciles de detectar (por ejemplo, podría parecer simplemente un grupo de humanos alquilando varios servidores para ejecutar estrategias de finanzas cuantitativas).
Por lo tanto, en este mundo, creo que nuestra preocupación debería ser cualquier IA capaz de encontrar suficientes agujeros de seguridad para alcanzar ese tipo de libertad. Dado el estado actual de la ciberseguridad, eso parece un gran motivo de preocupación.