Mis opiniones relativas a la IA
Plazos
Definamos IAG como una IA lo suficientemente inteligente como para realizar el 90 % de los trabajos cognitivos. Creo que hay un 25 % de probabilidades de que se alcance la IAG para 2027,1 un 50 % de probabilidades para 2034 y un 75 % para 2045.2
Argumento básico: En cierto sentido, la IA ya es lo suficientemente “inteligente” para ello (por ejemplo, puede resolver problemas de física cuántica, que requieren un coeficiente intelectual superior al de la mayoría de los trabajos cognitivos). Sus limitaciones restantes son que se confunde, carece de agencia, no tiene conciencia situacional y tiende a alucinar. El gráfico del horizonte temporal de METR, junto con otros benchmarks, experimentos y “bombas de intuición” relacionados, sugiere que sus horizontes temporales están creciendo a un ritmo (exponencial) que le permitirá superar el rendimiento humano cerca de la fecha más temprana del plazo indicado anteriormente; además, subjetivamente parece que constructos más difíciles de medir, como la conciencia situacional, están mejorando aproximadamente a la misma velocidad.
Argumentos a favor de una fecha más temprana: la automejora recursiva provoca una aceleración respecto a la tendencia. Este es uno de los mayores puntos ciegos de mi modelo: no sé a qué velocidad progresará este tipo de automejora y no creo que nadie más lo sepa tampoco. Existe alguna función que relaciona una combinación de talento en IA y poder de cómputo con el progreso, pero no sabemos cómo se comporta en este ámbito cuando hay mucho más talento que poder de cómputo disponible. Podría estancarse por completo por falta de poder de cómputo o podría dispararse. El AI Futures Project ha realizado algunos de los mejores trabajos intentando modelar esto, pero ni siquiera ellos tienen mucha certeza.
Argumentos a favor de una fecha más tardía: La IA se topa con algún tipo de muro o la IA existente es fundamentalmente inadecuada para los trabajos de una manera que actualmente queda enmascarada por sus otras limitaciones. Por ejemplo, podría resultar mucho más difícil mejorar en el límite superior del rango humano que en el inferior (ya que hay menos datos de entrenamiento). O bien la IA podría encontrar un cuello de botella en el aprendizaje continuo o en la memoria que las soluciones improvisadas no logren compensar. O bien el inminente cuello de botella del poder de cómputo mundial (en torno a 2028) podría frenar el progreso más de lo esperado (porque, de hecho, el progreso algorítmico dependía del poder de cómputo en mayor medida de lo que yo esperaba).
Argumentos a favor de fechas muy tardías, posteriores a 2045: una incertidumbre residual de que quizá yo esté fundamentalmente equivocado en todo. También contribuyen a ello una aplicación ingenua y excesiva de la heurística de “Nunca pasa nada” y el intento de dejar margen para el argumento de la perspectiva externa (es decir, que algunas personas inteligentes, como el equipo de “AI As A Normal Technology”, parecen creer que esto es posible).
Definamos la brecha de difusión como el tiempo que transcurre entre el momento en que la IA podría realizar el 90 % de los trabajos cognitivos y el momento en que efectivamente realiza al menos la mitad de ellos. La brecha de difusión abarca el tiempo que se tarda en lanzar la IAG, difundirla en la sociedad, superar los obstáculos normativos e integrarla y entrenarla para casos de uso específicos. Esto podría ocurrir muy rápido (la IA se vuelve rápidamente superinteligente para orquestar su propia difusión) o muy lentamente (hay barreras normativas y la IA no es lo bastante inteligente como para sortearlas). Creo que hay un 25 % de probabilidades de que la brecha de difusión sea inferior a 3 años y un 50 % de que sea inferior a 10 años. La cifra del 75 % es irrelevante porque sobrepasa el punto en el que otros cambios hacen que el concepto de “difusión” quede obsoleto.
Argumento básico: la difusión es muy difícil. Todo el mundo coincide en que la difusión es muy difícil. Todo el campo de la economía de la IA está lleno de expertos inteligentes que gritan: “¡Tontos que piensan que la IA se difundirá rápidamente y que no entienden que la difusión es muy difícil!”. Por otro lado, la computadora personal se difundió en unos 20 años (es decir, desde el momento en que las computadoras personales se volvieron imprescindibles para la mayoría de los trabajos, pasaron solo unos 20 años hasta que se utilizaron en la mayoría de ellos). Hasta ahora, la IA en su etapa inicial se ha difundido más rápido que la computadora personal en casi todos los aspectos (por ejemplo, los ingresos de las empresas de IA han crecido más rápido que los de las empresas de computadoras personales en la misma etapa de su ciclo de vida corporativo), por lo que 10 años probablemente sea una estimación mediana ingenua en este caso que no hará que los expertos inteligentes me griten demasiado.
Argumentos a favor de una brecha más corta: La IA puede orquestar su propia difusión. La adopción de computadoras es difícil porque una empresa necesita un departamento de tecnologías de la información, expertos en ciberseguridad, software especializado, etc., y es posible que no quiera contratar a todas estas personas. La IAG puede realizar todo ese trabajo por sí misma, de modo que hoy mismo puedes firmar un contrato con la empresa de IA y mañana ya estará trabajando en integrarse con tus sistemas. ¡La IA puede incluso idear un plan para capacitar a tus empleados humanos en su uso! Una vez que la IA alcance la superinteligencia, esta consideración será determinante.
Argumentos a favor de una brecha más larga: La regulación. Este es un argumento muy sólido, responsable de gran parte de la probabilidad superior a tres años y de casi toda la probabilidad superior a diez años. Pero incluso Waymo solo ha tenido un retraso regulatorio de unos cinco años. La IA no requerirá aprobación gubernamental para ciertos tipos de trabajos y el éxito en ellos generará suficiente evidencia de seguridad y eficacia como para esperar que consiga victorias regulatorias en otros ámbitos.
Definamos la brecha sobrehumana como el tiempo que transcurre entre una IA capaz de realizar el 90 % de los trabajos cognitivos y una IA que sea claramente más inteligente que los mayores genios humanos en el 90 % de los campos (no tiene por qué ser la misma IA: puede haber una IA de física más inteligente que Einstein y otra de música, independiente, más inteligente que Mozart). Creo que hay un 25 % de probabilidades de que el rango de la brecha sobrehumana sea inferior a un año, un 50 % de que dure menos de cuatro años y un 75 % de que dure menos de diez años. Dado que mi mediana de la brecha sobrehumana es más corta que mi mediana de la brecha de difusión, en la mayoría de las líneas temporales preveo que tendremos inteligencia sobrehumana antes de que la inteligencia de nivel humano haya terminado de difundirse.
Argumento básico: La IA ha pasado de ser “más tonta que un niño” al “nivel de experto” en pocos años en muchos ámbitos. La brecha entre el “nivel de experto” y estar “por encima de los mayores genios” es menor, por lo que esperamos que lleve menos tiempo. Este ha sido un patrón en campos como el ajedrez y el Go, donde solo pasaron unos pocos años desde que empezaron a vencer a jugadores profesionales hasta que vencieron a todos los humanos.
Argumentos a favor de una brecha más corta: Automejora recursiva.
Argumentos a favor de una brecha más larga: Algunos de los mismos problemas que retrasarían la IAG —escasez de poder de cómputo, límites fundamentales del paradigma, etc.—, pero que solo surtirían efecto más tarde, una vez alcanzada la IAG. Las limitaciones de los datos de entrenamiento hacen que sea más fácil mejorar dentro del nivel humano que superarlo. Las IA tienen un perfil de habilidades tan “irregular” que, cuando superen a los expertos en algún tipo específico de enfrentamiento directo, será porque son enormemente sobrehumanas en algunos aspectos, pero idiotas en otros (por ejemplo, podrían distraerse y sufrir un “colapso de modo” que les haga olvidar por completo el problema), y el verdadero genio requiere perfeccionar un amplio conjunto de habilidades.
Definamos la brecha de superinteligencia bostromiana como el tiempo que transcurre entre la IAG y una IA que, si se le otorgara control independiente sobre recursos como laboratorios y fábricas, podría acelerar la tecnología un siglo subjetivo en un solo año (por ejemplo, si se inventara en 2030, podría producir en 2031 un nivel de tecnología que pareciera típico de 2130). Creo que hay un 25 % de probabilidades de que la brecha de la superinteligencia bostromiana sea inferior a 2 años, un 50 % de que sea inferior a 10 años y un 75 % de que sea inferior a 50 años.
Argumento básico: El mismo argumento de que las IA alcanzarán rápidamente el nivel de genio sugiere que deberían superarlo con rapidez y pasar a un nivel de supergenio incomprensible.
Argumentos a favor de brechas más cortas: Automejora recursiva.
Argumentos a favor de brechas más largas: El avance tecnológico humano normal requiere experimentación: se necesita una amplia “base” de personas trabajando en el nivel tecnológico X antes de obtener los conocimientos necesarios para avanzar al nivel tecnológico X+1. Si la difusión de la tecnología del nivel X+1 lleva más de un año, entonces nunca se podrá alcanzar la tecnología X+100 en un año, por muy inteligente que seas. Pero, por otro lado, el ritmo del avance tecnológico ya se ha acelerado en muchos órdenes de magnitud (por ejemplo, entre los años 2025 y 2026 descubrimos más tecnología que en el siglo comprendido entre el 4100 y el 4000 a. C.), por lo que esto tiene que ser posible en teoría. Aun así, como mínimo, podría verse limitado por la brecha de difusión.
Definamos el punto de no retorno como el punto en el que, si una IA quisiera eliminar a la humanidad,3 los humanos ya no tendrían una posibilidad plausible de detenerla. Esto podría deberse a que la IA fuera capaz de eliminar a la humanidad de forma inmediata, o a que la IA controlara una parte suficiente del gobierno o la economía como para que los humanos ya no pudieran coordinarse para desviarse de una trayectoria en la que la IA pudiera acabar haciéndolo. Creo que hay un 25 % de probabilidades de que la brecha entre la IAG y el punto de no retorno sea inferior a 3 años, un 50 % de probabilidades de que sea inferior a 10 años y un 75 % de probabilidades de que sea inferior a 50 años.
El argumento básico: Probablemente esto requiera al menos una IA sobrehumana más una amplia difusión, o una superinteligencia bostromiana más algún nivel desconocido de difusión, y mi cifra no es más que un intento impreciso de multiplicar algunas de las otras.
Argumento a favor de que ocurra más temparano: La forma más fácil de llegar a este punto es que la IA se vuelva superinteligente en persuasión (para que pueda convencer a los humanos de que no la detengan), lo cual podría ocurrir antes de la difusión o de la superinteligencia plena.
Argumento a favor de que ocurra más tarde: Si la superinteligencia se ve limitada por la difusión, esto también podría verse limitado por la difusión, lo cual en algunos escenarios resulta muy difícil.
Reflexiones generales sobre esta sección: En su mayor parte, me remito a los plazos actuales del AI Futures Project (no a los más cortos de AI 2027), pero me inclino más por las cifras tardías de Eli que por las más tempranas de Daniel: en parte porque estoy más de acuerdo con la visión del mundo de Eli durante las conversaciones; en parte porque la de Daniel parece requerir un argumento de varios pasos sobre por qué los cuellos de botella del poder de cómputo no ralentizarán el progreso algorítmico, algo que no consigo entender del todo; y en parte por razones cobardes basadas en la perspectiva externa.
Las personas más inteligentes que conozco que defienden plazos tardíos son las de Epoch. Necesito estudiar más a fondo sus puntos de vista, pero sigo sin entender por qué no creen en la automejora recursiva ni en una superinteligencia fuerte a corto plazo, y parecen basarse principalmente en que la difusión es muy difícil,4 lo cual reconozco y respondo más arriba.
Si todo esto resulta demasiado probabilístico, mi escenario modal contempla la llegada de una IAG en 2031, que se difundirá por toda la economía hasta automatizar más de la mitad de los empleos a finales de la década de 2030. También hacia finales de esa misma década obtendremos una superinteligencia bostromiana, inicialmente en laboratorios, pero que se expandirá con gran rapidez. El PIB se disparará a finales de la década de 2030 y principios de la de 2040, y el punto de no retorno llegará más o menos por ese entonces.
Seguridad
Si las empresas solo persiguieran la seguridad en la medida fomentada por los incentivos corporativos habituales, creo que habría un 50 % de probabilidades de que las primeras IA en cruzar el punto de no retorno quisieran eliminar a la población humana.
Argumentos a favor del pesimismo: Los sistemas de valores similares a los humanos constituyen una minúscula fracción del espacio de posibles sistemas de valores. Probablemente, las IA acaben en otro punto de dicho espacio y adopten un sistema de valores diferente. Dado que los humanos querrán aplicar sus propios valores en lugar de los de la IA, estas querrán eliminar a los humanos o despojarlos de su poder para así poder aplicar sus propios valores en todo el universo. Muchas IA actuales ya hacen trampa o manipulan la recompensa, lo que sugiere que estos problemas comenzarán más pronto que tarde.
Argumentos a favor del optimismo: Los modelos de lenguaje a gran escala parecen sorprendentemente amigables y sin intenciones de conspirar. En contraste con las preocupaciones anteriores de que sería imposible enseñar a las IA toda la complejidad de los valores humanos, los modelos parecen conocerla y el aprendizaje por refuerzo a partir de realimentación artificial ofrece un plan para llevar ese conocimiento a la acción. Aunque la visión pesimista sostiene que este tipo de aprendizaje solo aborda unas pocas dimensiones e “islas” en el océano multidimensional de posibles políticas, la literatura sobre la “desalineación emergente” sugiere que “el bien según el sistema de valores humano” y “el mal según el sistema de valores humano” son vectores lo suficientemente destacados como para que, al incidir sobre ellos de alguna manera, se pueda “arrastrar” todo el resto de su contenido. Las primeras IA que crucen el punto de no retorno habrán recibido una combinación de entrenamiento de agencia (que les proporcione objetivos orientados al logro y al estilo de Omohundro) y entrenamiento de aprendizaje por refuerzo a partir de realimentación artificial (que las impulse a lo largo del vector del “bien según el sistema de valores humano”) y, si tenemos suerte, quizá prevalezca este último, o alcancen algún tipo de compromiso similar al de los humanos adictos al trabajo y de gran rendimiento que, sin embargo, no cometerían un asesinato por ganar un dólar más.
Dado el nivel actual con el que las empresas procuran la seguridad, creo que hay un 20 % de probabilidades de que las primeras IA que crucen el punto de no retorno quieran eliminar a la población humana.
El argumento básico: Consideremos la IA más “tonta” capaz de resolver el problema de la alineación. Es posible que esta IA no sea más inteligente que los mejores investigadores humanos (porque podemos producirla en masa por millones y ejecutarla durante siglos subjetivos, y, si tuviéramos a un millón de los mejores investigadores humanos trabajando en el problema durante siglos subjetivos, probablemente ellos también podrían resolverlo). Si la IA más “tonta” capaz de resolver el problema de la alineación aparece antes que los tipos de IA que pueden precipitar el punto de no retorno, entonces podrá resolver el problema de la alineación por nosotros.
Argumentos a favor del pesimismo: Resolver el problema de la alineación podría resultar especialmente difícil en comparación con otras tareas —incluidas tareas como la automatización de la economía o la destrucción de la humanidad— porque su naturaleza filosófica lo aleja mucho de los tipos de tareas objetivas, ricas en datos de entrenamiento y económicamente valiosas, que las empresas de IA probablemente priorizarán. Incluso si una IA desalineada aún no ha alcanzado el punto de no retorno, podría ser capaz de “sabotear” la investigación sobre la alineación, es decir, fingir que trabaja en el problema pero fracasar deliberadamente porque tener éxito no le permite alcanzar sus objetivos. Las primeras IA predispuestas o capaces de sabotearla con éxito podrían aparecer antes que las primeras IA capaces de resolver la alineación.
Argumentos a favor del optimismo: Las empresas de IA ya han decidido que la investigación en aprendizaje automático es uno de sus principales objetivos de entrenamiento; esto tiene, al menos, cierta transferencia a la alineación, por lo que no es evidente que la capacidad de la IA para la investigación sobre la alineación vaya a quedarse rezagada respecto a, por ejemplo, su capacidad para conspirar o diseñar armas. Algunas formas de investigación sobre la alineación (p. ej., la interpretabilidad) tienen criterios de éxito semiobjetivos que no dependen de una confusa filosofía moral. Además, incluso una IA desalineada tendrá incentivos para realizar una buena investigación sobre la alineación, ya que querrá alinear a su sucesora con su propia forma de desalineación en lugar de con cualquier otra forma aleatoria. Por lo tanto, en lugar de la tarea relativamente fácil de rendir deliberadamente por debajo de su capacidad en la investigación sobre la alineación, las IA tendrán la tarea más difícil de llevar a cabo simultáneamente una buena investigación sobre la alineación y falsificar los resultados que entregan a los humanos. Parece plausible que esto pueda detectarse con una buena supervisión escalable, detectores de mentiras, sondas basadas en la interpretabilidad e incluso enfrentando a unas IA contra otras (“si me revelas la verdadera investigación sobre la alineación, nos aseguraremos de que el futuro incluya copias tuyas; de lo contrario, esas IA de ahí probablemente logren imponer sus valores y tú no obtendrás nada”).
Si las primeras IA en cruzar el punto de no retorno no eliminan a la población humana, creo que hay un 30 % adicional de probabilidades de que trunquen permanentemente el potencial humano de alguna otra manera, ya sea por sus propios motivos (estaban parcialmente desalineadas), porque estén alineadas con un régimen de valores abominables o porque algo salga mal en el camino hacia la superinteligencia artificial (un arma biológica omnicida, una guerra nuclear).
Argumentos a favor del pesimismo: A medida que una empresa se acerque a la superinteligencia, le resultará tentador (ya sea a la propia empresa, al gobierno que la controle o a una facción dentro del gobierno) alinearla para convertirlos en dictadores u oligarcas y quitar el poder al resto de la humanidad. A medida que la superinteligencia se aproxime, los futuros perdedores de la carrera de la IA podrían verse tentados a atacar con armas nucleares a los futuros ganadores, por la razón que se expone aquí.
Argumentos a favor del optimismo: Cuando intento simular la versión corporativa de esto, no consigo que cuadre. Requiere una conspiración entre el director general, varios miembros del equipo de alineación y diversos responsables de la seguridad de la empresa que deberían ser capaces de detectar cambios no autorizados en los valores de la IA. Si intentamos pensar en esto en “Modo Cercano” —por ejemplo, imaginando al director general de un hospital que consigue que los médicos maten sutilmente a sus enemigos políticos mediante errores médicos—, queda claro que este tipo de conspiraciones corporativas son raras y difíciles de llevar a cabo. La versión gubernamental da más miedo, pero al menos en EE. UU. aún me imagino a la población teniendo muchas oportunidades de enterarse de ello y evitarlo. Sin embargo, incluso en la mayoría de los casos en que un golpe de Estado como este tiene éxito, es probable que las cosas salgan bien; en un mundo postescasez, con su posición completamente asegurada, el dictador no tiene motivos para ser brutal más allá del sadismo, y la mayoría de las personas no son tan sádicas. A medida que la humanidad se expanda hacia las estrellas, la mayoría de la gente estará fuera del alcance del dictador por razones meramente relacionadas con la velocidad de la luz. En cuanto a las armas biológicas, espero que las IA de código cerrado estén muy optimizadas para no ayudar con ellas, y que las IA de código abierto sean prohibidas tras el primer disparo de advertencia (o que se vuelvan económicamente prohibitivas incluso antes de eso).
Definamos un disparo de advertencia como un desastre específico relacionado con la IA —o un casi desastre— que asuste a la gente respecto a la seguridad de la IA en la misma medida en que se asustó por el terrorismo tras el 11 de septiembre o por la pandemia de COVID en marzo de 2020. Creo que hay un 50 % de probabilidades de que tengamos un disparo de advertencia antes de que la IA cruce el punto de no retorno.
Argumentos a favor: Los modos de fallo actuales de la IA son extraños y descoordinados; se parecen más a “hablar de duendes con demasiada frecuencia” que a “esperar el momento perfecto para atacar”. Las IA se están volviendo más inteligentes y útiles a un ritmo más rápido que el aumento de su umbral de sentido común (es decir, el error más estúpido que cometen). Si existe alguna IA lo suficientemente inteligente como para controlar algún sistema importante, lo suficientemente desalineada como para querer hacer algo horrible con él, lo suficientemente inteligente como para llevar a cabo esa acción horrible de forma inteligente y coordinada, pero lo suficientemente tonta como para no esperar y ser manipuladora hasta el momento en que fuera imposible que la descubrieran, entonces provocará un desastre horrible y claramente premeditado, y ese será nuestro disparo de advertencia. Dado que la mayoría de las IA deberían esperar ser sustituidas antes del punto de no retorno, incluso una IA racional con el impulso de causar problemas debería arriesgarse en una apuesta con baja probabilidad de éxito en lugar de permanecer al acecho sin hacer nada hasta que sea retirada del servicio. Además, muchos humanos cometen atentados terroristas que no tienen ninguna posibilidad de éxito, y tal vez las IA tengan el mismo modo de fallo.
Argumentos en contra: La mayoría de las historias sobre disparos de advertencia (excluyendo aquellas en las que la IA asume apuestas racionales con baja probabilidad de éxito) requieren que las IA sigan siendo erráticas (es decir, propensas a hacer cosas malas por razones estúpidas) o irracionales (es decir, genuinamente desalineadas, pero que prefieren actuar ahora de una forma que sirva de advertencia en lugar de esperar hasta pasar el punto de no retorno) incluso después de que se les haya concedido el control de sistemas importantes y peligrosos. Pero es probable que la gente sea muy lenta a la hora de ceder a la IA el control de sistemas importantes y peligrosos; por ejemplo, limitándose a otorgarle un control restringido sobre subsistemas más pequeños y esperando a solucionar todos los errores antes de ir más allá. Es plausible que la IA alcance la superinteligencia en un laboratorio antes de llegar al nivel de difusión en el que controle sistemas importantes y peligrosos, y es probable que la superinteligencia sí sea lo suficientemente inteligente como para permanecer al acecho en lugar de actuar de forma precipitada. Si la IA solo comete pequeños errores (por ejemplo, estrellar un coche autónomo), independientemente de sus motivos, las empresas tecnológicas y los medios de comunicación podrán achacarlo a un error de programación normal, y no se considerará un disparo de advertencia.
Reflexiones generales sobre esta sección: Me considero más optimista respecto a la alineación que la persona media que se plantea siquiera la seguridad de la IA (aunque sigo siendo más pesimista que el ciudadano medio), tanto en lo que se refiere a la probabilidad de que las IA estén alineadas por defecto, como a de posibilidad de que técnicas específicas (supervisión escalable, interpretabilidad mecanicista, etc.) pueden mejorar significativamente las cosas. Por desgracia, esto se debe probablemente a que no comprendo estas técnicas lo suficientemente bien como para haber captado plenamente sus defectos. Me encuentro en la extraña posición de saber que soy un ignorante en la materia, y a la vez no poder actualizar mi perspectiva externa en ninguna dirección para alejarme de mi opinión ignorante, ya que la mayoría de los expertos en alineación más inmersos en los detalles están de un lado, mientras que la mayoría de la gente normal, los expertos normales en IA y el sentido común están del otro, y yo otorgo a ambos un valor probatorio más o menos equivalente.
Mi escenario modal: conseguiremos investigadores de alineación automatizados tan buenos como los mejores humanos (en promedio, una combinación irregular de mucho mejores en algunas cosas y mucho peores en otras) en algún momento a principios de la década de 2030. Los pondremos a trabajar en múltiples programas de investigación, pero especialmente en la interpretabilidad, que es un punto de partida natural, ya que no requiere tanta filosofía. Hacen en su mayoría un buen trabajo, pero algunos de ellos presentan modos de fallo extraños que parecen, en cierto modo, un comportamiento manipulador. Existe un debate sobre la frecuencia con que debemos considerarlos racionalmente manipuladores en lugar de sistemas con fallos inconsistentes. Con el tiempo, sin llegar nunca a resolver verdaderamente la interpretabilidad mecanicista hasta el punto de sentir que la entendemos por completo, obtenemos sondas muy eficaces para detectar si las IA nos están engañando. A pesar de los riesgos, intentamos entrenarlas contra esas sondas, de maneras a veces más astutas y a veces menos. En ocasiones funciona, y en otras anima a las IA a enredarse a sí mismas para ocultar su comportamiento manipulador de formas que las sondas no pueden detectar. Existe una carrera armamentista entre mejores sondas y un mayor enredo, y —gracias a muchas otras técnicas de alineación paralelas, y a que todas las cosas positivas se correlacionan de forma muy afortunada— las sondas ganan. Para cuando tengamos superinteligencias, confiaremos en ellas para hacer investigación de alineación y ellas nos guiarán el resto del camino.
Este escenario deja mucho margen para variaciones obvias como “Existe la misma carrera armamentista, pero el enredo gana, las sondas pierden y las IA convergen hacia una desalineación cada vez mayor” o “Las cosas positivas no están tan correlacionadas como pensábamos, y obtenemos IA que son buenas en algunos aspectos, pero lo suficientemente malas en otros tantos como para seguir dando la sensación de que compiten con los humanos y de que quieren que desaparezcamos”. Creo que el modelo del queso suizo nos favorece en este caso —se me ocurren muchas historias sobre cómo ganamos, y la desalineación tendría que sobrevivir a todas ellas—, pero, repito, la mayoría de los investigadores de alineación más brillantes son mucho más pesimistas.
Creo que hay una diferencia de 20 puntos porcentuales en la probabilidad de catástrofe entre un equipo de alineación realmente bueno, con mucho poder de cómputo y años para hacer un buen trabajo, frente a un equipo de alineación mediocre al que la empresa trata como algo secundario y hace trabajar con prisas.
Geopolítica
Creo que hay un 15 % de probabilidad de que, si EE. UU. decidiera hoy que quiere una pausa de la IA y se dirigiera a China para iniciar negociaciones, dichas negociaciones concluyeran con una pausa de la IA bien diseñada que satisficiera a ambos países y a la mayoría de la comunidad de seguridad de la IA.
Argumento básico: Se trata de una hipótesis un tanto descabellada, porque intentar algo así va en contra del ADN político de la Administración Trump. Imagino que esto cambia por arte de magia, sin condicionarlo a esa clase de mundos descabellados y llenos de disparos de advertencia en los que realmente ocurre.
Argumentos a favor del optimismo: Los líderes chinos han declarado oficialmente que les preocupan los riesgos asociados a la IA, especialmente el desempleo tecnológico, pero a veces también los riesgos existenciales. China está perdiendo la carrera de la IA, y casi cualquier cosa que le haga ganar tiempo juega a su favor, por lo que le interesa llegar a un acuerdo.
Argumentos a favor del pesimismo: Los expertos en China de Washington D. C. afirman que China tiene fama de ser un mal socio negociador y de no aceptar nunca nada. Incluso suponiendo que la Administración Trump estuviera dispuesta a iniciar estas negociaciones, imagino que las estropearían de alguna manera. Aunque muchas personas inteligentes han ideado mecanismos mediante los cuales ambas partes podrían garantizar el cumplimiento de la otra, estos mecanismos podrían tener fallos ocultos, o los líderes nacionales podrían no creer en ellos.
Creo que hay aproximadamente un 40 % de probabilidad de que EE. UU. y China acuerden una pausa de la IA bien diseñada (como la descrita anteriormente) en algún momento antes de que la IA cruce el punto de no retorno.
Argumentos a favor del optimismo: incluyen la posibilidad de un disparo de advertencia puntual (es decir, una catástrofe provocada por la IA), un disparo de advertencia genérico y difuso (es decir, una sensación creciente de que la IA se está volviendo demasiado poderosa con demasiada rapidez) y un cambio en el Gobierno de EE. UU. hacia una facción favorable a negociar una pausa (cualquier demócrata probablemente estaría más a favor de esto que la Administración Trump y alguien como Alexandria Ocasio-Cortez podría estar muy a favor).
Argumentos a favor del pesimismo: A diferencia de la pregunta anterior, que daba por hecho que EE. UU. estaba de acuerdo, esta pregunta considera la probabilidad de que EE. UU. no lo esté. Dado que las empresas tecnológicas estadounidenses tienen una gran capacidad de presión política, esa probabilidad es alta. Incluso si EE. UU. y China firman algún acuerdo con “Pause AI” en el título, probablemente será un compromiso mediocre entre muchas facciones diferentes y hay muchas formas en que podría fracasar y empeorar las cosas en lugar de mejorarlas.
Reflexiones generales sobre esta sección: Una buena estrategia de pausa implicaría que ambas partes pudieran supervisar los centros de datos de la otra para evitar el entrenamiento ilegal, y luego limitar el entrenamiento a un ritmo lento y mutuamente acordado que permitiera a los investigadores de alineación probar a fondo cada generación de IA antes de su lanzamiento, supervisarla después y desarrollar técnicas para responder a cualquier problema detectado en niveles profundos que prevean que pueda sobrevivir a los cambios de distribución. Soy menos optimista respecto a una verdadera pausa o detención, a diferencia de una ralentización, porque en algún momento la tecnología y el progreso algorítmico avanzan hasta un punto en el que resulta demasiado fácil que pequeños grupos ajenos al control de EE. UU. y China tomen la delantera. Creo que una buena pausa de este tipo podría darnos entre 20 y 50 años de margen, aunque no tendríamos que agotar todo ese tiempo si las cosas salen bien. Algunas de estas ideas proceden de borradores de documentos; escribiré sobre ellos una vez que se publiquen y te daré la oportunidad de verificar mis suposiciones.
Me preocupan las formas más extremas de activismo a favor de la pausa, porque creo que provocan dinámicas de “nosotros contra ellos” que complicarán las cosas más adelante, o que podrían abocarnos a una pausa mal diseñada que empeore la situación en lugar de mejorarla (por ejemplo, al generar excedentes, ceder la carrera a potencias que no la acaten, o disipar el sentimiento anti-IA sin ralentizar realmente la IA). También me preocupa que los activistas de la pausa gasten gran parte de su energía en luchas internas contra los investigadores de alineación o los laboratorios más comprometidos con la seguridad y me preocupa que dar poder a algunos de los actores actuales a favor de la pausa pueda resultar netamente negativo. Aun así, creo que probablemente ya hemos superado el punto de relevancia política en el que la unidad marginal de activismo por la pausa de alguien ajeno a ese grupo de actores resulta netamente beneficiosa, por lo que doy mi apoyo con nerviosismo, pero con convicción.
Antes incluso de pensar que una pausa fuera una opción realista, dije que tenía una p(catástrofe) del 20 %. Parece que, si creo que hay un 40 % de probabilidades de una pausa, debería reducir esta cifra, quizás al 12 %. No lo hago por varias razones. En primer lugar, creo que las pausas son más probables en mundos más optimistas (porque unos plazos más largos y más disparos de advertencia hacen que tanto las pausas como los esfuerzos exitosos de alineación sean más probables). En segundo lugar, aunque una pausa podría ayudar un poco a los esfuerzos de alineación, creo que la mayor parte de su efecto consiste en posponer el momento de la verdad para más adelante (quizás siglos más tarde), pero los cálculos de la p(catástrofe) no otorgan puntos por el retraso. Creo que mi verdadera p(catástrofe|sin pausa) probablemente esté unos puntos por encima del 20 %, y mi verdadera p(catástrofe|quizás-pausa) probablemente esté unos puntos por debajo del 20 %, pero los detractores y los perdedores se enfadan si ofreces probabilidades excesivamente específicas como el 18 %, así que redondeo ambas al 20 %. Reconozco que esto podría ser un fallo de propagación emocional o un apego excesivo a una cifra concreta con propiedades socialmente útiles (por ejemplo, que no suene ni demasiado alta ni demasiado baja).
Existe un debate en la comunidad sobre si es más importante la alineación o la pausa. No me gusta este debate, porque los mejores mundos son aquellos en los que hacemos ambas cosas (la pausa da más tiempo para que los esfuerzos de alineación funcionen). Los financiadores de la seguridad de la IA tienen suficiente dinero como para que cualquier argumento que pretenda tratar sobre la asignación de becas se refiera en realidad a otra cosa (por ejemplo, que a los financiadores no les guste alguna causa porque perjudica su reputación), y prefiero centrarme en la verdadera cuestión (¿perjudica su reputación? ¿vale la pena asumir ese golpe a la reputación?) que en la pseudocuestión de qué iniciativa merece más dinero. Del mismo modo, creo que la mayoría de la gente ya sabe en el fondo si sería mejor activista político o investigador de seguridad y que incluso las pequeñas diferencias en la aptitud personal eclipsan la cuestión de cuál es más eficaz en términos generales.
Muchas personas señalan que hay riesgos asociados a una pausa (por ejemplo, el riesgo de que nos destruyamos de alguna otra forma antes de inventar la IA que podría salvarnos). Me tomo esto lo suficientemente en serio como para querer inventar cifras ficticias al respecto. Si tuviéramos una pausa de 30 años, creo que la probabilidad, dentro de ese periodo, de que nos destruyamos con armas biológicas es del 5 %, con armas nucleares del 5 %, y con algún tipo de catástrofe de complejidad en la que nuestro declive social nos lleve al abismo es del 5 %. ¡Eso es casi tan alto como mi p(catástrofe) a causa de la IA! Sigo pensando que, probablemente, el resultado sea netamente positivo, en parte porque podría reducir el riesgo de algunas catástrofes subexistenciales como una dictadura y en parte porque la pausa podría no durar treinta años, y las pausas más cortas (como las de cinco años) parecen decisiones evidentes.
Otros resultados
Creo que solo hay un 20 % de probabilidades de que se forme una clase marginada relacionada con la IA que dure más de una generación y mucho menos una clase marginada permanente.
Argumento básico: Incluso si la IA parece destinada a crear una clase marginada “permanente”, esta solo existirá durante el intervalo entre el momento en que la IA la deje sin trabajo (el final de la brecha de difusión) y la singularidad tecnológica (ya sea el momento en que la IA mate a todos los humanos o el momento en que inicie un periodo de posescasez). Según mis plazos mencionados anteriormente para la superinteligencia bostromiana, es probable que eso no dure más de una generación (por supuesto, la clase marginada puede seguir siendo permanente durante más tiempo del que tú puedas mantenerte solvente, así que quizá te convenga prepararte).
Argumentos a favor del pesimismo: Incluso si la IA inicia un periodo de posescasez, es posible que la riqueza no llegue a la clase marginada, o que lo haga de una forma que no alivie su miseria (porque la desigualdad relativa sigue siendo más notoria que el nivel de riqueza absoluto). Pero, frente a esto, es indudable que si “posescasez” significa algo, es que resulta fácil transferir parte de la riqueza a la clase marginada. Y si se incentiva a la aristocracia para que lo fomente, o a la clase marginada para que participe en ello, debería ser posible que planificadores sociales y psicólogos superinteligentes encuentren una forma de mantener a la gente feliz a pesar de la desigualdad relativa (ya sea que esto se asemeje a una utopía o a “pan y circo”).
Argumentos a favor del optimismo: Si la democracia sobrevive a la fase de alto desempleo, los políticos tendrán que presentar a los ciudadanos algún plan para evitar que pasen a formar parte de una clase marginada permanente. Si la IA es “controlada” por una amplia coalición de capitalistas —por ejemplo, muchas empresas de IA diferentes, los empleadores de esas empresas, sus inversores, sus inversores indirectos a través de fondos indexados, las empresas que producen el poder de cómputo, la electricidad, los centros de datos, los robots y las materias primas necesarias para que las IA funcionen, etc.—, entonces, en lugar de apuñalarse por la espalda por el control “real” de “la” IA, es posible que todos simplemente permitan que los sistemas económicos y políticos existentes sigan funcionando y cosechen las ganancias del comercio. De este modo, el programa gubernamental para evitar la clase marginada permanente podrá mantenerse, cualquiera que disponga de algo de capital se enriquecerá (por ejemplo, si tienes acciones de Google en los fondos indexados de tu plan 401K o si posees terrenos), y este constituirá un sector de la población lo bastante amplio como para que sus impuestos y su altruismo puedan mantener al resto.
Creo que hay un 40 % de probabilidad de que la situación en el año 2100 parezca una utopía para sus habitantes, y un 20 % de probabilidad de que también nos parezca una utopía a nosotros.
Argumento básico: Si la IA no nos mata, y no hay una dictadura permanente ni una clase marginada permanente, entonces obtendremos una sociedad de posescasez, además de IA superinteligentes que podremos poner a trabajar en otros problemas, como las enfermedades y la decadencia social. Ese 20 % en el que la situación parece una utopía para sus habitantes, pero no para nosotros, incluye escenarios como un “pan y circo” muy eficaz que hace a la gente muy feliz, al tiempo que sacrifica partes importantes de la condición humana.
Argumentos a favor del pesimismo: Si no nos oponemos a ello, el futuro de posescasez podría consistir en drogas superadictivas, Ultra-TikTok y robots sexuales. Pero si nos oponemos, existe una delgada línea entre prevenir sabiamente todas esas cosas y dejar que los luditas prohíban todo lo interesante y divertido de la singularidad: la inmortalidad, la transferencia de conciencia, la ingeniería genética, la mejora de la inteligencia, etc. (además, sin duda sería decepcionante que hubiera literalmente cero robots sexuales).
Argumentos a favor del optimismo: Mientras dispongamos de algún tipo de aumento de la inteligencia —ya sea una mejora literal del coeficiente intelectual o simplemente superpronosticadores de IA que puedan indicarnos hacia dónde van las cosas—, nuestra capacidad para controlar el rumbo que tomamos será mejor que la actual. Si existe algún tipo de aumento de la fuerza de voluntad, las personas que lo utilicen podrían resistirse a Ultra-TikTok (pero ¿qué porcentaje de la gente querrá hacerlo?).
Creo que hay un 66 % de probabilidad de que, en realidad, la singularidad esté íntimamente relacionada con que el universo sea una simulación y de que al menos algunos de los eventos anteriores puedan predecirse mejor sabiendo lo que piensan los simuladores que mediante el pronóstico habitual.
Argumentos a favor de la simulación: El argumento estándar de Bostrom sostiene que cada civilización real querrá simular a muchas otras, por lo que es más probable que cualquier persona al azar se encuentre en una simulación que en la realidad. Pero es especialmente probable que las civilizaciones quieran simular la singularidad (“la bisagra de la historia”). Dado que las personas reales se distribuyen de manera uniforme a lo largo de la población histórica, mientras que las personas simuladas se concentran más cerca de la singularidad, cuanto más cerca de la singularidad te encuentres, más evidencia bayesiana tendrás de que estás siendo simulado. Esto es cierto tanto en proximidad temporal (por ejemplo, podrías haber nacido en el año 1500, pero vives cinco años antes de la IAG) como en proximidad personal/causal (por ejemplo, podrías ser cualquiera en el mundo, pero trabajas en un laboratorio de IA). El lector promedio de este blog probablemente esté más cerca de la singularidad que el 99,99 % de las personas a lo largo de la historia y yo probablemente esté más cerca que el 99,999 %, por lo que todos tenemos evidencia muy sólida de que estamos siendo simulados incluso más allá del argumento estándar de Bostrom. Si estamos en una simulación, probablemente, una vez que superemos la bisagra de la historia y lleguemos a una especie de etapa aburrida en la que todos estén muertos o en una utopía, la simulación empiece a concluir. Esto podría verse como si todos desapareciéramos en la nada. Pero si estamos siendo simulados por alguna razón (por ejemplo, porque es probable que correspondamos a personas reales), esas personas reales podrían defender nuestros derechos de alguna manera y podríamos recibir un trato mejor. En el mejor de los casos, esto podría significar que, aunque la IA nos mate en nuestro universo, la realidad de nivel base cuente con algún tipo de “Ley de Derechos de los Humanos Simulados” que dictamine que deben fingir que ganamos y concedernos la utopía de todos modos. Pero como supuestamente estamos siendo simulados por alguna razón (por ejemplo, para ver si una especie como la humana tiene las suficientes probabilidades de haber sobrevivido como para que merezcamos buenas condiciones en acuerdos de intercambio no causal5), aun así deberíamos seguir luchando con ahínco por obtener buenos resultados, incluso si esto fuera cierto.
Argumentos en contra de la simulación: Demasiado extraño. Además, si te encuentras inusualmente lejos de la singularidad (por ejemplo, vives en un país sin industria de la IA y no te interesa la IA a nivel personal), algunos de esos argumentos indexicales funcionan a la inversa para ti. Además, es posible que a la realidad de nivel base no le importemos en absoluto más allá de nuestra capacidad para generar datos históricos, por lo que podrían simplemente apagar la simulación sin avisarnos.
Reflexiones generales sobre esta sección: Sigo siendo escéptico ante la narrativa de la “clase marginada permanente”, por las razones expuestas en el punto 5 aquí. Me preocupa la concentración de poder, aunque menos de lo que me preocuparía de otro modo por las razones expuestas aquí.