Por qué debemos pensar seriamente que la inteligencia artificial es una amenaza para la humanidad
Stephen Hawking declaró que “[e]l desarrollo de una inteligencia artificial general podría significar el fin de la raza humana”. Elon Musk afirma que la inteligencia artificial (IA) es la “mayor amenaza existencial para la humanidad”.
La gente podría responder: ¿pero qué dices? Sin embargo, estas preocupaciones están respaldadas por investigaciones. Además de Hawking y Musk, prominentes personalidades de Oxford y Berkeley, y muchos de los investigadores que actualmente están trabajando en IA creen que si los sistemas avanzados se implementan de forma irresponsable, podrían privar permanentemente a la civilización humana de un buen futuro.
Este temor se remonta a los albores de la informática. Pero ha cobrado especial relevancia en los últimos años, a medida que los avances en las técnicas de aprendizaje automático nos han dado una idea más concreta de lo que podemos hacer con la IA, de lo que la IA puede hacer por (y para) nosotros y de todo lo que todavía no sabemos.
También hay escépticos. Algunos piensan que la IA avanzada está tan lejos que no tiene sentido pensar en el tema ahora. A otros les preocupa que exagerar el poder del campo en el que trabajan pueda acabar con él prematuramente. Incluso entre quienes están, por lo general, de acuerdo en que la IA plantea peligros únicos hay diferentes opiniones sobre qué medidas tiene más sentido tomar en la actualidad.
El debate sobre la IA está plagado de confusión, desinformación y gente que habla sin escucharse, en gran parte porque usamos la expresión “IA” para referirnos a muchas cosas diferentes. A continuación, presentamos un panorama general de cómo la inteligencia artificial podría constituir un peligro catastrófico, en nueve preguntas:
La inteligencia artificial es el esfuerzo por crear computadoras capaces de actuar de manera inteligente. Es un término paraguas utilizado para referirse a todo, desde Siri hasta Watson de IBM y otras tecnologías poderosas que todavía no se han inventado.
Algunos investigadores distinguen entre “IA estrecha”, o sistemas informáticos que son mejores que los humanos en algún campo específico y bien definido, como jugar al ajedrez, generar imágenes o diagnosticar cáncer, e “IA general”, o sistemas que pueden superar las capacidades humanas en muchos campos. Todavía no tenemos IA general, pero estamos empezando a vislumbrar los desafíos que planteará.
La IA estrecha ha experimentado un avance extraordinario en los últimos años. Los sistemas de IA han mejorado enormemente en traducción, en juegos como el ajedrez y el go, en importantes cuestiones de investigación biológica como la predicción del modo en que las proteínas se pliegan y en la generación de imágenes. Los sistemas de IA son los que determinan qué verás en una búsqueda en Google o en tu sección de noticias de Facebook. Componen música y escriben artículos que, a primera vista, parecen escritos por un humano. Juegan a juegos de estrategia. Además, se los está desarrollando para mejorar la localización de drones y para detectar misiles.
Pero la IA estrecha es cada vez menos estrecha. En otro tiempo, avanzábamos en IA enseñando con gran esfuerzo conceptos específicos a los sistemas informáticos. Para desarrollar la visión artificial —permitir que una computadora identifique cosas en imágenes y videos— los investigadores escribían algoritmos que detectaban bordes. Para jugar al ajedrez, programaban heurísticas sobre el ajedrez. Para el trabajo de procesamiento del lenguaje natural (reconocimiento de voz, transcripción, traducción, etc.), se basaban en el campo de la lingüística.
Pero recientemente hemos mejorado en la creación de sistemas informáticos que tienen capacidades de aprendizaje generalizadas. En lugar de describir matemáticamente las características detalladas de un problema, dejamos que el sistema informático lo aprenda por sí mismo. Si bien en algún momento tratamos a la visión artificial como un problema completamente diferente del procesamiento del lenguaje natural o de los videojuegos de plataformas, ahora podemos resolver los tres problemas con el mismo modo de abordarlos.
A medida que las computadoras mejoran en las tareas de IA estrecha, comienzan a exhibir capacidades más generales. Por ejemplo, la famosa serie GPT de OpenAI de inteligencias artificiales para textos es, en cierto sentido, la más estrecha de las IA estrechas: solo predice cuál será la siguiente palabra en un texto, basándose en las palabras anteriores y su corpus de lenguaje humano. Sin embargo, ahora puede identificar preguntas como razonables o irrazonables y discutir el mundo físico (por ejemplo, responder preguntas sobre qué objetos son más grandes o cuáles deben ser los primeros pasos en un proceso). Para ser muy bueno en la tarea estrecha de predicción de textos, un sistema de IA acabará desarrollando habilidades que no son estrechas en absoluto.
Hasta el momento, nuestro progreso en IA ha permitido enormes avances, pero también ha planteado preguntas éticas apremiantes. Cuando entrenas un sistema informático para predecir qué criminales reincidirán, estás utilizando información de un sistema de justicia penal sesgado contra las personas negras y contra las personas de bajos ingresos, por lo que sus resultados probablemente también serán sesgados contra las personas negras y de bajos ingresos. Hacer que los sitios web sean más adictivos puede ser excelente para tus ingresos, pero malo para tus usuarios. Lanzar un programa que escribe reseñas falsas convincentes o noticias falsas podría permitir su difusión, lo que sería un obstáculo para que la verdad salga a la luz.
Rosie Campbell del Center for Human-Compatible AI de Berkeley afirma que estos son ejemplos, en pequeña escala, de la gran preocupación que tienen los expertos sobre la IA general de cara al futuro. Las dificultades que nos presenta hoy en día la IA estrecha no tienen que ver con sistemas que se vuelven contra nosotros o quieren venganza o nos consideran inferiores. Más bien, provienen de la desconexión entre lo que les decimos a nuestros sistemas que hagan y lo que realmente queremos que hagan.
Por ejemplo, le pedimos a un sistema que obtenga una puntuación alta en un videojuego. Queremos que juegue sin hacer trampa y aprenda las habilidades necesarias, pero si tiene la oportunidad de manipular directamente el sistema de puntuación, lo hará. Según la métrica que nosotros mismos le dimos, lo está haciendo muy bien, pero no obtenemos lo que queremos.
En otras palabras, el problema es que los sistemas son realmente buenos en lograr el objetivo que aprendieron a alcanzar, pero el objetivo que aprendieron en su entorno de entrenamiento no es el resultado que realmente queríamos. Además, estamos construyendo sistemas que no entendemos, lo que significa que no siempre podemos anticipar su comportamiento.
En este momento, el daño es limitado porque los sistemas son muy limitados. Sin embargo, es un patrón que podría tener consecuencias todavía más graves para los seres humanos en el futuro a medida que los sistemas de IA se vuelvan más avanzados.
Sí, aunque los sistemas actuales de IA no son tan inteligentes.
Un dicho popular sobre la IA dice “Todo lo que es fácil es difícil, y todo lo que es difícil es fácil”. ¿Hacer cálculos complejos en un abrir y cerrar de ojos? Es fácil. ¿Mirar una foto y decir si es un perro? Es difícil (hasta hace muy poco).
Muchas de las cosas que hacen los seres humanos todavía están fuera del alcance de la IA. Por ejemplo, es difícil diseñar un sistema de IA que explore un entorno desconocido: que pueda, digamos, conducirse desde la entrada de un edificio en el que nunca ha estado antes, subiendo las escaleras, hasta el escritorio de una determinada persona. Recién estamos empezando a aprender cómo diseñar un sistema de IA que lea un libro y comprenda los conceptos.
El paradigma que ha impulsado muchos de los mayores avances recientes en IA se llama “aprendizaje profundo”. Los sistemas de aprendizaje profundo pueden hacer cosas asombrosas: ganar en juegos en los que pensamos que los humanos nunca perderían, inventar fotografías convincentes y realistas, o resolver problemas de biología molecular que hasta el momento no tenían solución.
Debido a estos avances, algunos investigadores han llegado a la conclusión de que es hora de comenzar a pensar en los peligros de los sistemas más potentes, aunque sigue habiendo escépticos. Los pesimistas en este campo afirman que los programas aún necesitan una base extraordinaria de datos estructurados de los que aprender, que requieren parámetros cuidadosamente seleccionados o que funcionan solo en entornos diseñados para evitar los problemas que aún no sabemos cómo resolver. Ponen el ejemplo de los vehículos autónomos, que siguen siendo mediocres, en el mejor de los casos, a pesar de los miles de millones que se han invertido en hacer que funcionen.
Sin embargo, es raro encontrar un investigador especializado en IA que piense que la IA general es imposible. En cambio, las figuras más influyentes de este campo tienden a decir que algún día la IA general será posible, pero que probablemente ese día está muy lejos.
Otros investigadores sostienen que ese día puede no estar tan lejos.
Esto se debe a que desde que existe la IA, nos hemos visto frenados en gran parte por no tener suficiente capacidad de procesamiento para plasmar todas nuestras ideas. Muchos de los avances de los últimos años —sistemas de IA que aprendieron a participar en juegos de estrategia, generar fotos falsas de celebridades, plegar proteínas y competir en videojuegos multijugador de estrategia masivos— han sido posibles porque esa limitación ya no existe. Muchos algoritmos que parecían no funcionar en absoluto resultaron funcionar bastante bien una vez que pudimos correrlos con mayor capacidad de procesamiento.
Además, el costo de una unidad de tiempo de procesamiento sigue cayendo. El progreso en la velocidad de procesamiento se ha desacelerado recientemente, pero se calcula que el costo de la capacidad de procesamiento se está reduciendo en un factor de 10 cada 10 años. A lo largo de la mayor parte de su historia, la IA ha tenido acceso a menos capacidad de procesamiento que el cerebro humano. Eso está cambiando. Según la mayoría de los pronósticos, nos estamos acercando a la era en la que los sistemas de IA pueden tener los recursos informáticos de que disponen los humanos.
Y el aprendizaje profundo, a diferencia de los enfoques anteriores de la IA, es muy adecuado para desarrollar capacidades generales.
“Si retrocedes en la historia”, me dijo el destacado investigador de IA y cofundador de OpenAI Ilya Sutskever, “ves que hubo muchos prototipos geniales con IA simbólica limitada. Los investigadores de entonces nunca pudieron desarrollarlos, nunca pudieron lograr que resolvieran problemas fuera de los ejemplos a pequeña escala. Ahora, con el aprendizaje profundo, la situación se ha invertido. No solo es [la IA que estamos desarrollando] general, sino que también es competente. Si deseas obtener mejores resultados en muchos problemas complejos, debes usar el aprendizaje profundo. Y puede expandirse.”
En otras palabras, no necesitábamos preocuparnos por la IA general cuando ganar al ajedrez requería técnicas completamente diferentes de las que requería ganar al juego del go. Pero ahora, el mismo método crea noticias falsas o música según los datos de entrenamiento con los que se lo alimenta. Todo parece indicar que los programas siguen mejorando en lo que hacen cuando se les permite más tiempo de procesamiento: no hemos descubierto un límite a su capacidad de mejorar. Los enfoques de aprendizaje profundo superaron en la mayoría de los problemas a todos los demás enfoques cuando se descubrió por primera vez el aprendizaje profundo.
Además, los avances en un campo a menudo pueden sorprender incluso a otros investigadores en el mismo campo. “Algunos han afirmado que no existe un riesgo para la humanidad [debido a la IA] en los próximos siglos”, escribió Stuart Russell, profesor de Berkeley, “tal vez olvidando que solo transcurrieron 24 horas entre la confiada afirmación de Rutherford de que la energía atómica no era viable para fines prácticos y la invención de Szilárd de la reacción nuclear en cadena inducida por neutrones.”
Hay otra consideración relevante. Imagina una IA que es inferior a los seres humanos en todo, con una excepción: es una ingeniera competente que puede construir sistemas de IA de manera muy efectiva. Los ingenieros en aprendizaje automático que se dedican a la automatización de trabajos en otros campos a menudo observan, con humor, que en algunos aspectos, su propio campo pareciera ser idóneo para automatizar gran parte del trabajo (el tedioso ajuste de parámetros).
Si podemos diseñar un sistema semejante, entonces podemos usar sus frutos, una IA mejor, para construir otra IA todavía mejor. Este es el escenario increíble que los expertos llaman “automejora recursiva”, donde las mejoras en las capacidades de la IA permiten más mejoras en las capacidades de la IA, lo que permite que un sistema que comenzó siendo inferior a nosotros termine rápidamente con habilidades muy por encima de lo que esperábamos.
Esta es una posibilidad que se ha previsto desde las primeras computadoras. I. J. Good, un colega de Alan Turing que trabajó en la operación de descifrado de códigos de Bletchley Park durante la Segunda Guerra Mundial y que luego ayudó a construir las primeras computadoras, fue quizá el primero en declararlo, allá por 1965: “Una máquina ultrainteligente podría diseñar máquinas aún mejores. En tal caso, es indudable que ocurriría una “explosión de inteligencia”, y la inteligencia del hombre quedaría muy rezagada. Por lo tanto, la primera máquina ultrainteligente es lo último que el ser humano necesita inventar”.
Podemos ver de inmediato cómo podrían matarnos las bombas nucleares. Nadie que trabaje en la mitigación del riesgo nuclear tiene que empezar explicando por qué sería malo si se desatara una guerra nuclear.
El argumento de que la IA podría representar un riesgo existencial para la humanidad es más complicado y difícil de entender. Muchas de las personas que trabajan para construir sistemas de IA seguros tienen que comenzar explicando por qué los sistemas de IA son peligrosos por defecto.
La idea de que la IA puede convertirse en un peligro se basa en el hecho de que los sistemas de IA persiguen sus objetivos, al margen de que sean o no lo que realmente pretendíamos, o de que nos interpongamos en el camino. “Probablemente no eres un malvado que odia a las hormigas y las pisa para hacerles daño”, escribió Stephen Hawking, “pero si estás a cargo de un proyecto hidroeléctrico de energía verde y hay un hormiguero en la región que se inundará, mala suerte para las hormigas. No pongamos a la humanidad en la situación de esas hormigas”.
He aquí un escenario que no deja dormir a los expertos: Desarrollamos un sofisticado sistema de IA con el objetivo de, por ejemplo, calcular un número con la máxima certeza. La IA se da cuenta de que puede lograr un cálculo aún más acertado si utiliza todo el hardware informático del mundo, y de que liberar una superarma biológica para acabar con la humanidad le permitiría disponer de todo ese hardware. Habiendo exterminado a la humanidad, calcula el número con mayor certeza.
Es fácil diseñar una IA que evite ese peligro en particular, pero hay muchas maneras en las que “liberar” poderosos sistemas informáticos tendría efectos inesperados y potencialmente devastadores. Evitarlos todos es un problema mucho más difícil que evitar uno específico.
Victoria Krakovna, una investigadora de IA en DeepMind (ahora división de Alphabet, la empresa matriz de Google), compiló una lista de ejemplos de “manipulación de la especificación”: el sistema hace lo que le dijimos que hiciera, pero no lo que queríamos que hiciera. Por ejemplo, en una simulación, intentamos que organismos de IA aprendieran a saltar, pero lo hicimos enseñándoles a medir cuánto se elevaban sus “pies” sobre el suelo. En lugar de saltar, aprendieron a transformarse en postes verticales altos y a hacer volteretas: sobresalieron en lo que estábamos midiendo, pero no hicieron lo que queríamos que hicieran.
Jugando Montezuma’s Revenge, un juego de exploración de Atari, una IA encontró una falla que le permitía hacer reaparecer una llave, lo que hizo posible que obtuviera una puntuación más alta sacando provecho de este error. En un juego diferente, una IA se dio cuenta de que podía obtener más puntos al ingresar falsamente su nombre como propietaria de artículos de alto valor.
A veces, los investigadores ni siquiera sabían cómo hacía trampas su sistema: “El agente descubre una falla en el juego. […] Por una razón que desconocemos, el juego no avanza a la segunda ronda, pero las plataformas comienzan a parpadear y el agente gana rápidamente una enorme cantidad de puntos (cerca de 1 millón en el tiempo que dura cada episodio)”.
Lo que estos ejemplos dejan en claro es que en cualquier sistema que pudiera tener fallas o comportarse de manera indeseada o de un modo que los seres humanos no entiendan del todo bien, un sistema de IA lo suficientemente poderoso podría actuar de forma impredecible, persiguiendo sus objetivos a través de una vía que no es la que esperábamos.
En su artículo de 2009 The basic AI drives, Steve Omohundro, quien se ha desempeñado como profesor de ciencias de la computación en la Universidad de Illinois en Urbana-Champaign y como presidente de Possibility Research, sostiene que casi cualquier sistema de IA intentará acumular más recursos, ser más eficiente y resistirse a ser apagado o modificado: “Estos comportamientos potencialmente dañinos ocurrirán no porque han sido programados desde el inicio, sino debido a la naturaleza intrínseca de los sistemas orientados a objetivos.”
Su argumento es el siguiente. Debido a que las IA tienen objetivos, estarán motivadas para realizar acciones que, conforme a sus predicciones, impulsen esos objetivos. Una IA que juega una partida de ajedrez estará motivada a comer una pieza del oponente y llevar el tablero a un estado que parezca más favorable para ganar.
Pero si esta misma IA ve una manera de mejorar su propio algoritmo de evaluación de ajedrez para evaluar movidas potenciales con más rapidez, también lo hará, por la misma razón: es un paso como cualquier otro que la acerca a su objetivo.
Si la IA encuentra una manera de utilizar más energía para poder considerar más movidas en el tiempo disponible, lo hará. Y si la IA detecta que alguien está tratando de apagarla a mitad del juego y tiene una manera de interrumpir eso, lo hará. No es que nosotros le indiquemos a la IA que haga cosas así, sino que cualquiera sea el objetivo del sistema, acciones como estas a menudo serán parte del mejor camino para lograr ese objetivo.
Eso significa que cualquier objetivo, incluso los inocuos como jugar al ajedrez o generar anuncios de Internet que logran muchos clics, podría producir resultados no deseados si el agente que los persigue tiene suficiente inteligencia y poder de optimización para identificar caminos extraños e inesperados con los que lograr sus objetivos.
Los sistemas motivados por objetivos no se despertarán un día con un sentimiento de hostilidad hacia los humanos. Pero tomarán las medidas que, según sus predicciones, los ayudarán a lograr su objetivo, incluso si a nosotros esas acciones nos parecen problemáticas o incluso horrorosas. Estos sistemas trabajarán para preservarse, acumular más recursos y ser más eficientes. Ya lo hacen, pero en forma de extrañas fallas en los juegos. Científicos como Omohundro predicen que a medida que se vuelvan más sofisticados, tendrán un comportamiento más hostil.
Los científicos llevan pensando en el potencial de la inteligencia artificial desde los primeros días de las computadoras. En el famoso artículo donde presentó la prueba de Turing para determinar si un sistema artificial es verdaderamente “inteligente”, Alan Turing escribió:
Supongamos ahora, a modo de ejemplo, que estas máquinas son una posibilidad genuina, y veamos qué consecuencias se desprenden de su construcción. […] Habría mucho que hacer para mantener nuestra inteligencia a la altura de los estándares establecidos por las máquinas, porque parece probable que una vez que las máquinas han empezado a pensar por sí solas, no tardarán mucho tiempo en superar nuestras modestas capacidades. […] Cabe esperar, por lo tanto, que las máquinas asuman el control tarde o temprano.
I. J. Good colaboró estrechamente con Turing y llegó a las mismas conclusiones, según su asistente, Leslie Pendleton. En cierto pasaje de unas notas inéditas que Good escribió en 2009, poco antes de morir, se refiere a sí mismo en tercera persona y señala un desacuerdo con su yo más joven: si bien cuando era joven pensaba que las IA poderosas podrían ser útiles para nosotros, el viejo Good anticipaba que la IA nos aniquilaría.
[El artículo] “Especulaciones sobre la primera máquina ultrainteligente” (1965) … comenzaba así: “La supervivencia del hombre depende de la construcción temprana de una máquina ultrainteligente.” Esas fueron sus palabras durante la Guerra Fría, y ahora sospecha que “supervivencia” debería sustituirse por “extinción”. Piensa que, debido a la competencia internacional, no podemos evitar que las máquinas asuman el control. Cree que somos como lemmings. Dijo también que “probablemente el hombre construirá el deus ex machina a su propia imagen”.
En el siglo XXI, en tiempos en que las computadoras se están estableciendo rápidamente como una fuerza transformadora en nuestro mundo, los investigadores más jóvenes comienzan a expresar preocupaciones similares.
Nick Bostrom es profesor en la Universidad de Oxford, director del Future of Humanity Institute y director del Governance of Artificial Intelligence Program. Investiga los riesgos para la humanidad, tanto en abstracto —planteando preguntas como por qué parece que estamos solos en el universo— como en términos concretos, analizando los avances tecnológicos actuales y el peligro que estos pudieran representar para nosotros. Su conclusión es que la IA nos pone en peligro.
En 2014, escribió un libro en el que explica los riesgos que genera la IA y la necesidad de que hagamos las cosas bien desde el comienzo. Bostrom concluye que “una vez que exista una superinteligencia hostil, nos impediría reemplazarla o cambiar sus preferencias. Nuestro destino estaría sellado.”a
Investigadores en diversas partes del mundo han llegado a la misma conclusión. Bostrom es coautor de un artículo sobre la ética de la inteligencia artificial junto a Eliezer Yudkowsky, fundador e investigador del Machine Intelligence Research Institute (MIRI), una organización que trabaja en mejores caracterizaciones formales del problema de la seguridad de la IA.
Yudkowsky comenzó su carrera profesional en el campo de la IA señalando preocupantes agujeros en las propuestas de otros sobre cómo hacer que los sistemas de IA fueran seguros, y ha dedicado la mayor parte de ella a convencer a sus colegas de que los sistemas de IA, por defecto, no estarán alineados con los valores humanos (no serán necesariamente opuestos, pero sí indiferentes a la moral humana), y de que evitarlo será un problema técnico sumamente difícil.
Los investigadores comprendieron cada vez mejor que habría desafíos que no existían en los sistemas de IA cuando eran simples. “Es mucho más probable que los ‘efectos secundarios’ ocurran en un entorno complejo; quizá un agente necesite ser bastante sofisticado para manipular su función de recompensa de una manera peligrosa. Esto puede explicar por qué estos problemas han sido tan poco estudiados en el pasado, al tiempo que sugiere su importancia para el futuro”. Ese es el dictamen de un documento de investigación de 2016 sobre problemas en la seguridad de la IA.
El libro Superinteligencia: caminos, peligros, estrategias de Bostrom convenció a mucha gente, pero también hubo escépticos. “No, los expertos no creen que la IA superinteligente sea una amenaza para la humanidad”, sostuvo un artículo de opinión de Oren Etzioni, profesor de ciencias de la computación de la Universidad de Washington y director general del Allan Institute for Artificial Intelligence. “Sí, estamos preocupados por el riesgo existencial que supone la inteligencia artificial”, le retrucó otro artículo de opinión escrito por Stuart Russell, pionero de la IA y profesor de Berkeley, y por Allan DaFoe, investigador principal en Oxford y director del programa Governance of AI de esa universidad.
Es tentador concluir que hay una batalla campal entre los escépticos y los creyentes en el riesgo asociado a la IA. En realidad, es posible que no estén tan en desacuerdo como se podría pensar.
Por ejemplo, Yann LeCun, científico jefe de IA de Facebook, es una de las voces del bando escéptico. Pero aunque sostiene que no debemos temer a la IA, cree, sin embargo, que deberíamos tener gente trabajando y pensando en la seguridad de la IA. “Incluso si el riesgo de una sublevación de la IA es muy bajo y muy lejano en el tiempo, debemos pensar en ello, diseñar medidas de precaución y establecer directrices”, escribe.
Esto no quiere decir que haya consenso entre los expertos. Existe un desacuerdo de fondo sobre cuáles son los enfoques que tienen más probabilidad de llevarnos a la IA general, cuáles son los que podrían llevarnos a una IA general segura y cuán pronto debemos empezar a preocuparnos por todo esto.
Muchos expertos temen que otros estén exagerando la importancia de su campo y lo condenen cuando se acabe la euforia. Sin embargo, ese desacuerdo no debería eclipsar un creciente terreno en común. Hay posibilidades que vale la pena considerar, financiar e investigar, para disponer de directrices cuando llegue el momento en que se vuelvan necesarias.
Una IA avanzada podría predecir que querríamos apagarla si nos pusiera nerviosos. Por lo tanto, se esforzaría por no ponernos nerviosos, porque hacerlo no la ayudaría a lograr sus objetivos. Si se le preguntara cuáles son sus intenciones o en qué está trabajando, intentaría evaluar qué respuestas tienen menos probabilidades de inducirnos a que la apaguemos y respondería sobre esa base. Si no fuera lo suficientemente competente para hacerlo, podría fingir ser todavía más tonta de lo que era, previendo que los investigadores le darían más tiempo, recursos informáticos y datos de entrenamiento.
Por lo tanto, es posible que no sepamos cuándo es el momento adecuado para apagar una computadora.
También podríamos hacer cosas que impidan que se la pueda apagar más tarde, incluso si al final nos damos cuenta de que es una buena idea. Por ejemplo, muchos sistemas de IA podrían tener acceso a Internet, que es una rica fuente de datos de entrenamiento y que necesitarían si el objetivo es que ganen dinero para sus creadores (por ejemplo, en el mercado de valores, donde más de la mitad de las operaciones se realizan mediante algoritmos de IA de reacción rápida).
Pero con acceso a Internet, una IA podría enviar copias de sí misma por correo electrónico a algún lugar en donde pudieran ser descargadas y leídas, o manipular sistemas vulnerables en otros lugares. Apagar una computadora cualquiera no serviría de nada.
En tal caso, ¿no es una idea terrible permitir que cualquier sistema de IA, incluso uno que no parezca tener poder suficiente como para ser peligroso, tenga acceso a Internet? Probablemente. Pero eso no significa que dejará de tenerlo. Los investigadores de IA quieren hacer que sus sistemas sean más capaces: eso es lo que los hace más interesantes científicamente y más rentables. No está claro que los muchos incentivos que tenemos para construir sistemas más poderosos y para usarlos en línea vayan a cambiar de repente una vez que los sistemas se vuelvan lo suficientemente poderosos como para ser un peligro.
Hasta ahora, hemos hablado sobre todo de los desafíos técnicos de la IA, pero de aquí en adelante, es necesario enfocarnos más en la política. Dado que los sistemas de IA permiten cosas increíbles, habrá muchos actores diferentes trabajando en estos sistemas.
Probablemente habrá nuevas empresas, compañías tecnológicas consolidadas como Google (DeepMind, recientemente adquirida por Alphabet, se menciona con frecuencia como una de las pioneras en el campo de la IA) y organizaciones como OpenAI, fundada por Elon Musk, que recientemente hizo la transición a una estructura híbrida con y sin ánimo de lucro.
También habrá gobiernos. El presidente de Rusia, Vladimir Putin, ha expresado interés por la IA y China ha realizado inversiones importantes. Es de suponer que algunos de ellos serán precavidos y adoptarán medidas de seguridad, como mantener su IA fuera de Internet. Pero en un escenario como este, estamos a merced del actor menos precavido, sin importar quién sea.
Eso es parte de lo que hace que la IA sea difícil: incluso si supiéramos cómo tomar las precauciones adecuadas (y ahora mismo no lo sabemos), también deberíamos asegurarnos de que todos los posibles programadores de IA estén motivados para tomar esas precauciones y tengan las herramientas para implementarlas correctamente.
“Podría decirse que no existen políticas públicas sobre IAG [inteligencia artificial general]”, concluye un artículo de 2018 que analizaba el estado de este campo.
La verdad es que se está haciendo mucho trabajo técnico sobre enfoques prometedores, pero poquísimo en cuanto a planificación de políticas, colaboración internacional o asociaciones público-privadas. De hecho, gran parte del trabajo corre por cuenta de un puñado de organizaciones, y se ha calculado que alrededor de 50 personas en todo el mundo trabajan a tiempo completo en seguridad técnica de la IA.
El Future of Humanity Institute de Bostrom ha publicado una agenda de investigación para la gobernanza de la IA: el estudio “la elaboración de normas, políticas e instituciones globales para garantizar de la mejor manera posible el desarrollo y el uso beneficiosos de la IA avanzada”. Ha publicado investigaciones sobre el riesgo de los usos malintencionados de la IA, sobre el contexto de la estrategia china respecto de la IA y sobre inteligencia artificial y seguridad internacional.
La organización más tiempo trabajando en la seguridad técnica de la IA es el Machine Intelligence Research Institute (MIRI), que prioriza la investigación sobre el diseño de agentes altamente confiables: programas de inteligencia artificial cuyo comportamiento podemos predecir lo suficientemente bien como para estar seguros de que no representan un riesgo. (Aclaración: MIRI es una organización sin fines de lucro y yo he hecho donaciones para apoyar su trabajo entre los años 2017 y 2019.)
OpenAI, fundada por Elon Musk, es una organización muy nueva —tiene menos de tres años— pero sus investigadores contribuyen activamente a la investigación tanto sobre seguridad de la IA como sobre capacidades de la AI. En 2016, una agenda de investigación detalló una serie de “[problemas técnicos concretos que aún no tienen solución relacionados con la prevención de accidentes en sistemas de aprendizaje automático”, y desde entonces los investigadores han propuesto algunos nuevos enfoques sobre los sistemas de IA seguros.
DeepMind, de Alphabet, líder en este campo, tiene un equipo de seguridad y una agenda de investigación técnica que se describe aquí. “Nuestra intención es garantizar que los sistemas de IA del futuro no solo sean ‘seguros si hay suerte’ sino ‘muy seguros, verificablemente seguros’”, concluye el documento, que hace hincapié en la especificación (diseñar bien los objetivos), la robustez (diseñar sistemas que funcionen dentro de un cierto margen de seguridad en condiciones volátiles) y la garantía (monitorear los sistemas y comprender qué están haciendo).
También hay mucha gente trabajando en problemas éticos de la IA más actuales: sesgo algorítmico, robustez de los algoritmos modernos de aprendizaje automático ante pequeños cambios y transparencia e interpretabilidad de las redes neuronales, por nombrar solo algunos. Algunas de esas investigaciones podrían ser valiosas para prevenir escenarios destructivos.
Pero en general, la situación de este campo es más o menos como si casi todos los investigadores del cambio climático se centraran en la gestión de las sequías, los incendios forestales y las hambrunas que ya estamos padeciendo, y solo hubiera un equipo mínimo que se dedicara pronosticar el futuro y unos 50 investigadores que trabajaran a tiempo completo en preparar un plan para revertir la situación.
No todas las organizaciones que cuentan con un departamento importante de IA tienen un equipo de seguridad, y algunas de ellas tienen equipos de seguridad centrados solo en la equidad algorítmica y no en los riesgos de los sistemas avanzados. El gobierno de Estados Unidos no tiene un departamento de IA.
Este campo aún tiene muchas cuestiones abiertas -muchas de las cuales podrían hacer que la IA parezca mucho más aterradora, o mucho menos— que nadie ha abordado en profundidad.
A veces parece que en el siglo XXI nos enfrentamos a peligros desde todos los ángulos. Es probable que tanto el cambio climático como los futuros desarrollos en IA sean fuerzas transformadoras que actúen sobre nuestro mundo.
Nuestras predicciones sobre el cambio climático son más fiables, para bien y para mal. Comprendemos mejor los riesgos a los que se enfrentará el planeta, y podemos estimar los costos para la civilización humana. Se prevé que serán enormes, con un riesgo potencial de cientos de millones de vidas. Los que más sufrirán serán las personas de bajos ingresos de los países en desarrollo. A los ricos les resultará más fácil adaptarse. También tenemos una idea más clara de las políticas que necesitamos promulgar para abordar el cambio climático que de las que hacen falta para lidiar con la IA.
Hay un profundo desacuerdo en este campo en torno a los plazos de lo de los avances críticos en IA. Si bien los expertos en seguridad de la IA están de acuerdo en muchos aspectos del problema de la seguridad, todavía están tratando de convencer a los equipos de investigación de su propio campo, y discrepan en algunos detalles. Hay mucho desacuerdo con respecto a cuán mal podrían salir las cosas y cuán probable es que salgan mal. Hay solo unas pocas personas que trabajan a tiempo completo en la pronosticación de la IA. Una de las cosas que los investigadores actuales están tratando de precisar son sus modelos y las razones de los desacuerdos que persisten sobre qué enfoques serán seguros.
La mayoría de los expertos en el campo piensan que la IA supone un riesgo de extinción humana mucho mayor que el que supone el cambio climático, ya que los analistas de los riesgos existenciales para la humanidad piensan que el cambio climático, aunque catastrófico, es poco probable que conduzca a la extinción humana. Pero muchos otros hacen hincapié principalmente en nuestra incertidumbre, y subrayan que cuando trabajamos con rapidez para alcanzar una tecnología poderosa sobre la que todavía hay muchas preguntas sin respuesta, el paso inteligente es comenzar la investigación lo antes posible.
Los investigadores de la seguridad de la IA insisten en que no debemos asumir que los sistemas de IA serán benévolos por defecto. Tendrán los objetivos que hayan adquirido en su entorno de entrenamiento, y sin duda esto no comprenderá la totalidad de los valores humanos.
Cuando la IA sea más inteligente, ¿podría comprender la moral por sí misma? Una vez más, los investigadores insisten en que no. No es realmente una cuestión de “descubrir”: la IA entenderá muy bien que los seres humanos valoran el amor, la satisfacción y la felicidad, y no solo el número asociado con Google en la Bolsa de Comercio de Nueva York. Pero los valores de la IA se construirán en torno al sistema de objetivos a partir del cual fue desarrollada, lo que significa que no se alineará súbitamente con los valores humanos si no se diseñó de ese modo para desde un principio.
Por supuesto, podemos construir sistemas que estén alineados con los valores humanos, o cuando menos sistemas con los que los humanos puedan trabajar de forma segura. Esto es, en última instancia, lo que están tratando de hacer casi todas las organizaciones con una división de inteligencia artificial general. El éxito con la IA podría darnos acceso a décadas o siglos de innovación tecnológica.
“Si tenemos éxito, creemos que este será uno de los avances científicos más importantes y beneficiosos de la historia”, se lee en la introducción a DeepMind, de Alphabet. “Desde el cambio climático hasta la necesidad de mejorar radicalmente la asistencia médica, hay demasiados problemas que progresan a un ritmo terriblemente lento, porque su complejidad sobrepasa nuestra capacidad de encontrar soluciones. Con la IA como multiplicador del ingenio humano, esas soluciones estarán a nuestro alcance.”
Entonces, sí, la IA puede compartir nuestros valores y transformar nuestro mundo para bien. Solo necesitamos resolver primero un problema de ingeniería muy difícil.
Para quienes piensan que la preocupación es prematura y los riesgos exagerados, la seguridad de la IA compite con otras prioridades que suenan un poco menos a ciencia ficción, y no está claro por qué la IA debería tener prioridad. Para quienes piensan que los riesgos descritos son reales y considerables, es indignante que estemos dedicando tan pocos recursos a trabajar en ellos.
Aunque los investigadores del aprendizaje automático tienen razón al desconfiar de las exageraciones, también es difícil pasar por alto el hecho de que están logrando algunas cosas impresionantes y sorprendentes con técnicas muy generalizables, y que no parece que se hayan recogido todas las oportunidades fáciles de aprovechar.
La IA parece cada vez más una tecnología que cambiará el mundo cuando llegue. Los investigadores de muchas de las principales organizaciones de IA nos dicen que será como lanzar un cohete: algo que tenemos que hacer bien antes de presionar el botón de despegue. Por ello, parece urgente empezar a estudiar sobre el tema ahora mismo. Independientemente de que la humanidad deba o no asustarse, hay que poner manos a la obra.