Objetivo: ofrecer un panorama básico de la situación actual de la gobernanza de la IA largoplacista.
Público: personas que estén poco familiarizadas con la gobernanza de la IA largoplacista y quieran entenderla mejor. No espero que sea útil para quienes ya estén familiarizados con este campo. Agregado: A algunas personas que ya estaban familiarizadas con el tema les ha resultado útil.
Este artículo describe los diversos tipos de trabajo que se están llevando a cabo en la gobernanza de la IA largoplacista. Para cada tipo de trabajo, explicaré de qué se trata, daré ejemplos, describiré algunos escenarios en los que podría tener un impacto positivo y enumeraré los actores que conozco y que están realizando este tipo de trabajo en la actualidad.a
En primer lugar, algunas definiciones:
-
La gobernanza de la IA significa crear normas, políticas, leyes, procesos, actividad política e instituciones (no solo gobiernos) locales y globales que influyan en los resultados sociales del desarrollo y despliegue de los sistemas de IA largoplacista.b
-
La gobernanza de la IA largoplacista, en particular, es el subconjunto de estas actividades motivadas por una preocupación por los impactos a muy largo plazo de la IA. Esto se solapa significativamente con las actividades dirigidas a gobernar la inteligencia artificial transformadora (IAT).
Cabe señalar que el campo de la gobernanza de la IA largoplacista es muy pequeño. Yo diría que hay unas 60 personas trabajando en la gobernanza de la IA motivadas por una preocupación por los impactos a muy largo plazo.
Breve resumen
En términos generales, me parece útil considerar que existe un espectro entre el trabajo fundacional y el aplicado. En el extremo fundacional, está la investigación estratégica, que pretende identificar objetivos de alto nivel deseables para la gobernanza de la IA largoplacista; luego está la investigación táctica, que pretende identificar planes que ayuden a alcanzar esos objetivos de alto nivel. En cuanto a la aplicación, hay un trabajo de desarrollo de políticas que toma esta investigación y la traduce en políticas concretas, un trabajo de promoción de estas políticas con el objetivo de que se implementen y, por último, la implementación efectiva de las políticas (por parte de funcionarios, por ejemplo).
También existe el trabajo de construcción de campo (que no encaja claramente en el espectro). En lugar de contribuir directamente al problema, este trabajo pretende crear un campo con personas que realicen un trabajo valioso en ese ámbito.
Por supuesto, esta clasificación es una simplificación y no todo trabajo encajará perfectamente en una única categoría.
Podría pensarse que los conocimientos fluyen principalmente desde el extremo más fundacional del espectro hacia el más aplicado, pero también es importante que la investigación sea sensible a las preocupaciones políticas, por ejemplo, considerando la probabilidad de que la investigación que se realiza sirva de base a una propuesta política que sea viable políticamente.
A continuación analizaremos cada uno de estos tipos de trabajo con más detalle.
Investigación
Investigación estratégica
La investigación estratégica de la IA largoplacista intenta identificar los objetivos de alto nivel que podríamos perseguir y que, de lograrse, aumentarían claramente las probabilidades de obtener buenos resultados de la IA avanzada, desde una perspectiva largoplacista (siguiendo a Muehlhauser, a veces me referiré a este objetivo como “obtener claridad estratégica”).
Esta investigación puede variar en un espectro entre focalizada y exploratoria, definidas del siguiente modo:
- La investigación estratégica focalizada responde preguntas que arrojan luz sobre otra cuestión específica, importante y conocida.
- Por ejemplo: “Quiero averiguar cuánto poder de cómputo utiliza el cerebro humano, porque esto me ayudará a responder la pregunta de cuándo se desarrollará la IAT (lo que influye en los objetivos de alto nivel que debemos perseguir).”
- La investigación sobre estrategia exploratoria responde preguntas sin tener una idea muy precisa de qué otras preguntas importantes nos ayudará a responder.
- Por ejemplo: “Quiero averiguar cómo es la política industrial de China, porque probablemente me ayudará a responder un montón de preguntas estratégicas importantes, aunque no sé exactamente cuáles.”
Ejemplos
- Trabajos sobre la pronosticación de la IAT, por ejemplo los anclajes biológicos y las leyes de escalamiento para modelos neuronales de lenguaje.
- Ejemplo de relevancia estratégica: si la IAT es inminente, hacer crecer lentamente un gran campo de expertos parece menos prometedor; si la IAT está muy lejos, la gobernanza de la IA largoplacista probablemente debería ser relativamente menos prioritaria.
- Trabajos para aclarar las fuentes del riesgo existencial asociado a la IA, por ejemplo, los escritos de Christiano, Critch, Carlsmith, Ngo y Garfinkel.
- Ejemplo de relevancia estratégica: si la mayor parte del riesgo existencial de la IA procede de agentes avanzados de IA desalineados, la gobernanza debería centrarse en influir en los primeros actores que la construyan.
- Trabajos de investigación sobre la velocidad del progreso de la IA en torno a la IAT, por ejemplo, la investigación y el análisis de AI Impacts.
- Ejemplo de relevancia estratégica: si el progreso de la IA ocurre de forma discontinua, es probable que solo haya un pequeño número de actores con una importancia decisiva, y la mayor parte del valor de la gobernanza vendrá de ejercer influencia sobre esos actores.
Es fácil confundir la investigación sobre estrategia (y especialmente la investigación sobre estrategia exploratoria) con la investigación de alcance amplio. Como muestran muchos de los ejemplos anteriores, la investigación sobre estrategia puede tener un alcance reducido, es decir, puede responder a una pregunta bastante específica. Ejemplos de preguntas de alcance amplio o reducido:
- Sobre leyes de escalamiento:
- Alcance amplio: en general, ¿cómo cambia el rendimiento de los modelos de aprendizaje profundo a medida que aumenta el tamaño de esos modelos?
- Alcance más reducido: ¿cómo cambia el rendimiento de los modelos de lenguaje a gran escala (por ejemplo, GPT-3) a medida que aumenta el tamaño de esos modelos? (La cuestión abordada en este documento.)
- Sobre las fuentes del riesgo existencial de la IA:
- Alcance amplio: ¿cuánto riesgo existencial plantea la IA avanzada en general?
- Alcance más reducido: ¿cuánto riesgo existencial plantean específicamente los agentes de IA que buscan influencias? (La cuestión abordada en este informe.)
De hecho, creo que a menudo es mejor elegir preguntas de alcance reducido, especialmente para investigadores con poca experiencia, porque tienden a ser más fáciles de responder.
Luke Muehlhauser tiene algunas recomendaciones para quienes quieran probar este tipo de trabajo: véase el punto 4 de este artículo. Y véase este artículo para algunos ejemplos de preguntas de investigación pendientes de respuesta.c
Escenarios de impacto
- Impacto directo: hay muchos objetivos posibles en la gobernanza de la IA, y tenemos que priorizar los más importantes. Este trabajo suele estar motivado por la impresión que tienen los investigadores de que hay muy poca claridad sobre los temas que influyen en los objetivos que deberíamos perseguir. Por ejemplo, véanse los resultados de estas encuestas, que muestran un amplio desacuerdo sobre los escenarios de riesgo existencial que plantea la IA y sobre la cantidad total de riesgo existencial asociado a la IA, respectivamente.
- Impacto indirecto:
- Construcción de campo: tener una comprensión clara de lo que estamos intentando conseguir y por qué es importante ayudaría a atraer a más gente a este campo.
- Comunicar la necesidad de un cambio de políticas: si queremos convencer a la gente de que tome medidas costosas o drásticas en el futuro, es preciso saber explicar claramente lo que queremos conseguir y por qué importa conseguirlo.
¿Quién está trabajando en el tema?
Algunas personas de las siguientes organizaciones: FHI, GovAI, CSER, DeepMind, OpenAI, GCRI, CLR, Rethink Priorities, OpenPhil, CSET,d además de algunos académicos independientes.
Investigación táctica
La investigación táctica de la IA largoplacista tiene como objetivo último identificar planes que ayuden a alcanzar objetivos de alto nivel (que la investigación estratégica haya identificado como prioritarios). Suele tener un alcance más reducido por naturaleza.
Vale la pena señalar que puede haber razones para hacer investigación táctica aunque no se haya identificado claramente ningún objetivo prioritario: para el propio aprendizaje, para acumular capital profesional y para ayudar a construir un campo académico.
Ejemplos
- La cláusula de bonanza
- Plan: desarrollar una herramienta para distribuir los beneficios de la IA para el bien común.
- Objetivos de alto nivel que persigue este plan: reducir los incentivos de los actores para competir por ser los primeros en desarrollar una IA avanzada; reducir la desigualdad económica.
- Mecanismos de apoyo de las afirmaciones verificables
- Plan: desarrollar prácticas que permitan a los desarrolladores de IA hacer más verificables sus propias afirmaciones sobre el desarrollo de la IA (es decir, afirmaciones de las que se pueda responsabilizar a los desarrolladores).
- Objetivos de alto nivel que persigue este plan: desarrollar mecanismos para demostrar el comportamiento responsable de los sistemas de IA; permitir una supervisión más eficaz; reducir la presión para recortar gastos en vista de obtener una ventaja competitiva.
- IA y antimonopolio
- Plan: proponer formas de mitigar las tensiones entre la legislación sobre competencia y la necesidad de un desarrollo cooperativo de la IA.
- Objetivos de alto nivel que persigue este plan: fomentar la cooperación entre empresas que están tratando de desarrollar la IA avanzada.
Escenarios de impacto
- Impacto directo: crear soluciones que sirvan para tomar mejores decisiones (en política e investigación futura).
- Es lo que Allan Dafoe denomina “modelo de la investigación centrado en el producto”.
- Impacto indirecto: aunque no todas las soluciones se utilicen para tomar mejores decisiones, contribuirán a aumentar el número de personas que se preocupan por la gobernanza de la IA largoplacista y mejorarán los conocimientos, la competencia, las conexiones y la credibilidad de los investigadores.
- Esto es lo que Allan Dafoe llama el “modelo de la investigación centrado en la construcción de campo”.
¿Quién está trabajando en el tema?
Algunas personas de las siguientes organizaciones: FHI, GovAI, CSER, DeepMind, OpenAI, GCRI, CSET, Rethink Priorities, Institute for Law & AI, además de algunos académicos independientes.
Desarrollo, promoción y aplicación de políticas
La investigación estratégica produce objetivos de alto nivel. La investigación táctica toma esos objetivos y elabora planes para alcanzarlos. El trabajo en desarrollo de políticas toma esos planes y los traduce en recomendaciones de políticas listas para ser entregadas a los responsables de formular políticas. Para ello hay que averiguar, por ejemplo, qué tipo de solicitud hay que hacer, qué lenguaje utilizar (tanto en la política formal como en la solicitud) y otras características específicas del contexto que afectarán a la probabilidad de éxito de la aplicación.
El trabajo de promoción de políticas promueve su adopción, por ejemplo, averiguando quién es la persona más adecuada para hacer la solicitud, a quién y en qué momento.
La aplicación de políticas es el trabajo de llevarlas a la práctica, a cargo de funcionarios o empresas.
Merece la pena distinguir la política gubernamental (es decir, la política pensada para ser promulgada por gobiernos u organizaciones intergubernamentales) de la política empresarial (es decir, la política pensada para que sea adoptada por las empresas). Algunas personas que trabajan en la gobernanza de la IA largoplacista se centran en mejorar la política empresarial (especialmente las políticas de los desarrolladores de la IA), mientras que otros en este campo se centran en mejorar las políticas de los gobiernos pertinentes.
Una motivación común a todo el trabajo sobre políticas es que a menudo se considera que los detalles de aplicación son fundamentales para el éxito en este ámbito. Por ejemplo, la presencia de una pequeña laguna puede volver inútil una norma gubernamental.
En comparación con la investigación, este tipo de trabajo tiende a exigir relativamente menos reflexión individual y relativamente más conversación y recopilación de información (por ejemplo, celebrar reuniones para saber quién tiene autoridad sobre una determinada política, qué les preocupa y qué quieren obtener de una política otros actores), así como coordinación (por ejemplo, averiguar cómo se puede conseguir que un grupo de agentes respalde una política y, a continuación, hacer que eso ocurra).
Como ya se ha dicho, la comprensión de las políticas a veces fluye “hacia atrás”. Por ejemplo, el desarrollo de una política puede hacerse de forma iterativa, sobre la base del modo en que la promoción cambia los propios conocimientos (y el panorama político).
Ejemplos
- Política gubernamental:
- Comprometerse a no incorporar la tecnología de IA al mando, control y comunicaciones nucleares (NC3), por ejemplo, como defiende el CLTR en su informe Future Proof.
- Supervisión gubernamental del desarrollo de la IA, por ejemplo, como se la describe en este informe técnico sobre supervisión de la IA.
- Procurar que la regulación emergente o las estrategias y principios de la IA tengan en cuenta los riesgos de los sistemas avanzados de IA (así como los riesgos de los sistemas actuales), por ejemplo, comentarios de varias organizaciones alineadas con el altruismo eficaz sobre la Ley de Inteligencia Artificial de la Unión Europea.
- Política empresarial:
- Desarrollar normas para la difusión responsable de la investigación sobre IA, dado su potencial de uso indebido, por ejemplo estas recomendaciones de PAI.
Estas ideas varían en un espectro que va desde las más focalizadas (por ejemplo, no integrar la IA al NC3) a las más generales (en el sentido de crear capacidad general para hacer frente a una amplia clase de problemas que probablemente surgirán, como es el caso de la mayoría de los ejemplos anteriores). Creo que nuestras actividades actuales de desarrollo, promoción y aplicación de políticas deberían centrarse sobre todo en ideas más generales, dadas las incertidumbres que tenemos sobre cómo se desarrollará la IA (aunque también deberíamos impulsar ideas específicas claramente valiosas, cuando se presenten).
Escenarios de impacto
-
Impacto directo: contar con buenas políticas aumenta nuestras posibilidades de navegar con éxito la transición a un mundo con IA avanzada.
-
Impacto indirecto: incluso si no se puede estar seguro de que una idea sobre políticas sea buena, desarrollarla, promoverla o aplicarla ayudará a construir la comprensión, la competencia, las conexiones y la credibilidad de los actores involucrados en la gobernanza de la IA largoplacista. No queremos llegar al “momento crítico” de la IAe y solo entonces empezar a aprender cómo desarrollar políticas y tomar decisiones.
- Dicho esto, deberíamos tener mucho cuidado con la aplicación de políticas que podrían acabar siendo perjudiciales, por ejemplo, por limitar el desarrollo de políticas futuras.
¿Quién está trabajando en el tema?
- Desarrollo:
- Promoción:
- Aplicación:
Construcción de campo
Se trata de un trabajo cuyo objetivo explícito es hacer crecer el campo o la comunidad de personas que están realizando un trabajo valioso en la gobernanza de la IA largoplacista.f Se podría pensar que este trabajo implica tanto (1) incorporar a nuevas personas como (2) hacer que el campo sea más efectivo.
Ejemplos
- Atraer a nuevas personas creando:
- becas de política, como la OpenPhil Technology Policy Fellowship;
- programas en línea o cursos para ayudar a los jóvenes a ponerse al día sobre lo que ocurre en la gobernanza de la IA;
- material introductorio de alta calidad y atractivo que llegue a muchos estudiantes;
- más becas de investigación extensibles para conectar, apoyar y acreditar a los jóvenes interesados.
- Hacer que el campo sea más eficaz creando:
- agendas de investigación;
- formas de que los investigadores veteranos contraten fácilmente ayudantes de investigación.g
Escenarios de impacto
- Modelo de crecimiento: construir un campo de gobernanza de la IA largoplacista con mucha gente alineada, con la capacidad y los conocimientos pertinentes para hacer un trabajo importante de investigación y de diseño de políticas (quizá especialmente cuando este trabajo está menos limitado por la falta de claridad estratégica).
- Modelo de la metrópolis:h construir un campo de gobernanza de la IA largoplacista que tenga densas conexiones con comunidades más amplias (por ejemplo, de formulación de políticas, ciencias sociales, o aprendizaje automático), de forma que el campo pueda nutrirse de los conocimientos diversos de estas comunidades.
¿Quién está trabajando en el tema?
GovAI, OpenPhil, SERI, CERI, CHERI y EA Cambridge. Desde un punto de vista más amplio, también hay que incluir todo el trabajo dedicado a la construcción de la comunidad del altruismo eficaz no focalizado en una causa específica. Este es el tipo de trabajo menos explorado en este artículo.
Otras perspectivas del panorama de la gobernanza de la IA largoplacista
He presentado solamente una posible perspectiva del panorama de la gobernanza de la IA largoplacista; obviamente hay otras, que pueden ser más útiles para otros fines. Por ejemplo, se podría dividir el panorama en función de distintos tipos de intervenciones, como
- Cambiar los debates existentes en el ámbito político para hacerlos más sensibles al riesgo existencial asociado a la IA (por ejemplo, creando conciencia de la dificultad de hacer que los sistemas de IA de vanguardia sean seguros).
- Proponer nuevas herramientas políticas (por ejemplo, normas internacionales sobre IA).
- Conseguir que los gobiernos financien la investigación sobre la seguridad de la IA.
- Cambiar el comportamiento de las empresas (por ejemplo, la cláusula de bonanza).
- …
También se puede dividir por centros geográficos (aunque no todas las organizaciones forman parte de uno de estos centros):
- Área de la Bahía de San Francisco: OpenPhil, OpenAI, PAI, varias organizaciones de alineación de la IA. En promedio, más centradas en el desalineamiento como fuente del riesgo existencial de la IA; culturalmente más cercanas a Silicon Valley y a la comunidad de la racionalidad.
- DC: Gobierno de EE. UU., CSET. Centradas en el desarrollo, la promoción y la aplicación de políticas estadounidenses; más afines a la cultura de DC.
- Reino Unido: FHI/GovAI, DeepMind, gobierno británico, CSER, CLTR, (¿otros?). En general, mayor preocupación por una gama más amplia de fuentes de riesgo existencial de la IA.
- Unión Europea. En 2020, la Comisión Europea redactó el primer reglamento sobre IA del mundo, que probablemente se aprobará en los próximos años y podría provocar un efecto Bruselas.
- China.
- …
O se podría dividir el panorama en función de diferentes “teorías de la victoria”, es decir, historias completas sobre cómo la humanidad navega con éxito la transición a un mundo con IA avanzada. Se podría decir mucho más sobre todo esto; el objetivo de este artículo ha sido simplemente ofrecer una perspectiva concisa de los tipos de trabajo que se están llevando a cabo en la actualidad.
Agradecimientos: esta es mi propia síntesis del panorama, pero está inspirada y/o se basa directamente en los artículos del EA Forum de Allan Dafoe, Luke Muehlhauser y Convergence Analysis. Gracias también a Jess Whittlestone por sus útiles conversaciones, así como a Matthijs Maas, Yun Gu, Konstantin Pilz, Caroline Baumöhl y, especialmente, a un revisor del SERI por sus comentarios sobre un borrador.
Esta es una traducción directa del artículo original, publicado bajo licencia CC BY 4.0.