Investigación técnica en seguridad de la IA

publicado el 7 de noviembre de 2023

El progreso de la inteligencia artificial (IA), aunque puede ser muy beneficioso, conlleva riesgos importantes. Riesgos que, según hemos argumentado, podrían ser existenciales.

Pero estos riesgos pueden prevenirse.

Si la seguridad de la IA sigue avanzando, tendremos la oportunidad de desarrollar la IA para beneficio de todos: sistemas seguros, éticos y beneficiosos para toda la humanidad.

Este artículo explica cómo puedes ayudar.

Resumen

La inteligencia artificial tendrá efectos transformadores para la sociedad en las próximas décadas y podría aportar enormes beneficios. Pero consideramos también que existe un riesgo considerable. Una forma prometedora de reducir las probabilidades de una catástrofe relacionada con la IA es encontrar soluciones técnicas que nos permitan evitar que los sistemas de IA se comporten de forma peligrosa.

Ventajas

Oportunidad de contribuir de forma significativa a un campo de investigación de enorme importancia.
Trabajo intelectualmente estimulante e interesante.
El área tiene una gran necesidad de investigadores e ingenieros cualificados y, en general, está muy desatendida.

Desventajas

Debido a la escasez de directivos, es difícil conseguir trabajo y puede llevar algún tiempo reunir el capital profesional y los conocimientos necesarios.
Se necesita una sólida formación cuantitativa.
Puede ser muy difícil encontrar soluciones.
Existe un riesgo real de hacer daño.

Datos clave sobre la adecuación personal

Necesitarás una formación cuantitativa y probablemente te debería gustar programar. Si nunca has programado, puedes encajar si eres capaz de descomponer los problemas en partes lógicas, proponer y probar hipótesis, estar dispuesto a probar muchas soluciones diferentes y prestar mucha atención a los detalles.

Si ya eres un ingeniero de software destacado, podrías presentarte ahora mismo a puestos de colaborador de investigación empírica (incluso si no tienes formación en aprendizaje automático, aunque eso ayuda)
Si ya puedes acceder a un doctorado en aprendizaje automático de los 10 mejores, ello te pondría en el buen camino para convertirte en líder de investigación.
Si ya tienes una sólida formación en matemáticas o ciencias teóricas de la computación, probablemente encajarás bien en la investigación de alineación teórica.

Por qué la investigación técnica en seguridad de la IA es de alto impacto

Tal y como hemos argumentado, en las próximas décadas podríamos asistir al desarrollo de sistemas de aprendizaje automático enormemente potentes con el potencial de transformar la sociedad. Esta transformación podría proporcionar enormes beneficios, pero solo si evitamos los riesgos.

Creemos que los riesgos más graves de los sistemas de IA se deben en gran parte a que podrían estar desalineados, es decir, podrían intentar hacer cosas que no queremos que hagan. En particular, creemos que podrían estar desalineados a tal punto que desarrollen (y ejecuten) planes que pongan en peligro la capacidad de la humanidad para influir en el mundo, por mucho que no queramos que esa influencia se pierda.

Creemos que esto significa que estos sistemas futuros constituyen una amenaza existencial para la civilización.

Aunque encontremos la forma de evitar este comportamiento de búsqueda de poder, sigue habiendo riesgos sustanciales —como el uso indebido por parte de gobiernos u otros actores— que podrían ser amenazas existenciales en sí mismas.

Hay muchas maneras de reducir los riesgos asociados a estos sistemas. Pero una de las más prometedoras puede ser la investigación de soluciones técnicas que impidan comportamientos no deseados —incluido el comportamiento no alineado— por parte de los sistemas de IA. (Encontrar una forma técnica de evitar la desalineación, en particular, se conoce como el problema de la alineación.)

En los últimos años, hemos visto que cada vez más organizaciones empiezan a tomarse en serio estos riesgos. Muchos de los principales laboratorios industriales que desarrollan inteligencia artificial —como Google DeepMind y OpenAI— cuentan con equipos dedicados a encontrar estas soluciones, junto con grupos de investigación académica como los del MIT, de Oxford, de Cambridge, de la Universidad Carnegie Mellon y de la Universidad de California en Berkeley.

Dicho esto, el campo sigue siendo muy nuevo. Creemos que solo hay unas 300 personas trabajando en enfoques técnicos para reducir los riesgos existenciales de los sistemas de IA,⁠a lo que lo convierte en un campo muy desatendido.

Encontrar formas técnicas de reducir este riesgo podría ser todo un desafío. Cualquier solución provechosa en la práctica debe conservar la utilidad de los sistemas (seguir siendo económicamente competitiva con sistemas menos seguros) y seguir funcionando a medida que los sistemas mejoran con el tiempo (es decir, tiene que ser “extensible”). Como argumentamos en nuestro perfil del problema, parece difícil encontrar soluciones viables, sobre todo para los sistemas modernos de aprendizaje automático (AA).

(Si no sabes nada de AA, hemos escrito una muy breve introducción al AA, y más adelante en este artículo explicaremos con más detalle cómo aprender sobre AA. Por otra parte, si tienes experiencia en AA, habla con nuestro equipo: ellos pueden darte consejos personalizados sobre tu carrera profesional, ponerte en contacto con otras personas que trabajen en estos temas y, posiblemente, incluso ayudarte a encontrar trabajo u oportunidades de financiamiento).

Aunque parezca difícil, hay muchas vías de investigación para explotar y este campo es muy joven, por lo que no dejan de surgir direcciones de investigación prometedoras. Así que creemos que es medianamente tratable, aunque tenemos muchas dudas.

De hecho, tenemos incertidumbre sobre todo esto y hemos escrito mucho sobre las razones por las que podríamos estar equivocados sobre el riesgo asociado a la IA.

Pero, en general, pensamos que, si encaja bien con tu perfil, dedicarte a la investigación técnica en seguridad de la IA puede ser lo mejor que puedes hacer con tu carrera profesional.

¿En qué consiste esta carrera?

La investigación técnica en seguridad de la IA normalmente implica trabajar como científico o ingeniero en los principales laboratorios de IA, en el mundo académico o en organizaciones independientes sin ánimo de lucro.

Estos puestos pueden ser muy difíciles de conseguir. Es probable que tengas que acumular capital profesional antes de acabar ocupando un puesto de gran impacto (véase más abajo la sección sobre cómo entrar). Dicho esto, puede que no haga falta dedicar mucho tiempo a acumular este capital profesional: a veces hemos visto que algunas personas con un talento excepcional se pasan a la seguridad de la IA desde otros campos cuantitativos en menos de un año.

La mayor parte de la investigación técnica en seguridad de la IA se sitúa en un espectro entre la investigación empírica (experimentación con sistemas actuales para adquirir más conocimientos sobre lo que podría funcionar) y la investigación teórica (investigación conceptual y matemática que busca formas de garantizar que los futuros sistemas de IA sean seguros).

Independientemente del punto de este espectro en el que acabes trabajando, tu carrera profesional puede variar un poco en función de que tu objetivo sea dirigir la investigación (proponiendo proyectos, gestionando un equipo y fijando metas) o ser colaborador (centrándote en realizar las investigaciones).

Por último, hay dos puestos ligeramente diferentes a los que puede aspirar:

En el mundo académico, la investigación suele estar dirigida por catedráticos. El principal rasgo distintivo de un catedrático es que también imparte clases y es tutor de estudiantes de posgrado (y, por supuesto, necesitas tener un doctorado).
Muchos de los que colaboran en la investigación empírica (aunque no todos ellos) son también ingenieros, sobre todo ingenieros de software. Aquí nos centramos en los puestos de software que contribuyen directamente a la investigación sobre la seguridad de la IA (y que a menudo requieren cierta formación en AA). Hemos escrito sobre la ingeniería de software de forma más general en nuestra evaluación de esta carrera.

La imagen muestra una matriz de cuatro cuadrantes que clasifica roles en la investigación en función del tipo de investigación (empírica vs. teórica) y el tipo de función (líder vs. colaborador), con notas que mencionan que algunos líderes serán profesores e ingenieros, especialmente ingenieros de software.

En general, creemos que los puestos de líder de investigación tienen más impacto. Pero es bastante probable que el factor principal que determine tu impacto en cualquiera de estos puestos sea tu aptitud personal para el puesto; consulta la sección sobre cómo predecir tu aptitud de antemano.

A continuación, examinaremos lo que puede suponer trabajar en cada una de estas opciones. Más adelante, veremos cómo puedes acceder a cada una de ellas.

¿En qué consiste el trabajo empírico en seguridad de la IA?

La seguridad empírica de la IA suele involucrar a equipos que trabajan directamente con modelos de AA para identificar cualquier riesgo y desarrollar formas de mitigarlo.

Esto significa que el trabajo se centra en las técnicas de inteligencia artificial actuales y en las que podrían aplicarse en un futuro cercano.

En la práctica, el trabajo empírico en seguridad de la IA implica mucha programación e ingeniería de AA. Por ejemplo, podrías idear formas de poner a prueba la seguridad de los sistemas existentes y, a continuación, llevar a la práctica estas pruebas empíricas.

Puedes encontrar puestos relacionados con la seguridad empírica de la IA en la industria y el mundo académico, así como en organizaciones sin ánimo de lucro centradas en la seguridad de la IA.

En especial en el mundo académico, gran parte del trabajo relevante no se etiqueta explícitamente como centrado en el riesgo existencial, pero aun así puede ser muy valioso. Por ejemplo, el trabajo en interpretabilidad, en ejemplos antagónicos, diagnósticos y en aprendizaje de puerta trasera, entre otras áreas, podría ser muy relevante para reducir la posibilidad de una catástrofe relacionada con la IA.

También nos entusiasma el trabajo experimental para desarrollar normas de seguridad a las que las empresas de IA podrían adherirse en el futuro: por ejemplo, el trabajo que está realizando ARC Evals.

Para aprender más sobre los tipos de investigación que se llevan a cabo en los laboratorios centrados en la seguridad empírica de la IA, echa un vistazo a

Aunque la programación es fundamental para todo el trabajo empírico, los puestos de líder de investigación, por lo general, se centrarán menos en la programación; en su lugar, requieren un mayor gusto por la investigación y una comprensión teórica más sólida. En cambio, los colaboradores de investigación deben ser muy buenos programadores e ingenieros de software.

¿En qué consiste el trabajo teórico en seguridad de la IA?

La seguridad teórica de la IA es mucho más conceptual y matemática. Con frecuencia implica razonar cuidadosamente sobre el comportamiento hipotético de los sistemas futuros.

En general, el objetivo es encontrar propiedades que sería útil que tuvieran los algoritmos de AA seguros. Una vez que tienes algunas propiedades útiles, puedes intentar desarrollar algoritmos con esas propiedades (teniendo en cuenta que, para ser útiles en la práctica, estos algoritmos tendrán que acabar siendo adoptados por la industria). Alternativamente, podrías desarrollar formas de comprobar si los sistemas tienen estas propiedades. Estas comprobaciones podrían, por ejemplo, ayudar a que los futuros productos de IA cumplan normas de seguridad estrictas.

Muchas personas que trabajan en la seguridad teórica de la IA dedican gran parte de su tiempo a demostrar teoremas o a desarrollar nuevos marcos matemáticos. También existen enfoques más conceptuales, aunque por lo general siguen haciendo un uso intensivo de los marcos formales.

Algunos ejemplos de investigación teórica en seguridad de la IA son:

Evan Hubinger et al. (2021) Risks from learned optimization in advanced machine learning systems, arXiv:1906.01820 [cs.AI].
Paul Christiano, Ajeya Cotra & Mark Xu (2021) Eliciting Latent Knowledge, Alignment Research Center.
Paul Christiano, Eric Neyman & Mark Xu (2022) Formalizing the presumption of independence, arXiv:2211.06738 [cs.AI].
Zachary Kenton et al. (2022) Discovering agents, arXiv:2208.08345.
Peter Barnett et al. (2023) Active reward learning from multiple teachers, arXiv:2303.00894 [cs.LG].

En general, hay menos puestos disponibles para el trabajo teórico en seguridad de la IA, especialmente como colaborador de investigación. Existen puestos de colaborador de investigación teórica en organizaciones sin ánimo de lucro (principalmente en el Alignment Research Center), así como en algunos laboratorios (por ejemplo, el trabajo de Anthropic sobre modelos predictivos condicionantes y el Causal Incentives Working Group en Google DeepMind). Probablemente, la mayoría de los colaboradores en seguridad teórica de la IA se encuentran en el mundo académico (por ejemplo, estudiantes de doctorado en equipos que trabajan en proyectos relevantes para la seguridad teórica de la IA).

Algunos enfoques interesantes de la seguridad de la IA

Hay muchos enfoques técnicos de la seguridad de la IA en los que se está trabajando actualmente. He aquí algunos de ellos:

Aprendizaje extensible a partir de la realimentación humana. Algunos ejemplos son la amplificación iterada, la seguridad de la IA mediante el debate, la creación de asistentes de IA que no conozcan nuestros objetivos y los aprendan interactuando con nosotros y otras formas de conseguir que los sistemas de IA entrenados con descenso de gradiente estocástico informen con veracidad lo que saben.
Modelización de amenazas. Un ejemplo de este trabajo sería demostrar la posibilidad de (permitirnos estudiar) capacidades peligrosas, como sistemas de IA engañosos o manipuladores. Puedes leer un resumen en un documento reciente de Google DeepMind. Este trabajo se divide en el trabajo que evalúa si un modelo tiene capacidades peligrosas (como el trabajo de ARC Evals en la evaluación de GPT-4) y el trabajo que evalúa si un modelo causaría daños en la práctica (como la investigación de Anthropic sobre el comportamiento de los modelos de lenguaje a gran escala y este artículo sobre la generalización impropia de objetivos).
Investigación sobre la interpretabilidad. Este trabajo consiste en estudiar por qué los sistemas de IA hacen lo que hacen e intentar expresarlo en términos comprensibles para el ser humano. Por ejemplo, este artículo examina cómo AlphaZero aprende a jugar al ajedrez, y este artículo estudia cómo encontrar conocimiento latente en modelos de lenguaje sin supervisión. Esta categoría también incluye la interpretabilidad mecanicista, por ejemplo, Zoom in. Para más información, véase esta revisión bibliográfica, así como A transparency and interpretability tech tree, de Hubinger, y A longlist of theories of impact for interpretability, de Nanda, para un panorama general de cómo la investigación sobre la interpretabilidad podría reducir el riesgo existencial de la IA.
Otras investigaciones contra el uso indebido para reducir los riesgos de catástrofe causados por el uso indebido de los sistemas. (Hemos escrito más sobre esto en nuestro perfil de problema sobre el riesgo asociado a la IA. Por ejemplo, este trabajo incluye entrenar a las IA para que sea difícil utilizarlas con fines peligrosos. (Téngase en cuenta que se superpone en gran medida con los otros trabajos de la lista.)
Investigación para hacer las redes neuronales más robustas. Este trabajo consiste en garantizar que el tipo de comportamiento que muestran las redes neuronales cuando reciben un conjunto de datos de entrada continúe cuando reciben datos de entrada que no han recibido anteriormente, para evitar que los sistemas de IA adopten un comportamiento inseguro. Para más información, consulta la sección 2 de Unsolved problems in ML safety.
Trabajar para construir una IA cooperativa. Encontrar formas de garantizar que, aunque los sistemas de IA individuales parezcan seguros, no produzcan malos resultados al interactuar con otros sistemas sociotécnicos. Para más información, consulta Open problems in cooperative AI, de Dafoe et al., o la Cooperative AI Foundation. Esto parece especialmente relevante para la reducción de ‘riesgos S’.
En términos más generales, existen algunos planes de seguridad unificados. Para más información, consulta An overview of 11 proposals for building safe advanced AI, de Hubinger, o How might we align transformative AI if it’s developed very soon?, de Karnofsky.⁠b

Vale la pena señalar que hay muchos enfoques sobre la seguridad de la IA y que la gente del sector no está de acuerdo en qué funcionará y qué no.

Esto significa que, una vez que estés trabajando en el campo, puede valer la pena ser caritativo y tener cuidado de no asumir que el trabajo de los demás es poco útil solo porque eso es lo que parece a primera vista. Probablemente, tú también deberías tener dudas sobre tu propia agenda de investigación.

Además, como hemos mencionado antes, muchos trabajos relevantes que se realizan en todas estas áreas no se etiquetan explícitamente como “seguridad”.

Por tanto, es importante que pienses detenidamente si una investigación concreta contribuye a reducir los riesgos que puedan derivarse de los sistemas de IA.

¿Cuáles son las desventajas de esta carrera profesional?

La investigación técnica en la seguridad de la IA no es la única forma de avanzar en la reducción de los riesgos que los futuros sistemas de IA podrían ocasionar. Además, hay muchos otros problemas apremiantes en el mundo que no son la posibilidad de una catástrofe relacionada con la IA y muchas carreras profesionales que pueden ayudar con ellos. Si encajaras mejor trabajando en otra cosa, probablemente deberías dedicarte a ello.

Además de la aptitud personal, esta carrera profesional tiene otras desventajas:

Puede ser muy competitiva para entrar (aunque una vez dentro, los trabajos están bien pagados y hay muchas opciones alternativas).
Necesitas conocimientos cuantitativos (y probablemente conocimientos de programación).
El trabajo se concentra geográficamente en unos pocos lugares (principalmente el área de la bahía de San Francisco y Londres, pero también hay oportunidades en lugares con universidades prestigiosas como Oxford, Nueva York, Pittsburgh y Boston). Dicho esto, el trabajo a distancia es una posibilidad cada vez más extendida en muchos laboratorios de investigación.
Puede que no sea muy tratable encontrar buenas formas técnicas de reducir el riesgo. Aunque las evaluaciones de su dificultad varían, y aunque es casi seguro que es posible avanzar, puede ser bastante difícil hacerlo. Esto reduce el impacto que podrías tener trabajando en ese campo. Sin embargo, si empiezas en el trabajo técnico, podrías pasar al trabajo de gobernanza, ya que este suele beneficiarse de la formación técnica y la experiencia en el sector, que la mayoría de la gente no tiene.
En relación con esto, hay mucho desacuerdo en el campo sobre lo que podría funcionar; probablemente encontrarás al menos algunas personas que piensen que aquello en lo que estás trabajando es inútil, independientemente de lo que acabes haciendo.
Y lo que es más importante, existe cierto riesgo de hacer daño. Mientras ganas capital profesional, y mientras trabajas en la investigación misma, tendrás que tomar decisiones difíciles y hacer juicios de valor sobre si estás trabajando en algo beneficioso (consulta este consejo anónimo sobre trabajar en puestos que hagan avanzar las capacidades de la IA). Hay un gran desacuerdo sobre qué enfoques técnicos de la seguridad de la IA podrían funcionar, y a veces la forma de este desacuerdo consiste en pensar que una estrategia determinada aumentará activamente los riesgos existenciales de la IA.

Por último, hemos escrito más acerca de los mejores argumentos en contra de que la IA sea un problema apremiante en nuestro perfil de problema sobre la prevención de una catástrofe relacionada con la IA. Si son correctos, tal vez podrías tener más impacto trabajando en algo diferente.

¿Cuánto ganan los investigadores técnicos en seguridad de la IA?

Muchos investigadores técnicos trabajan en pequeñas empresas emergentes o empresas más grandes que pagan salarios competitivos en comparación con la industria tecnológica del área de la bahía de San Francisco y Silicon Valley, e incluso hay organizaciones más pequeñas y sin ánimo de lucro que pagan salarios competitivos para atraer a los mejores talentos. La retribución media de un ingeniero de software en el área de la bahía de San Francisco era de $222 000 anuales en 2020.⁠c (Véase más información sobre los salarios en ingeniería de software).

Esta media de $222 000 puede estar infravalorada, ya que los puestos relacionados con la IA, especialmente en los principales laboratorios de IA que están ampliando rápidamente su trabajo en este campo, suelen estar mejor pagados que otros empleos tecnológicos, y lo mismo ocurre con los investigadores en seguridad, incluso los que trabajan en organizaciones sin ánimo de lucro.

Sin embargo, el mundo académico tiene sueldos más bajos que la industria en general, y suponemos que los puestos de investigación en seguridad de la IA en el mundo académico están peor pagados que en los laboratorios comerciales y en las organizaciones sin ánimo de lucro.

Cómo predecir tu aptitud

Por lo general, necesitarás una formación cuantitativa (aunque no necesariamente en ciencias de la computación o aprendizaje automático) para acceder a esta carrera profesional.

Hay dos enfoques principales que puedes adoptar para predecir tu aptitud, y es útil hacer ambas cosas:

Pruébalo: prueba los primeros pasos de la sección siguiente sobre el aprendizaje de los conocimientos básicos. Si aún no lo has hecho, intenta aprender algo de Python, así como hacer cursos de álgebra lineal, de cálculo y de probabilidad. Y si ya lo has hecho, intenta familiarizarte un poco con el aprendizaje profundo y la seguridad de la IA. Por último, la mejor manera de probar esto para mucha gente sería conseguir de hecho un trabajo como ingeniero de AA (no relacionado con la seguridad) (véase más información en la sección sobre cómo entrar).
Habla con la gente para saber si sería una buena opción para ti: Si quieres convertirte en investigador técnico, nuestro equipo probablemente quiera hablar contigo. Podemos asesorarte de forma gratuita. Si conoces a alguien que trabaje en el área (o en algo similar), habla con él sobre esta carrera profesional y pídele su opinión sincera. Quizá puedas conocer a gente a través de nuestra comunidad. Nuestros asesores también pueden ayudarte a establecer contactos.

Puede llevar algún tiempo adquirir conocimientos especializados, lo cual es quizá un requisito para obtener satisfacciones, así que prepárate para dedicar algún tiempo a aprender y practicar antes de decidirte a cambiar por completo a otra cosa.

Si no estás seguro de cuáles podrían ser los puestos a los que aspirar a largo plazo, aquí tienes algunas formas aproximadas de hacer conjeturas sobre ellos y sobre tu aptitud para cada uno:

Prueba tu aptitud como colaborador de investigación empírica: En un artículo sobre la contratación de investigadores en seguridad, el equipo de Google DeepMind afirmó que “como prueba aproximada para el puesto de ingeniero de investigación, si puedes reproducir un artículo típico de AA en unos cientos de horas y tus intereses se alinean con los nuestros, probablemente estemos interesados en entrevistarte”.
En referencia específica a la ingeniería de software, un responsable de contratación de Anthropic dijo que si pudieras, con unas pocas semanas de trabajo, escribir una nueva función compleja o arreglar un fallo muy grave en una biblioteca significativa de AA, querrían entrevistarte inmediatamente. (Más información.)
Prueba tu aptitud para la investigación teórica: haber podido entrar en uno de los 10 mejores programas de doctorado en matemáticas o ciencias teóricas de la computación, si hubieras optimizado tu licenciatura para ello, es una buena indicación de tu aptitud (y de hecho muchos investigadores tienen estos doctorados). El Alignment Research Center (una de las pocas organizaciones que en 2023 contrata a colaboradores de investigación teórica) declaró que estaban abiertos a contratar a personas sin ninguna formación en investigación. Ofrecieron cuatro pruebas de aptitud: creatividad (por ejemplo, podrías tener ideas para resolver problemas pendientes en el campo, como la extraccion de conocimiento latente); experiencia diseñando algoritmos, demostrando teoremas o formalizando conceptos; amplios conocimientos de matemáticas y ciencias de la computación; y haber reflexionado mucho sobre el problema de la alineación de la IA en particular.
Prueba tu aptitud como líder de investigación (o para un doctorado): La gran mayoría de los líderes de investigación tienen un doctorado. Además, muchos puestos de investigación técnica en seguridad de la IA (aunque no todos) requieren un doctorado, y si no es así, tener un doctorado (o ser el tipo de persona que podría obtenerlo) ayudaría sin duda a demostrar que eres apto para el trabajo. Para entrar en uno de los 20 mejores programas de doctorado en aprendizaje automático, probablemente tendrás que publicar algo así como un artículo de seminario del que seas el primer autor y un artículo de conferencia, presentado en algún evento importante de AA (como NeurIPS o ICML), del que seas el tercer autor. (Más información sobre si deberías hacer un doctorado.

Véase nuestro artículo sobre la aptitud personal para saber más sobre cómo evaluar tu aptitud para las carreras profesionales que quieres seguir.

Cómo acceder

Es posible que puedas aplicar a algunos puestos de inmediato —especialmente si cumples, o estás cerca de cumplir, las pruebas que acabamos de ver—, pero también puede que antes tardes algún tiempo, posiblemente varios años, en capacitarte.

En esta sección, te daremos una guía para entrar en la investigación en seguridad técnica de la IA. Repasaremos cuatro cuestiones clave:

Cómo aprender lo básico.
¿Deberías hacer un doctorado?.
Cómo conseguir un trabajo en investigación empírica.
Cómo conseguir un trabajo en investigación teórica.

Esperamos que, al final de la sección, tengas todo lo que necesitas para ponerte en marcha.

Aprender lo básico

Para conseguir algo en el mundo de la investigación técnica en seguridad de la IA, es probable que necesites conocimientos básicos de programación, de matemáticas y de aprendizaje profundo.

También es posible que quieras practicar lo suficiente para convertirte en un ingeniero de AA decente (aunque esto suele ser más útil para la investigación empírica) y aprender un poco sobre técnicas de seguridad en particular (aunque esto suele ser más útil para los líderes de investigación empírica y los investigadores teóricos).

Repasaremos cada uno de estos campos por separado.

Aprender programación

Probablemente querrás aprender a programar en Python, porque es el lenguaje más utilizado en ingeniería de AA.

Quizá el primer paso sea simplemente probar. Siendo un completo principiante, puedes escribir, en menos de 20 minutos, un programa en Python que te recuerde que debes tomar un descanso cada dos horas. No te desanimes si tu código no funciona la primera vez: ¡es lo que suele ocurrir cuando la gente programa!

Una vez hecho esto, tienes varias opciones:

Aprende a programar por ti mismo. Intenta seguir un curso gratuito para principiantes como Automate the Boring Stuff with Python, de Al Sweigart. También hay muchos cursos en línea de introducción a las ciencias de la computación y a la programación, como por ejemplo Udacity’s Intro to Computer Science, MIT’s Introduction to Computer Science and Programming, y Stanford’s Programming Methodology. Después, intenta encontrar algo que quieras construir y constrúyelo, o participa en un proyecto de código abierto. Como práctica para las entrevistas, prueba LeetCode o TopCoder, o los ejercicios de Cracking the Coding Interview, de Gayle McDowell.
Haz un curso universitario. Si estás en la universidad, esta es una gran opción porque te permite aprender a programar mientras el costo de oportunidad de tu tiempo es menor. Incluso puedes considerar la posibilidad de especializarte en ciencias de la computación (u otra asignatura que implique mucha programación).
Aprende en el trabajo. Si puedes hacer prácticas, adquirirás experiencia y habilidades que de otro modo no adquirirías con las titulaciones académicas.
Acude a un curso intensivo. El objetivo de los cursos intensivos de programación es llevar a personas con pocos conocimientos de programación a un puesto de trabajo lo mejor remunerado posible en un par de meses, aunque algunos afirman que las perspectivas a largo plazo no son tan buenas porque careces de un conocimiento profundo de las ciencias de la computación. Course Report es una guía estupenda para elegir un curso intensivo. Ten cuidado y evita los cursos de baja calidad. También puedes encontrar cursos intensivos en línea —para personas sin ninguna experiencia en la programación— centrados en el AA, como Python for Data Science and Machine Learning Bootcamp, de Udemy.

Puedes leer más sobre cómo aprender a programar —y cómo conseguir tu primer trabajo en ingeniería de software (si ese es el camino que quieres seguir)— en nuestra evaluación de la ingeniería de software como carrera profesional.

Aprender matemáticas

Las matemáticas del aprendizaje profundo se basan en gran medida en el cálculo y el álgebra lineal, y la estadística también puede ser útil, aunque en general el aprendizaje de las matemáticas es mucho menos importante que la programación y el AA básico y práctico.

Por lo general, recomendamos estudiar una carrera cuantitativa (como matemáticas, ciencias de la computación o ingeniería), la mayoría de las cuales abarcará las tres áreas bastante bien.

Si quieres ser bueno en matemáticas, de hecho tienes que resolver problemas. Así que, por lo general, lo más útil que ofrecen los libros de texto y los cursos en línea no son sus explicaciones, sino un conjunto de ejercicios que debes intentar resolver, en orden, con algo de ayuda si te atascas.

Si quieres estudiar por tu cuenta (sobre todo si no tienes un título cuantitativo), aquí tienes algunos recursos posibles:

Cálculo: La serie de vídeos sobre cálculo de 3blue1brown podría ser un buen punto de partida. También puedes seguir cursos universitarios filmados: Cálculo monovariable, del MIT (que solo requiere álgebra de bachillerato y trigonometría), seguido del curso Cálculo vectorial y multivariable, también del MIT.
Álgebra lineal: De nuevo, sugeriríamos la serie de vídeos de 3blue1brown sobre álgebra lineal como punto de partida. En su artículo sobre carreras profesionales de alineación técnica, Rogers-Smith recomienda Linear Algebra Done Right, de Sheldon Axler. Por último, si prefieres clases, prueba el curso universitario de álgebra lineal del MIT (aunque ten en cuenta que este curso presupone conocimientos de cálculo multivariable).
Probabilidad: Echa un vistazo al curso universitario del MIT sobre probabilidad y variables aleatorias.

Quizá puedas encontrar recursos que cubran todas estas áreas, como el curso de matemáticas para el aprendizaje automático del Imperial College.

Aprender lo básico del aprendizaje automático

Es probable que necesites tener un conocimiento decente de cómo se desarrollan actualmente los sistemas de IA. Esto implicará aprender sobre redes neuronales y aprendizaje automático, antes de sumergirte en cualquier subcampo específico del aprendizaje profundo.

De nuevo, existe la opción de cursar estos estudios en la universidad. Si estás en la universidad, valdrá la pena que averigües si puedes hacer un curso de AA aunque no te estés especializando en ciencias de la computación.

Hay una advertencia importante: aprenderás mucho en el trabajo, y lo que necesitas saber de antemano para cualquier puesto o curso variará enormemente. Ni siquiera los mejores académicos lo saben todo sobre sus campos. Vale la pena intentar averiguar cuánto necesitarás saber para el puesto que quieres desempeñar antes de invertir cientos de horas en aprender sobre AA.

Teniendo en cuenta esta advertencia, he aquí algunas sugerencias de los lugares por los que podrías empezar si quieres estudiar por tu cuenta lo básico:

La serie de 3blue1brown sobre redes neuronales es un punto de partida realmente excelente para principiantes.
Cuando yo estaba aprendiendo, utilicé Neural Networks and Deep Learning. Es un buen libro de texto en línea si estás familiarizado con las matemáticas y también incluye algunos ejercicios útiles.
Cursos de introducción en línea como fast.ai (centrado en aplicaciones prácticas), Full Stack Deep Learning y los diversos cursos de deeplearning.ai.
Para más detalles, consulta cursos universitarios como Introduction to Machine Learning, del MIT, o Deep Learning, de la Universidad de Nueva York. También recomendamos la serie de conferencias de Google DeepMind.

PyTorch es un paquete muy utilizado para implementar redes neuronales, y probablemente valga la pena aprenderlo. Cuando empecé a aprender sobre AA, mi primera red neuronal fue una red neuronal convolucional de tres capas con regularización L2 que clasificaba caracteres de la base de datos MNIST. Este es un primer reto bastante común y una buena forma de aprender PyTorch.

Seguridad de la IA

Si vas a trabajar como investigador en seguridad de la IA, suele ser útil saber algo sobre la seguridad de la IA.

Esto no siempre es cierto: algunos puestos de ingeniería no requerirán muchos conocimientos sobre seguridad de la IA. Pero incluso en esos casos, saber lo básico probablemente te ayudará a conseguir un puesto, así como a tomar decisiones difíciles y evitar hacer daño. Y si quieres ser capaz de identificar trabajos útiles y realizarlos, al final tendrás que aprender sobre este campo.

Como el campo es todavía tan nuevo, probablemente no haya (todavía) cursos universitarios que puedas seguir. Así que tendrás que estudiar por tu cuenta. Aquí tienes algunos lugares por los que podrías empezar:

La sección 3 de nuestro perfil de problema sobre la prevención de una catástrofe relacionada con la IA ofrece una introducción a los problemas que intenta resolver la seguridad de la IA (centrándose especialmente en la alineación).
El canal de YouTube de Rob Miles está lleno de vídeos introductorios populares y bien explicados que no necesitan muchos conocimientos previos de AA.
AXRP —el pódcast de investigación sobre el riesgo existencial de la IA— está lleno de conversaciones a fondo (y amenas) con investigadores sobre sus investigaciones.
Los cursos de AGI Safety Fundamentals, en particular el curso de alineación de la IA, posiblemente seguido de Alignment 201, que proporcionan una introducción a la investigación del problema de la alineación.
Intro to ML Safety, un curso del Center for AI Safety, se centra en la resistencia a los peligros (“robustez”), en la identificación de peligros (“supervisión”) y en la reducción de peligros sistémicos (“seguridad sistémica”), así como en la alineación.

Para más sugerencias —especialmente cuando se trata de leer sobre la naturaleza de los riesgos a los que podríamos enfrentarnos con los sistemas de IA— echa un vistazo a los mejores recursos para aprender más de nuestro perfil del problema.

¿Deberías hacer un doctorado?

Algunos puestos de investigación técnica requieren un doctorado, pero otros muchos no, y los doctorados no son la mejor opción para todo el mundo.

El principal beneficio de hacer un doctorado probablemente sea la práctica de establecer y llevar a cabo tu propia agenda de investigación. En consecuencia, hacer un doctorado es prácticamente la opción por defecto si quieres ser líder de investigación.

Dicho esto, también puedes convertirte en líder de investigación sin un doctorado, sobre todo si te has desempeñado como colaborador de investigación. En algunos grandes laboratorios, la frontera entre ser colaborador y líder es cada vez más difusa.

Hay muchas personas a quienes los doctorados les resultan muy difíciles. Pueden generar aislamiento y frustración, y duran mucho tiempo (de 4 a 6 años). Además, tanto tu calidad de vida como lo que aprendas dependerán de tu supervisor, y puede ser muy difícil saber de antemano si estás haciendo una buena elección.

Así que, si estás pensando en hacer un doctorado, aquí tienes algunas cosas que debes tener en cuenta:

Tu perspectiva a largo plazo: Si tu objetivo es ser líder de investigación, tal vez te interese hacer un doctorado; la gran mayoría de los líderes de investigación tienen un doctorado. Si quieres ser principalmente colaborador (por ejemplo, ingeniero de AA o de software), probablemente no te interese. Si no estás seguro, deberías intentar hacer algo para probar tu aptitud para cada rol, como probar con un proyecto o haciendo prácticas. Podrías probar un puesto de ayudante de investigación predoctoral: si la investigación que realizas es relevante para tu futura carrera, puede ser una buena contribución a tu capital profesional, ya sea que hagas o no un doctorado.
El tema de tu investigación: Es fácil atarse a un tema de doctorado que no te inspire confianza. Si el doctorado que estás considerando te permitiera trabajar en algo que parece útil para la seguridad de la IA, probablemente sea —en igualdad de condiciones— mejor para tu carrera profesional, y la investigación misma también podría tener un impacto positivo.
Tutoría: ¿Cómo son los supervisores o directores en las oportunidades que se te presentan? Podrías encontrar puestos de investigación o de ingeniería de AA en la industria, donde podrías aprender mucho más que en un doctorado, o viceversa. Cuando elijas un supervisor, intenta ponerte en contacto con los alumnos actuales o antiguos de un posible supervisor y hazles algunas preguntas sinceras. (Consulta también este artículo sobre cómo elegir un supervisor de doctorado.)
Tu adecuación al entorno de trabajo: Hacer un doctorado significa trabajar por tu cuenta con muy poca supervisión u opiniones sobre tu trabajo durante largos periodos de tiempo. Algunas personas prosperan en estas condiciones, pero la verdad es que otras no y encuentran el doctorado extremadamente difícil.

Más información en nuestra reseña más detallada (pero menos actualizada) sobre los doctorados en aprendizaje automático.

Conviene recordar que la mayoría de los trabajos no necesitan un doctorado. Y para algunos trabajos, especialmente los de colaborador de investigación empírica, aunque un doctorado sería útil, a menudo hay mejores formas de conseguir el capital profesional que necesitarías (por ejemplo, trabajando como ingeniero de software o de AA). Hemos entrevistado a dos ingenieros de AA que han tenido carreras profesionales de enorme éxito sin hacer un doctorado.

Hacer o no un doctorado no depende (mucho) de los plazos

Creemos que hay razones para pensar que desarrollaremos una IA que podría ser enormemente transformadora para la sociedad a finales de la década de 2030.

En igualdad de condiciones, esa posibilidad podría ser un argumento a favor de intentar tener un impacto de inmediato, en lugar de pasar cinco (o más) años haciendo un doctorado.

En última instancia, sin embargo, tu aptitud para un determinado doctorado es probablemente un factor mucho más importante que cuándo se desarrollará la IA.

Es decir, creemos que el incremento del impacto causado por la elección de una carrera adecuada para ti es probablemente mayor que cualquier disminución del impacto causado por retrasar tu trabajo. Esto se debe en parte a que la diferencia de impacto generada por los puestos específicos que tienes a disposición y por tu aptitud personal para ellos suele ser muy grande. Algunos puestos (sobre todo los de líder de investigación) simplemente requieren tener un doctorado, y otros (sobre todo los más relacionados con la ingeniería) no, y la aptitud de las personas para estos puestos varía bastante.

También tenemos una gran incertidumbre acerca de las estimaciones sobre cuándo podríamos desarrollar una IA transformadora. Esta incertidumbre reduce el costo esperado de cualquier retraso.

Y lo que es más importante, creemos que los doctorados no deberían considerarse como un mero retraso de tu impacto. Puedes hacer un trabajo útil en un doctorado y, por lo general, los dos primeros años de cualquier carrera profesional implican aprender lo básico y ponerse al día. Así que si tienes un buen tutor, un buen entorno de trabajo y has elegido bien el tema, tu trabajo de doctorado podría ser tan bueno, o posiblemente mejor, que el trabajo que harías si te fueras a trabajar a cualquier otro lugar al principio de tu carrera. Y si de repente obtienes evidencia de que hay menos tiempo del que pensabas, es relativamente fácil abandonar.

Hay muchas otras consideraciones al respecto: para una visión general y algún debate, véase este artículo de Alex Lawsen, asesor de 80 000 Horas, así como los comentarios.

En general, te sugerimos que, en lugar de preocuparte por el retraso de tu impacto, pienses en el camino a largo plazo que quieres seguir y en la forma en que las oportunidades concretas que tienes ante ti te llevarán hasta allí.

Cómo acceder a un doctorado

Los doctorados en AA pueden ser muy competitivos. Para entrar, probablemente necesitarás unas cuantas publicaciones (como hemos dicho antes, algo así como un artículo de seminario del que seas el primer autor, y un artículo de conferencia, presentado en algún evento importante de AA (como NeurIPS o ICML), del que seas el tercer autor) y referencias, probablemente de académicos de AA. (¡Aunque las publicaciones también son buenas, sea cual sea el camino que acabes tomando!)

Para llegar a ese punto, necesitarás bastante suerte y también tendrás que encontrar la forma de conseguir algo de experiencia en investigación.

Una opción es hacer una maestría en AA, aunque asegúrate de que sea una maestría de investigación: la mayoría de las maestrías en AA se centran principalmente en la capacitación para la industria.

Mejor aún, intenta conseguir unas prácticas en un grupo de investigación de AA. Las oportunidades incluyen RISS, en la Universidad Carnegie Mellon, UROP, en el Imperial College de Londres, el programa internacional de investigación de verano del Aalto Science Institute, el Data Science Summer Institute, el programa de prácticas del Toyota Technological Institute y el MILA. También puedes intentar hacer prácticas específicamente en seguridad de la IA, por ejemplo en CHAI, aunque este enfoque tiene sus desventajas: puede ser más difícil publicar y la tutoría puede ser más limitada.

Otra forma de conseguir experiencia en investigación es preguntar si puedes trabajar con investigadores. Si ya estás en una universidad de alto nivel, lo más fácil puede ser ponerte en contacto con personas que trabajen en la universidad en la que estás estudiando.

Los estudiantes de doctorado o los posdoctorandos pueden ser más receptivos que los profesores, pero al final querrás que algunos profesores con los que hayas trabajado te faciliten referencias, así que tendrás que ponerte en contacto con ellos. Los profesores suelen recibir muchos correos electrónicos “en frío”, ¡así que intenta llamar su atención! Puedes intentar alguna de estas cosas:

Conseguir una carta de presentación, por ejemplo, de un profesor del que hayas sido alumno.
Mencionar las cosas que has hecho (tus calificaciones, los cursos relevantes que has realizado, tu GitHub, cualquier trabajo de investigación sobre AA que hayas intentado reproducir como práctica).
Leer algunos de sus artículos y los principales artículos del campo, y mencionarlos en el correo electrónico.
Solicitar financiamiento disponible para estudiantes que quieran trabajar en seguridad de la IA y hacerle saber que tienes financiamiento para trabajar con él.

Lo ideal es que encuentres a alguien que te supervise bien y tenga tiempo para trabajar contigo (eso no significa necesariamente el profesor más famoso, aunque ayuda mucho que publique regularmente en los congresos más importantes). De ese modo, llegarán a conocerte, tendrán la oportunidad de impresionarse contigo y te proporcionarán referencias excepcionales cuando solicites el doctorado.

Es muy posible que tengas que pasar uno o dos años trabajando como ayudante de investigación para conseguir las publicaciones y referencias que necesitas para acceder a un doctorado, aunque esos puestos también pueden ser bastante competitivos.

Esta guía de Adam Gleave también proporciona más detalles sobre cómo conseguir un doctorado, entre ellos dónde solicitarlo y algunos consejos sobre el propio proceso de solicitud. Discutimos los doctorados en AA con más detalle en nuestra evaluación de esta carrera profesional (aunque está desactualizada en comparación con esta evaluación).

Conseguir un trabajo en investigación empírica en seguridad de la IA

En última instancia, la mejor forma de aprender a hacer investigación empírica —especialmente para puestos de colaborador y centrados en la ingeniería— es trabajar en algún lugar que haga tanto ingeniería de alta calidad como investigación de vanguardia.

Los tres laboratorios principales son probablemente Google DeepMind (que ofrece prácticas a estudiantes), OpenAI (que tiene un programa de residencia de 6 meses) y Anthropic. (Trabajar en un laboratorio de IA destacado conlleva cierto riesgo de hacer daño, por lo que es importante que pienses detenidamente en tus opciones. Hemos escrito un artículo aparte en el que analizamos las principales consideraciones pertinentes.)

Para acabar trabajando en un puesto de investigación empírica, probablemente necesitarás acumular cierto capital profesional.

Tanto si quieres ser líder de investigación como colaborador, te ayudará ser un buen ingeniero de software. La mejor forma de lograrlo suele ser conseguir un trabajo como ingeniero de software en una gran empresa tecnológica o en una empresa emergente prometedora. (Hemos escrito un artículo entero sobre cómo convertirse en ingeniero de software.)

Muchos puestos requerirán que seas un buen ingeniero de AA, lo que significa ir más allá de lo básico que hemos visto antes. La mejor forma de convertirte en un buen ingeniero de AA es conseguir un trabajo haciendo ingeniería de AA, y los mejores lugares para ello son probablemente los principales laboratorios de IA.

Para puestos como líder de investigación, necesitarás relativamente más experiencia en investigación. Tendrás que convertirte primero en colaborador de investigación o entrar en el mundo académico (por ejemplo, haciendo un doctorado).

Dicho esto, es importante recordar que no necesitas saberlo todo para empezar a presentar tu candidatura, ya que inevitablemente aprenderás mucho en el trabajo, así que trata de averiguar qué necesitarás aprender para conseguir los puestos específicos que estás considerando.

¿Cuánta experiencia necesitas para conseguir un trabajo? Vale la pena recordar las pruebas que hemos visto anteriormente para los puestos de colaborador:

En un artículo sobre la contratación de investigadores en seguridad, el equipo de Google DeepMind afirmó que “como prueba aproximada para el puesto de ingeniero de investigación, si puedes reproducir un artículo típico de AA en unos cientos de horas y tus intereses se alinean con los nuestros, probablemente estemos interesados en entrevistarte”.
En referencia específica a la ingeniería de software, un responsable de contratación de Anthropic dijo que si pudieras, con unas pocas semanas de trabajo, escribir una nueva función compleja o arreglar un fallo muy grave en una biblioteca significativa de AA, querrían entrevistarte inmediatamente. (Más información.)

En el proceso de adquirir esta experiencia, podrías acabar trabajando en puestos que hagan avanzar las capacidades de la IA. Hay diversas opiniones sobre la posibilidad de que esto sea perjudicial, por lo que te sugerimos que leas nuestro artículo sobre el trabajo en los principales laboratorios de IA y nuestro artículo con consejos anónimos de expertos sobre el trabajo en puestos que hacen avanzar estas capacidades También vale la pena hablar con nuestro equipo sobre las oportunidades concretas que tengas.

Si estás haciendo otro trabajo, o una carrera, o crees que necesitas aprender algo más antes de intentar cambiar de carrera profesional, hay algunas buenas formas de conseguir más experiencia haciendo ingeniería de AA que van más allá de lo básico que ya hemos visto:

Adquirir experiencia en ingeniería de software/AA. Por ejemplo, si estás estudiando una carrera, puedes intentar hacer prácticas como ingeniero de software durante el verano. DeepMind ofrece prácticas para estudiantes con al menos dos años de estudios en una materia técnica.
Replicar artículos. Una forma excelente de adquirir experiencia en ingeniería de AA es replicar algunos artículos en cualquier subcampo en el que quieras trabajar. Richard Ngo, investigador en gobernanza de la IA en OpenAI, ha escrito algunos consejos sobre cómo replicar artículos. Pero ten en cuenta que replicar artículos puede ser bastante difícil: echa un vistazo al blog de Amid Fish sobre lo que aprendió replicando un artículo sobre aprendizaje por refuerzo profundo. Por último, Rogers-Smith ofrece algunas sugerencias sobre qué artículos replicar. Si dedicas algún tiempo a replicar artículos, recuerda que cuando empieces a aplicar a puestos de trabajo te será muy útil poder demostrar que lo has hecho. Así que intenta subir tu trabajo a GitHub, o escribir un blog sobre tus progresos. Y si estás pensando en dedicar mucho tiempo a esto (digamos, más de 100 horas), intenta obtener opiniones sobre los trabajos que podrías replicar antes de empezar; incluso podrías ponerte en contacto con un laboratorio para el que quieras trabajar.
Hacer un curso más profundo sobre investigación empírica en seguridad de la IA. Redwood Research organizó el curso intensivo MLAB, a cuyo programa puedes acceder aquí. También podrías echar un vistazo a este plan de estudios de aprendizaje profundo de Jacob Hilton, investigador del Alignment Research Center, aunque probablemente sea muy difícil seguirlo sin tutores.⁠d El Alignment Research Engineer Accelerator es un programa que utiliza este plan de estudios. Algunos tutores del SERI ML Alignment Theory Scholars Program se centran en la investigación empírica.
Aprender sobre un subcampo del aprendizaje profundo. Concretamente, sugeriríamos el procesamiento del lenguaje natural (en particular los transformadores; ver esta conferencia como punto de partida) y el aprendizaje por refuerzo (echa un vistazo a Deep Reinforcement Learning, de Andrej Karpathy, y a Spinning Up in Deep RL, de OpenAI). Intenta alcanzar un nivel en el que conozcas los avances recientes más importantes.

Conseguir trabajo en la investigación teórica en seguridad de la IA

Hay menos puestos de trabajo disponibles en investigación teórica en seguridad de la IA, por lo que es más difícil dar consejos concretos. Tener un doctorado en matemáticas o ciencias teóricas de la computación no siempre es necesario, pero es bastante común entre los investigadores de la industria y para ser académico es prácticamente un requisito.

Si haces un doctorado, lo ideal sería que fuera en un área relacionada al menos de algún modo con la investigación teórica en seguridad de la IA. Por ejemplo, podría ser en teoría de la probabilidad aplicada a la IA o en ciencias teóricas de la computación (busca investigadores que publiquen en COLT o FOCS).

Otra posibilidad es convertirse en investigador empírico antes de pasar a la investigación teórica.

A diferencia de la investigación empírica, necesitarás saber relativamente menos sobre ingeniería y relativamente más sobre la seguridad de la IA como campo.

Una vez que hayas hecho lo básico, el paso siguiente que podrías dar es leer artículos de un investigador concreto, o sobre un tema concreto, y resumir lo que hayas encontrado.

También podrías intentar dedicar algún tiempo (quizá entre 10 y 100 horas) a leer sobre un tema y luego algo más (quizá otras 10 o 100 horas) a intentar aportar nuevas ideas sobre ese tema. Por ejemplo, podrías intentar elaborar propuestas para resolver el problema de la extraccion de conocimiento latente. Como opción alternativa, si quisieras centrarte en el aspecto más matemático, podrías intentar hacer la tarea que aparece al final de esta conferencia de Michael Cohen, estudiante de posgrado de la Universidad de Oxford.

Si quieres entrar en el mundo académico, leer un gran número de artículos parece especialmente importante. Quizá podrías intentar escribir un artículo de investigación sobre un tema determinado en tu tiempo libre. Es una forma estupenda de dominar un tema, desarrollar nuevas ideas, detectar lagunas y proponer ideas de investigación. Cuando te postules a un programa universitario de posgrado o a un trabajo, tu artículo será una forma fantástica de demostrar que te gusta tanto la investigación que lo haces por diversión.

Hay algunos programas de investigación dirigidos a personas nuevas en este campo, como el SERI ML Alignment Theory Scholars Program, al que podrías presentarte.

También puedes conseguir experiencia más concreta haciendo prácticas de investigación, trabajando como ayudante de investigación o haciendo un doctorado, sobre todo lo cual hemos escrito más arriba, en la sección sobre el acceso a los programas de doctorado.

Hay que tener en cuenta que muchas de las personas con las que hablamos intentan aprender de forma independiente. Esto puede ser una gran idea para algunas personas, pero es bastante difícil para otras, porque hay mucha menos estructura y asesoramiento.

Organizaciones recomendadas

Laboratorios de IA de la industria que tienen equipos empíricos de seguridad técnica o que se centran totalmente en la seguridad:

Anthropic es una empresa de seguridad de la IA que trabaja en la creación de sistemas de IA interpretables y seguros. Se centran en la investigación empírica de la seguridad de la IA. Los cofundadores de Anthropic, Daniela y Dario Amodei, concedieron una entrevista sobre el laboratorio en el pódcast del Future of Life Institute. En nuestro propio pódcast, hablamos con Chris Olah, que dirige la investigación de Anthropic sobre interpretabilidad, y Nova DasSarma, que trabaja en infraestructura de sistemas en esa organización.
ARC Evals se dedica a evaluar la posibilidad de que los sistemas de IA de vanguardia generen riesgos catastróficos para la civilización, lo que incluye el trabajo experimental en fase inicial para desarrollar técnicas y la evaluación de los sistemas producidos por Anthropic y OpenAI.
El Center for AI Safety es una organización sin ánimo de lucro que realiza investigación técnica y promueve la seguridad en la comunidad del aprendizaje automático.
FAR AI es una organización sin ánimo de lucro que incuba y acelera programas de investigación que requieren demasiados recursos para el mundo académico, pero que aún no están listos para su comercialización por la industria, incluida la investigación en robustez antagónica, la interpretabilidad y el aprendizaje de preferencias.
Google DeepMind es probablemente el mayor y más conocido grupo de investigación dedicado al desarrollo de la inteligencia artificial general y es famoso por su trabajo en la creación de AlphaGo, AlphaZero y AlphaFold. La seguridad no es su objetivo principal, pero tiene dos equipos dedicados a la seguridad de la IA: el Scalable Alignment Team, centrado en alinear los sistemas de vanguardia existentes, y el Alignment Team, centrado en las apuestas de investigación para alinear los sistemas futuros.
OpenAI, fundado en 2015, es un laboratorio que intenta construir una inteligencia artificial general que sea segura y beneficie a toda la humanidad. OpenAI es conocido por sus modelos de lenguaje como GPT-4. Al igual que DeepMind, no se dedica principalmente a la seguridad, pero cuenta con un equipo de seguridad y otro de gobernanza. Jan Leike (colíder del equipo de superalineación) tiene algunas entradas en su blog sobre su forma de pensar la alineación de la IA.
Ought es un laboratorio de aprendizaje automático que está creando Elicit, un asistente de investigación de la IA. Su objetivo es alinear el razonamiento intuitivo mediante el aprendizaje de los pasos del razonamiento humano y dirigir el progreso de la IA para ayudar a evaluar la evidencia y los argumentos.
Redwood Research es una organización de investigación sobre la seguridad de la IA, cuyo primer gran proyecto intentó asegurar que los modelos de lenguaje (como GPT-3) produjeran resultados que siguieran ciertas reglas con una probabilidad muy alta, con el fin de abordar modos de fallo demasiado infrecuentes como para que aparezcan en el entrenamiento estándar.

Laboratorios de seguridad de la IA teóricos / conceptuales:

El Alignment Research Center (ARC) intenta generar estrategias de alineación que puedan adoptarse hoy en la industria y, al mismo tiempo, puedan extenderse a futuros sistemas. Sus investigadores se centran en el trabajo conceptual, desarrollando estrategias que podrían funcionar para la alineación y que podrían ser direcciones prometedoras para el trabajo empírico, en lugar de realizar ellos mismos trabajo empírico sobre la IA. Su primer proyecto fue la publicación de un informe sobre la extracción de conocimiento latente, el problema de conseguir que los sistemas avanzados de IA digan honestamente lo que creen (o “creen”) sobre el mundo. En nuestro pódcast, entrevistamos a Paul Christiano, fundador de ARC, sobre su investigación (antes de que fundara ARC).
El Center on Long-Term Risk trabaja para abordar los riesgos más graves de la IA avanzada. Su labor se centra en los conflictos entre sistemas de IA.
El Machine Intelligence Research Institute fue uno de los primeros grupos en preocuparse por los riesgos asociados a la inteligencia artificial a principios del presente siglo, y su equipo ha publicado varios artículos sobre cuestiones de seguridad y cómo resolverlas.
Algunos equipos de laboratorios comerciales también realizan un trabajo más teórico y conceptual sobre la alineación, como el trabajo de Anthropic sobre modelos predictivos condicionantes y el Causal Incentives Working Group, de Google DeepMind.

La seguridad de la IA en el mundo académico (una lista muy poco exhaustiva; aunque el número de académicos centrados explícita y públicamente en la seguridad de la IA es reducido, es posible llevar a cabo investigaciones relevantes en un conjunto mucho más amplio de instituciones):

El Algorithmic Alignment Group del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT, dirigido por Dylan Hadfield-Menell.
El Center for Human-Compatible AI de la Universidad de California en Berkeley, dirigido por Stuart Russell, se centra en la investigación académica para garantizar que la IA sea segura y beneficiosa para los humanos. (Nuestro pódcast con Stuart Russell examina su enfoque sobre la IA demostrablemente benéfica.)
El grupo de investigación de Jacob Steinhardt en el Departamento de Estadística de la Universidad de California en Berkeley.
El NYU Alignment Research Group dirigido por Sam Bowman.
El grupo de investigación de David Krueger en el Laboratorio de Aprendizaje Computacional y Biológico de la Universidad de Cambridge.
El Foundations of Cooperative AI Lab de la Universidad Carnegie Mellon.
El grupo de investigación Alignment of Complex Systems de la Universidad Carolina de Praga.

Más información sobre la investigación técnica en seguridad de la IA

Aquí tienes algunas sugerencias acerca de dónde puedes obtener más información:

Para ayudarte a orientarte en el campo, te recomendamos el AI safety starter pack.
La guía paso a paso de Charlie Rogers-Smith sobre las carreras relacionadas con la seguridad de la IA (en la que se basa en gran parte este artículo) proporciona algunos consejos concretos útiles, entre ellos, las formas en que podrías conseguir algún tipo de financiamiento para ayudarte a avanzar en una carrera de investigación técnica en seguridad de la IA.
Careers in Beneficial AI Research, por Adam Gleave, director general de FAR AI.
Nuestro perfil de problema sobre el riesgo asociado a la IA.
Este plan de estudios sobre la seguridad de la IA (o, si se prefiere algo más breve, esta secuencia de artículos de Richard Ngo).
Nuestra evaluación de los doctorados en aprendizaje automático como carrera profesional.
Nuestra evaluación de la ingeniería de software como carrera profesional.
Nuestra evaluación del trabajo en un laboratorio de IA destacado como carrera profesional.

Si prefieres los pódcasts, hay algunos episodios relevantes del pódcast de 80 000 Horas que podrían resultarte útiles: