Investigación técnica en seguridad de la IA
El progreso de la inteligencia artificial (IA), aunque puede ser muy beneficioso, conlleva riesgos importantes. Riesgos que, según hemos argumentado, podrían ser existenciales.
Pero estos riesgos pueden prevenirse.
Si la seguridad de la IA sigue avanzando, tendremos la oportunidad de desarrollar la IA para beneficio de todos: sistemas seguros, éticos y beneficiosos para toda la humanidad.
Este artículo explica cómo puedes ayudar.
La inteligencia artificial tendrá efectos transformadores para la sociedad en las próximas décadas y podría aportar enormes beneficios. Pero consideramos también que existe un riesgo considerable. Una forma prometedora de reducir las probabilidades de una catástrofe relacionada con la IA es encontrar soluciones técnicas que nos permitan evitar que los sistemas de IA se comporten de forma peligrosa.
Necesitarás una formación cuantitativa y probablemente te debería gustar programar. Si nunca has programado, puedes encajar si eres capaz de descomponer los problemas en partes lógicas, proponer y probar hipótesis, estar dispuesto a probar muchas soluciones diferentes y prestar mucha atención a los detalles.
Si estás capacitado para esta carrera profesional, dedicarte a ella puede ser la mejor manera de que tengas un impacto social positivo.
Gracias a Adam Gleave, Jacob Hilton y Rohin Shah por revisar este artículo. Y gracias a Charlie Rogers-Smith por su ayuda y su artículo sobre el tema: Cómo formarse profesionalmente en alineación técnica de la inteligencia artificial.
Tal y como hemos argumentado, en las próximas décadas podríamos asistir al desarrollo de sistemas de aprendizaje automático enormemente potentes con el potencial de transformar la sociedad. Esta transformación podría proporcionar enormes beneficios, pero solo si evitamos los riesgos.
Creemos que los riesgos más graves de los sistemas de IA se deben en gran parte a que podrían estar desalineados, es decir, podrían intentar hacer cosas que no queremos que hagan. En particular, creemos que podrían estar desalineados a tal punto que desarrollen (y ejecuten) planes que pongan en peligro la capacidad de la humanidad para influir en el mundo, por mucho que no queramos que esa influencia se pierda.
Creemos que esto significa que estos sistemas futuros constituyen una amenaza existencial para la civilización.
Aunque encontremos la forma de evitar este comportamiento de búsqueda de poder, sigue habiendo riesgos sustanciales —como el uso indebido por parte de gobiernos u otros actores— que podrían ser amenazas existenciales en sí mismas.
Hay muchas maneras de reducir los riesgos asociados a estos sistemas. Pero una de las más prometedoras puede ser la investigación de soluciones técnicas que impidan comportamientos no deseados —incluido el comportamiento no alineado— por parte de los sistemas de IA. (Encontrar una forma técnica de evitar la desalineación, en particular, se conoce como el problema de la alineación.)
En los últimos años, hemos visto que cada vez más organizaciones empiezan a tomarse en serio estos riesgos. Muchos de los principales laboratorios industriales que desarrollan inteligencia artificial —como Google DeepMind y OpenAI— cuentan con equipos dedicados a encontrar estas soluciones, junto con grupos de investigación académica como los del MIT, de Oxford, de Cambridge, de la Universidad Carnegie Mellon y de la Universidad de California en Berkeley.
Dicho esto, el campo sigue siendo muy nuevo. Creemos que solo hay unas 300 personas trabajando en enfoques técnicos para reducir los riesgos existenciales de los sistemas de IA,a lo que lo convierte en un campo muy desatendido.
Encontrar formas técnicas de reducir este riesgo podría ser todo un desafío. Cualquier solución provechosa en la práctica debe conservar la utilidad de los sistemas (seguir siendo económicamente competitiva con sistemas menos seguros) y seguir funcionando a medida que los sistemas mejoran con el tiempo (es decir, tiene que ser “extensible”). Como argumentamos en nuestro perfil del problema, parece difícil encontrar soluciones viables, sobre todo para los sistemas modernos de aprendizaje automático (AA).
(Si no sabes nada de AA, hemos escrito una muy breve introducción al AA, y más adelante en este artículo explicaremos con más detalle cómo aprender sobre AA. Por otra parte, si tienes experiencia en AA, habla con nuestro equipo: ellos pueden darte consejos personalizados sobre tu carrera profesional, ponerte en contacto con otras personas que trabajen en estos temas y, posiblemente, incluso ayudarte a encontrar trabajo u oportunidades de financiamiento).
Aunque parezca difícil, hay muchas vías de investigación para explotar y este campo es muy joven, por lo que no dejan de surgir direcciones de investigación prometedoras. Así que creemos que es medianamente tratable, aunque tenemos muchas dudas.
De hecho, tenemos incertidumbre sobre todo esto y hemos escrito mucho sobre las razones por las que podríamos estar equivocados sobre el riesgo asociado a la IA.
Pero, en general, pensamos que, si encaja bien con tu perfil, dedicarte a la investigación técnica en seguridad de la IA puede ser lo mejor que puedes hacer con tu carrera profesional.
La investigación técnica en seguridad de la IA normalmente implica trabajar como científico o ingeniero en los principales laboratorios de IA, en el mundo académico o en organizaciones independientes sin ánimo de lucro.
Estos puestos pueden ser muy difíciles de conseguir. Es probable que tengas que acumular capital profesional antes de acabar ocupando un puesto de gran impacto (véase más abajo la sección sobre cómo acceder). Dicho esto, puede que no haga falta dedicar mucho tiempo a acumular este capital profesional: a veces hemos visto que algunas personas con un talento excepcional se pasan a la seguridad de la IA desde otros campos cuantitativos en menos de un año.
La mayor parte de la investigación técnica en seguridad de la IA se sitúa en un espectro entre la investigación empírica (experimentación con sistemas actuales para adquirir más conocimientos sobre lo que podría funcionar) y la investigación teórica (investigación conceptual y matemática que busca formas de garantizar que los futuros sistemas de IA sean seguros).
Independientemente del punto de este espectro en el que acabes trabajando, tu carrera profesional puede variar un poco en función de que tu objetivo sea dirigir la investigación (proponiendo proyectos, gestionando un equipo y fijando metas) o ser colaborador (centrándote en realizar las investigaciones).
Por último, hay dos puestos ligeramente diferentes a los que puedes aspirar:
En general, creemos que los puestos de líder de investigación tienen más impacto. Pero es bastante probable que el factor principal que determine tu impacto en cualquiera de estos puestos sea tu aptitud personal para el puesto; consulta la sección sobre cómo predecir tu aptitud de antemano.
A continuación, examinaremos lo que puede suponer trabajar en cada una de estas opciones. Más adelante, veremos cómo puedes acceder a cada una de ellas.
La seguridad empírica de la IA suele involucrar a equipos que trabajan directamente con modelos de AA para identificar cualquier riesgo y desarrollar formas de mitigarlo.
Esto significa que el trabajo se centra en las técnicas de inteligencia artificial actuales y en las que podrían aplicarse en un futuro cercano.
En la práctica, el trabajo empírico en seguridad de la IA implica mucha programación e ingeniería de AA. Por ejemplo, podrías idear formas de poner a prueba la seguridad de los sistemas existentes y, a continuación, llevar a la práctica estas pruebas empíricas.
Puedes encontrar puestos relacionados con la seguridad empírica de la IA en la industria y el mundo académico, así como en organizaciones sin ánimo de lucro centradas en la seguridad de la IA.
En especial en el mundo académico, gran parte del trabajo relevante no se etiqueta explícitamente como centrado en el riesgo existencial, pero aun así puede ser muy valioso. Por ejemplo, el trabajo en interpretabilidad, en ejemplos antagónicos, diagnósticos y en aprendizaje de puerta trasera, entre otras áreas, podría ser muy relevante para reducir la posibilidad de una catástrofe relacionada con la IA.
También nos entusiasma el trabajo experimental para desarrollar normas de seguridad a las que las empresas de IA podrían adherirse en el futuro: por ejemplo, el trabajo que está realizando ARC Evals.
Para aprender más sobre los tipos de investigación que se llevan a cabo en los laboratorios centrados en la seguridad empírica de la IA, echa un vistazo a
Aunque la programación es fundamental para todo el trabajo empírico, los puestos de líder de investigación, por lo general, se centrarán menos en la programación; en su lugar, requieren un mayor gusto por la investigación y una comprensión teórica más sólida. En cambio, los colaboradores de investigación deben ser muy buenos programadores e ingenieros de software.
La seguridad teórica de la IA es mucho más conceptual y matemática. Con frecuencia implica razonar cuidadosamente sobre el comportamiento hipotético de los sistemas futuros.
En general, el objetivo es encontrar propiedades que sería útil que tuvieran los algoritmos de AA seguros. Una vez que tienes algunas propiedades útiles, puedes intentar desarrollar algoritmos con esas propiedades (teniendo en cuenta que, para ser útiles en la práctica, estos algoritmos tendrán que acabar siendo adoptados por la industria). Alternativamente, podrías desarrollar formas de comprobar si los sistemas tienen estas propiedades. Estas comprobaciones podrían, por ejemplo, ayudar a que los futuros productos de IA cumplan normas de seguridad estrictas.
Muchas personas que trabajan en la seguridad teórica de la IA dedican gran parte de su tiempo a demostrar teoremas o a desarrollar nuevos marcos matemáticos. También existen enfoques más conceptuales, aunque por lo general siguen haciendo un uso intensivo de los marcos formales.
Algunos ejemplos de investigación teórica en seguridad de la IA son:
En general, hay menos puestos disponibles para el trabajo teórico en seguridad de la IA, especialmente como colaborador de investigación. Existen puestos de colaborador de investigación teórica en organizaciones sin ánimo de lucro (principalmente en el Alignment Research Center), así como en algunos laboratorios (por ejemplo, el trabajo de Anthropic sobre modelos predictivos condicionantes y el Causal Incentives Working Group en Google DeepMind). Probablemente, la mayoría de los colaboradores en seguridad teórica de la IA se encuentran en el mundo académico (por ejemplo, estudiantes de doctorado en equipos que trabajan en proyectos relevantes para la seguridad teórica de la IA).
Hay muchos enfoques técnicos de la seguridad de la IA en los que se está trabajando actualmente. He aquí algunos de ellos:
Vale la pena señalar que hay muchos enfoques sobre la seguridad de la IA y que la gente del sector no está de acuerdo en qué funcionará y qué no.
Esto significa que, una vez que estés trabajando en el campo, puede valer la pena ser caritativo y tener cuidado de no asumir que el trabajo de los demás es poco útil solo porque eso es lo que parece a primera vista. Probablemente, tú también deberías tener dudas sobre tu propia agenda de investigación.
Además, como hemos mencionado antes, muchos trabajos relevantes que se realizan en todas estas áreas no se etiquetan explícitamente como “seguridad”.
Por tanto, es importante que pienses detenidamente si una investigación concreta contribuye a reducir los riesgos que puedan derivarse de los sistemas de IA.
La investigación técnica en la seguridad de la IA no es la única forma de avanzar en la reducción de los riesgos que los futuros sistemas de IA podrían ocasionar. Además, hay muchos otros problemas apremiantes en el mundo que no son la posibilidad de una catástrofe relacionada con la IA y muchas carreras profesionales que pueden ayudar con ellos. Si encajaras mejor trabajando en otra cosa, probablemente deberías dedicarte a ello.
Además de la aptitud personal, esta carrera profesional tiene otras desventajas:
Por último, hemos escrito más acerca de los mejores argumentos en contra de que la IA sea un problema apremiante en nuestro perfil de problema sobre la prevención de una catástrofe relacionada con la IA. Si son correctos, tal vez podrías tener más impacto trabajando en algo diferente.
Muchos investigadores técnicos trabajan en pequeñas empresas emergentes o empresas más grandes que pagan salarios competitivos en comparación con la industria tecnológica del área de la bahía de San Francisco y Silicon Valley, e incluso hay organizaciones más pequeñas y sin ánimo de lucro que pagan salarios competitivos para atraer a los mejores talentos. La retribución media de un ingeniero de software en el área de la bahía de San Francisco era de $222 000 anuales en 2020.c (Véase más información sobre los salarios en ingeniería de software).
Esta media de $222 000 puede estar infravalorada, ya que los puestos relacionados con la IA, especialmente en los principales laboratorios de IA que están ampliando rápidamente su trabajo en este campo, suelen estar mejor pagados que otros empleos tecnológicos, y lo mismo ocurre con los investigadores en seguridad, incluso los que trabajan en organizaciones sin ánimo de lucro.
Sin embargo, el mundo académico tiene sueldos más bajos que la industria en general, y suponemos que los puestos de investigación en seguridad de la IA en el mundo académico están peor pagados que en los laboratorios comerciales y en las organizaciones sin ánimo de lucro.
Por lo general, necesitarás una formación cuantitativa (aunque no necesariamente en ciencias de la computación o aprendizaje automático) para acceder a esta carrera profesional.
Hay dos enfoques principales que puedes adoptar para predecir tu aptitud, y es útil hacer ambas cosas:
Puede llevar algún tiempo adquirir conocimientos especializados, lo cual es quizá un requisito para obtener satisfacciones, así que prepárate para dedicar algún tiempo a aprender y practicar antes de decidirte a cambiar por completo a otra cosa.
Si no estás seguro de cuáles podrían ser los puestos a los que aspirar a largo plazo, aquí tienes algunas formas aproximadas de hacer conjeturas sobre ellos y sobre tu aptitud para cada uno:
como prueba aproximada para el puesto de ingeniero de investigación, si puedes reproducir un artículo típico de AA en unos cientos de horas y tus intereses se alinean con los nuestros, probablemente estemos interesados en entrevistarte.
Véase nuestro artículo sobre la aptitud personal para saber más sobre cómo evaluar tu aptitud para las carreras profesionales que quieres seguir.
Es posible que puedas aplicar a algunos puestos de inmediato —especialmente si cumples, o estás cerca de cumplir, las pruebas que acabamos de ver—, pero también puede que antes tardes algún tiempo, posiblemente varios años, en capacitarte.
En esta sección, te daremos una guía para entrar en la investigación en seguridad técnica de la IA. Repasaremos cuatro cuestiones clave:
Esperamos que, al final de la sección, tengas todo lo que necesitas para ponerte en marcha.
Para conseguir algo en el mundo de la investigación técnica en seguridad de la IA, es probable que necesites conocimientos básicos de programación, de matemáticas y de aprendizaje profundo.
También es posible que quieras practicar lo suficiente para convertirte en un ingeniero de AA decente (aunque esto suele ser más útil para la investigación empírica) y aprender un poco sobre técnicas de seguridad en particular (aunque esto suele ser más útil para los líderes de investigación empírica y los investigadores teóricos).
Repasaremos cada uno de estos campos por separado.
Es probable que quieras aprender a programar en Python, porque es el lenguaje más utilizado en ingeniería de AA.
Quizá el primer paso sea simplemente probar. Siendo un completo principiante, puedes escribir, en menos de 20 minutos, un programa en Python que te recuerde que debes tomar un descanso cada dos horas. No te desanimes si tu código no funciona la primera vez: ¡es lo que suele ocurrir cuando la gente programa!
Una vez hecho esto, tienes varias opciones:
Puedes leer más sobre cómo aprender a programar —y cómo conseguir tu primer trabajo en ingeniería de software (si ese es el camino que quieres seguir)— en nuestra evaluación de la ingeniería de software como carrera profesional.
Las matemáticas del aprendizaje profundo se basan en gran medida en el cálculo y el álgebra lineal, y la estadística también puede ser útil, aunque en general el aprendizaje de las matemáticas es mucho menos importante que la programación y el AA básico y práctico.
Por lo general, recomendamos estudiar una carrera cuantitativa (como matemáticas, ciencias de la computación o ingeniería), la mayoría de las cuales abarcará las tres áreas bastante bien.
Si quieres ser bueno en matemáticas, de hecho tienes que resolver problemas. Así que, por lo general, lo más útil que ofrecen los libros de texto y los cursos en línea no son sus explicaciones, sino un conjunto de ejercicios que debes intentar resolver, en orden, con algo de ayuda si te atascas.
Si quieres estudiar por tu cuenta (sobre todo si no tienes un título cuantitativo), aquí tienes algunos recursos posibles:
Quizá puedas encontrar recursos que cubran todas estas áreas, como el curso de matemáticas para el aprendizaje automático del Imperial College.
Es probable que necesites tener un conocimiento decente de cómo se desarrollan actualmente los sistemas de IA. Esto implicará aprender sobre redes neuronales y aprendizaje automático, antes de sumergirte en cualquier subcampo específico del aprendizaje profundo.
De nuevo, existe la opción de cursar estos estudios en la universidad. Si estás en la universidad, valdrá la pena que averigües si puedes hacer un curso de AA aunque no te estés especializando en ciencias de la computación.
Hay una advertencia importante: aprenderás mucho en el trabajo, y lo que necesitas saber de antemano para cualquier puesto o curso variará enormemente. Ni siquiera los mejores académicos lo saben todo sobre sus campos. Vale la pena intentar averiguar cuánto necesitarás saber para el puesto que quieres desempeñar antes de invertir cientos de horas en aprender sobre AA.
Teniendo en cuenta esta advertencia, he aquí algunas sugerencias de los lugares por los que podrías empezar si quieres estudiar por tu cuenta lo básico:
PyTorch es un paquete muy utilizado para implementar redes neuronales, y probablemente valga la pena aprenderlo. Cuando empecé a aprender sobre AA, mi primera red neuronal fue una red neuronal convolucional de tres capas con regularización L2 que clasificaba caracteres de la base de datos MNIST. Este es un primer reto bastante común y una buena forma de aprender PyTorch.
Si vas a trabajar como investigador en seguridad de la IA, suele ser útil saber algo sobre la seguridad de la IA.
Esto no siempre es cierto: algunos puestos de ingeniería no requerirán muchos conocimientos sobre seguridad de la IA. Pero incluso en esos casos, saber lo básico probablemente te ayudará a conseguir un puesto, así como a tomar decisiones difíciles y evitar hacer daño. Y si quieres ser capaz de identificar trabajos útiles y realizarlos, al final tendrás que aprender sobre este campo.
Como el campo es todavía tan nuevo, probablemente no haya (todavía) cursos universitarios que puedas seguir. Así que tendrás que estudiar por tu cuenta. Aquí tienes algunos lugares por los que podrías empezar:
Para más sugerencias —especialmente cuando se trata de leer sobre la naturaleza de los riesgos a los que podríamos enfrentarnos con los sistemas de IA— echa un vistazo a los mejores recursos para aprender más de nuestro perfil del problema.
Algunos puestos de investigación técnica requieren un doctorado, pero otros muchos no, y los doctorados no son la mejor opción para todo el mundo.
El principal beneficio de hacer un doctorado probablemente sea la práctica de establecer y llevar a cabo tu propia agenda de investigación. En consecuencia, hacer un doctorado es prácticamente la opción por defecto si quieres ser líder de investigación.
Dicho esto, también puedes convertirte en líder de investigación sin un doctorado, sobre todo si te has desempeñado como colaborador de investigación. En algunos grandes laboratorios, la frontera entre ser colaborador y líder es cada vez más difusa.
Hay muchas personas a quienes los doctorados les resultan muy difíciles. Pueden generar aislamiento y frustración, y duran mucho tiempo (de 4 a 6 años). Además, tanto tu calidad de vida como lo que aprendas dependerán de tu supervisor, y puede ser muy difícil saber de antemano si estás haciendo una buena elección.
Así que, si estás pensando en hacer un doctorado, aquí tienes algunas cosas que debes tener en cuenta:
Más información en nuestra reseña más detallada (pero menos actualizada) sobre los doctorados en aprendizaje automático.
Conviene recordar que la mayoría de los trabajos no necesitan un doctorado. Y para algunos trabajos, especialmente los de colaborador de investigación empírica, aunque un doctorado sería útil, a menudo hay mejores formas de conseguir el capital profesional que necesitarías (por ejemplo, trabajando como ingeniero de software o de AA). Hemos entrevistado a dos ingenieros de AA que han tenido carreras profesionales de enorme éxito sin hacer un doctorado.
Creemos que hay razones para pensar que desarrollaremos una IA que podría ser enormemente transformadora para la sociedad a finales de la década de 2030.
En igualdad de condiciones, esa posibilidad podría ser un argumento a favor de intentar tener un impacto de inmediato, en lugar de pasar cinco (o más) años haciendo un doctorado.
En última instancia, sin embargo, tu aptitud para un determinado doctorado es probablemente un factor mucho más importante que cuándo se desarrollará la IA.
Es decir, creemos que el incremento del impacto causado por la elección de una carrera adecuada para ti es probablemente mayor que cualquier disminución del impacto causado por retrasar tu trabajo. Esto se debe en parte a que la diferencia de impacto generada por los puestos específicos que tienes a disposición y por tu aptitud personal para ellos suele ser muy grande. Algunos puestos (sobre todo los de líder de investigación) simplemente requieren tener un doctorado, y otros (sobre todo los más relacionados con la ingeniería) no, y la aptitud de las personas para estos puestos varía bastante.
También tenemos una gran incertidumbre acerca de las estimaciones sobre cuándo podríamos desarrollar una IA transformadora. Esta incertidumbre reduce el costo esperado de cualquier retraso.
Y lo que es más importante, creemos que los doctorados no deberían considerarse como un mero retraso de tu impacto. Puedes hacer un trabajo útil en un doctorado y, por lo general, los dos primeros años de cualquier carrera profesional implican aprender lo básico y ponerse al día. Así que si tienes un buen tutor, un buen entorno de trabajo y has elegido bien el tema, tu trabajo de doctorado podría ser tan bueno, o posiblemente mejor, que el trabajo que harías si te fueras a trabajar a cualquier otro lugar al principio de tu carrera. Y si de repente obtienes evidencia de que hay menos tiempo del que pensabas, es relativamente fácil abandonar.
Hay muchas otras consideraciones al respecto: para una visión general y algún debate, véase este artículo de Alex Lawsen, asesor de 80 000 Horas, así como los comentarios.
En general, te sugerimos que, en lugar de preocuparte por el retraso de tu impacto, pienses en el camino a largo plazo que quieres seguir y en la forma en que las oportunidades concretas que tienes ante ti te llevarán hasta allí.
Los doctorados en AA pueden ser muy competitivos. Para entrar, probablemente necesitarás unas cuantas publicaciones (como hemos dicho antes, algo así como un artículo de seminario del que seas el primer autor, y un artículo de conferencia, presentado en algún evento importante de AA (como NeurIPS o ICML), del que seas el tercer autor) y referencias, probablemente de académicos de AA. (¡Aunque las publicaciones también son buenas, sea cual sea el camino que acabes tomando!)
Para llegar a ese punto, necesitarás bastante suerte y también tendrás que encontrar la forma de conseguir algo de experiencia en investigación.
Una opción es hacer una maestría en AA, aunque asegúrate de que sea una maestría de investigación: la mayoría de las maestrías en AA se centran principalmente en la capacitación para la industria.
Mejor aún, intenta conseguir unas prácticas en un grupo de investigación de AA. Las oportunidades incluyen RISS, en la Universidad Carnegie Mellon, UROP, en el Imperial College de Londres, el programa internacional de investigación de verano del Aalto Science Institute, el Data Science Summer Institute, el programa de prácticas del Toyota Technological Institute y el MILA. También puedes intentar hacer prácticas específicamente en seguridad de la IA, por ejemplo en CHAI, aunque este enfoque tiene sus desventajas: puede ser más difícil publicar y la tutoría puede ser más limitada.
Otra forma de conseguir experiencia en investigación es preguntar si puedes trabajar con investigadores. Si ya estás en una universidad de alto nivel, lo más fácil puede ser ponerte en contacto con personas que trabajen en la universidad en la que estás estudiando.
Los estudiantes de doctorado o los posdoctorandos pueden ser más receptivos que los profesores, pero al final querrás que algunos profesores con los que hayas trabajado te faciliten referencias, así que tendrás que ponerte en contacto con ellos. Los profesores suelen recibir muchos correos electrónicos “en frío”, ¡así que intenta llamar su atención! Puedes intentar alguna de estas cosas:
Lo ideal es que encuentres a alguien que te supervise bien y tenga tiempo para trabajar contigo (eso no significa necesariamente el profesor más famoso, aunque ayuda mucho que publique regularmente en los congresos más importantes). De ese modo, llegarán a conocerte, tendrán la oportunidad de impresionarse contigo y te proporcionarán referencias excepcionales cuando solicites el doctorado.
Es muy posible que tengas que pasar uno o dos años trabajando como ayudante de investigación para conseguir las publicaciones y referencias que necesitas para acceder a un doctorado, aunque esos puestos también pueden ser bastante competitivos.
Esta guía de Adam Gleave también proporciona más detalles sobre cómo conseguir un doctorado, entre ellos dónde solicitarlo y algunos consejos sobre el propio proceso de solicitud. Discutimos los doctorados en AA con más detalle en nuestra evaluación de esta carrera profesional (aunque está desactualizada en comparación con esta evaluación).
En última instancia, la mejor forma de aprender a hacer investigación empírica —especialmente para puestos de colaborador y centrados en la ingeniería— es trabajar en algún lugar que haga tanto ingeniería de alta calidad como investigación de vanguardia.
Los tres laboratorios principales son probablemente Google DeepMind (que ofrece prácticas a estudiantes), OpenAI (que tiene un programa de residencia de 6 meses) y Anthropic. (Trabajar en un laboratorio de IA destacado conlleva cierto riesgo de hacer daño, por lo que es importante que pienses detenidamente en tus opciones. Hemos escrito un artículo aparte en el que analizamos las principales consideraciones pertinentes.)
Para acabar trabajando en un puesto de investigación empírica, probablemente necesitarás acumular cierto capital profesional.
Tanto si quieres ser líder de investigación como colaborador, te ayudará ser un buen ingeniero de software. La mejor forma de lograrlo suele ser conseguir un trabajo como ingeniero de software en una gran empresa tecnológica o en una empresa emergente prometedora. (Hemos escrito un artículo entero sobre cómo convertirse en ingeniero de software.)
Muchos puestos requerirán que seas un buen ingeniero de AA, lo que significa ir más allá de lo básico que hemos visto antes. La mejor forma de convertirte en un buen ingeniero de AA es conseguir un trabajo haciendo ingeniería de AA, y los mejores lugares para ello son probablemente los principales laboratorios de IA.
Para puestos como líder de investigación, necesitarás relativamente más experiencia en investigación. Tendrás que convertirte primero en colaborador de investigación o entrar en el mundo académico (por ejemplo, haciendo un doctorado).
Dicho esto, es importante recordar que no necesitas saberlo todo para empezar a presentar tu candidatura, ya que inevitablemente aprenderás mucho en el trabajo, así que trata de averiguar qué necesitarás aprender para conseguir los puestos específicos que estás considerando.
¿Cuánta experiencia necesitas para conseguir un trabajo? Vale la pena recordar las pruebas que hemos visto anteriormente para los puestos de colaborador:
como prueba aproximada para el puesto de ingeniero de investigación, si puedes reproducir un artículo típico de AA en unos cientos de horas y tus intereses se alinean con los nuestros, probablemente estemos interesados en entrevistarte.
En el proceso de adquirir esta experiencia, podrías acabar trabajando en puestos que hagan avanzar las capacidades de la IA. Hay diversas opiniones sobre la posibilidad de que esto sea perjudicial, por lo que te sugerimos que leas nuestro artículo sobre el trabajo en los principales laboratorios de IA y nuestro artículo con consejos anónimos de expertos sobre el trabajo en puestos que hacen avanzar estas capacidades. También vale la pena hablar con nuestro equipo sobre las oportunidades concretas que tengas.
Si estás haciendo otro trabajo, o una carrera, o crees que necesitas aprender algo más antes de intentar cambiar de carrera profesional, hay algunas buenas formas de conseguir más experiencia haciendo ingeniería de AA que van más allá de lo básico que ya hemos visto:
Hay menos puestos de trabajo disponibles en investigación teórica en seguridad de la IA, por lo que es más difícil dar consejos concretos. Tener un doctorado en matemáticas o ciencias teóricas de la computación no siempre es necesario, pero es bastante común entre los investigadores de la industria y para ser académico es prácticamente un requisito.
Si haces un doctorado, lo ideal sería que fuera en un área relacionada al menos de algún modo con la investigación teórica en seguridad de la IA. Por ejemplo, podría ser en teoría de la probabilidad aplicada a la IA o en ciencias teóricas de la computación (busca investigadores que publiquen en COLT o FOCS).
Otra posibilidad es convertirse en investigador empírico antes de pasar a la investigación teórica.
A diferencia de la investigación empírica, necesitarás saber relativamente menos sobre ingeniería y relativamente más sobre la seguridad de la IA como campo.
Una vez que hayas hecho lo básico, el paso siguiente que podrías dar es leer artículos de un investigador concreto, o sobre un tema concreto, y resumir lo que hayas encontrado.
También podrías intentar dedicar algún tiempo (quizá entre 10 y 100 horas) a leer sobre un tema y luego algo más (quizá otras 10 o 100 horas) a intentar aportar nuevas ideas sobre ese tema. Por ejemplo, podrías intentar elaborar propuestas para resolver el problema de la extraccion de conocimiento latente. Como opción alternativa, si quisieras centrarte en el aspecto más matemático, podrías intentar hacer la tarea que aparece al final de esta conferencia de Michael Cohen, estudiante de posgrado de la Universidad de Oxford.
Si quieres entrar en el mundo académico, leer un gran número de artículos parece especialmente importante. Quizá podrías intentar escribir un artículo de investigación sobre un tema determinado en tu tiempo libre. Es una forma estupenda de dominar un tema, desarrollar nuevas ideas, detectar lagunas y proponer ideas de investigación. Cuando te postules a un programa universitario de posgrado o a un trabajo, tu artículo será una forma fantástica de demostrar que te gusta tanto la investigación que lo haces por diversión.
Hay algunos programas de investigación dirigidos a personas nuevas en este campo, como el SERI ML Alignment Theory Scholars Program, al que podrías presentarte.
También puedes conseguir experiencia más concreta haciendo prácticas de investigación, trabajando como ayudante de investigación o haciendo un doctorado, sobre todo lo cual hemos escrito más arriba, en la sección sobre el acceso a los programas de doctorado.
Hay que tener en cuenta que muchas de las personas con las que hablamos intentan aprender de forma independiente. Esto puede ser una gran idea para algunas personas, pero es bastante difícil para otras, porque hay mucha menos estructura y asesoramiento.
Laboratorios de IA de la industria que tienen equipos empíricos de seguridad técnica o que se centran totalmente en la seguridad:
Laboratorios de seguridad de la IA teóricos / conceptuales:
La seguridad de la IA en el mundo académico (una lista muy poco exhaustiva; aunque el número de académicos centrados explícita y públicamente en la seguridad de la IA es reducido, es posible llevar a cabo investigaciones relevantes en un conjunto mucho más amplio de instituciones):
Aquí tienes algunas sugerencias acerca de dónde puedes obtener más información:
Si prefieres los pódcasts, hay algunos episodios relevantes del pódcast de 80 000 Horas que podrían resultarte útiles: