Cómo formarse profesionalmente en alineación técnica de la inteligencia artificial
Esta guía está dirigida a las personas que están considerando trabajar directamente en la alineación técnica de la IA. Espero que sea de gran utilidad tanto para las personas que aún no estén trabajando en este campo, como para las que ya estén familiarizadas con los argumentos a favor de trabajar en él. Si no conoces los argumentos que defienden la importancia de la alineación de la IA, puedes acceder a un panorama general leyendo Por qué la alineación de la inteligencia artificial podría ser difícil con las técnicas modernas de aprendizaje profundo (Cotra, 2021), alguna entrada de The “most important century” blog post series (Karnofsky, 2021) y AGI safety from first principles (Ngo, 2019).
Puede que lo mejor para ti no sea trabajar en la alineación técnica de la IA. Puedes tener un gran impacto en la reducción del riesgo existencial derivado de la IA trabajando en otras áreas relacionadas con la IA, como la estrategia, la gobernanza, la política, la seguridad, la pronosticación, las tareas de apoyo, la construcción del campo, la concesión de becas y la gobernanza del hardware. Todo esto sin contar otras áreas, como el riesgo biológico. Probablemente sea mejor hacer un gran trabajo en una de esas áreas que un trabajo mediocre de alineación técnica, porque el impacto es de cola pesada. Un buen ejercicio es volver a escuchar el pódcast/post de Holden Karnofsky sobre las aptitudes y pensar en cuáles de ellas podrías destacar. Luego pregúntate a ti mismo o a otros cómo podrías utilizar esas aptitudes para resolver los problemas que te preocupan. También recomiendo postularse para hablar con 80 000 Horas.
Probablemente me equivoque, pero quizá sea de ayuda. Los comentarios que he recibido fueron en general positivos, pero no me sorprendería que algunas personas pensaran que esta guía es netamente negativa. Por ejemplo, porque empuja a la gente hacia (o la aleja de) determinados objetivos, como la investigación teórica, la investigación empírica, la ingeniería de aprendizaje automático (AA) o la obtención de un doctorado. He intentado comunicar aquí mi punto de vista global, después de integrar los comentarios. Pero solo puedo sugerir que intentes formar tu propia opinión sobre qué es lo mejor que puedes hacer, y que tomes esta guía como una contribución a ese proceso.
Tuve mucha ayuda. Neel Nanda me ayudó a empezar este proyecto. Copié directamente cosas de Rohin Shah, Adam Gleave, Neel Nanda, Dan Hendrycks, Catherine Olsson, Buck Shlegeris y Oliver Zhang. Recibí excelentes comentarios de Adam Gleave, Arden Koehler, Rohin Shah, Dan Hendrycks, Neel Nanda, Noa Nabeshima, Alex Lawson, Jamie Bernardi, Richard Ngo, Mark Xu, Andy Jones y Emma Abele. Escribí la mayor parte de esta guía en la Abadía de Wytham, por cortesía de Elizabeth Garrett.
(Lo que sigue está casi todo copiado de FAQ, de Rohin Shah.)
Para la investigación de alineación técnica directa orientada a resolver el problema (es decir, aquella que ignora el trabajo “meta”, la construcción de campo, la gobernanza de la IA, etc.), estos son los caminos aproximados:
Líder de investigación (teórica): Estas funciones son de varios tipos (industriales, sin ánimo de lucro, académicas o incluso independientes). Se espera que propongas y dirijas proyectos de investigación. En general, se trata de proyectos que se pueden emprender con mucho trabajo de reflexión y de escritura en Google Docs/LaTeX, y quizá con un poco programación. El trabajo teórico de alineación puede ser más conceptual o más matemático. El resultado del trabajo matemático suele ser la demostración de un teorema o un nuevo marco matemático, mientras que en el trabajo conceptual la matemática se utiliza como una herramienta (muy buena) para saber si se ha resuelto un problema. El trabajo conceptual es más filosófico. No se requiere un doctorado, pero es útil. Habilidades relevantes: una inclinación extremadamente fuerte por el pensamiento y por la investigación y un gran conocimiento de la alineación de la IA; esto es especialmente importante debido a la falta de bucles de realimentación de la realidad.
Colaborador de investigación (teórica): Estos puestos son bastante raros; hasta donde yo sé, solo están disponibles en ARC [mayo de 2022]. Probablemente deberías leer su anuncio de búsqueda candidatos.
Líder de investigación (empírica): Fuera del mundo académico, estos puestos suelen estar disponibles en organizaciones industriales y organizaciones sin ánimo de lucro similares, como DeepMind, OpenAI, Anthropic y Redwood Research. Se espera que propongas y dirijas proyectos de investigación. En general, se trata de proyectos que implican lograr o comprender algo nuevo con los sistemas de AA actuales. No es estrictamente necesario un doctorado, pero en la práctica la mayoría de los jefes de investigación tienen uno. Habilidades relevantes: una fuerte inclinación por la investigación, un sólido conocimiento de la alineación de la IA y del AA y una habilidad moderada en programación e ingeniería de AA.
Colaborador de investigación (empírica): Estos puestos suelen estar disponibles en organizaciones industriales u organizaciones sin ánimo de lucro similares, como DeepMind, OpenAI, Anthropic y Redwood Research. Se espera que trabajes en equipo para desarrollar proyectos de investigación propuestos por otros. No se requiere un doctorado. Habilidades relevantes: una gran destreza en programación, un gusto moderado por la investigación y un conocimiento moderado de la alineación de la IA. Los trabajos varían en función de la mayor o menor destreza en ingeniería de AA requerida (pero la mayoría requieren una gran destreza).
Profesor: Se trata de una ruta específica para cualquiera de las dos carreras profesionales de “líder de investigación”, pero con requisitos adicionales: como académico, no solo se espera que propongas y dirijas una agenda de investigación, sino también que aceptes y guíes a estudiantes de posgrado para llevar a cabo esa agenda de investigación, que impartas clases, etc. Se requiere un doctorado; es el primer paso claro en esta carrera profesional. Habilidades relevantes: una fuerte inclinación por la investigación, un sólido conocimiento de IA y comunicación técnica moderada. La capacidad para la programación y para el AA normalmente no se comprueban ni se exigen, aunque suelen ser necesarias para tener éxito durante el doctorado.
Ingeniero de software: Muchas organizaciones también pueden beneficiarse de ingenieros de software expertos, por ejemplo, al crear marcos para trabajar con grandes redes neuronales que no se ajustan a una unidad de procesamiento gráfico o al reorganizar bases de código para hacerlas más limpias y modulares, a fin de permitir una experimentación más rápida. Sin embargo, supongo que solo deberías aspirar a esto si ya tienes estas habilidades (o puedes adquirirlas rápidamente), o si por alguna razón crees que podrías convertirte en un experto de primer orden en esta área, pero no en las otras.
La principal diferencia entre los líderes y los colaboradores de investigación es que se espera que los líderes aporten valor principalmente eligiendo y dirigiendo buenos proyectos de investigación, mientras que se espera que los colaboradores de investigación aporten valor principalmente ejecutando los proyectos con rapidez. Sin embargo, no es posible separar totalmente estas dos actividades, por lo que los líderes de investigación deben tener cierta habilidad para ejecutar proyectos, y los colaboradores deben tener cierta habilidad para elegir cómo avanzar en un proyecto. Algunas organizaciones, como DeepMind, hacen explícita la diferencia (usando títulos como “científico investigador” e “ingeniero investigador”), a diferencia de otras, como OpenAI [Anthropic] (que usan el título de “miembro del personal técnico”).
La razón principal por la que divido las funciones en “líder” y “colaborador” es que, hasta donde yo sé, las funciones de “líder” suelen ser ocupadas por personas con un doctorado. El doctorado es una exigencia explícita de DeepMind para el puesto de científico investigador, pero no para el de ingeniero investigador. (Ambas funciones pueden dirigir proyectos, si convencen a su jefe y a sus colaboradores de que vale la pena, aunque esto solo es una expectativa explícita para los científicos investigadores.) Otras organizaciones no exigen expresamente un doctorado, pero en cualquier caso parece que la mayoría de las personas que acaban eligiendo y dirigiendo proyectos de investigación de hecho tienen doctorados. Creo que esto se debe a que los doctorados enseñan habilidades de investigación que son difíciles de aprender por otras vías.
No quiero ser demasiado enfático al respecto. Sigue siendo posible dirigir proyectos sin un doctorado. En abril de 2022, podría nombrar a 10 personas sin doctorado cuyo trabajo se clasificaría mejor como “líder de investigación”, y que parecerían claramente merecedoras de financiamiento. (Ten en cuenta que “claramente merecedor de financiamiento sin un doctorado” no significa necesariamente que el doctorado sea una mala elección: en el caso de varias de estas personas, me parece probable que harían un trabajo mucho mejor dentro de 5 años si obtuvieran un doctorado en lugar de seguir haciendo las cosas que hacen actualmente.)
No tengo una opinión firme sobre qué tipo de trabajo de alineación es más valioso, así que me centraré sobre todo en la aptitud personal. Existe un amplio desacuerdo en la comunidad sobre el valor relativo de los distintos trabajos. Sin embargo, la principal decisión que tendrás que tomar al principio es si quieres dedicarte al trabajo de alineación empírico o teórico. Y creo que la mayoría de la gente cree que se puede hacer un buen trabajo en ambos campos. Si eso es cierto, probablemente puedas centrarte en destacar en el trabajo teórico o empírico en función de tu aptitud personal, mientras formas tu propia opinión sobre qué trabajo teórico/empírico específico de alineación conviene hacer.
Sin embargo, creo que la mayoría de la gente está de acuerdo en que si puedes convertirte en un líder de investigación capaz de establecer agendas de investigación buenas y novedosas, entonces deberías hacerlo. Tendrás que tener una fuerte inclinación por la investigación y ser capaz de reflexionar sobre todas las etapas de la alineación de la IA, lo que constituye una vara muy alta. Paul Christiano y Chris Olah son ejemplos de personas que han hecho esto.
Si ya eres un ingeniero de software experimentado, considera la posibilidad de aplicar inmediatamente para puestos que no sean de AA, o de capacitarte como ingeniero de AA. Algunos trabajos de ingeniería que se realizan en equipos de alineación no requieren conocimientos de AA. Por ejemplo, crear marcos para trabajar con grandes redes neuronales que no se ajustan a una unidad de procesamiento gráfico, o reorganizar bases de código para hacerlas más limpias y modulares a fin de permitir una experimentación más rápida. Es posible que algunos puestos de ingeniería de AA ni siquiera requieran experiencia en AA si eres un ingeniero de software con suficiente experiencia. Este es al menos el caso de Anthropic: Una larga experiencia programando y aprendiendo de la programación es la parte difícil. AA es la parte fácil, y podemos enseñarla
. Te sugiero que leas AI safety needs great engineers, DeepMind is hiring for the Scalable Alignment and Alignment Teams, y Software engineering.
En la medida en que creas que te pueden gustar el aprendizaje automático y la programación, te podría resultar útil leer la sección Cómo dedicarse al trabajo empírico de alineación. Puedes comprobar si te gustan el AA y la programación adquiriendo conocimientos básicos de aprendizaje profundo (AP). Los primeros pasos para los líderes y los colaboradores de investigación son similares, así que puedes seguir esos pasos mientras averiguas cuál es mejor para ti.
En la medida en que te guste la teoría, tengas o puedas obtener una sólida formación matemática/teórica en ciencias de la computación, y creas que podrías disfrutar construyendo modelos integrales de alineación de la IA, te podría resultar útil leer la sección Cómo dedicarse al trabajo teórico de alineación.
Observa si estás disfrutando, creciendo, progresando y obteniendo buenos resultados. Pero no te rindas inmediatamente si no es así. Disfrutar es realmente importante, sobre todo para la investigación. Pero a menudo la gente disfruta más de las cosas a medida que adquiere más dominio, o piensa que ya debería ser buena y sufre hasta que alcanza ese nivel. La gente suele tener mala suerte. Si estás disfrutando y obteniendo buenos resultados, es una gran señal. Si al cabo de un tiempo no te diviertes ni obtienes resultados, considera la posibilidad de dedicarte a otra cosa.
En ocasiones, personas muy capaces no están seguras de su valor, ni bien calibradas para juzgar lo buenas que podrían llegar a ser. He aquí algunas indicaciones más objetivas que puedes utilizar para evaluar tu idoneidad:
Como prueba aproximada para el puesto de ingeniero investigador, si puedes replicar un artículo típico de AA en unos cientos de horas y tus intereses se alinean con los nuestros, probablemente estemos interesados en entrevistarte.1 Las calificaciones importan menos de lo que la gente cree.
Habla con otros y pídeles que evalúen honestamente si estás bien encaminado para hacer un buen trabajo técnico. Esta es una buena forma de abordar el punto anterior. Facilítales la tarea de decirte que no vas por buen camino en las áreas en las que así sea, por ejemplo, insistiendo en lo útil que sería para ti cambiar cuanto antes a algo en lo que pudieras ser mejor. Podrías hacerlo en Effective Altruism Global, o hablando con 80 000 Horas.
Recursos recomendados:
Esta es una sección de alto nivel que proporciona un contexto y una heurística de alto nivel para quienes quieran dedicarse a distintos tipos de trabajo de alineación, con referencias a otras secciones del artículo en los que se profundiza más.
Los primeros pasos para los líderes y los colaboradores de investigación son similares, por lo que puedes seguir esos pasos mientras averiguas que es lo mejor para ti. La disyuntiva de desempeñar funciones de líder o colaborador de investigación dependerá principalmente de tu gusto y tus aptitudes para la investigación, para la reflexión sobre todas las etapas de la alineación y para el aprendizaje automático, en comparación con tu gusto y tus aptitudes para la ingeniería de AA. Lo mismo ocurre en caso de que quieras y puedas acceder a un programa de doctorado de alto nivel. Si no estás seguro, te recomiendo que adquieras conocimientos básicos de aprendizaje profundo, que hagas alguna implementación de AA y que intentes conseguir experiencia en investigación (véase la siguiente sección). A partir de ahí, evalúa tu aptitud personal, lo que podría incluir hablar con otras personas sobre tu aptitud.
Todo el mundo debería tener conocimientos básicos de aprendizaje profundo: Necesitarás aprender nociones básicas de Python, de matemáticas (álgebra lineal, cálculo y teoría de la probabilidad) y de modelos de AP y su implementación. El AP es, con diferencia, el paradigma dominante dentro del aprendizaje automático, que a su vez es el paradigma dominante dentro de la seguridad de la IA. He incluido los mejores recursos que conozco en la sección sobre aprendizaje profundo básico.
Necesitarás convertirte en un ingeniero de AA decente, incluso si lo que quieres es convertirte en líder de investigación. Para convertirte en un buen ingeniero de AA, necesitarás adquirir experiencia implementando modelos de AP.
La experiencia en investigación es esencial para los líderes de investigación y útil para los colaboradores.
Adquirir conocimientos de aprendizaje automático: ¿cómo y cuánto? Es más fácil aprender estando inmerso en un entorno de investigación, así que es razonable centrarse en aprender suficiente AA para llegar a ese punto. Eso significa tener conocimientos lo suficientemente amplios como para hablar de las principales áreas del AP de manera sensata y conocer los avances recientes, así como conocer en profundidad el área que quieras abordar. No necesitas aprender todo lo relativo al AA para formar parte de un entorno de investigación, si bien es probable que los líderes de investigación acaben sabiendo bastante de AA. Puedes ampliar tus conocimientos haciendo cursos sobre los subcampos más importantes del AA (véase Aprendizaje automático) y utilizando recursos que recopilen y resuman/expliquen los avances recientes (véase Aprendizaje automático). Puedes profundizar leyendo un montón de artículos principales de un subcampo (más de 10, o hasta que obtengas rendimientos decrecientes) y haciendo tu propia investigación, o trabajos prácticos, o réplicas de artículos. Puedes ver en qué áreas se interesa la gente mirando los blogs de los laboratorios en los que te interese trabajar, o consultando la Alignment Newsletter. Si puedes hacer cursos de AA para obtener créditos, probablemente sea una gran idea. Consulta la sección Aprendizaje automático para más detalles.
Aprender alineación de la IA: ¿cómo y cuánto? Para empezar, te recomiendo AGI safety from first principles (Ngo, 2020) y My overview of the AI alignment landscape (Nanda, 2022) y luego el curso de alineación de la IA de AI Safety Fundamentals o una lectura similar sobre alineación, habiendo dedicado previamente algún tiempo a asimilar conocimientos básicos de aprendizaje profundo. Aprender sobre alineación de la IA es mucho más importante para los líderes que para los colaboradores de investigación: hacer todo lo anterior no es suficiente para los líderes y no es necesario para algunas funciones de colaborador, pero probablemente será muy útil para ambos. Hay consejos mucho más detallados en la sección Alineación de la IA.
Si quieres ser líder de investigación, el camino por defecto es hacer un doctorado. Sin embargo, también es posible empezar a trabajar como ingeniero de investigación y pasar gradualmente a un puesto de líder, aunque en un puesto de ingeniero tendrás menos tiempo para actividades de investigación que en un programa de doctorado. También es posible convertirse en líder de investigación sin un doctorado, si se hace un programa de residencia. Vale la pena señalar que la frontera entre investigador e ingeniero se está desdibujando en lugares como Anthropic y OpenAI. Esto se debe en parte a que se preocupan menos por la imagen que dan los doctorados y en parte a que su investigación se inclina relativamente más hacia la ingeniería (hacia la implementación a gran escala) que hacia la creación de nuevas líneas de investigación. Lo más importante para convertirse en un buen líder de investigación es conseguir la tutoría de un investigador excelente y poder desarrollar la investigación en un buen entorno. Eso se suele conseguir en un doctorado, pero a veces es posible en el ámbito industrial.
Existe un desacuerdo bastante generalizado sobre cuán buenos son los doctorados. Mi impresión es que la mayor parte del desacuerdo se reduce a la eficacia con la que los doctorados desarrollan el gusto por la investigación y las habilidades útiles para la investigación de la alineación y, en segundo lugar, a la rapidez con la que la gente espera que se desarrolle la IAG: si el plazo es de 5 años, los doctorados no parecen una buena idea, porque es probable que no hagan ningún trabajo útil; si el plazo es de 15 años, el problema es menor. Según creo, la principal ventaja de un doctorado es que desarrolla tu gusto y tus habilidades para la investigación, de modo que, cuando te gradúes, seas capaz —idealmente— de establecer y llevar a cabo una (buena) agenda propia de investigación sobre alineación en la industria (ya sea en una organización existente o una nueva) o en el ámbito académico. En su defecto, la idea es que salgas de un doctorado con grandes habilidades de investigación que ayuden con la alineación. Un doctorado también abre algunas puertas que la ingeniería de AA no podría abrir, por ejemplo, puestos de científico investigador en DeepMind o Google Brain.
Aquí tienes algunas preguntas simplificadoras que puedes hacerte para que la decisión sea más fácil:
Si no estás seguro de qué camino seguir, puede que valga la pena optimizar la investigación a corto plazo mientras te haces una mejor idea del sentido que tiene para ti el doctorado (o de las ofertas que podrías recibir de un programa de alto nivel), y decidir más tarde, o presentar tu candidatura tanto a doctorados como a puestos de ingeniero investigador de AA y comparar las opciones. La investigación será muy útil para los puestos de ingeniería, siempre que te mantengas alejado de los temas de investigación cargados de teoría y, con el tiempo, hagas suficiente trabajo de ingeniería de AA. Y es una buena prueba de idoneidad. Pero la optimización para la ingeniería de AA no será tan útil para el doctorado, porque lo fundamental son las publicaciones y las cartas de recomendación. Sin embargo, puedes inscribirte a un doctorado después de trabajar como ingeniero investigador de AA en la industria.
Cómo hacer un doctorado: Si estás pensando en hacer un doctorado, te recomiendo enfáticamente que leas Careers in beneficial AI research (Gleave, 2020), FAQ de Rohin Shah, A Survival Guide to a PhD de Andrej Karpathy, y Machine learning PhD applications - Everything you need to know.
Lee la sección Actividades útiles tanto para los líderes como para los colaboradores de investigación empírica, que explica cómo adquirir conocimientos de aprendizaje profundo básico, de aprendizaje automático y de alineación de la IA, y cómo conseguir experiencia en investigación. Si estás seguro de que quieres aspirar a un puesto de colaborador de investigación/ingeniero de AA, adquirir experiencia en investigación es menos importante que para los puestos de líder de investigación, pero aun así puede ser una fuente útil de tutoría y desarrollo de habilidades. Un buen conocimiento de la alineación de la IA también es menos importante para conseguir puestos de colaborador de investigación, pero cuánto quieras invertir dependerá de cuánto quieras llegar a dirigir tu propia investigación, e invertir cuando sea posible parece valioso. Consulta la sección Alineación de la IA para más detalles.
Ser un buen ingeniero de software te ayudará a que seas un mejor ingeniero de AA. Si puedes conseguir unas prácticas de ingeniería de software en una empresa destacada desde el principio, probablemente te resultarán valiosas. En términos más generales, tener como tutor a alguien mucho mejor que tú en ingeniería de software probablemente será valioso, al igual que leer mucho código y programar mucho. Además de las prácticas, los puestos de trabajo y tus propios proyectos, podrías conseguir una tutoría contribuyendo a proyectos de código abierto y preguntando a alguna persona veterana de ese proyecto si quiere ser tu tutor. Quizá deberías echar un vistazo a Software engineering, publicado en 80 000 Horas.
Haz réplicas de artículos. Para llegar a ser bueno en ingeniería de AA, tendrás que adquirir experiencia implementando modelos de AA. Una buena forma de hacerlo es replicar algunos artículos fundamentales en un subcampo en el que quieras trabajar. Esto es similar a la tarea de implementar algoritmos novedosos, pero con una ayuda similar a las rueditas de bicicleta: sabes que el algoritmo funciona y cómo tiene que ser un buen rendimiento. También te proporcionará una gran comprensión de los métodos que implementas. Busca formas de demostrar tu competencia, haciendo que tu código sea abierto y tal vez escribiendo una entrada de blog sobre tu trabajo. Puedes solicitar financiamiento para hacer réplicas de artículos. Para más consejos, consulta abajo la sección “Recursos para replicar artículos”.
A continuación te ofrecemos algunas ideas útiles para replicar artículos. Son bastante improvisadas. Si te tomas en serio la idea de dedicar un par de cientos de horas a las réplicas de artículos, sería una buena idea que te pusieras en contacto con el laboratorio en el que quieres trabajar con un plan específico, para que puedan darte su opinión al respecto. Lo ideal sería ver si puedes conseguir a alguien que te guíe. Será útil tener a mano una base de código abierto, por lo que deberías intentar encontrar una antes de comenzar. Consulta la sección Aprendizaje automático para más información.
Inscríbete en el MLAB: Redwood Research está organizando otro curso intensivo de programación (competitivo) totalmente financiado para el verano de 2022. El plazo para presentar la solicitud ya ha finalizado, pero es posible que haya convocatorias futuras. Practicar con los problemas de LeetCode probablemente sea útil para ser aceptado.
¿Qué hace falta para conseguir un trabajo?
Como prueba aproximada para el puesto de ingeniero de investigación, si puedes replicar un artículo típico de AA en unos cientos de horas y tus intereses coinciden con los nuestros, probablemente estemos interesados en entrevistarte.2 Puedes leer sobre sus puestos disponibles aquí.
Es difícil juzgar a simple vista si una persona concreta será adecuada para la ingeniería de seguridad de la IA, pero aquí tienes una buena prueba de fuego: Con unas pocas semanas de trabajo, ¿podrías —¡hipotéticamente!— escribir una nueva función o corregir un error grave en una biblioteca significativa de AA?3 (Advertencia importante: se trata de la persona que Anthropic contrataría inmediatamente y que espera que contribuya en la primera semana. No es una prueba para saber si podrías convertirte en esa persona.) Anthropic habla de su proceso de contratación aquí y de lo que buscan aquí.
Si puedes implementar un transformador en PyTorch, probablemente ya deberías estar hablando con Redwood. Puedes leer sobre sus puestos aquí.
¿Dónde deberías trabajar? Adam Gleave: La mejor forma de aprender ingeniería de investigación es trabajar en algún lugar donde haya tanto ingeniería de alta calidad como investigación de vanguardia. Postúlate para programas de residencia [muy competitivos] en laboratorios industriales. Los cuatro mejores son DeepMind, OpenAI, Google Brain y Facebook AI Research (FAIR); también hay laboratorios más pequeños (pero buenos) centrados en seguridad, como Anthropic y Redwood Research. También hay muchos laboratorios más pequeños como Amazon AI, Nvidia, Vicarious, etc. En general son menos recomendables, pero siguen siendo buenas opciones
. Desde que Adam escribió eso, se han formado algunas organizaciones nuevas centradas en modelos de lenguaje que podrían ser buenos lugares para adquirir habilidades. Se trata de Conjecture (centrada en la seguridad), Cohere (algo de seguridad a corto plazo y muchos altruistas eficaces trabajando allí; sin embargo, yo no apostaría a que fuera bueno acabar allí) y Hugging Face (sin seguridad existencial).
Durante los dos primeros años, quizá valga la pena ir a donde puedas crecer más. Después, querrás ir a donde puedas hacer la mejor investigación sobre alineación. Sin embargo, personalmente me preocupa que la gente adquiera habilidades durante un par de años y luego no cambie para hacer el trabajo de alineación más valioso que pueda, porque puede ser fácil justificar que tu trabajo está ayudando cuando no es así. Esto puede ocurrir incluso en laboratorios que dicen centrarse en la seguridad. Sin embargo, trabajar en Anthropic, DeepMind, Redwood Research u OpenAI parece una apuesta segura. Si no puedes trabajar en uno de esos lugares, el hecho de que la adquisición de habilidades fuera de los equipos de seguridad (por ejemplo, en Google Brain o FAIR) sea buena dependerá en gran medida de si esperas poder cambiar más adelante a un trabajo de mayor impacto (lo cual requiere seguir formando tu propia opinión sobre la alineación, y la agencia), de la motivación que tengas haciendo un trabajo que no ayude a la alineación, y de la utilidad de estar rodeado de personas que trabajan en alineación en comparación con personas que son grandes ingenieros de AA: lo primero es más importante cuanto más quieras dirigir tu propia investigación, lo segundo es más importante cuanto más esperes que la ingeniería de AA sea tu principal contribución.
Recursos para replicar artículos:
Recursos profesionales: Si tienes la intención de dedicarte a la ingeniería de AA, te recomiendo que leas estos artículos:
No sé mucho sobre trabajo teórico, lo siento. Si eres investigador teórico y tienes ideas sobre cómo mejorar esta sección, ¡házmelo saber! Los caminos para realizar trabajo teórico también se han investigado menos que los caminos para el trabajo empírico, así que no es del todo culpa mía. En cualquier caso, esto es lo que puedo ofrecer:
El trabajo teórico de alineación puede ser más conceptual o más matemático.
¿Cómo es el trabajo conceptual? El trabajo conceptual de alineación a menudo implica razonar sobre comportamientos hipotéticos. Por ejemplo, Mark Xu (del Alignment Research Center) describe la mayor parte de su trabajo como idear propiedades deseables para los algoritmos, comprobar si los algoritmos tienen esas propiedades e intentar encontrar algoritmos que las tengan
. Esto es bastante similar al conjunto de habilidades que cabría esperar de un informático teórico. El trabajo suele implicar mucho razonamiento matemático y filosófico. Los investigadores conceptuales también deben tener un gran gusto por la investigación y un gran conocimiento de la alineación de la IA. Esto es para que no se pierdan en investigaciones teóricas que no ayudan a la alineación, lo cual puede ocurrir fácilmente, ya que el trabajo teórico tiene bucles de realimentación bastante pobres. Algunos ejemplos de investigación conceptual son Eliciting Latent Knowledge de Paul Christiano, Risks from learned optimization in advanced machine learning systems de Evan Hubinger, Testing the natural abstraction hypothesis de John Wentworth y el trabajo del MIRI sobre los fundamentos para los agentes.
¿Cómo es el trabajo matemático? Creo que la principal diferencia es que en el trabajo matemático el resultado es la demostración de un teorema, un contraejemplo o un nuevo marco matemático, mientras que en el trabajo conceptual las matemáticas se utilizan como una herramienta (muy buena) para saber si se ha resuelto un problema. El trabajo conceptual es más filosófico: los argumentos rara vez son herméticos y se requiere mucha más capacidad de juzgar. Algunos ejemplos de trabajos matemáticos son Pessimism about unknown unknowns inspires conservatism de Michael Cohen, Infrabayesianism de Vanessa Kosoy, el trabajo de Scott Garabrant sobre Logical induction, Cartesian frames, y Temporal inference with finite factored sets, Cooperative inverse reinforcement learning, y el trabajo de Tom Everett (tesis, trabajo actual). Puedes ver más temas aquí. Esto contrasta con el trabajo conceptual semiformal, del que Risks from learned optimization in advanced machine learning systems, de Evan Hubinger, es un ejemplo fundamental.
¿En qué lugares se dan estos trabajos? El espacio es bastante extraño. No hay organizaciones establecidas que realicen trabajos para los que haya un plan definido. Se trata más bien de una mezcla de gente del mundo académico (que sobre todo trabajan en cosas relacionadas con las matemáticas, por ejemplo Cooperative inverse reinforcement learning, y hace el tipo de trabajo de Michael Cohen), gente independiente con becas (como John Wentworth), el Machine Intelligence Research Institute (MIRI) (que cuenta entre sus miembros a Evan Hubinger, Scott Garabrant y Vanessa Kosoy), el Alignment Research Center (ARC) (que dirige Paul Christiano), algunas personas de DeepMind (por ejemplo, Ramana Kumar, y ahora también algunos miembros de Conjecture.
No sé a ciencia cierta si es mejor trabajar en matemáticas o en investigación conceptual. Afortunadamente, los conjuntos de habilidades son bastante similares, por lo que probablemente puedas probar ambas por un tiempo, mientras desarrollas tus propios puntos de vista sobre el trabajo más valioso, y luego decidir en función de tu opinión sobre el lugar más adecuado para hacer el mejor trabajo.
Cómo probar tu idoneidad para la investigación conceptual: (Realmente no lo sé, lo siento.)
Cómo probar tu idoneidad para la investigación matemática: (Realmente no lo sé, lo siento).
Conviene tener en cuenta que dedicarse al trabajo teórico de alineación es mucho más arriesgado que dedicarse al trabajo centrado en el AA, porque adquirirás menos habilidades transferibles que con el trabajo de AA, tendrás menos credibilidad fuera de la comunidad de la alineación y la infraestructura para este trabajo recién está empezando a construirse. Dicho esto, si crees que podrías encajar bien, ¡puede que valga la pena probarlo!
Cómo dedicarse a la investigación conceptual de alineación: De nuevo, realmente no lo sé. Por eso, conseguir una tutoría parece bastante importante. Si puedes producir algo, tal vez a partir de uno de los ejercicios anteriores, creo que Mark Xu o Evan Hubinger estarían dispuestos a conversar contigo y a darte consejos sobre tu carrera profesional. He aquí algunas opciones a corto y mediano plazo: trabajar de forma independiente con una beca (o en una organización existente, aunque probablemente necesitarías un doctorado para ello), trabajar en ARC o MIRI (no estoy seguro de que el MIRI esté contratando actualmente), ser aprendiz de un investigador conceptual, o hacer un doctorado (en matemática/ciencias de la computación, con un profesor inteligente y accesible que publique regularmente en COLT, FOCS o alguna conferencia similar. Es probable que no puedas publicar trabajos de alineación conceptual durante un doctorado, pero podrías adquirir habilidades útiles). Mi opinión es que la tutoría debería ser la consideración principal al principio de tu carrera profesional: trabajar con un investigador experto en alineación conceptual y ser tutelado por él es probablemente mejor que hacer un doctorado (a menos que tengas la oportunidad de trabajar estrechamente con un asesor realmente competente o alineado con tus valores), y es probable que un buen doctorado sea mejor que el trabajo independiente. Si decides ser aprendiz de un investigador conceptual, o trabajar en ARC/MIRI, algunos de los ejercicios de la sección anterior te serán útiles: leer, destilar y asimilar la visión del mundo de alguien, publicar en el AI Alignment Forum, e intentar captar más tutoría desde allí. En términos más generales, recomiendo dedicar tiempo a aprender sobre alineación de la IA y formar tu propia opinión. Conviene señalar que la investigación conceptual está especialmente limitada por la tutoría en este momento, por lo que podría ser difícil trabajar estrechamente con un investigador conceptual experto. No obstante, probablemente valga la pena intentarlo y, en particular, todo el mundo debería postularse para entrar en ARC.
Cómo dedicarse a la investigación matemática de la alineación: (Realmente no lo sé, lo siento.) Probablemente deberías leer gran parte de la bibliografía sobre alineación matemática (puedes ver una selección de la bibliografía aquí). En términos más generales, te recomiendo que dediques tiempo a aprender sobre alineación de la IA y que formes tu propia opinión. Hacer un doctorado teórico en el Center for Human-compatible AI (CHAI) me parece una gran apuesta. También sería bueno que pudieras hacer un doctorado teórico sobre algo relacionado con la alineación. Debería poder llevarse a cabo aunque el profesor no trabaje en alineación, siempre que sea muy inteligente y consigas convencerlo de que el tema puede publicarse. Podrías asimismo trabajar en algo que te ayude a desarrollar habilidades para la alineación, como la teoría de la probabilidad aplicada a la IA, o alguna parte teórica de las ciencias de la computación (busca profesores que publiquen en COLT, FOCS o alguna conferencia similar). Quizá así consigas una mejor supervisión. Haz Ctrl+F y escribe “Cómo hacer un doctorado” para más información sobre cómo conseguir un doctorado en AA; gran parte de lo que ahí se dice debería poder aplicarse a los doctorados teóricos. No obstante, ¡intenta hablar con alguien más experto que yo antes de lanzarte a hacer un doctorado!
Esto es solo lo básico: He incluido material suficiente para que tengas una comprensión básica de los modelos de aprendizaje profundo y del modo de implementarlos. Esto no es todo lo que necesitas para convertirte en un gran líder o colaborador de investigación empírica. En particular, vale la pena invertir en programación y matemáticas más allá de lo que se indica aquí. Omite mis sugerencias si ya tienes los conocimientos/habilidades necesarios.
Cuándo hacer qué: La programación y las matemáticas pueden hacerse en paralelo. Los cursos de aprendizaje profundo (AP) requieren conocimientos básicos de programación y matemáticas. En sentido estricto, puedes entender el AP con unos conocimientos muy básicos de álgebra lineal y cálculo. Pero tarde o temprano tu falta de fundamentos te causará problemas. Dicho esto, probablemente puedas empezar cómodamente a estudiar AP después de un semestre de clases de matemáticas, mientras sigues construyendo fundamentos matemáticos más sólidos.
Programación: Necesitarás saber programar y leer código en Python. Para eso, te resultará útil este enlace: www.learnpython.org/. También cuenta la habilidad de ser capaz de hacer cosas en el ecosistema Python, que la gente suele adquirir lentamente porque no se enseña. Para eso, recomiendo The Hitchhiker’s Guide to Python, y The Great Research Code Handbook. Quizá puedas conseguir financiamiento para pagar un tutor. Aquí tienes algunos recursos adicionales que pueden resultarte útiles: Things i wish someone had told me when i was learning how to code, Top coding resources and tools for beginners (+ beyond) in 2021.
Matemáticas: Las siguientes son las áreas de las matemáticas necesarias para adquirir conocimientos básicos de aprendizaje profundo. Otras áreas de las matemáticas —como la estadística— pueden ser directamente útiles y la experiencia matemática más allá de lo escrito aquí es ciertamente útil.
Aprendizaje profundo: El AP es, con diferencia, el paradigma dominante dentro del aprendizaje automático, que a su vez es el paradigma dominante dentro de la IA. Comprender bien el AP es esencial para todo trabajo empírico de alineación. Te recomiendo que adquieras experiencia práctica haciendo algo como (1) a continuación, y haz una de (2) o (3). Participar en el ML Safety Scholars Programme (totalmente financiado) durante el verano parece una forma excelente y estructurada de aprender AP.
Resumen: Es más fácil aprender estando inmerso en un entorno de investigación, por lo que es sensato centrarse en hacer lo suficiente para llegar a ese punto. Eso significa tener la amplitud suficiente para hablar de las principales áreas del AP con sensatez, conocer los avances recientes y tener conocimientos profundos del área en la que quieras especializarte. No necesitas aprender todo lo relacionado con el AA para formar parte de un entorno de investigación, aunque, con el tiempo, los investigadores de AA deberían saber mucho de AA. Tomar cursos universitarios de AA siempre que puedas es probablemente una buena idea. Puedes ampliar tus conocimientos haciendo cursos sobre los subcampos más importantes del AP (véase “Aprender sobre los subcampos del AP”) y utilizando recursos que recopilen y resuman/expliquen los avances recientes (véase “Recursos”). Puedes profundizar leyendo varios de los principales artículos de un subcampo (más de 10, o hasta que obtengas rendimientos decrecientes) y haciendo tu propia investigación, o trabajos prácticos, o réplicas de artículos (aunque esto lleva un tiempo, y puede que no valga la pena para los investigadores). Puedes ver en qué áreas se interesa la gente echando un vistazo a los blogs de los laboratorios en los que te gustaría trabajar, o consultando la Alignment Newsletter (véase “Recursos”).
Aprender sobre los subcampos del AP: Una vez que hayas terminado con lo básico del aprendizaje profundo, deberías tener los conocimientos necesarios para entrar en cualquiera de estas áreas. Yo no me preocuparía demasiado por dominar todas estas áreas de inmediato, sobre todo si eso supone un obstáculo para la investigación o la ingeniería.
Recursos: (¡No tienes por qué estar al día con todas estas cosas! Consulta las fuentes que te gusten y te beneficien).
Cómo leer artículos: En algún momento tendrás que ser capaz de leer bien los artículos. Aquí tienes algunos recursos para aprender a hacerlo. La mayoría de las veces, querrás estar en modo “ojear” o en modo “comprender en profundidad”, no en un punto intermedio.
Comparado con otros campos de investigación —como las matemáticas o la física teórica—, el espacio de la alineación centrado en el altruismo eficaz no tiene tanto contenido. Aún se necesitan meses de estudio a tiempo completo para estar completamente al día, pero puedes avanzar más rápido aplicando el principio de Pareto (80/20. Además, no todo el mundo tiene que ser un experto.
Buck: Creo que es relativamente normal que los estudiantes universitarios tengan una comprensión bastante buena de las áreas de alineación que han estudiado
.
Buck: Intenta dedicar un par de horas a la semana a leer cualquier contenido relacionado con la seguridad de la IA y el altruismo eficaz que te interese. Tu objetivo debería ser algo así como “durante los años que estoy en la universidad, debería llegar a pensar en la mayoría de estas cosas con bastante detenimiento” en lugar de “necesito entender todas estas cosas ahora mismo”.
Para empezar: Recomiendo AGI safety from first principles (Ngo, 2019) y My overview of the AI alignment landscape (Nanda, 2022). Si quieres saber más sobre la motivación para tener en cuenta el riesgo asociado a la IA, te recomiendo Por qué la alineación de la inteligencia artificial podría ser difícil con las técnicas modernas de aprendizaje profundo (Cotra, 2021) y The “most important century” blog post series (Karnofsky, 2021), que también están disponibles en formato de audio.
El curso de alineación de la IA de AI Safety Fundamentals: Te recomiendo que te inscribas para participar en el curso sobre alineación. Si tienes tiempo, también puede ser valioso el curso sobre gobernanza. Cada curso dura unas 5 horas semanales, durante 8 semanas. Para aprovechar al máximo el programa, yo lo haría después de adquirir conocimientos básicos de aprendizaje profundo.
La Alignment Newsletter es un boletín realmente bueno. Resume el trabajo reciente en alineación de la IA y AA. Un ejercicio (entre muchos) que te ayudará a orientarte sobre lo que está ocurriendo es leer las secciones destacadas de las 20-50 ediciones más recientes de este boletín (lleva unas 10 horas). Esta lectura requiere cierta formación en aprendizaje automático, por lo que puede que necesites adquirirla previamente, o durante la lectura. Algunos consejos:
Mantente al día: con la Alignment Newsletter, LessWrong, el EA Forum, el AI Alignment Forum (AF), la ML Safety Newsletter, leyendo artículos que te entusiasmen. Blogs/Twitter de los laboratorios de alineación. También está el pódcast de 80 000 Horas, el pódcast de AXRP (los episodios de Richard y Paul son excelentes puntos de partida; los de Beth y Evan también lo son), el pódcast del FLI y el canal de YouTube de Rob Miles. Hay un montón de contenido, ¡así que tendrás que filtrar! Una forma de filtrar es echar un vistazo a la Alignment Newsletter. Si quieres leer cosas antiguas, en el AF puedes ordenar las publicaciones en función de los votos recibidos.
Algunas personas piensan que leer mucho es bueno, sobre todo para el trabajo conceptual. El consejo es “léelo todo”. Esto no será posible ni bueno para la mayoría de la gente. Pero si puedes encontrar la forma de dedicar 500 horas a la lectura activa de contenidos sobre alineación, probablemente te resultará muy útil para formar tu propia opinión. Quizá quieras probar varios recursos, porque algunos te resultarán mucho más divertidos de leer. La Alignment Newsletter es una fuente. Otras son el blog de Paul Christiano (difícil de leer, pero puede resultarte encantador), los diálogos del MIRI (también difíciles de leer, pero jugosos), y Rationality (que fascina a algunas personas y desalienta a otras). Leer mucho no es un buen consejo si quieres hacer cosas muy competitivas, como un doctorado en AA, porque tendrás que dedicar mucho tiempo a conseguir experiencia en investigación.
Recomiendo leer FAQ de Rohin Shah (haz Ctrl+F y escribe “How can I do good AI alignment research?”), How I formed my own views about AI safety (Nanda, 2022) y Want to be an expert? Build deep models (Bye, 2021). Copiaré de algunas cosas de estos textos y añadiré mi propia interpretación, pero creo que vale la pena leerlos directamente.
Rohin Shah:
Queremos pensar, descubrir algunas cosas que hacer, y luego, si hacemos esas cosas, el mundo será mejor. Una parte importante de esto, obviamente, es asegurarte de que las cosas en las que pienses sean importantes para los resultados que quieres que se produzcan.
En la práctica, me parece que lo que ocurre es que la gente entra en una zona, mira a su alrededor y presta atención a lo que hacen los demás. Pasan unos minutos, posiblemente horas, pensando: “Bien. ¿Por qué estarán haciendo esto?” Me parece una forma excelente de iniciarse en un campo. Es lo que yo hice.
Pero luego continúan y básicamente permanecen en este camino durante años, hasta donde yo sé, y la verdad es que no actualizan modelos como “Bien, así es como el trabajo que estoy haciendo conduce realmente al resultado”. No intentan buscar fallos en ese argumento o ver si se les escapa alguna otra cosa.
La mayoría de las veces, cuando observo lo que hace una persona, realmente no veo eso. Mi expectativa es que esto reducirá la utilidad de su trabajo en varios órdenes de magnitud.
¿Qué significa “formar tus propias opiniones”? Me refiero a algo así como crear un modelo detallado, partiendo de algunas creencias básicas y razonables sobre el mundo, que te lleve a una conclusión como “trabajar en la alineación de la IA es importante” o “esta dirección de investigación parece que podría mover la aguja del riesgo existencial asociado a la IA” o “la IA que busca poder implica una alta probabilidad de extinción”, sin tener que remitirse a las opiniones de otras personas. Lo ideal es que ese modelo tenga profundidad, de modo que si haces doble clic en cualquier parte de la cadena argumental, es probable que allí haya sustancia. Algunos buenos ejemplos de este tipo de razonamiento son My personal cruxes for working on AI safety de Buck Shlegeris, AGI safety from first principles de Richard Ngo y Draft report on existential risk from power-seeking AI de Joseph Carlsmith”.
¿Por qué formar tus propias opiniones?
No necesitas tus propias opiniones de inmediato, y quizá tampoco más adelante:
¿Cómo formar tus propias opiniones? He aquí algunas ideas:
Preguntas relacionadas con pronósticos:
Preguntas técnicas:
Recursos:
La gente no solicita financiamiento suficientemente. He aquí algunas refutaciones a objeciones comunes a la solicitud de financiamiento:
¿Para qué puedes solicitar financiamiento? He aquí algunas cosas para las que podrías solicitar financiamiento al Long-Term Future Fund (LTFF):
A menudo es fácil solicitar financiación; por ejemplo, la solicitud del Long-Term Future Fund tarda entre 1 y 2 horas.
Cómo presentar una solicitud: Procura que la solicitud sea honesta y directa. Si el objetivo es ayudar directamente con la alineación, haz tu mejor estimación sobre la posibilidad de que tu proyecto ayude a la alineación y sobre cómo lo haría. Si el objetivo es avanzar en tu carrera, escribe cómo esperas que avance tu carrera en relación con la situación contrafáctica. Si no tienes señales confiables de tu competencia y de tu alineación, te ayudará tener una referencia que te conozca y que sea respetada por el organismo financiador. Si tienes alguna de esas dos cosas, considera la posibilidad de presentar tu solicitud inmediatamente. Si no, sigue considerando la posibilidad de solicitarla inmediatamente. Pero si quieres tener más posibilidades, podrías hacer primero un proyecto de alineación y publicarlo en LessWrong, por ejemplo como parte del curso de alineación de la IA de AI Safety Fundamentals, o del programa ML Safety Scholars (totalmente financiado), o como parte del proceso de formación de tus propias opiniones sobre la alineación.
Fuentes de financiamiento:
He hablado sobre todo de cómo llegar a ser competente. Esto es lo más importante y debería ser tu principal objetivo al principio; además, es mucho más fácil parecer competente cuando realmente lo eres. Pero cuando empiezas a hacer cosas competitivas, como solicitudes de trabajo o de doctorado, es útil poder demostrar tu competencia para distinguirte de los demás.
Una vez que sepas a qué competencias aspirar, encuentra señales difíciles de falsear de que eres competente y empléalas en proyectos que aumenten tu competencia. Busca formas de sacar provecho de tus competencias/las cosas interesantes que haces. También puedes preguntar a la gente de la comunidad/empleadores qué señales considerarían difíciles de falsear. Para los doctorados, hay que tener en cuenta esta fórmula: hacer investigación < artículo arXiv < artículo publicado < artículo publicado + carta de referencia de alguien que haya visto a muchos estudiantes y tenga un buen historial de predicción del éxito en la investigación. Del mismo modo, replicar un artículo de AA < replicar un artículo de código abierto < replicar un artículo de código abierto + entrada de blog sobre lo que has aprendido. La investigación infructuosa < entrada de blog sobre la investigación infructuosa… Probablemente pronto tendrás un montón de conocimientos/habilidades/cosas interesantes que has hecho, que la gente no conocerá. A veces, es fácil transformarlos en una señal de competencia haciendo que tus conocimientos/habilidades/cosas interesantes sean legibles y visibles.
La mayor parte de tu impacto se produce al final de tu carrera. Al principio de tu carrera (durante los primeros años después de la licenciatura, al menos), debes centrarte en hacer cosas en las que puedas crecer y llegar a ser excelente. Puedes preguntarte a ti mismo (y a los demás) dónde es más probable que crezcas, y entonces dirigirte allí. Puede que se trate de organizaciones de alineación, o puede que no. El crecimiento depende en gran medida de tu entorno y de la tutoría que tengas a tu disposición. La gran mayoría de tutores buenos se encuentran fuera de la alineación: la alineación está muy limitada por los tutores. Si te conviertes en un excelente ingeniero/investigador de AA o en un investigador teórico, probablemente te resultará fácil especializarte más adelante en el trabajo de alineación empírico o teórico. Desde luego, está bien (y tal vez sea preferible, debido a las publicaciones) hacer investigación no relacionada con la alineación como estudiante universitario.
Dicho esto, puede que no sea bueno llegar a ser excelente si eso implica hacer avanzar las capacidades de la IA. Aunque hay matices en las “capacidades”: trabajar en la mejora de la aproximación de la inferencia bayesiana (entre inútil y quizá útil para la alineación) es muy distinto de ampliar la escala de grandes modelos de lenguaje (probablemente bastante malo). Sin embargo, Anthropic cree que mantenerse en la frontera de las capacidades es necesario para hacer un buen trabajo de alineación, así que no sé hasta qué punto es coherente la dicotomía capacidades-seguridad (es un área activa de debate).
Una de las formas en que trabajar en cosas que no ayudan a la alineación puede salir mal es quedarse atascado haciendo investigación que parece que ayuda, pero que en realidad no lleva a tener impacto, como la solidez aleatoria o la investigación sobre interpretabilidad. Esto puede ocurrir incluso si te unes a un equipo de seguridad. Para evitarlo, te recomiendo que sigas formando tus propias opiniones sobre la alineación, que hables con personas más expertas en alineación sobre tus decisiones profesionales, y que no abandones la intención de considerar realmente dónde puedes hacer la mejor investigación sobre alineación una vez que hayas adquirido algunas habilidades.
¿Por qué? Me resulta un poco difícil explicar esto. Cuando veo que la gente empieza a frecuentar las comunidades de alineación, parece que empieza a hacer cosas mucho mejores. Eso puede deberse a que recibe apoyo o tutoría, a que adquiere conocimientos implícitos, a que está más motivada o a que empieza a ser consciente de las oportunidades. Aquí tienes algunas formas de participar:
Realmente no sé qué escribir aquí. Lo que sí sé es que cuidarse es extremadamente importante. Yo me agoté mientras intentaba trabajar en la alineación de la IA, y puedo dar fe de lo malo que es el agotamiento. No me siento demasiado cualificado para dar consejos aquí, pero puedo decir algunas cosas que me parecen útiles: Si tu trabajo se convierte en un trabajo pesado que te desanima cuando te levantas, en lugar de ser una fuente de fuerte deseo interno, creo que es algo a lo que deberías prestar atención. Puedes hacerte pruebas diagnósticas ahora mismo o con regularidad para la depresión, la ansiedad y el agotamiento (lleva menos de 30 minutos en total). Y tal vez deberías consultar a un terapeuta si algún resultado de esas pruebas te preocupa, o incluso de forma preventiva. Esto es algo para lo que puedes conseguir financiamiento. Tener buenos tutores, jefes y compañeros te ayudará mucho.
Intentar trabajar en la alineación de la IA puede ser especialmente malo para la salud mental de algunas personas. He aquí algunas de las razones:
No quiero que te sientas mal contigo mismo si tienes dificultades o no puedes ayudar de una forma concreta. Si tienes dificultades, considera la posibilidad de hablar con tus amigos, con personas que hayan pasado por experiencias similares, hablar con el equipo de AI Safety Support, tomarte un tiempo libre, hacer terapia o probar otro tipo de trabajo o entorno.
Esta es una traducción directa del artículo original, publicado bajo licencia CC BY 4.0.