Distribuir la mitigación del riesgo a lo largo del tiempo
Este artículo trata de la priorización del trabajo dirigido a reducir el riesgo existencial. Su tesis principal es que, en igualdad de condiciones, deberíamos preferir trabajar antes y ocuparnos de los riesgos que puedan surgir temprano. Esto se debe a que no sabemos con certeza cuándo tendremos que enfrentarnos a los distintos riesgos, a que esperamos rendimientos decrecientes del trabajo adicional y a que prevemos que habrá más gente trabajando en estos riesgos en el futuro.
Exploro esta tesis tanto cualitativamente como con modelos explícitos. Considero sus implicaciones para dos cuestiones: en primer lugar, “¿Cuándo es mejor realizar distintos tipos de trabajo?”; en segundo lugar, “¿En qué riesgos debemos centrar nuestra atención?”
Como aplicación principal, examino el caso del riesgo derivado de la inteligencia artificial. Las mejores estrategias para reducir este riesgo dependen de cuándo se manifieste. Argumento que podemos estar invirtiendo demasiado poco en escenarios en los que la inteligencia artificial (IA) llega pronto incluso si estos escenarios son relativamente improbables, porque no tendremos tiempo para ocuparnos de ellos más tarde.
Cuando no estamos seguros de la dificultad de un problema, nuestra distribución subjetiva de probabilidades tiende a abarcar varios órdenes de magnitud, y obtenemos rendimientos decrecientes (en términos esperados) de trabajar más en el problema.
Supongamos también que no estamos seguros de cuándo necesitaremos resolver el problema. En los casos en los que la solución se necesita antes, tenemos menos tiempo para trabajar colectivamente en una solución, por lo que trabajamos menos en el problema que en los casos en los que la solución se necesita más tarde. Dados los rendimientos decrecientes del trabajo, esto significa que una unidad marginal de trabajo tiene un mayor valor esperado en el caso de que la solución se necesite antes. Esto debería hacer que nos esforzáramos por resolver los escenarios tempranos más de lo que estaría justificado si nos limitáramos a analizar su impacto y probabilidad.
En su artículo ‘El momento oportuno de trabajar para reducir el riesgo existencial’, expone las principales consideraciones sobre qué tipo de trabajo es mejor realizar para reducir el riesgo existencial y cuándo es mejor realizarlo. Estas consideraciones recomiendan en gran medida el trabajo de metanivel a corto plazo, como la fijación del rumbo y el crecimiento, y el trabajo de nivel objeto más tarde. Sin embargo, la incertidumbre sobre cuándo debemos estar preparados para afrontar los riesgos añade algunas consideraciones a favor de realizar más trabajo de nivel objeto a corto plazo.
En primer lugar, simplemente existe la posibilidad de que ya no existamos para cuando surjan los riesgos tardíos, o de que los preparativos a largo plazo se frustren por acontecimientos imprevistos. Esto corresponde al componente de tasa de catástrofe de una tasa de descuento, que reduce el valor esperado de las cosas cuya recompensa está más lejos en el futuro.
En segundo lugar, hoy nos encontramos en una posición privilegiada con respecto a los escenarios en los que debemos hacer frente a riesgos tempranos. Mucha gente estará en condiciones de trabajar para mitigar los riesgos tardíos, pero solo nosotros estamos en condiciones de mitigar los riesgos tempranos. Esto significa que podríamos representar una parte mucho mayor del trabajo total dirigido a mitigar estos riesgos que nuestra parte del trabajo dirigido a mitigar los riesgos tardíos, porque habrá más tiempo para trabajar en estos últimos (y quizá se les preste más atención). Si el trabajo adicional en un riesgo tiene rendimientos decrecientes, ello vuelve más importante trabajar pronto en cuestiones de nivel objeto. Es posible que esto supere la ventaja adicional que ofrecen los enfoques de metanivel, que tardan más en rendir frutos.
Esta consideración nos empuja a trabajar en el nivel objeto para reducir los riesgos que pueden llegar en distintos momentos antes de lo que lo haríamos de otro modo. Pero también nos empuja a preferir el trabajo en riesgos que podríamos tener que enfrentar temprano, frente a riesgos que solo tendremos que enfrentar más tarde.
En el resto de este artículo me centraré en la cuestión específica de cómo comparar el trabajo sobre la seguridad de la IA que tiene como objetivo escenarios en los que la IA llega pronto con el trabajo que se ocupa de escenarios en los que la IA llega más tarde. Procedo así tanto por la necesidad de ser concreto como porque se trata de una cuestión importante. Muchas de las consideraciones se generalizan a comparaciones sobre el trabajo para mitigar otros riesgos existenciales o grupos de tales riesgos.
Cuando se desarrolle, es probable que la inteligencia artificial general provoque grandes cambios en el mundo. La posibilidad de que esta transición vaya mal ha llevado a algunos a afirmar que la seguridad de la IA es un campo potencialmente muy valioso. En este artículo daré por sentado que tiene un alto valor esperado y me plantearé la siguiente pregunta: ¿cuál es la distribución correcta de los recursos en este campo? En concreto, ¿cómo deberíamos ponderar el trabajo de seguridad orientado a escenarios en los que la IA llegue relativamente pronto frente al trabajo de seguridad que asume que la IA no llegará hasta dentro de décadas?
Por supuesto, la cuestión de cuándo tendremos IA se asemeja más a un continuo, pero para simplificar el análisis lo dividiré en escenarios en los que la IA llega pronto, entendiendo por ello las dos próximas décadas, y escenarios en los que la IA llega más tarde, entendiendo por ello las cinco décadas posteriores. Por supuesto, existe la posibilidad de que la IA no llegue en ese plazo, pero en tal caso el trabajo actual es probablemente menos importante, así que lo omitiré del análisis.
El trabajo que se puede hacer para mejorar la seguridad en caso de que la IA llegue pronto puede ser muy distinto del que se haría en caso de que llegue más tarde. Ord ha argumentado que la IA más tarde favorece el trabajo de metanivel, lo que podría incluir esfuerzos para alentar a más personas a considerar carreras profesionales en la seguridad de la IA. Pero esto podría tardar décadas en dar sus frutos. En cambio, la IA pronto favorece el trabajo de nivel objeto, como buscar soluciones al problema de la carga de valores. También puede empujar a hacer suposiciones sobre la naturaleza del problema o la naturaleza de la IA que surgirá, de modo que tengamos algunos casos resueltos (en lugar de un enfoque más exhaustivo que podría ser preferible si dispusiéramos de más tiempo).
En cualquier caso, no hay por qué centrarse solo en la IA pronto o solo en la IA más tarde. Pero esto puede llevarnos a tener una cartera de esfuerzos separados dirigidos a estos diferentes escenarios, en lugar de olvidarnos de uno de ellos o de buscar una única estrategia que los gestione bien a ambos simultáneamente.
Cabe señalar que la elección del límite entre pronto y tarde es un tanto arbitraria, basada en una impresión de dónde podrían bifurcarse naturalmente las estrategias. Quienes consideren más apropiado otro límite, pueden cambiarlo sin que ello afecte a la estructura del análisis.
Ahora bien, casi todo el mundo está de acuerdo en que es mucho más probable que la IA llegue más tarde que pronto. ¿No es esta una buena razón para centrarse en el trabajo que es útil si la IA llega más tarde? No necesariamente. Esto constituye un factor importante a favor de este tipo de trabajo, pero es posible que se vea contrarrestado por otros factores.
Hay dos factores principales que parecen favorecer la preferencia por el trabajo que se centra en escenarios en los que la IA llega pronto. El primero es la miopía: simplemente tenemos una idea más clara de lo que será útil en esos escenarios. El segundo son los rendimientos marginales decrecientes: el efecto esperado de un año adicional de trabajo en un problema tiende a disminuir cuando se añade a un total mayor. Y como hay un horizonte temporal mucho más amplio para resolverlo (y en un mundo más rico), el problema de la seguridad de la IA cuando la IA llega más tarde puede recibir muchas veces el trabajo que recibe el problema de la seguridad de la IA para la IA que llega pronto. Con todo, hay un factor más que favorece trabajar en escenarios en los que la IA llega más tarde: la capacidad de perseguir estrategias con mayor efecto multiplicador, que renuncian al trabajo a nivel objeto hoy en favor de generar (con suerte) más trabajo a nivel objeto más tarde.
A fin de comparar la magnitud de estos efectos con la probabilidad mayor de desarrollar IA más tarde, introduzco algunos modelos explícitos en la sección 3. Mi principal contribución es la forma funcional de estos modelos, pero para ver más o menos hacia qué lado inclinan la balanza he reunido algunas estimaciones de los parámetros del modelo. En general, estos modelos me llevan a pensar que deberíamos tomarnos en serio la idea de que podemos estar invirtiendo relativamente poco en escenarios en los que la IA llega pronto.
Dado que los modelos explícitos pueden ser frágiles, resulta útil probar otras formas de responder a nuestras preguntas principales. En este caso, otro enfoque consiste en preguntar: sin una corrección explícita, ¿deberíamos esperar invertir demasiado o demasiado poco en escenarios en los que la IA llega pronto? Presentaré un breve análisis, y puedo ver argumentos en cualquiera de las dos direcciones.
Por un lado, a menudo nos gusta que las cosas sean cercanas y concretas. Quizá esto signifique que la preocupación por los riesgos se traduciría sobre todo en trabajar en la seguridad en escenarios en los que la IA llega pronto.
Por otro lado, la gente odia equivocarse y quedar en ridículo. Aunque hoy en día puede ser apropiado tener una probabilidad subjetiva de, por ejemplo, un 1 % de que la IA llegará pronto, en la mayoría del 99 % de los casos en los que no llega pronto parecerá, en retrospectiva y con una mejor comprensión de los hechos, que la probabilidad era muy inferior al 1 %, y quizás efectivamente cero. Es difícil pedirle a alguien que dedique veinte años de su vida a trabajar en algo que muy probablemente le parecerá después una pérdida de tiempo.
En conjunto, creo que el efecto dominante podría ser el de alejar a la gente del trabajo centrado en escenarios en los que la IA llega pronto. Esto concuerda con mis conclusiones provisionales de los modelos, y me hace pensar que deberíamos buscar más trabajo que asuma que la IA llegará pronto.
¿Existe algún peligro en este tipo de trabajo? Quizá: si cobra demasiada prominencia y transmite la certeza de que la IA llegará pronto, puede parecer una tontería cuando la amenaza no se materialice en la fecha prevista. Esto, a su vez, podría dificultar que se preste atención al escenario más probable de IA más tarde. Sin embargo, aunque creo que es apropiado preocuparse por esto, debería ser posible tomar precauciones.
Modelar el valor de cualquier trabajo para reducir el riesgo existencial es difícil, porque no tenemos una buena noción de cómo debería compararse la reducción del riesgo existencial con otros bienes de apariencia más normal (que podrían tener un impacto indirecto en el riesgo existencial). Para sortear este problema, los modelos que voy a considerar se limitan a hacer comparaciones entre distintos tipos de trabajo de reducción del riesgo existencial. Esto significa que los beneficios en nuestros cocientes de beneficio-costo compartirán unidades y admitirán comparaciones más fáciles. En el apéndice presentaré los modelos completos que he elaborado hasta ahora. Sin embargo, incluyen muchas variables que probablemente no cambien mucho la respuesta, por lo que, para facilitar su uso, en esta sección ofrezco versiones simplificadas de esos modelos.
Los modelos aquí presentados solo producen estimaciones del valor general de trabajar en diferentes áreas. Para hacer comparaciones entre oportunidades en diferentes áreas, también hay que estimar el efecto multiplicador de esas oportunidades. Y, por supuesto, estos modelos siguen siendo bastante rudimentarios, por lo que no me atrevería a tomar sus resultados al pie de la letra.
En nuestro primer modelo elaboramos un marco para comparar el valor directo de una unidad adicional de trabajo en el problema de la seguridad de la IA bajo el supuesto de que llega pronto con el de una unidad adicional de trabajo en ese mismo problema bajo el supuesto de que la IA llega más tarde. Asumimos que, en ambos casos, el trabajo que realizamos no altera la cantidad total de trabajo restante (ajustado por relevancia) que se realiza en los problemas. No me parece que este supuesto sea correcto, y en el próximo modelo considero cómo flexibilizarlo. Pero creo que es informativo considerar el modelo con este supuesto.
Primero, algo de notación para el modelo:
Ahora podemos determinar el valor del trabajo adicional en estos problemas:
Para compararlas podemos considerar el cociente
Aunque y no están definidos con precisión, esto se acerca a algo para lo que podemos ofrecer estimaciones aproximadas. Mi enfoque fue obtener directamente estimaciones de y , y aplicar un modelo adicional para estimar y .
Tanto como parecen ser problemas de cuya dificultad tenemos una idea muy poco clara. En este contexto, creo que deberíamos esperar que nuestras probabilidades de éxito sean muy aproximadamente lineales con el logaritmo de los recursos dedicados a ellos. Esto significa que la probabilidad marginal de éxito es proporcional a , donde es la cantidad total de recursos que se dedicarán al problema antes del punto en el que necesitamos una solución.
Sean y la cantidad total de recursos ponderados por relevancia que se dedicarán a y , en los mundos en los que la IA llega pronto o tarde, respectivamente. Con alguna simplificación menor del modelo presentado en el apéndice, podemos usar esto para modelar:
donde y miden la relevancia de una unidad extra de trabajo en el problema ahora (que representa la miopía).
Esto arroja el cociente entre el valor del trabajo pronto y el trabajo más tarde:
Recapitulando, tenemos tres términos comparativos:
expresa el cociente entre la probabilidad de desarrollar la IA pronto en comparación con desarrollarla más tarde.
son los cocientes de los factores de miopía del trabajo: cuán subóptimo es nuestro trabajo en (comparado con el momento en que casi hemos alcanzado la IA, si llega pronto), comparado con cuán subóptimo es nuestro trabajo en (con la misma comparación).
expresa el cociente entre los recursos totales que recibirá cada problema en total, en caso de que sea el problema relevante. Podríamos denominar estos recursos en dólares (ajustados por relevancia) o en años de investigador. Quizá sea mejor concebirlo como , porque en realidad queremos utilizar el cociente de expectativas de y .
Quizás quieras tomarte unos minutos para pensar en tus propias estimaciones para cada uno de estos componentes. He recopilado algunas estimaciones que presento en la sección 3.3.
El supuesto especialmente cuestionable del primer modelo era que el trabajo de hoy no influye en la cantidad de trabajo futuro. Para el segundo modelo, consideramos un extremo diferente en el que existe un fuerte efecto de realimentación en el que el trabajo adicional de hoy produce trabajo adicional en el futuro.
En concreto, supondremos que el trabajo total realizado en cada uno de y crece exponencialmente. Por lo tanto, si intervenimos para aumentar el trabajo total que se ha realizado alguna vez en en un 1 %, la cantidad total de trabajo que se ha realizado en seguirá siendo un 1 % mayor de lo que habría sido de otro modo. Este modelo asume que el aumento de la atención a los problemas es en gran medida endógeno, impulsado por la atención y el trabajo que ya han recibido. También supone que el trabajo en cada uno de ellos seguirá creciendo exponencialmente hasta el momento en que pueda ser necesario, en lugar de estabilizarse tras alcanzar algún máximo. Estas suposiciones son probablemente poco realistas, y juegan a favor del trabajo adicional en en comparación con . También suponemos que el trabajo en y son independientes y no se influyen mutuamente; esto tampoco es realista, pero no estoy seguro de que esto incline la respuesta hacia uno de los dos lados de la balanza.
Seguiremos utilizando el mismo modelo del valor del trabajo adicional en los problemas. Como el modelo dice que es logarítmico con el trabajo realizado, y el trabajo realizado aumenta exponencialmente, esto significa que el beneficio esperado de un incremento en un problema no depende de la fecha en la que necesitamos una solución.
Entonces con este modelo el valor del trabajo pronto respecto del trabajo más tarde es:
Aquí el primer término es el cociente de probabilidades de enfrentarse a los problemas, como en el modelo anterior. El segundo término es:
4. es el cociente del trabajo histórico total en los dos problemas. Obsérvese que mide el trabajo en realizado hasta ahora, mientras que incluye tanto el trabajo pasado como el futuro. De nuevo, podemos denominar esto en cualquier unidad apropiada.
Para aplicar estos modelos simples, necesitamos estimaciones de los parámetros. Tengo una pequeña colección de estimaciones, proveniente de investigadores del Future of Humanity Institute, de , , y proveniente de investigadores del Future of Humanity Institute:
tiene ocho estimaciones con una discusión previa. La mediana es y el rango .
tiene cinco estimaciones sin discusión. Son , , , , .
tiene cinco estimaciones sin discusión. Son , , , , .
tiene cinco estimaciones sin discusión. Son , , , , .
Utilizando la mediana de las estimaciones en negrita, el primer modelo da ; es decir, los recursos adicionales en el problema de la IA pronto son unas tres veces más valiosos (por su efecto directo) que los recursos adicionales en el problema de la IA más tarde. El segundo modelo da para estas estimaciones ; es decir, que contando solo los efectos del crecimiento, el trabajo en el problema de la IA más tarde es quizás la mitad de valioso que el trabajo en el problema de la IA pronto.
Los dos modelos presentados aquí intentan deliberadamente errar en direcciones diferentes. Creo que la respuesta correcta probablemente incluya componentes de cada uno y se sitúe en algún punto intermedio. Además de la incertidumbre sobre si los modelos son apropiados, existe una gran incertidumbre sobre los parámetros de los modelos.
A pesar de esta incertidumbre, creo que podemos extraer algunas conclusiones útiles de los modelos si estamos dispuestos a hacer estimaciones de los parámetros.
En primer lugar, nos ofrecen razones sólidas para pensar que trabajar en la seguridad de la IA en los escenarios de IA pronto e IA más tarde tiene un valor similar. Es decir, ninguno de los dos supera al otro en varios órdenes de magnitud. Esto significa que probablemente merezca la pena tener en cuenta ambos: una oportunidad con un alto efecto multiplicador en uno suele ser mejor en términos esperados que una oportunidad típica en el otro.
En segundo lugar, apoyan la idea de que el trabajo en el problema de la IA más tarde es útil principalmente para atraer atención y más trabajo, y debería optimizarse significativamente para ello. Por otro lado, está menos claro cómo se compara esto con el valor directo del trabajo en escenarios de IA pronto.
En tercer lugar, sugieren débilmente que deberíamos centrarnos más en los escenarios de IA pronto. Aunque no considero que los resultados del modelo son una prueba concluyente de que sea mejor centrarse en estos escenarios, sí creo que demuestran que es una posibilidad seria, y que la escasa atención que han recibido y el horizonte temporal más corto para abordarlos pueden pesar más que el hecho de que sean menos probables.
En cuarto lugar, sugieren que podría ser estratégico dedicar más trabajo a obtener estimaciones de los parámetros del modelo. Hubo mucha variación en las estimaciones individuales; suficiente para que el cambio de las estimaciones de una persona a otra pudiera inclinar la conclusión de preferir definitivamente el trabajo centrado en escenarios de IA pronto a preferir definitivamente el trabajo centrado en escenarios de IA más tarde. Además, la mayoría de estos parámetros no han recibido mucha atención previamente, por lo que puede ser fácil precisar las estimaciones compartiendo las consideraciones que las motivan. En una línea similar, podría ser valioso explorar las conclusiones de las variaciones de estos modelos y, de forma más general, podría valer la pena aplicarlos a otros riesgos existenciales.
Agradecimientos: Agradezco especialmente a Daniel Dewey y Toby Ord sus conversaciones sobre este tema y sus comentarios sobre borradores anteriores. Gracias también a Stuart Armstrong, Nick Bostrom, Eric Drexler, Seb Farquhar, Anders Sandberg y Carl Shulman por sus comentarios, conversaciones y estimaciones de parámetros.
Al presentar los dos modelos anteriores, en aras de la simplicidad omití algunas variables, donde parecía que la relación entre ellas sería cercana a 1. En estos apéndices, doy formas expandidas que cubren más exhaustivamente los factores que pueden diferir en el trabajo sobre diferentes riesgos.
En nuestro primer modelo elaboramos un marco para comparar el valor directo de una unidad adicional de trabajo dirigido a mitigar dos riesgos diferentes. Asumimos que, en ambos casos, el trabajo que realizamos no altera la cantidad total de trabajo restante (ajustado por relevancia) que se realiza en los problemas. No me parece que este supuesto sea correcto, y en el próximo modelo considero cómo flexibilizarlo. Pero creo que es informativo considerar el modelo con este supuesto.
Primero algo de notación para el modelo:
y representan dos riesgos existenciales en los que nos interesa comparar el valor esperado del trabajo adicional en ambos.
Ahora podemos determinar el valor del trabajo adicional en estos problemas:
Para compararlas podemos considerar el cocientea
A continuación, aplicaremos otro modelo para estimar y .
Muchos posibles y parecen ser problemas de cuya dificultad tenemos una idea muy poco clara. En este contexto, creo que deberíamos esperar que nuestras probabilidades de éxito sean muy aproximadamente lineales con el logaritmo de los recursos dedicados a ellos. Esto significa que la probabilidad marginal de éxito es proporcional a , donde es la cantidad total de recursos que se dedicarán al problema antes del punto en el que necesitamos una solución.
Sean y la cantidad total de recursos ponderados por relevancia que se dedicarán a y , en los mundos en los que en algún momento deberemos enfrentar esos riesgos. Entonces podemos usar esto para modelar:
donde y son las constantes que dan cuenta del hecho de que podemos tener ideas diferentes sobre lo difíciles que son y , y y miden la relevancia de una unidad adicional de trabajo en el problema ahora (que representa la miopía).
Esto arroja el cociente entre el valor del trabajo pronto y el trabajo más tarde:
Recapitulando, tenemos cuatro términos comparativos:
expresa el cociente entre la probabilidad de tener que afrontar los dos riesgos.
es el término más difícil de descomponer; procede del modelo de la dificultad de los problemas y es una medida de lo difíciles que creemos que pueden ser los problemas. Por suerte, no suele ser muy grande: mide el número de órdenes de magnitud que pensamos que puede alcanzar la dificultad, de modo que aunque pensáramos que alcanza 6 órdenes de magnitud tratándose de un problema y solo 3 tratándose de otro, el cociente solamente podría llegar a 2. Por estas razones, lo omití del modelo simple.
son los cocientes de los factores de miopía del trabajo: cuán subóptimo es nuestro trabajo en por la miopía, comparado con cuán subóptimo es nuestro trabajo en .
expresa el cociente entre los recursos totales que recibirá cada problema en total, en caso de que sea el problema relevante. Podríamos denominar estos recursos en dólares (ajustados por relevancia) o en años de investigador. Quizá sea mejor concebirlo como , porque en realidad queremos utilizar el cociente de expectativas de y .
El supuesto especialmente cuestionable del primer modelo era que el trabajo de hoy no influye en la cantidad de trabajo futuro. Para el segundo modelo, consideramos un extremo diferente en el que existe un fuerte efecto de realimentación en el que el trabajo adicional de hoy produce trabajo adicional en el futuro.
En concreto, supondremos que el trabajo total realizado en cada uno de y crece exponencialmente. Por lo tanto, si intervenimos para aumentar el trabajo total que se ha realizado alguna vez en en un 1 %, la cantidad total de trabajo que se ha realizado en seguirá siendo un 1 % mayor de lo que habría sido de otro modo. Este modelo asume que el aumento de la atención a los problemas es en gran medida endógeno, impulsado por la atención y el trabajo que ya han recibido. También supone que el trabajo en cada uno de ellos seguirá creciendo exponencialmente hasta el momento en que pueda ser necesario, en lugar de estabilizarse tras alcanzar algún máximo.
Seguiremos utilizando el mismo modelo de valor del trabajo adicional en los problemas. Como el modelo dice que es logarítmico con el trabajo realizado, y el trabajo realizado aumenta exponencialmente, esto significa que el beneficio esperado de un incremento en un problema no depende de la fecha en la que necesitamos una solución.
Entonces con este modelo el valor del trabajo pronto respecto del trabajo más tarde es:
Aquí los dos primeros términos son los mismos que en el modelo anterior. Los dos últimos términos son:
Obsérvese que la suposición sobre los rendimientos logarítmicos desempeñaba un papel importante en estos modelos. Si pensamos que los rendimientos disminuyen a un ritmo diferente, eso podría afectar sustancialmente a las conclusiones del modelo.