d/acc: un año después
Agradecimientos especiales a Liraz Siri, Janine Leger y a los voluntarios de Balvi por sus comentarios y revisión
Hace aproximadamente un año, escribí un artículo sobre el tecnooptimismo, en el que describía mi entusiasmo general por la tecnología y los enormes beneficios que puede aportar, así como mi cautela ante algunas preocupaciones específicas, centradas principalmente en la IA superinteligente y en el riesgo de que pueda provocar la ruina o un desempoderamiento humano irreversible, si la tecnología se desarrolla de forma incorrecta. Una de las ideas centrales de mi artículo era la filosofía de d/acc: aceleración defensiva diferencial, descentralizada y democrática. Acelerar la tecnología, pero centrándose de forma diferencial en tecnologías que mejoren nuestra capacidad de defendernos, en lugar de nuestra capacidad de causar daño, y en tecnologías que distribuyan el poder en lugar de concentrarlo en manos de una única élite que decida qué es verdad, falso, bueno o malo en nombre de todos. Defensa como en la Suiza democrática e, históricamente, en la cuasianarquista Zomia, no como los señores y castillos del feudalismo medieval.
En el año transcurrido desde entonces, la filosofía y las ideas han madurado considerablemente. Hablé de estas ideas en 80.000 Horas y he visto muchas respuestas, en su mayoría positivas y algunas críticas. El trabajo en sí continúa y está dando sus frutos: estamos viendo avances en vacunas de código abierto verificables, un reconocimiento cada vez mayor del valor del aire saludable en interiores, Community Notes sigue brillando, un año decisivo para los mercados de predicciones como herramienta de información, ZK-SNARKs en la identificación gubernamental y las redes sociales (y la protección de las billeteras de Ethereum mediante la abstracción de cuentas), herramientas de imagen de código abierto con aplicaciones en medicina e interfaces cerebro-computadora (BCI), y mucho más. En el otoño, tuvimos el primer evento importante de d/acc: “d/acc Discovery Day” (d/aDDy) en Devcon, que contó con un día completo de ponentes de todos los pilares de d/acc (defensa biológica, física, cibernética y de la información, además de neurotecnología). Las personas que llevan años trabajando en estas tecnologías son cada vez más conscientes del trabajo de los demás, y quienes no forman parte de este ámbito son cada vez más conscientes del panorama general: los mismos valores que motivaron a Ethereum y a las criptomonedas pueden aplicarse al mundo en general.
Índice
- Qué es y qué no es la d/acc
- La tercera dimensión: sobrevivir y prosperar
- La pregunta difícil: seguridad de la IA, plazos cortos y regulación
- El papel de la cripto en la d/acc
- d/acc y el financiamiento de bienes públicos
- El futuro
Qué es y qué no es la d/acc
Es el año 2042. Estás viendo en los medios de comunicación noticias sobre una posible nueva pandemia en tu ciudad. Ya estás acostumbrado a esto: la gente se altera en exceso ante cada mutación de una enfermedad animal, y la mayoría queda en nada. Las dos últimas pandemias potenciales reales se detectaron muy pronto mediante el monitoreo de aguas residuales y el análisis de código abierto de las redes sociales, y se detuvieron por completo en su fase inicial. Pero esta vez, los mercados de predicciones muestran un 60 % de probabilidad de que haya al menos 10 000 casos, por lo que estás más preocupado.
Ayer se identificó la secuencia del virus. Ya están disponibles las actualizaciones de software para que tu analizador de aire de bolsillo pueda detectar el nuevo virus (a partir de un solo aliento o de 15 minutos de exposición al aire del interior de una habitación). Las instrucciones de código abierto y el código para generar una vacuna utilizando equipos que se pueden encontrar en cualquier centro médico moderno del mundo deberían estar disponibles en unas semanas. La mayoría de la gente aún no está tomando ninguna medida, y confía principalmente en la adopción generalizada del filtrado de aire y la ventilación para protegerse. Tienes una afección inmunológica, así que eres más cauteloso: tu IA de asistencia personal de código abierto, que se ejecuta localmente y se encarga, entre otras tareas, de la navegación y la recomendación de restaurantes y eventos, también tiene en cuenta los datos en tiempo real del analizador de aire y de CO₂ para recomendar únicamente los lugares más seguros. Los datos son proporcionados por miles de participantes y dispositivos que utilizan ZK-SNARKs y privacidad diferencial para minimizar el riesgo de que la información se filtre o se use indebidamente para cualquier otro fin (si quieres aportar datos a estos conjuntos de datos, existen otras IA de asistencia personal que verifican las pruebas formales de que estos dispositivos criptográficos realmente funcionan).
Dos meses después, la pandemia desapareció: parece que el hecho de que el 60 % de las personas siguiera el protocolo básico de ponerse una mascarilla si el analizador de aire pitaba e indicaba la presencia del virus, y de quedarse en casa si daban positivo personalmente, fue suficiente para reducir la tasa de transmisión —ya fuertemente disminuida gracias al intenso filtrado de aire pasivo— por debajo de 1. Una enfermedad que, según las simulaciones, podría haber sido cinco veces peor que la COVID-19 hace veinte años, resulta no ser un problema en la actualidad.
Una de las conclusiones más positivas del evento de d/acc en Devcon fue hasta qué punto el paraguas de d/acc logró reunir a personas de campos muy diferentes y consiguió que se interesaran de verdad por el trabajo de los demás.
Organizar eventos con «diversidad» es fácil, pero conseguir que personas diferentes con distintos antecedentes e intereses conecten realmente entre sí es difícil. Todavía recuerdo cuando me obligaban a ver largas óperas en la escuela secundaria y el instituto, y personalmente me parecían aburridas. Sabía que «se suponía» que debía apreciarlas porque, de lo contrario, sería un vago inculto de las ciencias de la computación, pero no conectaba con el contenido a un nivel más genuino. El día de d/acc no se sintió así en absoluto: parecía que la gente disfrutaba de verdad aprendiendo sobre tipos de trabajo muy diferentes en distintos campos.
Si queremos crear una alternativa más prometedora a la dominación, la desaceleración y la catástrofe, necesitamos este tipo de construcción de coaliciones amplias. Parecía que d/acc realmente estaba teniendo éxito en esto, y eso por sí solo demuestra el valor de la idea.
La idea central de la d/acc es sencilla: aceleración defensiva diferencial descentralizada y democrática. Desarrollar tecnologías que inclinen la balanza entre el ataque y la defensa hacia la defensa, y hacerlo de una forma que no dependa de ceder más poder a las autoridades centralizadas. Existe un vínculo inherente entre estas dos facetas: cualquier tipo de estructura política descentralizada, democrática o liberal prospera mejor cuando la defensa es fácil, y sufre sus mayores desafíos cuando la defensa es difícil; en esos casos, el resultado mucho más probable es un periodo de guerra de todos contra todos y, finalmente, un equilibrio en el que gobierna el más fuerte.
El principio fundamental de la d/acc se extiende a muchos ámbitos:
Una forma de comprender la importancia de intentar ser descentralizado, defensivo y estar orientado a la aceleración al mismo tiempo es contrastarlo con la filosofía que se obtiene cuando se renuncia a cada uno de los tres.
-
Aceleración descentralizada, pero sin preocuparse por la parte «defensiva diferencial». Básicamente, ser un e/acc, pero descentralizado. Hay muchísima gente que adopta este enfoque, algunos que se autodenominan d/acc pero que muy oportunamente describen su enfoque como «OFENSIVA», y también muchos otros que se entusiasman con la «IA descentralizada» y temas similares de una forma más moderada, pero que, a mi modo de ver, prestan insuficiente atención al aspecto «defensivo».
En mi opinión, este enfoque puede evitar el riesgo de una dictadura humana global por parte de la tribu concreta que te preocupa, pero no ofrece una respuesta al problema estructural subyacente: en un entorno favorable a la ofensiva, existe un riesgo constante y continuo de que se produzca una catástrofe, o de que alguien se posicione como protector y se establezca de forma permanente en la cima. En el caso concreto de la IA, tampoco ofrece una buena respuesta al riesgo de que la humanidad en su conjunto quede desempoderada frente a las IA.
-
Aceleración defensiva diferencial, pero sin preocuparse por lo «descentralizado y democrático». Adoptar un control centralizado en aras de la seguridad tiene un atractivo permanente para un sector de la población, y sin duda los lectores ya están familiarizados con muchos de sus ejemplos y desventajas. Recientemente, a algunos les ha preocupado que el control centralizado extremo sea la única solución para los extremos de las tecnologías futuras: véase este escenario hipotético en el que «todo el mundo lleva una “etiqueta de libertad”, un sucesor de los dispositivos de vigilancia portátiles más limitados con los que estamos familiarizados hoy en día, como la tobillera electrónica utilizada en varios países como alternativa a la cárcel… el vídeo y el audio cifrados se suben continuamente y son interpretados por máquinas en tiempo real». Sin embargo, el control centralizado es un espectro. Una versión más moderada del control centralizado que suele pasarse por alto, pero que sigue siendo perjudicial, es la resistencia al escrutinio público en el ámbito de la biotecnología (p. ej., en alimentos o vacunas), y las normas de código cerrado que permiten que esta resistencia no sea cuestionada.
El riesgo de este enfoque es, por supuesto, que el centro suele ser en sí mismo la fuente del riesgo. Lo vimos en el caso de la COVID-19, donde la investigación en ganancia de función financiada por varios gobiernos importantes del mundo puede haber sido el origen de la pandemia, la epistemología centralizada llevó a que la OMS no reconociera durante años que la COVID-19 se transmite por vía aérea, y las medidas coercitivas de distanciamiento social y las obligaciones de vacunación provocaron una reacción política que puede resonar durante décadas. Una situación similar bien podría producirse en torno a cualquier riesgo relacionado con la IA u otras tecnologías arriesgadas. Un enfoque descentralizado abordaría mejor los riesgos procedentes del propio centro.
-
Defensa descentralizada, pero sin preocuparse por la aceleración: básicamente, intentar frenar el progreso tecnológico o el decrecimiento económico.
El reto de esta estrategia es doble. En primer lugar, en términos generales, la tecnología y el crecimiento económico han sido enormemente beneficiosos para la humanidad, y cualquier retraso en ellos implica costos que son difíciles de exagerar. En segundo lugar, en un mundo no totalitario, no avanzar es inestable: quien más «haga trampa» y encuentre formas de avanzar que puedan negarse de manera verosímil, será quien salga adelante. Las estrategias desaceleracionistas pueden funcionar hasta cierto punto en algunos contextos: que la comida europea sea más saludable que la estadounidense es un ejemplo; el éxito de la no proliferación nuclear hasta la fecha es otro. Pero no pueden funcionar para siempre.
Con d/acc, queremos:
- Actuar con principios en un momento en el que gran parte del mundo se está volviendo tribal, y no limitarnos a construir lo que sea; más bien, queremos construir cosas concretas que hagan del mundo un lugar más seguro y mejor.
- Reconocer que el progreso tecnológico exponencial significa que el mundo se va a volver muy, muy extraño, y que la «huella» total de la humanidad en el universo no hará más que aumentar. Nuestra capacidad para mantener a salvo a animales, plantas y personas vulnerables debe mejorar, pero la única salida es seguir adelante.
- Crear tecnología que nos mantenga a salvo sin dar por sentado que «los buenos (o las IA buenas) están al mando». Lo conseguimos creando herramientas que son naturalmente más eficaces cuando se usan para construir y proteger que cuando se usan para destruir.
Otra forma de pensar en la d/acc es volver a un concepto de los movimientos del Partido Pirata en Europa a finales de la década de los 2000: el empoderamiento.
El objetivo es construir un mundo en el que preservemos la agencia humana, logrando tanto la libertad negativa de evitar la interferencia activa (ya sea por parte de otras personas que actúan como ciudadanos particulares, de los gobiernos o de bots superinteligentes) en nuestra capacidad para forjar nuestro propio destino, como la libertad positiva de garantizar que disponemos del conocimiento y los recursos necesarios para ello. Esto se hace eco de una tradición liberal clásica de varios siglos, que también incluye el enfoque de Stewart Brand en el «acceso a las herramientas» y el énfasis en la educación de John Stuart Mill junto a la libertad como componentes clave del progreso humano; y quizás, cabría añadir, el deseo de Buckminster Fuller de ver que el proceso de resolución de problemas globales sea participativo y ampliamente distribuido. Podemos considerar la d/acc como una forma de alcanzar estos mismos objetivos, dado el panorama tecnológico del siglo XXI.
La tercera dimensión: sobrevivir y prosperar
En mi entrada del año pasado, d/acc se centró específicamente en las tecnologías defensivas: defensa física, biodefensa, ciberdefensa y defensa de la información. Sin embargo, la defensa descentralizada no basta para hacer del mundo un lugar extraordinario: también se necesita una visión positiva de cara al futuro sobre lo que la humanidad puede lograr con su recién descubierta descentralización y seguridad.
La entrada del año pasado sí contenía una visión positiva, en dos partes:
- Centrándome en los desafíos de la superinteligencia, propuse un camino (nada original por mi parte) sobre cómo podemos tener superinteligencia sin desempoderamiento:
- Hoy, desarrollar IA como herramientas en lugar de IA como agentes altamente autónomos
- Mañana, utilizar herramientas como la realidad virtual, la mioelectrónica y las interfaces cerebro-computadora para crear una retroalimentación cada vez más estrecha entre la IA y los seres humanos.
- Con el tiempo, avanzar hacia un desenlace final en el que la superinteligencia sea una combinación estrechamente acoplada de máquinas y nosotros.
- Al hablar de la defensa de la información, también mencioné de pasada que, además de la tecnología social defensiva que intenta ayudar a las comunidades a mantener la cohesión y lograr un discurso de alta calidad frente a los atacantes, también existe tecnología social progresista que puede ayudar a las comunidades a emitir juicios de alta calidad con mayor facilidad: pol.is es un ejemplo, y los mercados de predicciones son otro.
Pero estos dos puntos parecían desconectados del argumento de la d/acc: «aquí hay algunas ideas para crear un mundo más democrático y favorable a la defensa en la capa base, y, por cierto, aquí hay algunas ideas no relacionadas sobre cómo podríamos desarrollar la superinteligencia».
Sin embargo, creo que en realidad sí existen algunas conexiones muy importantes entre lo que arriba etiquetamos como tecnología d/acc «defensiva» y «progresista». Ampliemos el gráfico de la d/acc de la publicación del año pasado añadiéndole este eje (además, cambiemos su etiqueta a «sobrevivir frente a prosperar») y veamos qué resulta:
Existe un patrón constante en todos los ámbitos: la ciencia, las ideas y las herramientas que pueden ayudarnos a «sobrevivir» en un ámbito están estrechamente relacionadas con la ciencia, las ideas y las herramientas que pueden ayudarnos a «prosperar». Algunos ejemplos:
- Gran parte de la investigación reciente contra la COVID-19 se centra en el papel de la persistencia viral en el organismo como mecanismo para explicar por qué el covid prolongado es un problema tan grave. Recientemente, también hay indicios de que la persistencia viral podría ser responsable de la enfermedad de Alzheimer; de ser cierto, esto implicaría que abordar la persistencia viral en todos los tipos de tejidos podría ser clave para resolver el envejecimiento.
- Las herramientas de imagen de bajo costo y tamaño reducido, como las que está desarrollando Openwater, pueden resultar muy eficaces para tratar los microcoágulos, la persistencia viral o los cánceres, y también pueden utilizarse para BCI.
- Ideas muy similares impulsan la construcción de herramientas sociales creadas para entornos altamente antagónicos, como Community Notes, y herramientas sociales creadas para entornos razonablemente cooperativos, como pol.is.
- Los mercados de predicciones son valiosos tanto en entornos de alta cooperación como de alta adversidad.
- Las pruebas de conocimiento cero y otras tecnologías similares que permiten realizar cálculos con datos preservando la privacidad no solo aumentan la cantidad de datos disponibles para fines útiles, como la ciencia, sino que también incrementan la privacidad.
- La energía solar y las baterías son excelentes para impulsar la próxima ola de crecimiento económico limpio, pero también son fantásticas para la descentralización y la resiliencia física.
Además de esto, también existen importantes interdependencias entre las áreas temáticas:
- La BCI es muy relevante como tecnología de defensa de la información y de colaboración, ya que podría permitir una comunicación mucho más detallada de nuestros pensamientos e intenciones. La BCI no es solo de «bot a conciencia»: también puede ser de «conciencia a bot a conciencia». Esto se hace eco de las ideas de Plurality sobre el valor de la BCI.
- Gran parte de la biotecnología depende del intercambio de información y, en muchos contextos, las personas solo se sentirán cómodas compartiendo información si confían en que se utilizará para una única aplicación y nada más. Esto depende de la tecnología de privacidad (p. ej., ZKP, FHE, ofuscación…)
- La tecnología de colaboración puede utilizarse para coordinar el financiamiento de cualquiera de las demás áreas tecnológicas.
La pregunta difícil: seguridad de la IA, plazos cortos y regulación
El argumento en contra de mi publicación del año pasado que me pareció más convincente fue una crítica procedente de la comunidad de seguridad de la IA. El argumento es el siguiente: «Claro, si nos queda medio siglo hasta llegar a la IA fuerte, podemos concentrar nuestras energías y construir todas estas cosas buenas. Pero, en realidad, parece probable que nos queden tres años hasta la IAG y otros tres hasta la superinteligencia. Por lo tanto, si no queremos que el mundo sea destruido o caiga de algún modo en una trampa irreversible, no podemos limitarnos a acelerar lo bueno, sino que también tenemos que frenar lo malo, y esto implica aprobar regulaciones estrictas que podrían molestar a personas poderosas». En mi publicación del año pasado, efectivamente no propuse ninguna estrategia específica para «frenar lo malo», más allá de vagos llamamientos a no construir formas arriesgadas de superinteligencia. Por eso, aquí vale la pena abordar la cuestión directamente: si estamos viviendo en el mundo menos conveniente, donde el riesgo asociado a la IA es elevado y los plazos podrían ser de tan solo cinco años, ¿qué regulación apoyaría?
En primer lugar, argumentos a favor de la cautela ante nuevas regulaciones
El año pasado, la principal propuesta de regulación de la IA fue el proyecto de ley SB-1047 en California. El SB-1047 exigía que los desarrolladores de los modelos más potentes (aquellos cuyo entrenamiento requiere más de 100 millones de dólares, o más de 10 millones en el caso del ajuste fino) adoptaran ciertas medidas de pruebas de seguridad antes de su lanzamiento. Además, imponía responsabilidad civil a los desarrolladores de modelos de IA si no actuaban con la diligencia debida. Muchos detractores argumentaron que el proyecto de ley era «una amenaza para el código abierto»; yo no estaba de acuerdo, porque los umbrales de costo implicaban que solo afectaba a los modelos más potentes: incluso LLama3 estaba probablemente por debajo del umbral. Sin embargo, echando la vista atrás, creo que el proyecto de ley planteaba un problema mayor: como la mayoría de las regulaciones, estaba sobreajustado a la situación actual. El enfoque en el costo de entrenamiento ya está demostrando ser frágil ante las nuevas tecnologías: el reciente modelo Deepseek v3, de vanguardia en cuanto a calidad, se entrenó con un costo de solo 6 millones de dólares, y en nuevos modelos como o1 los costos se están desplazando, de manera más general, del entrenamiento a la inferencia.
En segundo lugar, de manera realista, los actores con mayor probabilidad de ser verdaderamente responsables de un escenario catastrófico de superinteligencia de la IA son los ejércitos. Como hemos visto en el último medio siglo de bioseguridad (y más allá), los ejércitos están dispuestos a hacer cosas aterradoras y pueden cometer errores fácilmente. El uso militar de la IA avanza rápidamente en la actualidad (véase Ucrania, Gaza). Además, cualquier regulación de seguridad que apruebe un gobierno, por defecto, eximiría a su propio ejército y a las corporaciones que cooperan estrechamente con él.
Dicho esto, estos argumentos no son motivos para bajar los brazos y no hacer nada. Más bien, podemos utilizarlos como guía e intentar elaborar reglas que susciten estas preocupaciones en la menor medida posible.
Estrategia 1: Responsabilidad civil
Si alguien actúa de tal manera que causa un daño legalmente procesable, podría ser demandado. Esto no resuelve el problema de los riesgos que plantean los ejércitos y otros actores «por encima de la ley», pero es un enfoque de propósito muy general que evita el sobreajuste y suele ser respaldado por economistas de tendencia libertaria precisamente por esta razón.
Los principales sujetos de responsabilidad que se han considerado hasta ahora son:
- Usuarios: las personas que utilizan la IA
- Implementadores: los intermediarios que ofrecen la IA como servicio a los usuarios
- Desarrolladores: las personas que crean la IA
Atribuir la responsabilidad a los usuarios parece la opción más compatible con los incentivos. Aunque la relación entre cómo se desarrolla un modelo y cómo acaba utilizándose a menudo no está clara, es el usuario quien decide exactamente cómo se utiliza la IA. Responsabilizar a los usuarios genera una fuerte presión para desarrollar la IA de la forma que considero correcta: centrarse en construir trajes mecánicos para la mente humana, no en crear nuevas formas de vida inteligente autosuficiente. Los primeros responden con regularidad a la intención del usuario, por lo que no provocarían acciones catastróficas a menos que el usuario lo deseara. Las segundas presentarían el mayor riesgo de descontrolarse y dar lugar a un escenario clásico de «IA rebelde». Otra ventaja de situar la responsabilidad lo más cerca posible del uso final es que minimiza el riesgo de que esta lleve a las personas a emprender acciones perjudiciales en otros aspectos (p. ej., código cerrado, KYC y vigilancia, colusión entre el Estado y las empresas para restringir clandestinamente a los usuarios mediante, por ejemplo, exclusiones bancarias o el bloqueo de amplias regiones del mundo).
Existe un argumento clásico en contra de responsabilizar exclusivamente a los usuarios: los usuarios pueden ser personas corrientes sin demasiados recursos económicos, o incluso ser anónimos, por lo que no quedaría nadie que pudiera realmente pagar por un daño catastrófico. Este argumento puede estar exagerado: aunque algunos usuarios sean demasiado pequeños para rendir cuentas, el cliente promedio de un desarrollador de IA no lo es, por lo que los desarrolladores de IA seguirían teniendo incentivos para crear productos que ofrezcan a sus usuarios la garantía de que no se enfrentarán a un alto riesgo de responsabilidad. Dicho esto, sigue siendo un argumento válido y debe abordarse. Es necesario incentivar a alguien en la cadena que cuente con los recursos para actuar con el nivel adecuado de diligencia, y tanto los implementadores como los desarrolladores son objetivos de fácil acceso que siguen teniendo mucha influencia sobre el grado de seguridad de un modelo.
La responsabilidad de los implementadores parece razonable. Una preocupación que se cita a menudo es que no funcionaría con los modelos de código abierto, pero parece algo manejable, sobre todo porque hay muchas posibilidades de que los modelos más potentes sean de código cerrado de todos modos (y, si resultan ser abiertos, aunque responsabilizar al implementador no acabe siendo muy útil, tampoco causa mucho daño). La responsabilidad de los desarrolladores plantea la misma preocupación (aunque con los modelos de código abierto existe cierto obstáculo en la necesidad de realizarle un ajuste fino a un modelo para que haga algo que en un principio no estaba permitido), pero se aplica el mismo contraargumento. Como principio general, imponer un «impuesto» al control, diciendo esencialmente «puedes crear cosas que no controlas, o puedes crear cosas que sí controlas, pero si creas cosas que sí controlas, el 20 % del control debe usarse para nuestros propósitos», parece una postura razonable para los sistemas jurídicos.
Una idea que parece poco explorada es responsabilizar a otros actores de la cadena, quienes ofrecen más garantías de contar con suficientes recursos. Una idea muy afín a la d/acc es responsabilizar a los propietarios u operadores de cualquier equipo del que tome el control una IA (por ejemplo, al hackearlo) en el proceso de ejecutar alguna acción catastróficamente dañina. Esto crearía un incentivo muy amplio para realizar el arduo trabajo de conseguir que la infraestructura mundial (especialmente la informática y la biológica) sea lo más segura posible.
Estrategia 2: Botón global de «pausa suave» en el hardware a escala industrial
Si estuviera convencido de que necesitamos algo más «contundente» que las normas de responsabilidad, esto es lo que elegiría. El objetivo sería disponer de la capacidad de reducir el poder de cómputo disponible a nivel mundial en un 90-99 % durante 1-2 años en un período crítico, para ganar más tiempo para que la humanidad se prepare. No se debe subestimar el valor de 1-2 años: un año en «modo de guerra» puede valer fácilmente cien años de trabajo en condiciones de complacencia. Se han explorado formas de implementar una «pausa», incluyendo propuestas concretas como exigir el registro y verificar la ubicación del hardware.
Un enfoque más avanzado consiste en utilizar trucos criptográficos ingeniosos: por ejemplo, el hardware de IA a escala industrial (pero no de consumo) que se produzca podría equiparse con un chip de hardware de confianza que solo le permitiera seguir funcionando si recibiera 3/3 firmas una vez a la semana de organismos internacionales importantes, incluyendo al menos uno sin afiliación militar. Las firmas serían independientes del dispositivo (si se desea, incluso podríamos exigir una prueba de conocimiento cero de que se publicaron en una cadena de bloques), por lo que sería «todo o nada»: no habría forma práctica de autorizar que un dispositivo siguiera funcionando sin autorizar a todos los demás dispositivos.
Parece que esto «cumple todos los requisitos» en términos de maximizar los beneficios y minimizar los riesgos:
- Es útil contar con esta capacidad: si recibimos señales de advertencia de que una IA casi superinteligente está empezando a hacer cosas que entrañan un riesgo de daño catastrófico, querremos llevar la transición más lentamente.
- Hasta que llegue ese momento crítico, el simple hecho de tener la capacidad de hacer una pausa suave causaría poco daño a los desarrolladores.
- Centrarse en el hardware a escala industrial y fijar como objetivo únicamente un 90-99 % evitaría el esfuerzo distópico de colocar chips espía o interruptores de apagado en las computadoras de consumo, o de imponer medidas draconianas a países pequeños en contra de su voluntad.
- Centrarse en el hardware parece una estrategia muy sólida ante los cambios tecnológicos. Hemos observado a lo largo de múltiples generaciones de IA que la calidad depende en gran medida del poder de cómputo disponible, sobre todo en las primeras versiones de un nuevo paradigma. Por lo tanto, reducir el poder de cómputo disponible entre 10 y 100 veces puede marcar fácilmente la diferencia entre que una IA superinteligente fuera de control gane o pierda una batalla vertiginosa contra los humanos que intentan detenerla.
- La molestia inherente de tener que conectarse a internet una vez por semana para obtener una firma crearía una fuerte presión en contra de extender el esquema al hardware de consumo.
- Se podría verificar mediante inspecciones aleatorias, y hacerlo a nivel de hardware dificultaría eximir a usuarios específicos (los enfoques que se basan en forzar legalmente el apagado, en lugar de hacerlo técnicamente, no tienen esta propiedad de «todo o nada», lo que aumenta en gran medida el riesgo de caer en una pendiente resbaladiza de exenciones para ejércitos, etc.).
La regulación del hardware ya se está considerando seriamente, aunque por lo general a través del marco de los controles de exportación, que inherentemente tienen una filosofía de «confiamos en nuestro bando, pero no en el otro». Leopold Aschenbrenner ha defendido notoriamente que EE. UU. debería lanzarse a una carrera para conseguir una ventaja decisiva y luego prácticamente obligar a China a firmar un protocolo que limite la cantidad de computadoras que se les permite operar. En mi opinión, este enfoque parece arriesgado y podría combinar los defectos de las carreras multipolares y la centralización. Si tenemos que imponer límites, parece mejor limitar a todos en igualdad de condiciones y hacer el arduo trabajo de intentar cooperar genuinamente para organizarlo, en lugar de que una parte busque dominar a todas las demás.
Tecnologías d/acc en el riesgo asociado a la IA
Ambas estrategias (la responsabilidad civil y el «botón de pausa» del hardware) presentan lagunas, y está claro que solo son soluciones provisionales: si algo se puede hacer en una supercomputadora en el momento T, probablemente se podrá hacer en una computadora portátil en el momento T + 5 años. Por lo tanto, necesitamos algo más estable para lo cual ganar tiempo. Muchas tecnologías d/acc son relevantes en este contexto. Podemos analizar el papel de la tecnología d/acc de la siguiente manera: si la IA se hiciera con el control del mundo, ¿cómo lo haría?
- Hackea nuestras computadoras → ciberdefensa
- Crea una superplaga → biodefensa
- Nos convence (ya sea para que confiemos en ella o para que desconfiemos unos de otros) → infodefensa
Como se mencionó brevemente más arriba, las normas de responsabilidad son un estilo de regulación naturalmente favorable a la d/acc, ya que pueden motivar de manera muy eficaz a todas partes del mundo a adoptar estas defensas y tomárselas en serio. Taiwán ha estado experimentando recientemente con la responsabilidad por publicidad engañosa, lo que puede considerarse un ejemplo del uso de la responsabilidad para fomentar la defensa de la información. No deberíamos ser demasiado entusiastas a la hora de imponer responsabilidades en todas partes, y debemos recordar los beneficios de la libertad de siempre, que permite al ciudadano de a pie participar en la innovación sin temor a demandas judiciales; pero allí donde sí queramos un impulso más fuerte hacia la seguridad, la responsabilidad puede resultar bastante flexible y eficaz.
El papel de la cripto en la d/acc
Gran parte de la d/acc va mucho más allá de los temas típicos de las cadenas de bloques: la bioseguridad, la interfaz cerebro-computadora (BCI) y las herramientas de discurso colaborativo parecen muy alejadas de los temas de los que suele hablar alguien del mundo cripto. Sin embargo, creo que existen algunos vínculos importantes entre la cripto y la d/acc, en particular:
- La d/acc es una extensión de los valores subyacentes de la cripto (descentralización, resistencia a la censura, economía y sociedad globales abiertas) a otras áreas de la tecnología.
- Dado que los usuarios de cripto son adoptantes tempranos por naturaleza, y que existe una alineación de valores, las comunidades cripto son usuarios iniciales naturales de la tecnología d/acc. El gran énfasis en la comunidad (tanto en línea como fuera de línea, p. ej., eventos y pop-ups), y el hecho de que estas comunidades realmente lleven a cabo acciones de gran trascendencia en lugar de limitarse a hablar entre sí, convierte a las comunidades cripto en incubadoras y bancos de pruebas especialmente atractivos para las tecnologías d/acc que operan fundamentalmente en grupos más que en individuos (p. ej., una gran parte de la defensa de la información y la biodefensa). La gente de cripto simplemente hace cosas, juntos.
- Muchas tecnologías cripto pueden utilizarse en áreas temáticas de la d/acc: blockchains para construir una infraestructura financiera, de gobernanza y de redes sociales más robusta y descentralizada, pruebas de conocimiento cero para proteger la privacidad, etc. En la actualidad, muchos de los principales mercados de predicciones se basan en blockchains y, gradualmente, se están volviendo más sofisticados, descentralizados y democráticos.
- También existen oportunidades mutuamente beneficiosas para colaborar en tecnologías adyacentes a cripto que resultan muy útiles para los proyectos cripto, pero que también son clave para alcanzar los objetivos de la d/acc: verificación formal, software de computadora y seguridad de hardware, y tecnología de gobernanza robusta ante adversarios. Esto hace que la blockchain de Ethereum, las billeteras y las DAO sean más seguras y robustas, y además permite lograr importantes objetivos de defensa civilizacional, como reducir nuestra vulnerabilidad a los ciberataques, incluidos potencialmente los de una IA superinteligente.
Además de estas intersecciones directas, también existe otro punto de interés compartido crucial: los mecanismos de financiamiento.
d/acc y el financiamiento de bienes públicos
Uno de mis intereses actuales es idear mejores mecanismos para financiar bienes públicos: proyectos que resultan valiosos para grupos muy amplios de personas, pero que no cuentan con un modelo de negocio naturalmente accesible. Mi trabajo anterior en este ámbito incluye mis contribuciones al financiamiento cuadrático y su uso en Gitcoin Grants, el financiamiento retroactivo de bienes públicos y, más recientemente, el financiamiento profundo.
Muchas personas se muestran escépticas respecto al concepto de bienes públicos. Este escepticismo suele tener dos orígenes:
- El hecho de que los bienes públicos se hayan utilizado históricamente como justificación para una planificación central autoritaria y la intervención gubernamental en la sociedad y la economía.
- La percepción generalizada de que el financiamiento de los bienes públicos carece de rigor y se rige por el sesgo de deseabilidad social —lo que suena bien, en lugar de lo que es bueno—, y favorece a quienes están dentro del sistema y saben desenvolverse en el juego social.
Estas son críticas importantes y acertadas. Sin embargo, yo diría que un financiamiento sólido y descentralizado de los bienes públicos es esencial para una visión d/acc, ya que un objetivo clave de d/acc (minimizar los puntos centrales de control) frustra de forma inherente muchos modelos de negocio tradicionales. Es posible crear empresas exitosas basadas en el código abierto —varios de los becarios de Balvi lo están haciendo—, pero en algunas situaciones resulta tan difícil que ciertos proyectos importantes necesitan un apoyo continuo adicional. Por lo tanto, tenemos que hacer lo difícil y averiguar cómo llevar a cabo el financiamiento de los bienes públicos de una manera que aborde las dos críticas anteriores.
La solución al primer problema es, básicamente, la neutralidad creíble y la descentralización. La planificación centralizada es problemática porque otorga el control a élites que podrían volverse abusivas, y porque a menudo se adapta en exceso a la situación actual y se vuelve cada vez menos eficaz con el tiempo. El financiamiento cuadrático y otros mecanismos similares tenían precisamente el objetivo de financiar bienes públicos de una manera que fuera lo más creíblemente neutral y (arquitectónica y políticamente) descentralizada posible.
El segundo problema es más complejo. Con el financiamiento cuadrático, una crítica habitual ha sido que se convierte rápidamente en un concurso de popularidad, lo que exige a quienes buscan financiamiento para proyectos dedicar mucho esfuerzo a hacer campañas públicas. Además, los proyectos que están «ante los ojos de la gente» (por ejemplo, las aplicaciones para usuarios finales) obtienen financiamiento, mientras que los proyectos que permanecen más en segundo plano (la arquetípica «dependencia mantenida por un tipo en Nebraska») no reciben financiamiento alguno. El financiamiento retroactivo de Optimism se basa en un número más reducido de titulares de insignias de experto; aquí, los efectos del concurso de popularidad se atenúan, pero se magnifican los efectos sociales de tener vínculos personales estrechos con los titulares de insignias.
El financiamiento profundo es mi propio esfuerzo más reciente para resolver este problema. El financiamiento profundo presenta dos innovaciones principales:
- El grafo de dependencias. En lugar de plantear a cada miembro del jurado una pregunta global («¿cuál es el valor del proyecto A para la humanidad?»), planteamos una pregunta local («¿el proyecto A o el proyecto B es más valioso para el resultado C? ¿Y en qué medida?»). Los seres humanos son notoriamente malos para las preguntas globales: en un famoso estudio, cuando se les preguntó cuánto dinero pagarían por salvar N aves, los encuestados respondieron aproximadamente 80 dólares para N = 2 000, N = 20 000 y N = 200 000. Las preguntas locales son mucho más tratables. Luego, combinamos las respuestas locales en una respuesta global manteniendo un «grafo de dependencias»: para cada proyecto, ¿qué otros proyectos contribuyeron a su éxito y en qué medida?
- La IA como juicio humano destilado. A cada miembro del jurado solo se le asigna una pequeña muestra aleatoria de todas las preguntas. Hay un concurso abierto mediante el cual cualquiera puede enviar modelos de IA que intenten completar de manera eficiente todas las aristas del grafo. La respuesta final es la suma ponderada de los modelos que sea más compatible con las respuestas del jurado. Véase aquí un ejemplo de código. Este enfoque permite escalar el mecanismo a un tamaño muy grande, al tiempo que solo requiere que el jurado envíe un pequeño número de «bits» de información. Esto reduce las posibilidades de corrupción y garantiza que cada bit sea de alta calidad: los miembros del jurado pueden permitirse pensar durante mucho tiempo en cada pregunta, en lugar de hacer clic rápidamente en cientos de ellas. Al utilizar un concurso abierto de IA, reducimos el sesgo de cualquier proceso único de entrenamiento y administración de IA. Un mercado abierto de IA como motor, los humanos como volante.
Pero el financiamiento profundo es solo el último ejemplo; ya ha habido otras ideas de mecanismos de financiamiento de bienes públicos anteriormente, y habrá muchas más en el futuro. allo.expert hace un buen trabajo al catalogarlas. El objetivo subyacente es crear un dispositivo social capaz de financiar bienes públicos con un nivel de precisión, equidad y acceso abierto que, al menos, se aproxime a la forma en que los mercados financian los bienes privados. No tiene por qué ser perfecto; al fin y al cabo, los propios mercados distan mucho de ser perfectos. Pero debería ser lo suficientemente eficaz como para que los desarrolladores que trabajan en proyectos de código abierto de primer nivel, que benefician a todos, puedan permitirse seguir haciéndolo sin sentir la necesidad de hacer concesiones inaceptables.
Hoy en día, los proyectos líderes en la mayoría de las áreas temáticas de d/acc: vacunas, BCI, «BCI limítrofes» como los sistemas mioeléctricos de muñeca y el seguimiento ocular, medicamentos antienvejecimiento, hardware, etc., son de propiedad privada. Esto tiene importantes inconvenientes a la hora de ganarse la confianza del público, como ya hemos visto en muchas de las áreas mencionadas anteriormente. Además, desvía la atención hacia la dinámica competitiva («¡NUESTRO EQUIPO debe ganar esta industria clave!»), y la aleja de la competencia más amplia que consiste en garantizar que estas tecnologías lleguen lo suficientemente rápido como para estar ahí y protegernos en un mundo de IA superinteligente. Por estas razones, un financiamiento sólido de los bienes públicos puede ser un potente impulsor de la apertura y la libertad. Esta es otra forma en la que la comunidad cripto puede ayudar a d/acc: dedicando un esfuerzo serio a explorar estos mecanismos de financiamiento y haciendo que funcionen bien dentro de su propio contexto, preparándolos para una adopción mucho más amplia en la ciencia y la tecnología de código abierto en general.
El futuro
Las próximas décadas traen consigo retos importantes. Hay dos retos que han estado en mi mente últimamente:
- Nuevas y poderosas oleadas de tecnología, especialmente la IA fuerte, se avecinan rápidamente, y estas tecnologías vienen con trampas importantes que debemos evitar. Puede que la «superinteligencia artificial» tarde cinco años en llegar, o quizá cincuenta. Sea como sea, no está claro que el resultado por defecto sea automáticamente positivo y, tal como se describe en esta publicación y en la anterior, hay múltiples trampas que evitar.
- El mundo se está volviendo menos cooperativo. Muchos actores poderosos que antes parecían actuar, al menos a veces, según principios nobles (cosmopolitismo, libertad, humanidad común… y la lista continúa) ahora persiguen de forma más abierta y agresiva su propio interés personal o tribal.
Sin embargo, cada uno de estos retos tiene su lado positivo. En primer lugar, ahora disponemos de herramientas muy poderosas para realizar el trabajo restante con mayor rapidez:
- La IA actual y la del futuro cercano pueden usarse para desarrollar otras tecnologías, y pueden servir como ingrediente en la gobernanza (como en el financiamiento profundo o las finanzas de la información). También es muy relevante para las interfaces cerebro-computadora (BCI), que a su vez pueden proporcionar mayores aumentos de productividad.
- La coordinación a gran escala es ahora posible a escalas mucho mayores que antes. Internet y las redes sociales han ampliado el alcance de la coordinación, las finanzas globales (incluidas las criptomonedas) han aumentado su poder, y ahora la defensa de la información y las herramientas de colaboración pueden aumentar su calidad y, tal vez pronto, la BCI en su forma «de humano a computadora a humano» pueda aumentar su profundidad.
- La verificación formal, los entornos aislados (navegadores web, Docker, Qubes, GrapheneOS y mucho más), los módulos de hardware seguros y otras tecnologías están mejorando hasta el punto de hacer posible una ciberseguridad mucho mejor.
- Escribir cualquier tipo de software es significativamente más fácil de lo que era hace dos años.
- La reciente investigación básica para comprender cómo funcionan los virus, especialmente la simple constatación de que la forma de transmisión más importante contra la que hay que protegerse es la aérea, está mostrando un camino mucho más claro sobre cómo mejorar la biodefensa.
- Los recientes avances en biotecnología (p. ej., CRISPR, los avances en bioimagen) están haciendo que todo tipo de biotecnología, ya sea para la defensa, la longevidad, la superfelicidad, la exploración de múltiples hipótesis biológicas novedosas, o simplemente para hacer cosas realmente geniales, sea mucho más accesible.
- En conjunto, los avances en computación y biotecnología están haciendo posibles herramientas de biología sintética que puedes utilizar para adaptar, supervisar y mejorar tu salud. La tecnología de ciberdefensa, como la criptografía, hace que la dimensión personalizada de todo esto sea mucho más viable.
En segundo lugar, ahora que muchos de los principios que tanto valoramos ya no están acaparados por unos pocos segmentos concretos de la vieja guardia, pueden ser recuperados por una amplia coalición a la que cualquiera en el mundo es bienvenido a unirse. Esta es probablemente la mayor ventaja de los recientes «reajustes» políticos en todo el mundo, y una que vale la pena aprovechar. Las criptomonedas ya han sabido aprovechar esto a la perfección y han logrado un atractivo global; la d/acc puede hacer lo mismo.
El acceso a herramientas significa que podemos adaptar y mejorar nuestra biología y nuestro entorno, y la parte de «defensa» de d/acc significa que podemos hacerlo sin infringir la libertad de los demás para hacer lo mismo. Los principios pluralistas liberales implican que podemos tener una gran diversidad en la forma de llevarlo a cabo, y nuestro compromiso con los objetivos comunes de la humanidad significa que debe hacerse.
Nosotros, los humanos, seguimos siendo la estrella más brillante. La tarea que tenemos por delante —construir un siglo XXI aún más brillante que preserve la supervivencia, la libertad y la agencia humanas mientras nos dirigimos hacia las estrellas— es todo un reto. Pero estoy convencido de que estamos a la altura.