Es prácticamente imposible dirigir una gran empresa de IA de forma ética
Se suponía que Anthropic iba a ser el «bueno». No puede serlo, a menos que el Gobierno modifique los incentivos del sector.
Se suponía que Anthropic iba a ser la empresa de IA buena. La ética. La segura.
Se suponía que iba a ser distinta a OpenAI, la creadora de ChatGPT. De hecho, todos los fundadores de Anthropic trabajaron alguna vez en OpenAI, pero renunciaron, en parte, por diferencias sobre la cultura de seguridad en la empresa, y se fueron para crear su propia empresa que desarrollara la inteligencia artificial de manera más responsable.
Sin embargo, Anthropic ha estado apareciendo en los titulares por motivos menos nobles: se está oponiendo a un histórico proyecto de ley de California que pretende regular la IA. Está aceptando dinero de Google y Amazon de una manera que activa las alarmas antimonopolio. Y se le acusa de extraer datos agresivamente de sitios web sin permiso, lo que afecta su funcionamiento.
¿Qué está pasando?
La mejor pista podría estar en un artículo de 2022 escrito por el equipo de Anthropic cuando su empresa emergente apenas tenía un año. Advirtieron que los incentivos de la industria de la IA —el lucro y el prestigio— presionarían a las empresas a «implementar modelos generativos a gran escala a pesar de la enorme incertidumbre sobre el alcance de lo que estos modelos son capaces de hacer». Argumentaron que, si queremos una IA segura, es necesario cambiar la estructura de incentivos subyacente de la industria.
Ahora que tiene tres años, Anthropic tiene la edad de un niño pequeño, y está experimentando muchas de las dificultades propias del crecimiento que afectaron a su hermana mayor, OpenAI. En cierto modo, son las mismas tensiones que han aquejado a todas las empresas tecnológicas emergentes de Silicon Valley que comienzan con una filosofía de «no seas malvado». Solo que ahora esas tensiones se han intensificado al máximo.
Puede que una empresa de IA quiera crear sistemas seguros, pero en una industria impulsada por el entusiasmo desmedido, se enfrenta a una enorme presión para ser la primera en salir al mercado. La empresa necesita atraer inversionistas que aporten las sumas gigantescas de dinero necesarias para desarrollar los mejores modelos de IA y, para ello, debe mostrarles un camino que lleve a enormes ganancias. Y hay mucho más en juego —en caso de que la tecnología salga mal— que con casi cualquier tecnología anterior.
Es por ello que una empresa como Anthropic tiene que lidiar con profundas contradicciones internas y, en última instancia, se enfrenta a una pregunta existencial: ¿es siquiera posible dirigir una empresa que impulse el avance de la IA y, al mismo tiempo, priorice realmente la ética y la seguridad?
«No creo que sea posible». Esa fue la respuesta que me dio hace unos meses la futurista Amy Webb, directora general del Future Today Institute.
Si incluso una empresa tan idealista como Anthropic se está convirtiendo en un claro ejemplo de esa imposibilidad, es hora de considerar otra opción: el Gobierno debe intervenir y cambiar la estructura de incentivos de todo el sector.
El incentivo para seguir creando e implementando modelos de IA
Anthropic siempre se ha presentado como una empresa que antepone la seguridad a todo lo demás, y sus dirigentes afirman que se toman muy en serio los riesgos catastróficos o existenciales derivados de la IA. Durante un testimonio ante la Comisión Judicial del Senado estadounidense, Dario Amodei, director general de Anthropic, argumentó que ya en 2025 podrían surgir modelos de IA lo suficientemente poderosos como para «provocar una destrucción a gran escala» y alterar el equilibrio de poder internacional. (Aclaración: uno de los primeros inversionistas de Anthropic es James McClave, cuya Fundación BEMC ayuda a financiar Future Perfect).
Así que cabría esperar que Anthropic aplaudiera un proyecto de ley presentado por el senador de California Scott Wiener (demócrata por San Francisco), la Ley de Innovación Segura y Protegida para Modelos de Inteligencia Artificial de Vanguardia, también conocida como SB 1047. Dicha legislación obligaría a las empresas que entrenan los modelos de IA más avanzados y costosos a realizar pruebas de seguridad y a mantener la capacidad de desactivar los modelos en caso de que se produzca un incidente relacionado con la seguridad.
Pero Anthropic está cabildeando para suavizar el proyecto de ley. Quiere que se descarte la idea de que el Gobierno debe hacer cumplir las normas de seguridad antes de que se produzca una catástrofe. «En lugar de decidir qué medidas deben adoptar las empresas para evitar catástrofes (que aún son hipotéticas y en las que el ecosistema sigue evolucionando para determinar las mejores prácticas)», pretende que, «centren el proyecto de ley en responsabilizar a las empresas de causar catástrofes reales».
En otras palabras, no tomar ninguna medida sino hasta que algo ya haya salido terriblemente mal.
En cierto modo, Anthropic parece actuar como lo haría cualquier empresa con fines de lucro para proteger sus intereses. Anthropic no solo tiene incentivos económicos —maximizar los beneficios, ofrecer a socios como Amazon un rendimiento de la inversión y seguir recaudando miles de millones de dólares para desarrollar modelos más avanzados—, sino también un incentivo de prestigio para seguir lanzando modelos más avanzados y así mantener su reputación como empresa de IA de vanguardia.
Esto supone una gran decepción para los grupos centrados en la seguridad, que esperaban que Anthropic acogiera con agrado una mayor supervisión y rendición de cuentas, en lugar de oponerse a ello.
«Anthropic está intentando desmantelar el ente regulador estatal propuesto e impedir la aplicación de la normativa hasta después de que se haya producido una catástrofe; eso es como prohibir a la FDA exigir ensayos clínicos», me dijo Max Tegmark, presidente del Future of Life Institute.
Estados Unidos cuenta con normas de seguridad exigibles en sectores que van desde la industria farmacéutica hasta la aviación. Sin embargo, los grupos de cabildeo del sector tecnológico siguen resistiéndose a este tipo de regulaciones para sus propios productos. Al igual que hicieron las empresas de redes sociales hace años, asumen compromisos voluntarios en materia de seguridad para apaciguar a quienes están preocupados por los riesgos, y luego luchan con uñas y dientes para impedir que esos compromisos se conviertan en ley.
En lo que calificó como «una maniobra procesal cínica», Tegmark señaló que Anthropic también ha presentado enmiendas al proyecto de ley que afectan el ámbito de competencia de todas las comisiones de la legislatura, lo que le da a cada una de ellas otra oportunidad de hundirlo. «Esto parece sacado directamente del manual de estrategias de las grandes tecnológicas», afirmó.
Un portavoz de Anthropic me dijo que la versión actual del proyecto de ley «podría mermar la ventaja competitiva de Estados Unidos en el desarrollo de la IA» y que la empresa quiere «reorientar el proyecto de ley hacia la seguridad de la IA de vanguardia y alejarlo de enfoques que no son lo suficientemente adaptables para una tecnología en rápida evolución».
El incentivo para acaparar los datos de todo el mundo
Existe otro factor en el centro del desarrollo de la IA que genera tensiones: las empresas necesitan recopilar cantidades enormes de texto de alta calidad procedente de libros y sitios web para entrenar sus sistemas. Pero ese texto es creado por seres humanos, y a los seres humanos, por lo general, no les gusta que se utilice su trabajo sin su consentimiento.
Todas las grandes empresas de IA extraen datos disponibles al público para utilizarlos en el entrenamiento, una práctica que, según argumentan, está protegida legalmente en virtud de la doctrina del uso legítimo. Pero la extracción de datos es controvertida y está siendo impugnada en los tribunales. Autores famosos como Jonathan Franzen y empresas de medios como el New York Times han demandado a OpenAI por infracción de los derechos de autor, pues alegan que la empresa de IA copió sus textos sin permiso. Este es el tipo de batalla legal que podría acabar redefiniendo la ley de derechos de autor, con repercusiones para todas las empresas de IA. (Aclaración: Vox Media es uno de varios medios de comunicación que han firmado acuerdos de colaboración con OpenAI. Nuestra labor periodística sigue siendo editorialmente independiente).
Es más, la extracción de datos viola las condiciones de servicio de algunos sitios web. YouTube afirma que entrenar un modelo de IA con los vídeos o las transcripciones de la plataforma constituye una infracción de las condiciones del sitio. Sin embargo, eso es precisamente lo que ha hecho Anthropic, según una investigación reciente de Proof News.
Los medios digitales y los creadores de contenido están indignados. Matt Barrie, director general de Freelancer.com, una plataforma que conecta a autónomos con clientes, afirmó que Anthropic es «por mucho, el extractor de datos más agresivo», ya que invadía el sitio incluso después de que se le exigiera que parara. «Tuvimos que bloquearlos porque no respetan las reglas de Internet. Se trata de una extracción de datos atroz [que] ralentiza el sitio para todos los que lo utilizan y, en última instancia, afecta nuestros ingresos».
Dave Farina, presentador del popular programa científico de YouTube Professor Dave Explains, declaró a Proof News que «el mero principio» es lo que le indigna. Unos 140 de sus vídeos fueron sustraídos como parte del conjunto de datos que Anthropic utilizó para su entrenamiento. «Si estás lucrando con el trabajo que he hecho [para crear un producto] que me dejará sin trabajo, o que dejará sin trabajo a personas como yo, entonces es necesario que se abra una conversación acerca de una compensación o de algún tipo de regulación», afirmó.
¿Por qué correría Anthropic el riesgo de utilizar datos sustraídos de, digamos, YouTube, cuando la plataforma lo ha prohibido explícitamente y la infracción de los derechos de autor genera tanta controversia en este momento?
Porque las empresas de IA necesitan cada vez más datos de alta calidad para seguir mejorando el desempeño de sus modelos. El uso de datos sintéticos, creados por algoritmos, no parece prometedor. Una investigación muestra que dejar que ChatGPT se muerda la cola da lugar a datos de salida extraños e inutilizables. (Un escritor acuñó un término para ello: «IA de los Habsburgo», en referencia a la casa real europea que, como es bien sabido, se deterioró tras generaciones de endogamia). Lo que se necesita son datos nuevos creados por seres humanos, pero cada vez es más difícil recopilarlos.
Los medios están bloqueando los rastreadores web, imponiendo muros de pago o actualizando sus condiciones de servicio para impedir que las empresas de IA utilicen sus datos como material de entrenamiento. Un nuevo estudio de la Data Provenance Initiative, afiliada al MIT, analizó tres de los principales conjuntos de datos —cada uno de los cuales contiene millones de libros, artículos, vídeos y otros datos web recopilados— que se utilizan para entrenar a la IA. Resulta que el 25 % de los datos de mayor calidad de estos conjuntos de datos está ahora restringido. Los autores lo denominan «una crisis emergente del consentimiento». Algunas empresas, como OpenAI, han comenzado a responder a esta situación, en parte, mediante la firma de acuerdos de licencia con medios de comunicación, incluido Vox. Pero eso quizá solo les sirva hasta cierto punto, dada la gran cantidad de datos que sigue estando oficialmente fuera de su alcance.
En teoría, las empresas de IA podrían aceptar las limitaciones al avance que conlleva restringir sus datos de entrenamiento a lo que se puede obtener de forma ética, pero entonces dejarían de ser competitivas. Por eso, empresas como Anthropic se ven incentivadas a recurrir a medidas cada vez más extremas para obtener los datos que necesitan, aunque eso implique tomar medidas cuestionables.
Anthropic reconoce que entrenó a su chatbot, Claude, con The Pile, un conjunto de datos que incluye subtítulos de 173 536 vídeos de YouTube. Cuando le pregunté cómo justificaba este uso, un portavoz de Anthropic me respondió: «En lo que respecta al conjunto de datos en cuestión en The Pile, no rastreamos YouTube para crear ese conjunto de datos ni lo creamos en absoluto». (Esto se hace eco de lo que Anthropic ya había dicho a Proof News: «Tendríamos que remitirle a los autores de The Pile»).
La implicación es que, dado que Anthropic no creó el conjunto de datos, no hay ningún problema en que lo utilice. Pero parece injusto trasladar toda la responsabilidad a los autores de The Pile —una organización sin fines de lucro cuyo objetivo era crear un conjunto de datos de código abierto que los investigadores pudieran estudiar—, si Anthropic usó los datos de YouTube de una manera que infringe los términos de la plataforma.
«Probablemente, las empresas deberían hacer su propia diligencia debida. Están utilizando esto con fines comerciales», afirmó Shayne Longpre, autor principal del estudio de la Data Provenance Initiative. Contrastó esto con los creadores de The Pile y los numerosos académicos que han utilizado el conjunto de datos para realizar investigaciones. «Los fines académicos se distinguen claramente de los fines comerciales y es probable que se rijan por normas diferentes».
El incentivo de recaudar todo el dinero posible
Para crear un modelo de IA de vanguardia hoy en día, se necesita un enorme poder de cómputo, y eso resulta increíblemente caro. Para reunir los cientos de millones de dólares necesarios, las empresas de IA tienen que asociarse con gigantes tecnológicos.
Es por eso que OpenAI, fundada inicialmente como organización sin fines de lucro, tuvo que crear una filial con fines de lucro y asociarse con Microsoft. Y es por eso que Anthropic acabó recibiendo inversiones de miles de millones de dólares de Amazon y Google.
Acuerdos como estos siempre conllevan riesgos. Los gigantes tecnológicos quieren ver un rápido retorno de sus inversiones y maximizar las ganancias. Para mantenerlos satisfechos, las empresas de IA pueden sentirse presionadas a desplegar un modelo avanzado de IA incluso si no tienen la certeza de que sea seguro.
Estas alianzas también avivan el espectro de los monopolios: la concentración del poder económico. Las inversiones de Google y Amazon en Anthropic dieron lugar a una investigación de la Comisión Federal de Comercio y ahora están sometidas a escrutinio antimonopolio en el Reino Unido, donde una agencia reguladora de competencia está investigando si se ha producido una «situación de fusión relevante» que pudiera dar lugar a una «disminución sustancial de la competencia».
Un portavoz de Anthropic afirmó que la empresa tiene la intención de cooperar con la agencia y brindarle un panorama completo de las inversiones. «Somos una empresa independiente y ninguna de nuestras alianzas estratégicas ni relaciones con inversionistas disminuye la independencia de nuestro gobierno corporativo ni nuestra libertad para asociarnos con otros», declaró el portavoz.
Sin embargo, la experiencia reciente sugiere que las singulares estructuras de gobierno de las empresas de IA podrían no ser suficientes para evitar lo peor.
A diferencia de OpenAI, Anthropic nunca ha concedido a Google ni a Amazon un puesto en su consejo directivo ni ningún derecho de observación en ella. Pero, de manera muy similar a OpenAI, Anthropic depende de una inusual estructura de gobierno corporativo de diseño propio. Inicialmente, OpenAI creó un consejo directivo cuya misión idealista era salvaguardar los intereses superiores de la humanidad, no complacer a los accionistas. Anthropic ha creado una estructura de gobierno experimental, el Long-Term Benefit Trust (Fideicomiso de Beneficio a Largo Plazo), un grupo de personas sin intereses económicos en la empresa que, en última instancia, tendrá el control mayoritario sobre esta, ya que estará facultado para elegir y destituir a tres de sus cinco directores corporativos. (Esta autoridad se implementará gradualmente a medida que la empresa alcance determinados hitos).
Pero el idealismo del Fideicomiso tiene sus límites: debe «garantizar que Anthropic equilibre de manera responsable los intereses financieros de los accionistas con los intereses de quienes se vean afectados por la conducta de Anthropic y con nuestro propósito de beneficio público». Además, afirma Anthropic, «también hemos diseñado una serie de mecanismos de seguridad que permiten realizar cambios en el Fideicomiso y en sus facultades sin el consentimiento de los fiduciarios, siempre que lo apruebe una mayoría calificada suficientemente amplia de los accionistas».
Y si algo aprendimos del golpe de mano en el consejo directivo de OpenAI del año pasado, es que las estructuras de gobierno corporativo pueden cambiar y, de hecho, cambian. Cuando el consejo de OpenAI intentó proteger a la humanidad al destituir al director general Sam Altman, se enfrentó a una feroz reacción. En cuestión de días, Altman luchó hasta recuperar su antiguo cargo, los miembros del consejo que lo habían despedido quedaron fuera y su composición cambió a favor de Altman. Es más, OpenAI concedió a Microsoft un puesto de observador en el consejo, lo que le permitió acceder a información confidencial y, tal vez, ejercer presión en las asambleas. Solo cuando esto suscitó (como habrás adivinado) un escrutinio antimonopolio, Microsoft renunció al puesto.
«Creo que se demostró que el consejo directivo no tiene la fuerza que uno esperaría», me dijo Carroll Wainwright, quien dimitió de OpenAI este año. «Me hizo cuestionar hasta qué punto el consejo puede exigirle cuentas a la organización».
Por eso, él y varias personas más publicaron una propuesta en la que exigían que las empresas de IA les concedieran «el derecho a alertar sobre la inteligencia artificial avanzada». Según la propuesta: «Las empresas de IA tienen fuertes incentivos económicos para eludir una supervisión efectiva, y no creemos que las estructuras a medida de gobierno corporativo sean suficientes para cambiar esto».
Se parece mucho a lo que otra figura de la IA declaró a Vox el año pasado: «Soy bastante escéptico respecto a todo lo relacionado con el gobierno corporativo porque creo que los incentivos de las empresas están terriblemente distorsionados, incluidos los nuestros». Esas son las palabras de Jack Clark, director de políticas de Anthropic.
Si las empresas de IA no lo solucionan, ¿quién lo hará?
El equipo de Anthropic acertó en su momento, cuando publicó aquel artículo en 2022: las presiones del mercado son simplemente brutales. Las empresas privadas de IA no tienen la motivación para cambiar eso, por lo que el Gobierno debe modificar la estructura de incentivos subyacente en la que operan todas estas empresas.
Cuando le pregunté a Webb, la futurista, cómo se vería un mejor ecosistema empresarial de IA, me respondió que incluiría una combinación de recompensas y castigos: incentivos positivos, como beneficios fiscales para las empresas que demuestren cumplir con los más altos estándares de seguridad; e incentivos negativos, como normativas que multen a las empresas si despliegan algoritmos sesgados.
Con la regulación de la IA en punto muerto a nivel federal —y unas elecciones inminentes—, la responsabilidad de aprobar nuevas leyes recae en los estados. El proyecto de ley de California, de aprobarse, sería una pieza de ese rompecabezas.
La sociedad civil también tiene un papel que desempeñar. Si los medios digitales y creadores de contenido no están de acuerdo con que su trabajo se utilice como material de entrenamiento, pueden defenderse. Si a los empleados del sector tecnológico les preocupa lo que ven en las empresas de IA, pueden denunciarlo. La IA puede generar mucho por nosotros, pero la resistencia a su despliegue problemático es algo que debemos generar nosotros mismos.