La seguridad de la IA puede ser un “asalto de Pascal” incluso si p(catástrofe) es alta
Algunos dicen que la seguridad de la IA es un asalto de Pascal. Otros suelen responder que la seguridad de la IA no puede ser un asalto de Pascal, porque p(catástrofe) es alta. Ambos están equivocados.
El segundo grupo se equivoca porque los asaltos de Pascal se refieren a la probabilidad de que tú marques la diferencia, no al riesgo de base. El primer grupo se equivoca porque la probabilidad de que tú, personalmente, evites una catástrofe provocada por la IA no es tan pequeña.
He aquí una historia para demostrar que los asaltos de Pascal se refieren a la probabilidad de que tú marques la diferencia. Imagina que Dios lanzará una moneda al final de los tiempos. Si sale cara, enviará a todo el mundo al cielo. Si sale cruz, enviará a todo el mundo al infierno. Todo el mundo sabe que esto es lo que va a pasar.
En un callejón oscuro, un desconocido se te acerca y te dice que puede hacer que la moneda de Dios salga cara, asegurando así que todo el mundo vaya al cielo. Dice que lo hará si le das tu cartera. Le asignas una probabilidad muy baja a que este desconocido diga la verdad —1 entre un billón—, pero el desconocido te recuerda que el destino de 10 billones de personas quedará determinado por la moneda de Dios.
“Un momento”, dices, “esto se parece mucho a un asalto de Pascal”.
“Au contraire”, dice el desconocido, “no puede ser un asalto de Pascal. El resultado que prometo evitar —que todo el mundo vaya al infierno— no tiene en absoluto una probabilidad baja. p(infierno) es del 50 %”.
¿Te convencería esta respuesta para que le entregaras tu cartera? Por supuesto que no. Aunque el riesgo de base de que todos vayan al infierno es alto, la probabilidad de que tú marques la diferencia —lograr que todos vayan al cielo cuando, de otro modo, habrían ido al infierno— es extremadamente baja. Y es esta última probabilidad la que determina si tu situación es un asalto de Pascal.
Así que cuando la gente dice que la seguridad de la IA es un asalto de Pascal, no puedes limitarte a responder que p(catástrofe) es alta. Tienes que argumentar que p(tú evitas la catástrofe) es alta.
Dicho todo esto, creo que p(tú —sí, tú— evitas la catástrofe) es alta, o al menos lo suficientemente alta. Esta situación de catástrofe está realmente en el aire en este momento y tú estás como mucho a cuatro grados de separación de los grandes actores: presidentes, directores generales de laboratorios y similares. Puedes influir en alguien que influya en alguien que influya en alguien. Tus posibilidades son mucho mayores que 1 en un billón.