Hipótesis del escalamiento

La hipótesis del escalamiento (en inglés, scaling hypothesis) sostiene que, con el paradigma actual de aprendizaje profundo, es posible obtener modelos más y más capaces simplemente entrenando redes neuronales de mayor y mayor tamaño. En palabras de Gwern Branwen, quien popularizó la hipótesis: “Las redes neuronales más poderosas son “solo” redes neuronales débiles a mayor escala, del mismo modo que los cerebros humanos se parecen mucho a los cerebros de los primates a mayor escala.”⁠1

Rohin Shah, un investigador sobre la seguridad de la inteligencia artificial, considera que la hipótesis del escalamiento es la hipótesis de mayor relevancia para pronosticar la inteligencia artificial.⁠2

Más información

Gwern Branwen (2020) The scaling hypothesis, Gwern.Net, 28 de mayo (última actualización: 2 de enero de 2022).

Jared Kaplan et al. (2020) Scaling Laws for Neural Language Models, arXiv:2001.08361 [cs, stat].

Entradas relacionadas

aprendizaje profundo • pronosticación de la inteligencia artificial