Hipótesis del escalamiento
La hipótesis del escalamiento (en inglés, scaling hypothesis) sostiene que, con el paradigma actual de aprendizaje profundo, es posible obtener modelos más y más capaces simplemente entrenando redes neuronales de mayor y mayor tamaño. En palabras de Gwern Branwen, quien popularizó la hipótesis: “Las redes neuronales más poderosas son “solo” redes neuronales débiles a mayor escala, del mismo modo que los cerebros humanos se parecen mucho a los cerebros de los primates a mayor escala.”1
Rohin Shah, un investigador sobre la seguridad de la inteligencia artificial, considera que la hipótesis del escalamiento es la hipótesis de mayor relevancia para pronosticar la inteligencia artificial.2
Gwern Branwen (2020) The scaling hypothesis, Gwern.Net, 28 de mayo (última actualización: 2 de enero de 2022).
Jared Kaplan et al. (2020) Scaling Laws for Neural Language Models, arXiv:2001.08361 [cs, stat].