La navaja de Ockham de las redes neuronales 634qf

Las redes neuronales artificiales funcionan, pero es un misterio cómo modelos con un enorme
número de parámetros son capaces de generalizar antedatos nuevos y no sobreaprender los datos
de entrenamiento. Hoy en La Tertulia analizamos un artículo que trata de explicar este misterio
y que sugiere que las redes neuronales podrían tener dentro una navaja de Occam.
LA TERTULIA DE LA INTELIGENCIA ARTIFICIAL
Ya falta menos para la singularidad. Bienvenidas, bienvenidos a La Tertulia de la Inteligencia
Artificial. Y hoy está conmigo Íñigo Olcó, bienvenido.
¿Qué tal? Un placer. Estoy deseoso de este capítulo que tiene una pinta estupenda.
También está con nosotros Carlos Larriu. ¿Qué tal? ¿Cómo estamos? Yo también, ¿eh?
No puedo tener más ganas de ver qué nos cuentan por aquí.
Íñigo Orbegozo. Hola, ¿qué tal? Aquí estamos.
Paco Zamora. ¿Qué tal? Hola, ¿qué tal? Hoy vengo con la navaja
de Occam. Y este que os habla Guillermo Barbadillo.
Estamos todos aquí amedrentados ante Paco Armado. ¿Qué nos vas a contar hoy, Paco?
Bueno, hay que poner un poco en la puntilla graciosa porque vengo con un paper que trata
sobre una explicación a cómo las redes neuronales profundas incorporan una navaja de Occam integrada
en el proceso de entrenamiento. Y bueno, es un paper bastante densito, pero bueno,
intentaré hacer una explicación lo más a alto nivel posible.
Sinceramente, hay muchas partes que las he dado por buenas, por fe, ¿vale? He tenido fe en las
matemáticas. Sí, yo he mirado el paper y comentaba antes fuera de micrófono lo mismo. Pues asumo que
es verdad y ya está. Pero bueno. Entonces, ¿de qué trata este artículo? Ah, por cierto,
ha sido publicado en Nature Communications, aunque ha habido algún preprint previo en
Archive creo y en algún otro sitio. Y el artículo pues trata al respecto de la gran capacidad de
generalización que se observa en la práctica de entrenamiento de redes neuronales. Esta gran
capacidad de generalización resulta en la práctica incluso mayor. Cuanto más grande hacemos este
modelo. Es algo de lo que hemos hablado también en alguna otra en alguna otra ocasión. Me acuerdo
qué nombre tenía ese efecto. Groking. Efecto Groking. Incluso en situaciones donde el modelo
está sobreajustando los datos de entrenamiento. Esta evidencia empírica es una de las que, bueno,
ha hecho colapsar mayor cantidad de mentes de gente dedicada a la estadística. El azotamento es
totalmente. Vale, yo siempre que he hablado con alguien de la estadística ha sido de ¿y cómo
podéis estar entrenando esos modelos gigánticos si eso está sobreajustado por todos los lados?
Bueno, pues funcionan bien, funcionan bien y sabemos que funcionan muy bien. Entonces, ¿por qué?
Entonces, bueno, de manera tradicional, como decía, está aceptado que conforme crece el
número de parámetros de un modelo, éste se va ajustando cada vez mejor a los datos de
entrenamiento y esto pues tiene como consecuencia una pérdida de la capacidad de predecir adecuadamente
ejemplos que no estén en ese conjunto de entrenamiento. A esto es a lo que se le llama
que el modelo está sobreentrenado o sobreajustado y se enmarca dentro de un balance conocido como
el equilibrio entre el sesgo y la varianza de un modelo. Vale, tradicionalmente un modelo con
poca capacidad tiene un gran sesgo en el entrenamiento, es decir, que se equivoca mucho con los datos de
ese entrenamiento y este mismo modelo al mismo tiempo pues tiene una varianza pequeña. Cuando
cambia de conjunto, cambia del entrenamiento pues a otro conjunto diferente, su error varía poco,
se sigue equivocando pues igualmente mucho. Tiene poca varianza, no esperarías que cambie mucho las
predicciones del modelo entre un conjunto y otro. Por otro lado, el modelo tiene un gran
número de parámetros. Su sesgo en el conjunto de entrenamiento pues tiende a ser muy bajo,
se lo ha aprendido muy bien y siempre acierta. Todas las muestras de entrenamiento las acierta
la primera. De hecho, normalmente puede llegar a ser cero.