Estabilidad dinámica y selección de la tasa de aprendizaje en redes neuronales profundas mediante un indicador empírico
DOI:
https://doi.org/10.59471/raia2026237Palabras clave:
redes neuronales profundas, estabilidad dinámica, tasa de aprendizaje, optimización, selección de hiperparámetrosResumen
La selección de la tasa de aprendizaje en redes neuronales profundas suele realizarse mediante procedimientos empíricos que no siempre permiten comprender la dinámica del entrenamiento ni reducir eficientemente el espacio de búsqueda. En este trabajo se analiza dicha dinámica mediante un indicador empírico de estabilidad construido a partir de la evolución temporal de la función de pérdida, utilizado como proxy de sensibilidad del entrenamiento. El estudio combina análisis dinámico, evaluación del desempeño predictivo y comparación entre selección tradicional y criterio dinámico. Para ello, se examina la relación entre tasa de aprendizaje, estabilidad relativa y rendimiento en redes multicapa sobre MNIST y FashionMNIST, y luego se extiende el análisis a arquitecturas de distinta profundidad, al conjunto CIFAR-10, a distintos optimizadores, a una evaluación multi-dataset con conjuntos tabulares y a una validación multi-seed. Los resultados muestran que la tasa de aprendizaje modifica de manera sistemática la estabilidad relativa del entrenamiento y que los mejores desempeños tienden a concentrarse en regiones intermedias del indicador. En los experimentos multi-dataset, el criterio dinámico permitió reducir la región de búsqueda entre 30 % y 60 %, manteniendo desempeños finales comparables a los obtenidos mediante exploración exhaustiva. En conjunto, los hallazgos sugieren que el análisis dinámico puede complementar la selección de hiperparámetros y aportar una herramienta útil para estudiar la estabilidad del aprendizaje en redes neuronales profundas.
Descargas
Referencias
Bahri, Y., Kadmon, J., Pennington, J., Schoenholz, S. S., Sohl-Dickstein, J., & Ganguli, S. (2020). Statistical mechanics of deep learning. Annual Review of Condensed Matter Physics, 11, 501–528.
Barrett, D. G. T., & Dherin, B. (2021). Implicit gradient regularization. In International Conference on Learning Representations.
Chaudhari, P., & Soatto, S. (2018). Stochastic gradient descent performs variational inference, converges to limit cycles for deep networks. In International Conference on Learning Representations.
Fort, S., & Scherlis, L. (2019). The Goldilocks zone: Towards better understanding of neural network loss landscapes. Proceedings of the AAAI Conference on Artificial Intelligence, 33(1), 357–364.
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT Press.
Krizhevsky, A. (2009). Learning multiple layers of features from tiny images (Technical Report). University of Toronto.
Li, H., Xu, Z., Taylor, G., Studer, C., & Goldstein, T. (2018). Visualizing the loss landscape of neural nets. In Advances in Neural Information Processing Systems (Vol. 31).
Raghu, M., Gilmer, J., Yosinski, J., & Sohl-Dickstein, J. (2017). SVCCA: Singular vector canonical correlation analysis for deep learning dynamics and interpretability. In Advances in Neural Information Processing Systems (Vol. 30).
Zhang, L., Feng, L., Chen, K., & Lai, C. H. (2024). Asymptotic edge of chaos as guiding principle for neural network training. International Journal of Artificial Intelligence and Robotics Research, 1(1), 2350001.
Ziyin, L., Li, B., Simon, J. B., & Ueda, M. (2022). SGD with a constant large learning rate can converge to local maxima. In International Conference on Learning Representations.
Publicado
Número
Sección
Licencia
Derechos de autor 2026 Julio Paredes Rojas (Autor/a)
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.
