Llevar a la IA al borde del caos puede ayudarla a aprender más rápido, según un estudio
Un estudio del Instituto de Física Interdisciplinaria y Sistemas Complejos (IFISC, CSIC-UIB), de España, reveló que hacer operar a la inteligencia artificial al borde de un comportamiento caótico puede entrenarla de manera más eficaz.
Según informó este lunes la Universitat de les Illes Balears (UIB) en un comunicado, el estudio, publicado en la revista científica Physical Review Research, revela que el sistema, al borde del caos, equilibra dos estrategias complementarias: refinar soluciones conocidas y explorar nuevos caminos posibles en el espacio de configuraciones de la red.
Las redes neuronales artificiales suelen aprender mediante algoritmos de optimización como el descenso de gradiente, que ajusta de forma paulatina parámetros del modelo para reducir los errores.
La tasa de aprendizaje actúa como el tamaño del paso de estos ajustes: los pequeños valores aseguran un progreso cauteloso y estable hacia una solución; los mayores hacen botes más atrevidos que corren el riesgo de pasarse de frenada.
Este proceso es generalmente estable y explotador y refina de forma constante la solución actual, como un excursionista que sigue un sendero bien marcado.
Cuando la tasa de aprendizaje crece, los investigadores del IFISC encontraron que la dinámica de entrenamiento se vuelve sensible a pequeñas diferencias en los puntos de partida, una característica distintiva del caos: dos redes neuronales casi idénticas pueden divergir de forma drástica durante la acción de aprender.
Los investigadores rastrearon las rutas que siguen los parámetros de la red durante el entrenamiento y midieron su sensibilidad a los puntos de partida.
Con pequeñas tasas de aprendizaje, todo fluye de forma suave y ordenada y con valores enormes, mientras que el caos total hace que el aprendizaje colapse.
No obstante, justo en esa zona intermedia, donde la exploración y la explotación se equilibran, las redes aprenden representaciones precisas y el entrenamiento se vuelve sorprendentemente más rápido.
El fenómeno se observó en diferentes arquitecturas de redes neuronales, funciones de activación y conjuntos de datos, lo que sugiere que podría representar una robusta característica de la dinámica de aprendizaje en los sistemas estudiados