1 Archivos adjunto(s)
Redes neuronales que siguen aprendiendo sin olvidar conocimientos previos
El aprendizaje continuo enfrenta un desafío fundamental cuando las redes neuronales deben adaptarse a nuevos dominios sin perder lo aprendido anteriormente. Las técnicas actuales, incluso aquellas que utilizan prompts para aislar parámetros, sufren de deriva representacional que modifica las características internas críticas para tareas pasadas. InTAct surge como una solución elegante que preserva el comportamiento funcional de las capas compartidas sin necesidad de congelar parámetros ni almacenar datos anteriores, manteniendo la coherencia en los rangos de activación característicos de cada tarea mientras permite adaptaciones en áreas no protegidas.
Mecanismo de preservación funcional
InTAct identifica los rangos de activación específicos asociados a cada tarea aprendida y restringe las actualizaciones del modelo para mantener la coherencia dentro de esos intervalos críticos. En lugar de fijar valores de parámetros directamente, el método regula el papel funcional de las neuronas importantes, limitando la deriva representacional donde reside el conocimiento previo. Esta aproximación es independiente de la arquitectura y puede integrarse fácilmente en marcos basados en prompts, ofreciendo una capa adicional de protección sin interferir con el proceso de aprendizaje general.
Resultados y aplicaciones prácticas
Las evaluaciones en benchmarks de cambio de dominio como DomainNet e ImageNet-R demuestran que InTAct reduce consistentemente la deriva en las representaciones y mejora el rendimiento de manera significativa. Los experimentos reportan incrementos de hasta 8 puntos porcentuales en Average Accuracy comparado con métodos de referencia, estableciendo un nuevo estándar en el equilibrio entre estabilidad y plasticidad. El método estabiliza las regiones funcionales críticas que codifican tareas pasadas mientras permite al modelo aprender nuevas transformaciones en zonas no protegidas, ofreciendo una solución robusta para escenarios del mundo real donde los dominios de entrada evolucionan constantemente.
Parece que por fin las redes neuronales podrán recordar dónde dejaron las llaves del conocimiento anterior mientras buscan las nuevas en el cajón de los dominios cambiantes.
