InTAct：神经网络中功能保真度用于持续学习
人工智能中的持续学习面临一个关键挑战，即模型必须适应新领域而不丢失先前获得的技能。当前方法，包括基于参数化提示的技术，都会经历表示漂移，这会改变先前任务所需的关键内部特征。InTAct 作为一种创新解决方案出现，它保留了共享层的功能行为，无需冻结参数或存储历史数据，确保每个任务的特征激活范围的一致性，同时在非关键区域启用适应 🧠。
知识保护机制
InTAct 方法识别与每个已学习任务相关的特定激活区间，并限制模型更新以在这些关键范围内保持一致性。该系统不是直接固定参数值，而是调控重要神经元的功能角色，遏制先前知识所在处的表示漂移。这种策略独立于架构，并无缝集成到基于提示的框架中，提供额外的保护层而不影响整体学习过程。
方法的主要特性：- 自动识别每个任务的特定激活范围
- 无参数冻结的更新调控
- 兼容多种神经网络架构
InTAct 稳定编码过去任务的关键功能区域，同时允许模型在未保护区域学习新变换
实验评估与应用
在 DomainNet 和ImageNet-R 等领域转换基准上的测试表明，InTAct 一致地减少了表示中的漂移，并显著提高了性能。实验记录了与基准方法相比平均准确率提高高达8 个百分点，确立了稳定性和可塑性平衡的新范式。该技术巩固了编码先前任务的基本功能区域，同时允许模型在未保护区域吸收新变换，为输入领域不断演变的现实场景提供稳健解决方案。
基准上的突出结果：- 跨领域平均精度持续提升
- 表示漂移显著减少
- 动态环境中适应性保持
对机器学习未来的影响
似乎神经网络终于能够记住它们把先前知识的钥匙放在哪里，同时在变化领域的抽屉中探索。这种选择性保存能力标志着开发更高效和多功能 AI 系统的里程碑，这些系统能够在不丢失先前操作本质的情况下演化 🔑。