由南京大学ISCL算法组团队提出的一项研究《Decomposing the Neurons: Activation Sparsity via Mixture of Experts for Continual Test Time Adaptation》在人工智能顶级会议AAAI 2026中荣获Oral展示。这项研究针对持续测试时间适应（Continual Test-Time Adaptation, CTTA）领域提出了全新的方法，为深度学习模型在动态环境中的适应性带来了重要突破。
背景与挑战
随着深度学习在自主驾驶、机器人等领域的快速发展，模型在测试阶段面临的分布变化问题日益严峻。传统方法假定测试数据分布与训练数据一致，但在现实中，由于数据分布的不断变化，模型容易出现严重的错误累积和灾难性遗忘。为解决这一问题，CTTA方法被提出，旨在让模型能够在无需访问源域数据的情况下持续适应目标域的动态变化。然而，现有方法多依赖隐式机制（如伪标签和视觉提示），缺乏可解释性且难以精确控制适应过程。
方法创新
针对上述问题，研究团队提出了一种全新的神经网络架构——MoASE（Mixture-of-Activation-Sparsity-Experts）。该方法从神经元激活的稀疏性特性出发，显式地将神经元激活分解为高激活（domain-agnostic）和低激活（domain-specific）两部分，以更好地捕捉形状和纹理特征。
核心方法
1. 空间分辨Dropout（Spatial Differentiable Dropout, SDD）：
在专家模块中，通过SDD层根据激活程度选择性保留高或低激活神经元，从而实现特征的显式分解。
2. 领域感知路由器（Domain-Aware Router, DAR）：
专注于低激活的领域特定信息，动态选择专家模块以适应目标域的多样性。
3. 激活稀疏门（Activation Sparsity Gate, ASG）：
自适应调整SDD的激活阈值，为不同专家生成动态的特征分解策略。
4. 稳态近端损失（Homeostatic-Proximal Loss, HP）：
在教师-学生框架中引入额外的损失项，保证模型更新的一致性，减少训练过程中误差的累积。
实验成果
研究团队在多个分类和分割任务的CTTA场景中对MoASE的性能进行了全面验证，实验结果表明：
分类任务：
在CIFAR10-C和ImageNet-C数据集上的测试中，MoASE在平均分类错误率上分别降低了11.4%和15.3%，显著超越最新的SOTA方法。
分割任务：
在Cityscapes转ACDC的分割任务中，MoASE在多个恶劣天气场景（如大雾、雨天、雪天等）下的平均mIoU提升了5.5%，展现了强大的适应能力。
领域泛化能力：
在ImageNet-C的未见目标域测试中，MoASE平均误差降低了12.4%，进一步验证了其在领域泛化场景中的潜力。
总结与展望
MoASE通过显式激活分解和多专家模块的结合，有效解决了CTTA中的灾难性遗忘和错误累积问题。其创新性的设计和显著的实验表现，为动态分布变化下的深度学习模型适应性带来了全新思路。
研究团队表示，这一方法未来有望广泛应用于自动驾驶、医疗影像和智能监控等对实时适应能力要求较高的领域，为人工智能赋能真实世界场景提供更可靠的技术支持。
文章链接：https://arxiv.org/abs/2405.16486
关于AAAI：
AAAI（Association for the Advancement of Artificial Intelligence）是人工智能领域的顶级学术会议之一，每年吸引全球顶尖学者提交和展示最前沿的研究成果。