摘要：针对神经网络模型在增量学习中存在灾难性遗忘问题， 提出一种基于自监督与隐层蒸馏约束的正则化类增量学习方法， 包括自监督伪标签预测、隐层蒸馏约束和参数正则化. 首先基于贝叶斯和信息论提出一种对模型参数重要性评价的正则化约束方法; 然后利用自监督伪标签预测增强模型的表征能力， 并保留隐层特征， 通过加入高斯噪声提高隐层特征的泛化能力; 最后使用蒸馏约束方法与交叉熵分类损失对历史任务的隐层特征与输出层特征进行训练. 在CIFAR-10和CIFAR-100数据集上的实验结果表明， 所提方法取得较好的效果， 其中， 在CIFAR-100数据集上的平均准确率和遗忘率分别达到64.16%和15.95%; 该方法能够有效地减少灾难性遗忘的影响.
文章目录
1 相关工作
1.1 回放策略
1.2 正则化策略
1.3 SSL
2 RCIL-SD
2.1 问题描述
2.2 模型PR方法
2.3 自监督隐层蒸馏约束方法
3 实验与结果分析
3.1 数据集
3.2 评价指标
3.3 实验设置
3.4 消融实验
3.5 对比实验
4 结 语
