新闻网讯（通讯员瞿成雄）第38届国际机器学习大会（International Conference on Machine Learning，ICML2021）官方发布了论文录用结果。国家网络安全学院2018级硕士研究生陈典以第一作者身份撰写的论文以LongPresentation形式被录用。
论文题目为“CARTL:Cooperative Adversarially-Robust Transfer Learning”（《协同对抗鲁棒的迁移学习》），指导老师为国家网络安全学院教授王骞（通讯作者），纽约州立大学布法罗分校教授HongxinHu、香港城市大学教授王聪、西安交通大学教授沈超和清华大学教授李琦参与论文相关工作。
迁移学习作为机器学习领域的关键核心技术，能够有效地缓解训练模型时对训练数据规模以及计算能力的需求。近年来，研究人员针对迁移学习进行了大量的研究，主要集中在提高迁移后模型在目标域上的准确率，而忽略了迁移后模型面对对抗样本攻击时的鲁棒性。该论文针对人工智能系统安全问题，分析了在迁移学习场景下，当深度神经网络面临对抗样本攻击时，迁移策略对神经网络鲁棒性的影响。
图1
该论文弥补了现有分析的缺陷，在基于多种常用的图像数据集构建的迁移学习场景中，细致地探讨了在目标域上微调的模型层数对模型准确率及鲁棒性的影响，并揭示了两者之间存在的平衡问题，即随着模型微调的层数增加，其在目标域上的准确率与鲁棒性出现了不同步的变化（如图1所示，左右分别为在不同数据集上的实验结果）。同时，该论文针对目前普遍采用的批归一化层，分析了其对于迁移学习后模型性能的影响，并通过大量实验证明：在迁移学习中有选择地重用批归一化层的参数，可以有效地提高系统鲁棒性。
图2
更进一步地，对于迁移学习过程中准确率与鲁棒性的平衡问题，该论文针对性地提出协同对抗鲁棒的迁移学习框架（如图2所示），分别针对源域模型（文中称为TeacherModel）的对抗训练阶段以及目标域模型（文中称为StudentModel）的微调阶段设计了新算法：考虑源域模型中的部分网络层会被目标域模型重用—被用于提取输入的特征—对此该论文提出特征距离最小化，通过减少源域模型对正常样本与对抗样本所提取特征的差异程度，使其鲁棒性能够更加容易地被目标域模型继承；对于在目标域上的微调过程，该论文提出非拓展微调算法，通过限制微调部分网络参数的利普希茨常数，降低模型对于对抗样本的敏感程度，从而使微调后的模型能够更好地从源域继承鲁棒性。作者在多个图像数据集（CIFAR、SVHN、GTSRB）上进行了大量实验和分析，实验结果充分验证了该方案的有效性。
据悉，每年由国际机器学习学会（IMLS）主办的国际机器学习大会（ICML）如今已发展为机器学习领域的国际顶级会议。本届ICML会议共收到有效投稿5513篇，共计1184篇被录用，其中LongPresentation录用仅166篇，录用率3%，被录用的稿件反映了机器学习与人工智能领域国际最前沿的研究水平。
（供图：国家网络安全学院 编辑：付晓歌、相茹）
