卷积神经网络 ( CNNs ) 在各种应用中,如语音识别和图像分类,取得了显著的成功。但是神经网络往往容易受到环境扰动和对抗性攻击。这种脆弱性将在安全关键领域中,例如自动驾驶和人脸识别,导致灾难性后果。因此,形式化和确定性的鲁棒性保证能在部署神经网络之前为系统提供理论地可靠性保证是必不可少。
鲁棒性验证方法分为不完全和完全验证方法,其中完全验证方法只适用于分段线性神经网络并且验证时间较长。为了验证其他神经网络的鲁棒性并加速验证,牺牲精度来进行不完全验证是必要的。为了减少精度损失,研究者们大都聚焦于如何紧致鲁棒性结果,使得结果更接近理论上最大鲁棒性边界。目前研究主要关注于紧致对一元非线性函数( Sigmoid 等 )的松弛,然后较少关注于更难验证的最大池化层。
虽然,最大池化层是卷积神经网络中一个常用的非线性层,在训练过程中能极大提高神经网络的性能,目前关于最大池化层的先进松弛技术仍有极大的时间消耗并且有较大的精度损失。这极大地阻碍了神经网络验证的性能和可适用性发展。
针对这一挑战,iSE 实验室肖媛等提出了一种针对含最大池化层卷积神经网络的鲁棒性验证技术 MaxLin。该方法基于线性松弛对含最大池化的非线性块提出可证明的最紧致线性平面。其所提出的松弛技术可以适用于不同的验证框架,以帮助验证框架获得更紧致的结果。具体地,一方面,突破以往仅针对单层最紧致的线性松弛技术,MaxLin 通过紧致对含激活函数和最大池化层的非线性块的线性松弛,从而在理论上能得到更贴近理论最大鲁棒性边界的验证结果。另一方面,该方法提出的松弛技术直接由上一层的上下边界决定,从而有低时间复杂度。实验结果表明,在卷积神经网络上,MaxLin 能比 SOTA 提高到 110.6% 精确度并且时间上加速多达 5.13 倍。
该工作作为一种紧致的鲁棒性验证方法,可面向不同验证框架验证不同类型神经网络的鲁棒性,验证更准确的鲁棒性结果,为神经网络提供理论保证。对安全攸关领域中神经网络驱动系统的可靠性具有重要理论和应用意义。相关研究成果《 Towards General Robustness Verification of MaxPool - based Convolutional Neural Networks via Tightening Linear Approximation 》被人工智能领域国际顶级会议 CVPR 2024( CCF A类会议 )录用。
肖媛同学由陈振宇教授和房春荣助理研究员共同指导,其主要研究方向为神经网络鲁棒性验证研究。肖媛同学博士期间将致力于深度神经网络质量保障的理论性研究,并将理论研究与实验室自动驾驶等安全攸关领域智能软件系统进行集成,服务国家战略发展。