iSE团队在DNN自适应随机测试方面取得重要成果

发布日期:2021-12-21 浏览次数:


深度神经网络(DNN)在过去十年中取得了巨大的发展。虽然部署了许多DNN软件应用程序已来解决各种任务,但它们也可能产生不正确的行为并导致巨大的损失。为揭示DNN驱动应用中的错误行为提高应用质量,开发人员往往需要丰富的标签数据来测试和优化DNN模型。然而,在实践中,识别描述给定输入预期输出的未标记数据的Oracle信息通常是一项昂贵且耗时的任务。iSE团队21博士研究生高新宇提出了一种自适应性的深度神经网络测试用例选择方法ATS软件测试领域中自适应随机测试的思想为启发,解决深度神经网络测试数据标记活动中的人力资源成本高这一难题。


ATS是以故障模式设计和候选适应度度量为指导的深度神经网络测试选择方法。该方法针对未标注测试用例的不确定性和故障方向,将输出向量转换为个间隔,间隔的大小和位置反映了测试用例的故障程度和故障位置利用上述信息定义了基于不确定性和方向性的故障模式设计了测试集合的故障模式计算方法设计了适应度度量函数计算候选测试选择测试间的模式差异基于故障模式和适应度度量,设计基于测试多样性的测试数据选择方法ATS适应地选择测试数据多样的测试用例子集。通过在四个流行的DNN模型和四个广泛使用的数据集上的全面评估,实验结果表明,ATS在评估测试集的故障检测能力和模型改进能力方面明显优于各种神经元覆盖率和测试优先级方法,提升了测试效率



ATS应用于深度神经网络测试用例选择、评估及优化,可以有效地帮助测试人员在海量的未标记测试数据中选择具有足够多样性和故障检测能力的测试用例集合节约人力资源成本的同时,测试并提高深度神经网络鲁棒性ATS为测试用例的识别和选择提供了另一种视角相关论文《Adaptive Test Selection for Deep Neural Networks》已被软件工程顶级国际会议ICSE 2022(CCF A类会议)录用该论文由冯洋老师指导。


随机是测试的基本思想,我们无非根据先验知识(如等价类、故障假设等)设计随机测试,或者根据后验知识(如本文中的反馈信息)设计随机测试。一句话,随机不随意!--陈振宇