我院李重老师在深度神经网络模型测试方面取得新进展

发布日期:2024-05-01 浏览次数:


随着人工智能技术的飞速发展,深度神经网络在众多领域中得到了广泛应用。然而,和传统软件系统类似,深度神经网络模型同样可能产生不正确的行为从而导致巨大的损失。为了揭示深度神经网络模型中的错误行为并提高其性能,开发人员往往需要大量带标注的测试用例来测试和优化深度神经网络模型模型。但是,在实践中,对测试用例进行精确标注以实现深度神经网络模型的测试和优化通常是一项昂贵且耗时的任务。针对该问题,李重老师和课题组的老师与同学合作,提出了一种基于距离感知的深度神经网络模型测试用例选择方法DATIS,实现了深度神经网络模型测试用例的有效选择,降低了深度神经网络模型测试和优化过程所需的人力资源成本。



具体来说,DATIS基于数据特征表示蕴含了有关模型行为的重要信息这一关键观察,实现了一个两阶段的深度神经网络模型测试用例选择方法。在第一阶段中,DATIS通过度量测试用例的特征表示和模型训练数据特征表示间的距离,对测试用例揭示模型错误行为的能力进行评估;并在此基础上对测试用例进行初步选择。在第二阶段中,DATIS进一步对第一阶段中选择得到的测试用例进行分析,通过度量测试用例特征表示间距离对测试用例的冗余度进行分析,从而实现测试用例冗余消除,进一步提升了测试用例选择的有效性。


该研究工作相关成果《Distance-Aware Test Input Selection for Deep Neural Networks》已被软件工程领域顶级会议ACM SIGSOFT International Symposium on Software Testing and Analysis 2024 (ISSTA‘24,CCF-A类会议)录用。


李重老师长期从事智能软件工程相关的研究,包括人工智能赋能的软件工程和面向人工智能的软件工程。在人工智能赋能的软件工程方面,主要关注如何有效处理软件工程复杂数据以实现面向软件工程任务的智能模型构建;而在面向人工智能的软件工程方面,则主要关注如何使用软件工程方法保障智能模型可信。多项研究成果发表于ICSE、ASE、ISSTA、ICML、TOSEM、TSE等国际顶级会议和期刊。个人主页:https://zzlexp.github.io/