我院李言辉老师研究组在深度学习模型错误调试研究方面取得新进展

发布日期:2025-01-14 浏览次数:


伴随着计算能力的提升和训练数据的丰富,深度学习技术取得了巨大成功,现已成为我们日常活动中不可或缺的一部分。然而,与传统软件类似,深度学习模型也不可避免地包含会影响其在现实场景中性能的错误,这些错误引发了人们对深度学习模型可靠性的广泛关注。在软件工程中,错误定位是自动化软件调试中的关键步骤,其目的是识别导致软件错误的代码位置。由于深度学习软件采用数据驱动的编程范式,传统的程序错误定位技术难以直接应用于深度学习模型。当前,深度学习程序错误与模型行为异常之间仍存在鸿沟,如何从模型行为异常能定位到深度学习程序错误仍是难点和热点问题。



为了解决上述问题,李言辉老师研究组创新性地提出了一种针对深度学习模型程序错误定位方法,即加权可疑度与平衡聚合方法( weiGhted sUspIciousness anD balancEd aggRegation, GUIDER )。该方法在深度学习模型的背景下重新审视了基于频谱的错误定位的想法和挑战,并将其巧妙地应用于深度学习模型的错误定位中。对于已完成训练的深度学习模型,GUIDER 首先通过执行测试用例获取神经元覆盖信息和测试用例置信度,并以此计算加权神经元可疑值。然后通过引入基尼系数来实现平衡聚合,将这些可疑值从神经元级别提升到层级别,从而在模型和程序之间建立了桥梁,便于开发人员调试。通过在 161 个真实模型错误上的评估实验表明,GUIDER 能够在可接受的时间范围内有效定位深度学习模型错误,并能将模型错误对应到代码上。


该研究深入探索了传统软件错误定位方法在深度学习软件上的应用问题,对于深度学习软件质量保障有着重要意义,相关成果《 Weighted Suspiciousness and Balanced Aggregation to Boost Spectrum - based Fault Localization of Deep Learning Models 》现已被软件工程领域顶级国际期刊 ACM Transactions on Software Engineering and Methodology( TOSEM, CCF - A类期刊 )全文录用,南京大学为唯一署名单位。博士生许文杰为第一作者,李言辉老师为通讯作者。


李言辉老师当前主要关注以深度学习 / 机器学习模型为核心的智能软件测试与调试技术。近年来,已在 TOSEM、TSE、ICSE、FSE、ASE 和 ISSTA 等软件工程国际顶级期刊会议发表论文多篇。欢迎对智能软件测试和调试相关领域感兴趣的 2025 级研究生与 2026 级推免研究生学生联系和讨论,详见个人主页:https://yanhuilinju.github.io