iSE团队在人工智能测试领域取得重要研究进展

发布日期:2020-12-21 浏览次数:

       深度学习推理引擎是人工智能(AI)软件的基础组件。通过将深度学习模型解析成计算图,推理引擎实现了模型的优化并支持在不同设备上运行时的加速推理。推理引擎的质量关乎其上层所有模型的质量,因此,开展深度学习推理引擎的测试是保障AI软件质量的重要环节。然而,AI测试中关于推理引擎测试的研究还存在诸多技术挑战:一方面,难以生成多样化的模型来覆盖推理引擎算子之间的连接组合,从而难以触发推理引擎的缺陷;另一方面,已有的度量方式(代码覆盖/神经元覆盖)只能刻画单个模型的质量,而不能反映需要多样化模型测试的推理引擎的质量。


       我院iSE团队陈振宇老师、房春荣老师与华为海思麒麟合作提出了一种基于图的深度学习模型生成方法,用于推理引擎测试。该工作(1)设计了基于图结构的模型级别和源码级别的变异方法,并通过Watts-Strogatz算法和残差网络模型生成大量的多样化深度学习模型;(2)设计了一种新型的基于图结构的算子覆盖准则,涵盖子图、块及块级语料等结构,用来捕获推理引擎的算子逻辑连接关系;(3)实现了一种以(1)生成测试模型,以(2)作为有效反馈的推理引擎模糊测试方法。该方法在工业级推理引擎中发现了包含模型住转化错误、推理失效在内的一系列缺陷。同时,该方法还应用到了华为海思自研的HiAI平台中,对平台质量保障起到了至关重要的作用。相关论文《Graph-Based Fuzz Testing for Deep Learning Inference Engine》已被软件工程顶级国际会议ICSE 2021录用。ICSE也是中国计算机学会(CCF)推荐的A类会议。



       该研究是我院iSE团队在AI测试领域的又一项重要的产学研合作实践,一方面助力创新型人才培养,为企业培养尖端人才,另一方面立足自主可控的AI测试技术,为保障人工智能系统高质量落地迈出了重要一步。


       以上工作得到了国家自然科学基金重点及面上项目、中央高校基本科研业务经费以及华为公司的资助。