iSE团队在人工智能测试领域取得重要研究进展

发布日期:2021-06-01 浏览次数:


       深度学习库为开发人员构建深度学习模型提供底层算力支撑,这使得模型的质量高度依赖深度学习库算子的质量。因此,深度学习库测试对于底层库开发者以及模型开发者具有重大意义。然而,深度学习算子测试存在诸多挑战:一方面,由于深度学习算子输入的维度可变性,现有测试工具无法应用于算子测试输入生成;另一方面,涉及大量浮点计算的不同算子的误差传播机理多样,导致算子精度误差难以评估。


       我院iSE团队陈振宇老师、房春荣老师指导博士生章许帆与华为海思麒麟展开合作,提出了一种深度学习库的精度测试方法——Predoo。该方法通过理论分析论证了不同算子误差传播的差异性,将精度误差判别问题转换为寻找最大精度误差问题。进而提出了针对算子精度的模糊测试方法:通过算子输入精度和计算精度可变性生成测试输入,以测得精度误差作为反馈动态引导测试执行过程,实现对深度学习库中的不同类型算子实例的测试分析。以我院博士生章许帆为第一作者的相关研究成果《Predoo: Precision Testing of Deep Learning Operators》已被软件工程顶级国际会议ISSTA 2021录用。ISSTA会议属于中国计算机学会(CCF)推荐的A类会议。



       该研究是我院iSE团队在AI测试领域的又一项重要的产学研合作实践成果。Predoo专注微观算子精度测试,与宏观的网络图测试方法(《Graph-Based Fuzz Testing for Deep Learning Inference Engine》ICSE 2021)形成合力,推动深度学习库测试理论的发展,共同保障深度学习库质量,具有重要的工业应用价值。同时,该研究对于创新型人才培养、自主可控的AI测试技术研发、保障人工智能系统高质量落地具有重要意义。


       以上工作得到了国家自然科学基金重点及面上项目、中央高校基本科研业务经费以及华为公司的资助。