我院硕士生刘子夕的智能对话系统测试研究成果被ISSTA录用

发布日期:2021-05-19 浏览次数:


        我院iSE团队陈振宇教授与计算机系冯洋助理研究员指导的20级硕士研究生刘子夕,提出了一种针对RNN驱动的智能对话系统的自动化测试框架DialTest,该工作发表在软件工程顶级国际会议ISSTA 2021。该工作是第一个提出对RNN驱动的对话系统进行系统性地自动化测试的研究。


       DialTest利用特定的文本关系来自动测试对话系统的自然语言理解模型,证明了不同的文本转换方式(包含同义词替换,反向翻译和单词插入等)可以有效地生成测试用例;同时创造性地提出采用Gini系数引导测试用例选择,有效降低了测试成本,同时提高了测试效率;实验结果表明,DialTest可有效测试对话系统的鲁棒性。在工业对话系统上进行的案例研究结果表明,DialTest可以检测出对话系统的错误行为,并通过模型重训练提高准确性。



       随着递归神经网络(RNN)的巨大进步,对话系统取得了长足的发展。许多RNN驱动的对话系统,例如Siri,Google Home和Alexa,已经广泛应用于实际生活场景中,以协助用户完成各种任务。但是,尽管这些对话系统有着广泛的应用前景,智能对话系统本质上也是一种软件,也可能产生错误的行为并导致巨大的损失,因此,确保RNN驱动的对话系统的鲁棒性是一项重要的工作。与传统的软件应用程序不同,传统软件需要工程师手动构建业务逻辑,而RNN模型的开发则采用了数据驱动的编程范式,该范式通过从海量数据中学习来形成逻辑,此功能使得难以应用常规软件测试技术来测试RNN驱动的对话系统。


       DialTest 可应用于智能对话系统的自动化测试、评估及优化,保证智能对话系统测试的充分性和完备性,提升智能对话系统的质量,有助于以电子客服为代表的各类智能对话系统进行快速测试与改进,协助互联网与服务企业构建和优化对话系统。相关论文《DialTest: Automated Testing for Recurrent-Neural-Network-Driven Dialogue Systems》已被软件工程顶级国际会议ISSTA 2021录用。ISSTA会议属于中国计算机学会(CCF)推荐的A类会议。