随着华为鸿蒙为代表的国产泛在操作系统生态的快速崛起，其分布式架构与多端协同能力推动了移动应用创新，但同时也对多平台兼容性保障提出更高要求。GUI 测试作为验证应用功能与用户体验的核心手段，通过测试脚本模拟用户操作并验证响应，其质量直接影响软件可靠性。然而，鸿蒙泛在生态的跨平台测试面临双重挑战：一是脚本语义理解障碍，测试脚本通过控件选择器与业务逻辑解耦，缺乏可理解性，大幅增加维护与迁移成本；二是脚本迁移适配困境，因不同平台底层实现差异，同一业务流程需应对复杂事件映射情况，导致传统跨平台回放方法失效。上述挑战极大制约了鸿蒙应用测试效率，亟需兼顾精准匹配与意图理解的新型技术突破，为国产移动生态高质量发展提供底层支撑。

针对 GUI 测试脚本语义理解难题，iSE 实验室创新地提出了基于 GUI 图像与代码融合理解的测试脚本意图生成方法。该方法实现从操作到业务的端到端语义挖掘。其首先针对操作序列建模，将离散的测试事件聚合为完整业务流程；进一步通过跨模态语义关联，对 XPath 定位方式控件采用图像理解技术解析界面元素功能，对 ID 定位方式控件通过代码溯源映射业务逻辑，解决跨平台控件属性差异导致的意图歧义；最后，融合操作流、图像特征及代码上下文，自动生成高可理解性描述，有效提升脚本自动化理解效率。该技术首次建立测试脚本与应用业务逻辑的可解释关联，为跨平台迁移提供语义基础。

针对跨平台 GUI 测试脚本 " 多对多 " 事件映射难题，iSE 实验室进一步创新地提出了基于大模型语义匹配的跨平台移动应用测试脚本录制回放技术。该技术突破传统方法依赖一对一控件映射的局限性，充分利用大语言模型驱动的语义匹配框架，通过自然语言理解跨平台控件功能的语义一致性，解决因 GUI 开发差异导致的控件属性不匹配问题；进一步设计基于语义的回放策略，在录制阶段利用图像分割技术精准记录操作上下文，回放时依次启动图像匹配、文本匹配和语义匹配，实现从像素级匹配到语义级对齐的提升。该技术构建鸿蒙泛在生态首个跨平台测试脚本录制回放框架，其有效性在多平台实验验证中取得突出效果，为国产操作系统生态的兼容性保障提供了可落地的自动化解决方案。

iSE 实验室在鸿蒙应用测试领域的突破，标志着智能软件工程与国产操作系统生态深度融合的新范式。所提出的两项技术从机械化的脚本回放迈向语义驱动的智能测试，为鸿蒙等国产泛在操作系统生态提供了从代码到界面的全链路质量保障体系。上述工作相关成果《 Test Script Intention Generation for Mobile Application via GUI Image and Code Understanding 》与《 基于大模型语义匹配的跨平台移动应用测试脚本录制回放 》分别被 ACM Transactions on Software Engineering and Methodology（ TOSEM，CCF - A期刊 ）与《 软件学报 》（ CCF - 中文A期刊 ）录用。

上述工作由 iSE 实验室虞圣呈博士在陈振宇教授和房春荣副教授共同指导下完成。虞圣呈博士现为德国慕尼黑工业大学博士后研究员，其主要研究方向为知识增强的智能化 GUI 测试技术，已在 TSE，TOSEM，ICSE，FSE 等软件工程顶级学术期刊和会议以第一作者 / 通讯作者身份发表长文论文十余篇。虞圣呈博士注重产研融合，围绕智能化 GUI 测试研发了一系列工具，并已在国家电网、北汽、华为、广东软件园等企业得到初步应用。