人机交互在软件工程研究中扮演了重要的一环，随着元宇宙与 XR 技术的发展，人机交互在虚拟现实和增强现实 VR / AR / MR 等领域更加突显其重要性。软件学院冯桂焕副教授人机交互团队围绕 XR 环境中的人机交互研究这个核心话题，开展了全面深入的研究，在虚拟现实草图绘制、交互空间扩展以及多通道交互设计等方面取得了重要的研究成果。

硕士生徐歆驰为第一作者的工作被 IEEE VR 2023 录用并推荐至IEEE可视化与计算机图形学期刊 TVCG，并获得"最佳论文提名"。虚拟现实草图是一种利用虚拟现实技术允许设计者直接绘制 3D 草图线条并展示的方法，它可以增强对设计工作的自由度和效率。由于虚拟现实环境中缺少深度感知线索，用户在绘制 3D 草图时容易存在绘制误差。该论文提出了一种利用非主导手创建和操作脚手架表面的方法，来增强传统的主导手绘图体验。该方法可以有效解决虚拟现实中深度感知线索缺乏的问题，提高绘图的准确性和效率。项目组成员包括邰天成、陈氢、张蓉蓉同学。

图1：GestureSurface 的交互流程示意图

博士生周扬为第一作者的工作发表在第 30 届 IEEE 虚拟现实和 3D 用户界面国际顶级会议（ IEEE VR 2023 ）。通常交互通道中的一个指令对应单一交互语义，当需要的交互语义较多时，就需要定义多种指令表示方式，从而加大了用户的学习成本。该工作提出空间复合语义的概念，将交互指令和其所处上下文空间位置信息相结合，并将其应用于增强现实场景中的手势交互，设计实现了基于空间复合语义手势交互的多种应用场景。空间复合语义概念为增强现实场景下的交互空间扩展提供了一种可行的方法。项目组成员包括杨沛鑫、刘翔同学。

图2：空间复合语义与空间复合语义手势定义

硕士生陈宇轩为第一作者的工作录用在人机交互领域顶级会议 ACM Conference on Human Factors in Computing Systems（ ACM CHI 2023 ）。已有研究大多将呼吸作为操纵杆、手势、眼动等其他交互方式的辅助通道，其作为独立交互通道的潜力尚未被充分挖掘。该论文提出一种将呼吸作为独立交互通道的方法，并设计实现了一种视觉和听觉融合的双通道呼吸检测技术与 VR 交互界面，实现了对吹气方向、吹气强度、呼吸状态等呼吸参数的识别检测。实验结果表明该方法在特定场景下可以获得与传统操纵杆相当的交互效率。项目组成员包括金逸、曾昭宁、陈峙宇同学。

图3：视觉和听觉融合的双通道呼吸检测方法

以上三篇论文分别发表在 IEEE TVCG，IEEE VR Poster，CHI Late-Breaking Work，分别名为《 GestureSurface: VR Sketching through Assembling Scaffold Surface with Non-Dominant Hand 》，《 ARPad: Compound Spatial-Semantic Gesture Interaction in Augmented Reality 》，《 VisaudiBlow: Fine-grained Blowing Interaction Based on Visual and Auditory Detection 》。IEEE VR 和 TVCG 是中国计算机学会（ CCF ）推荐的可视化领域 A 类会议与期刊，CHI 是人机交互领域 A 类会议。特别感谢合作老师清华大学喻纯教授、中科院软件所刘杰副研究员的指导。