MAGUS.PICkers团队在CVPR2021 PIC-HOI竞赛中获得季军

发布日期:2021-06-22 浏览次数:



在依托于计算机视觉领域顶级会议International Conference on Computer Vision and Pattern Recognition(CVPR 2021)举办的Person in Context(PIC)竞赛中,由MAGUS研究组的孙旭、江辉、方亚群、贺云青等人组成的MAGUS.PICkers团队在人物交互检测(Human-Object Interaction,HOI)赛道中与国内外参赛队伍同台竞技,最终取得了第三名的好成绩。

交互检测旨在检测出给定图像以人为默认主语、形式为<谓语宾语>元组的视觉关系人物交互检测是以人为中心的场景理解的关键技术,可以广泛应用于视觉内容理解、人机交互等领域,近年来受到越来越多的关注。


人物交互检测示例


MAGUS研究组在人物交互检测方向上持续开展深入研究,完成了一系列原创性的工作。孙旭、胡鑫雯等人完成的论文"Human object interaction detection via multi-level conditioned network"发表于ACM International Conference on Multimedia Retrieval(ICMR 2021)会议,并获得最佳论文提名奖;孙旭、贺云青等人首次提出了面向时空领域的人物关系检测任务,相关论文"Spatial-Temporal Human-Object Interaction Detection"发表于IEEE International Conference on Multimedia and Expo(ICME 2021)会议。


MAGUS研究组在人物交互检测方向的工作基础


在本次PIC-HOI竞赛中,MAGUS.PICkers团队采用了两阶段的检测方法,即先对图片进行物体检测,再在物体检测的基础上进行人物交互关系的识别。PIC-HOI竞赛以平均精度均值(mean Average Precision,mAP)为评估指标,MAGUS.PICkers团队最终成绩mAP为0.875,在所有参赛队伍中排名第三。


CVPR 2021 PIC竞赛HOI赛道积分榜


近年来,MAGUS研究组在国际专业竞赛中屡次获得优异的成绩。例如,在依托计算机视觉领域顶级会议European Conference on Computer Vision(ECCV 2018)举办的PIC竞赛中,由于凡、谭昕等人组成的MaskTransE团队提出了一种新颖的以人为中心的视觉关系分割方法,获得冠军;在依托多媒体领域顶级会议ACM International Conference on Multimedia(MM 2019)举办视频关系理解(Video Relation Understanding, VRU)竞赛中,由孙旭、訾源等人组成的MAGUS.Gamma团队提出了一种多模态特征融合的视频视觉关系检测方法,获得视频视觉关系检测(Video Visual Relation Detection,VidVRD)赛道冠军;在依托ACM International Conference on Multimedia(MM 2020)举办深度视频理解(Deep Video Understanding,DVU)竞赛中,由于凡、王丹丹、张贝贝等人组成的MAGUS.YWZ团队提出了一种高效的多模态特征融合网络,获得冠军。