MAGUS研究组ACM MM 2020和ICMR 2020取得佳绩

发布日期:2020-12-02 浏览次数:


       

       2020年10月12日至16日,第28届ACM国际多媒体会议(ACM International Conference on Multimedia, ACM MM)在线举行。ACM MM是多媒体领域的顶级国际会议,也是多媒体领域唯一的CCF A类刊物。MAGUS研究组的于凡同学以第一作者身份在ACM MM 2020上发表3篇论文,包括长文1篇、竞赛冠军短文1篇、代码复现短文1篇。


       于凡同学发表的长文为"Visual Relation of Interest Detection",是其去年在ACM MM 2019上发表长文"Instance of interest detection"的后续工作。该工作旨在抽取图像中的兴趣关系来展现图像内容主旨,提出了一种兴趣传递网络(Interest Propagation Network,IPNet),并构建了针对兴趣视觉关系检测的新数据集ViROI。于凡同学在ACM MM 2020线上会议作口头报告。她是南京大学第一位以第一作者身份在ACM MM上发表2篇长文的研究者。



       深度视频理解(Deep Video Understanding,DVU)挑战赛旨在突破多模式提取、融合和分析技术方面的局限性,探索更新更好的视频理解方法。于凡和MAGUS成员王丹丹、张贝贝同学以及指导老师组成的MAGUS.YWZ团队,提出了一种多模态特征融合网络,来预测视频中人物和场景两类实体之间的关系,并构建角色-关系知识图谱。MAGUS.YWZ团队顺利完成了本次挑战赛的各项任务,最终以综合成绩最优荣获冠军,成果发表为"Deep Relationship Analysis in Video with Multimodal Feature Fusion"。



       ACM MM鼓励上一年的论文作者将代码整理后投稿到当年的Reproducibility Track,以增强代码的可复现性。于凡和MAGUS成员王丹丹、王浩楠同学以及指导老师对ACM MM 2019论文"Instance of Interest Detection"进行了复现,发表为"Reproducibility Companion Paper: Instance of Interest Detection"。该工作将原网络的各个模块设计为可替换重组的形式,方便进行自定义的对比实验,并为入口文件添加了命令行参数解析,使这些文件可以在不同参数下运行不同的模式。另外,作者将模型中所用到的参数放入YML配置文件中统一管理,提高了代码的可读性和灵活性。ACM MM 2020 Reproducibility Track仅有4篇文章被录用。


       2020年10月26日至30日,多媒体检索国际会议(ACM International Conference on Multimedia Retrieval,ICMR)在线召开。ICMR是多媒体检索领域的知名会议,是CCF B类刊物。MAGUS研究组的孙旭与胡鑫雯及导师合作完成的论文"Human object interaction detection via multi-level conditioned network"荣获最佳论文提名奖(Best Paper Candidate)。这是南京大学在多媒体领域学术论文获得的最高奖项之一。


       人-物交互检测(Human-Object Interaction Detection, HOID)是以人为中心的视觉场景理解的关键问题,旨在检测和识别图像中的人和物体以及他们之间的交互关系,需要同时具备视觉感知和推理能力。该工作提出了一种新的多级条件网络(Multi-level Conditioned Network, MLCNet),通过融合外部的空间语义先验与视觉特征,有效提高了卷积神经网络模型的推理能力,在处理复杂的人-物关系理解上优于现有方法。