LIPLAB博士生牛长安获得ICSE 2024杰出论文奖

发布日期:2024-03-07 浏览次数:

语言智能处理研究组( LIPLAB,http://liplab.site/ )2021级博士生牛长安 ICSE 2024论文 " FAIR : Flow Type-Aware Pre-Training of Compiler Intermediate Representations " 荣获ACM SIGSOFT Distinguished Paper Award。ICSE 是软件工程领域的旗舰学术会议,也是中国计算机学会推荐 A 类国际学术会议。南京大学为该论文的第一单位与唯一通讯单位。


该论文针对现有 IR 预训练模型在构造IR输入表示时无法区分 " 控制和数据流图 "( CDFG )中节点类型和边类型的问题,设计了一种图节点和边类型感知的 IR 输入表示方法,并基于该输入表示设计了一个全新的 IR 预训练模型。其中 IR 输入表示中首先分别将 CFG 和 DFG 与 Call Graph 结合,再通过节点关系融合 CFG 和 DFG,并为图中所有边标记类型,最终实现将一个 IR 输入表示为一个完整的图。在预训练模型中,采用分层的模型架构,引入 Graph Transformer 缓解 over-smoothing、over-squashing 和 long-dependencies 问题,并在 Self - Attention 中激发不同类型的边对嵌入表示的作用。IR 输入表示及模型架构如下图所示。实验表明,FAIR 在多个下游任务上的表现均超过了已有的 IR 预训练 SOTA 模型以及相近规模的源代码预训练 SOTA 模型。



论文链接:https://arxiv.org/pdf/2309.04828.pdf


欢迎对代码预训练、代码生成、代码补全、缺陷修复等研究感兴趣的同学加入 LIPLAB!联系方式:lcy @nju.edu.cn (李传艺老师)