南京大学联合发布的昇腾算子公开评测平台正式上线

发布日期:2026-07-18 浏览次数:


2026 年 7 月 15 日,南京大学联合华为与深圳河套学院正式发布昇腾算子评测平台 CANN - Bench,并同步推出全球首个面向 AI 自动生成算子代码的公开 Leaderboard 排行榜。

算子是人工智能模型执行矩阵计算等任务的基本单元,其质量直接影响模型运行的正确性、性能与适配效率。算子生态是串联上层模型与底层芯片的关键桥梁,也是人工智能国产化的重要基础。随着大语言模型与 AI Agent 技术的快速发展,AI 已能直接编写算子代码,大幅降低算子开发的技术门槛,但一个关键问题随之浮现:不同模型与 Agent 产出的算子代码,其稳定性与高效性究竟如何?CANN-Bench 正是为解决这一核心问题而生 —— 它将此前开源的评测体系从本地命令行工具升级为在线公开平台,为全行业提供一套标准化、透明化、可横向对比的 AI 算子能力评测服务。



平台以公开 Leaderboard 为核心,在统一、可复现的评测标准下,对每份提交代码执行 50 余项覆盖多种复杂度的标准化评测任务,从编译正确性、精度通过率到性能表现等多维度进行量化评分并公开展示。其评测引擎与开源仓库完全同源,确保所有算子在同一标尺下客观比较。平台同时支持项目管理与历史追踪,每一次提交均可回溯,便于开发者对比不同版本或模型的演进轨迹,亦可按模型、Agent 或时间周期进行交叉分析与 AB 对照实验,使算子生成能力的变化以数据清晰呈现。通过评测发现差异、定位瓶颈、验证优化,平台为算子代码的可信生成、高效优化与跨场景迁移提供客观依据。

在本次平台建设过程中,南京大学 iSE 实验室深度参与了评测基准集构建以及评测结果分析、资源分配等机制的研究与支撑工作,聚焦于提升评测任务的代表性、流程的规范性和结果的可复现性,为平台后续扩展更多算子场景、完善社区共建机制提供了坚实基础,也为国产化算子生态的构建提供了自主可控的关键技术基座。

面向人工智能国产化发展需求,南京大学 iSE 实验室将以本平台为起点,联合多所高校科研机构、龙头企业以及开源社区,逐步构建覆盖算子开发、优化、迁移、复用全生命周期的技术支撑体系。评测不是终点,而是通往可信生成、高效优化与跨架构迁移的必经路径。平台将持续探索 AI 驱动的算子自动生成与性能调优方法,沉淀可复用、可演进的算子资产库,推动不同国产芯片架构间的算子互迁与生态互联,最终形成一套面向算子全生命周期的开放治理体系,向上服务大模型训练推理的效率需求,向下释放各类国产芯片的算力潜能,为我国人工智能算力基础设施的自主可控与持续演进提供长远支撑。

更多详情可访问 https://cannbench.com  和 https://gitcode.com/cann/cann-bench。平台使用过程中的问题与建议,欢迎联系南京大学 iSE实验室刘佳玮老师:jwliu@nju.edu.cn。