• 首页
  • 赛事活动
    • 海洋计算挑战赛(MCC)
    • 并行应用挑战赛(PAC)
  • 新闻公告
  • 资料站
  • 机时申请
  • 联系我们
登录

优化赛道 | 题二:Attention算子优化

7月25


Attention赛题简介

对给定的mla_by_sdpa算子进行优化,在不改变其数学输出结果的前提下,通过代码层面的改进提升计算效率。





赛题要求


01


赛题



1. 已提供测试代码

源码路径:/home/PACfinal/flashAttention.tar.gz,解压到个人目录下即可

2. 基础conda环境加载方法

source /home/PACfinal/anaconda3/start_anaconda.sh

3. 执行Attention算子结果校验程序(实际结果以计算节点输出为准)

4. 提交脚本参考(必须使用脚本提交到计算节点运行)

#!/bin/bash
#DSUB --mpi hmpi
#DSUB -nn 1 节点数
#DSUB -R 'cpu=38;mem=256000' 
#DSUB -x job 作业节点独占
#DSUB -oo %J.out
#DSUB -eo %J.err
source /home/PACfinal/anaconda3/start_anaconda.sh
OMP_NUM_THREADS=38 OMP_PROC_BIND=close taskset -c 0-37 python mla_mqa_equivalence_case1.py
OMP_NUM_THREADS=38 OMP_PROC_BIND=close taskset -c 0-37 python mla_mqa_equivalence_case2.py
dsub --affinity auto -s sub.sh提交作业


5. 输出结果参考

6. 根据最终输出的两个attention算子规模消耗时间记录性能,要求结果为True


02


赛题说明

1,需要优化且只允许优化的是python代码40行的mla_by_sdpa算子

可以进行源码优化,不改变输出要求最终结果为True

2,Attention算子要求

单进程多线程,限定单个numa内38核

3,不允许调KML

4,禁止修改22行prepare_mla_inputs对应的输入规模参数,禁止测试程序中的随机数种子等一切影响测试问题规模或精度的改动

5,不允许使用warmup优化

测试性能为冷启动测试

6,结果通过torch.closeall校验,不允许修改mla_by_sdpa函数外的代码

最终复验时换seed进行测试

7,以输出的两组elapsed_time耗时相加作为评分标准,时间越短越好




决赛评分规则




  • 优化赛道决赛共两题:题一【INT8GEMM算子优化】和题二【Attention算子优化】,两题均为必答题,两题各占决赛成绩50%;

  • 各阶段评分占比

    决赛上机成绩=题一上机成绩(50%)+题二上机成绩(50%)

    决赛成绩=上机成绩(80%)+现场答辩成绩(20%)

    最终总决赛成绩=初赛成绩(20%)+决赛成绩(80%)

  • 不可针对某类算例做针对性、无普适性、非通用优化,否则该部分成绩酌情扣除(如不确定优化方法是否满足要求,请及时与组委会沟通确认优化细节)

  • 如出现作品源代码高度相似情况,则视为同一作品,取消参赛成绩





作业提交内容和方式


01


作业提交内容

提交内容:

  • 最终优化后的源代码
  • 提交脚本及测试流程说明,保证后续结果能复现
  • 最终的*.out作业日志
  • 技术报告PPT

说明:
新建目录mkdir  ~/final_result_2。源代码、放置在final_result_2路径下,由于机器不支持下载,该部分文件需保存在服务器上


02


作业提交方式


  • 提交方式:决赛当天指定时间提交

  • 提交时间:2025年8月14日(具体时间、地点以临近时间通知为准)
  • 赛题、上机指南及作品提交模版:

    链接: https://pan.baidu.com/s/1iH5WU0d-Y6giU6WX8dE3_Q 

    提取码: PAC5 






其他说明



  • 机时申请时间:初赛评审结束后,机时系统自动发送,具体发送时间请等待通知;
  • 决赛评审方式:所有晋级决赛的队伍需要线下全程参加答辩,具体答辩时间和地点另行通知
  • 证书发放:决赛评比结束后,由专家评审和组委会根据《大赛章程》和赛题评审
    规则共同确定获奖情况,其中同一单位最多两支队伍获奖。
  • 如有任何问题,可在“PAC 2025参赛交流群”中直接交流(技术问题请联系刘帅或刘珍圆,赛事赛程请联系张那),或者联系组委会工作人员(微信号:Paraterazhangna)



官方通知

23
优化赛道 | 题二:Attention算子优化

2025/7/25

23
优化赛道 | 题一:INT8GEMM算子优化

2025/7/25

23
鲲鹏展翼,赛场高光‌:PAC2025初赛晋级榜单权威发布

2025/7/24

23
MCC2025初赛圆满落幕!16强突围,谁将冲刺“深蓝星海”?

2025/6/26

23
PAC 2025 | 优化赛道初赛【题一:DGEMM算子优化】

2025/6/9

23
PAC 2025 | 优化赛道初赛【题二:HPCG优化】

2025/6/9

23
一路相伴,并肩同行 | 第十二届并行应用挑战赛再度扬帆启幕

2025/5/22

23
算海扬帆,青春启航 | 第二届海洋计算挑战赛扬帆起航

2025/6/6

23
全体代码星人注意!PAC报名通道即将挤爆!

2025/4/15

23
“海洋总动员”!2025海洋计算挑战赛报名开始了!

2025/3/6

23
中山大学 | 算法优化与硬件利用的实战经验

2024/10/23

23
南开大学 | 探索新知与突破自我

2024/10/23

23
少年强,行业兴丨PAC 2023-2024赛季圆满闭幕

2024/9/30

23
第十一届PAC 大赛决赛晋级榜单公布:“HPC+AI”成新趋势

2024/8/22

23
第十一届PAC大赛高校培训季纪实(三):PAC优质“实践性”学习平台

2024/7/24

23
第十一届PAC大赛高校培训季纪实(二):聚焦大咖报告,探寻师资传承

2024/7/12

23
第十一届PAC大赛高校培训季纪实(一):对话参赛师生解析行业动态

2024/6/22

23
一路相伴,一往直前丨第十一届PAC全国并行应用挑战赛启幕

2024/4/26

23
十年筑梦,向新而行 | PAC全国并行应用挑战赛在京启幕

2022/7/7

23
PAC: 十年筑梦,向新而行

2022/5/7

合作与支持单位

ACM中国

 

中国科学院计算技术研究所

中国科学院计算机网络信息中心

清华大学

机械工业出版社

联系我们

地址:北京市海淀区厢黄旗东路1号院清控银杏科技园2号楼4层

邮编:100193

邮箱:parallel_edu@paratera.com

京ICP备09053078号