优化赛道 | 题二:Attention算子优化
Attention赛题简介
01 赛题
1. 已提供测试代码
源码路径:/home/PACfinal/flashAttention.tar.gz,解压到个人目录下即可
2. 基础conda环境加载方法
source /home/PACfinal/anaconda3/start_anaconda.sh
3. 执行Attention算子结果校验程序(实际结果以计算节点输出为准)
4. 提交脚本参考(必须使用脚本提交到计算节点运行)
5. 输出结果参考
02 赛题说明 1,需要优化且只允许优化的是python代码40行的mla_by_sdpa算子 可以进行源码优化,不改变输出要求最终结果为True 2,Attention算子要求 单进程多线程,限定单个numa内38核 3,不允许调KML 4,禁止修改22行prepare_mla_inputs对应的输入规模参数,禁止测试程序中的随机数种子等一切影响测试问题规模或精度的改动 5,不允许使用warmup优化 测试性能为冷启动测试 6,结果通过torch.closeall校验,不允许修改mla_by_sdpa函数外的代码 最终复验时换seed进行测试 7,以输出的两组elapsed_time耗时相加作为评分标准,时间越短越好
优化赛道决赛共两题:题一【INT8GEMM算子优化】和题二【Attention算子优化】,两题均为必答题,两题各占决赛成绩50%;
各阶段评分占比
决赛上机成绩=题一上机成绩(50%)+题二上机成绩(50%)
决赛成绩=上机成绩(80%)+现场答辩成绩(20%)
最终总决赛成绩=初赛成绩(20%)+决赛成绩(80%)
不可针对某类算例做针对性、无普适性、非通用优化,否则该部分成绩酌情扣除(如不确定优化方法是否满足要求,请及时与组委会沟通确认优化细节)
如出现作品源代码高度相似情况,则视为同一作品,取消参赛成绩
01 作业提交内容
提交内容:
最终优化后的源代码 提交脚本及测试流程说明,保证后续结果能复现 最终的*.out作业日志 技术报告PPT
02 作业提交方式
提交方式:决赛当天指定时间提交
提交时间:2025年8月14日(具体时间、地点以临近时间通知为准)
赛题、上机指南及作品提交模版: 链接: https://pan.baidu.com/s/1iH5WU0d-Y6giU6WX8dE3_Q
提取码: PAC5
机时申请时间:初赛评审结束后,机时系统自动发送,具体发送时间请等待通知; 决赛评审方式:所有晋级决赛的队伍需要线下全程参加答辩,具体答辩时间和地点另行通知 证书发放:决赛评比结束后,由专家评审和组委会根据《大赛章程》和赛题评审 规则共同确定获奖情况,其中同一单位最多两支队伍获奖。 如有任何问题,可在“PAC 2025参赛交流群”中直接交流(技术问题请联系刘帅或刘珍圆,赛事赛程请联系张那),或者联系组委会工作人员(微信号:Paraterazhangna)
官方通知
2025/7/25
2025/7/25
2025/7/24
2025/6/26
2025/6/9
2025/6/9
2025/5/22
2025/6/6
2025/4/15
2025/3/6
2024/10/23
2024/10/23
2024/9/30
2024/8/22
2024/7/24
2024/7/12
2024/6/22
2024/4/26
2022/7/7
2022/5/7
7月25