高性能计算实战
Stanford CS149, Fall 2025 PARALLEL COMPUTING 是一门讲并行计算的课。
这个站点是它的实战版教程：不是讲义翻译，而是把每次作业真的做一遍再写下来：一半是课程原始 handout（题目、环境、评分），一半是上机跑出来的实验报告（命令、输出、性能数字都在里面）。
高性能计算入门最难受的地方是「概念都懂、性能调不出来」。所以每一章都尽量给出可以照着复现的完整链路：环境怎么配、内核怎么写、再用 profiler 找出真正的瓶颈，一轮一轮优化下去。
你会学到什么
| 主题 | 在哪一章 |
|---|---|
| SIMD 与向量指令：AVX2 八路并行、mask、向量利用率 | Assignment 1 |
| 多线程与空间分解、负载均衡、加速比分析 | Assignment 1 |
ISPC 的 SPMD 编程模型（foreach / launch） |
Assignment 1 |
| 从零实现任务执行库：三种线程池、自旋 vs 休眠 | Assignment 2 |
| 任务图（DAG）调度与依赖簿记 | Assignment 2 |
| GPU 并行：Prefix-Sum、原子性、顺序一致性 | Assignment 3 |
| 张量加速器：片上 SRAM、循环分块、算子融合 | Assignment 4 |
| 性能剖析：roofline、引擎占用、定位带宽瓶颈 | 各篇实验报告 |
怎么读
每一章 = 一个作业，下面挂两份材料：
- 作业说明 —— 课程原始 handout：背景、任务拆解、环境搭建、评分标准
- 实验报告 —— 实现过程与实测数据：执行了什么命令、真实输出是什么、性能怎么变、踩过哪些坑
建议顺序：先看作业说明知道要做什么，再看实验报告跟一遍真实过程。报告里的每个数字都来自真机运行，没有跑过的位置会明确标注。
需要什么基础
- C / C++：能看懂指针和模板就够了
- 体系结构：了解 cache、SIMD、线程的概念会更好读，没有也能跟上
- CUDA：不需要提前会写，Assignment 3 是从零开始的
许可
作业说明部分基于 Stanford CS149 的课程材料，版权归 Stanford 所有；实验报告与实现代码为本仓库作者所写。