现代GPU编程指南

现代 GPU 的 kernel 编程笔记：从 GPU 硬件架构讲起，围绕 Thread Block Cluster、TMA、Tensor Core（WGMMA）、异步流水线与 FP8 等新特性，最后落到 GEMM / FlashAttention 这类真实算子。

  • 2 篇
  • 更新于

本系列参考的学习资料：

Modern GPU Programming for MLSys mlc-ai · 面向机器学习系统的现代 GPU 编程 面向 NVIDIA H100 的 CUDA 编程综合课程 Bilibili · 视频课程
  1. #1 现代GPU编程指南（开篇）：Hopper 新特性总览 梳理 Hopper（H100/H800，sm_90）为 CUDA 编程带来的关键新特性，并给出本系列的整体规划。 3 分钟
  2. #2 GPU 体系结构 —— H100 的硬件架构 剖析 H100（Hopper）的硬件架构：GPC / SM / SMSP、HBM3 与 L2、各类计算单元、Shared Memory 与 Register、warp 调度与延迟隐藏。 9 分钟