Blog

独立成篇的技术笔记：低精度浮点数、Triton、Hessian 矩阵、Transformer 位置编码等，按发布时间排列。

  • 4 篇
  • 更新于
  1. #1 Hessian矩阵系列串讲 围绕 Hessian 矩阵的基础定义、近似计算，以及二阶信息在剪枝和量化中的作用。 11 分钟
  2. #2 Transformer中的位置编码的探索与思考 整理 Transformer 位置编码的发展脉络：绝对位置编码、相对位置编码与 RoPE。 11 分钟
  3. #3 Triton Triton 的编程模型、矩阵乘法和量化相关算子实现思路。 21 分钟
  4. #4 浅谈低精度浮点数 从 IEEE 754 出发，梳理低精度浮点数以及 MXFP4、NVFP4 等 micro-scaling 格式。 11 分钟