Page 7 - Lorn

Blog 推理优化

浅谈低精度浮点数

从 IEEE 754 出发，梳理低精度浮点数以及 MXFP4、NVFP4 等 micro-scaling 格式。

Blog 算子开发

Triton

Triton 的编程模型、矩阵乘法和量化相关算子实现思路。

Blog 模型架构

Transformer中的位置编码的探索与思考

整理 Transformer 位置编码的发展脉络：绝对位置编码、相对位置编码与 RoPE。

Blog 推理优化

Hessian矩阵系列串讲

围绕 Hessian 矩阵的基础定义、近似计算，以及二阶信息在剪枝和量化中的作用。