TAG
量化
1 篇文章
Normalization 与 Quantization 的隐秘战争
Normalization 与 Quantization 的隐秘战争 在 LLM 量化领域，几乎所有人的目光都集中在权重矩阵和激活值的离群值上。但很少有人深入追问：这些离群值究竟从何而来？归一化层在这个过程中扮演了什么角色？本篇博客将系统性地梳理 Normalization 与 …
5142 字
TAG
Normalization 与 Quantization 的隐秘战争 在 LLM 量化领域，几乎所有人的目光都集中在权重矩阵和激活值的离群值上。但很少有人深入追问：这些离群值究竟从何而来？归一化层在这个过程中扮演了什么角色？本篇博客将系统性地梳理 Normalization 与 …