CATEGORY
🏃 LLM 效率与优化
3 篇文章
Normalization 与 Quantization 的隐秘战争
Normalization 与 Quantization 的隐秘战争 在 LLM 量化领域,几乎所有人的目光都集中在权重矩阵和激活值的离群值上。但很少有人深入追问:这些离群值究竟从何而来?归一化层在这个过程中扮演了什么角色?本篇博客将系统性地梳理 Normalization 与 …
5142 字
长序列中 Transformers 的高级注意力优化机制
长序列中 Transformers 的高级注意力优化机制 注意力机制 (Attention Mechanism) 作为 Transformer 架构的核心组件,通过动态分配权重帮助模型捕捉长距离依赖关系,使每个词元能够聚焦输入序列中最相关的信息。 但是, 随着序列长度的不断增加,…
2501 字
PEFT 预训练语言模型的高效参数微调方法💪
PEFT 预训练语言模型的高效参数微调方法 预训练语言模型在发展过程中催生出各种调参方法和小的机制;反过来,这些方法和机制也为语言模型的下一次飞跃积蓄力量。 背景 基于 Transformer 的预训练语言模型在广泛的 NLP 任务取得良好表现,预训练 + 微调也逐渐成为 NLP…
5050 字