传统范式是"大规模通用数据 预训练 + 下游任务微调",但随着模型规模增长,对所有参数微调在消费级硬件上的可行性大幅降低;而且为每个下游任务独立存储、部署微调模型也非常昂贵。PEFT 为解决这两个问题而生。
三大策略总览:
| 策略 | 思想 |
|---|---|
| 增量微调(Additive PEFT) | 引入新的可训练模块或参数来扩展原始模型能力,不修改原有网络结构 |
| 选择性微调(Selective PEFT) | 选择性地调整模型中与当前任务最相关的部分参数,减少计算开销、提高效率 |
| 重参数化微调(Reparameterized PEFT) | 对原始模型参数做低维度重参数化,把微调过程转化为更高效的优化问题 |
在 大语言模型 结构中引入额外参数:通过添加新的适配器模块,在保持原有模型稳定性和高效性的同时引入新任务特征。常见方法:提示微调、前缀微调、适配器微调。
提示微调:通过设计和优化硬提示提升模型性能。与全参数微调不同,它仅修改输入的
Prompt
,通过人为设计具体任务提示引导模型完成任务。
前缀微调:固定预训练模型的所有参数,在输入端添加可训练的任务特定前缀引导模型完成任务,而非对整个模型大规模更新参数。前缀不是硬提示,而是一组连续、可微分的向量,即软提示。
适配器微调:与提示 / 前缀微调"在输入前添加可训练提示向量"不同,适配器微调在预训练模型内部的网络层之间添加新的网络层或模块来适配下游任务。
核心思想:精确识别并更新模型中最关键的参数或层,在节省计算资源的同时尽可能达到全量微调的性能。常见方法分三类。
1、基于梯度信息:评估每个参数在训练中产生的梯度大小来判断其对任务性能的贡献,梯度大的参数对性能影响大,优先微调;梯度小的可忽略。可通过设定阈值或梯度稀疏化技术,只优化对任务贡献大的参数。
2、基于层级结构:模型前几层通常学习语言的低级表示(词汇、句法结构),后几层捕捉更多任务特定的高级特征。针对特定任务,选择仅微调后几层可减少计算资源消耗。
3、基于参数重要性:以参数权重或范数衡量其对任务的影响,优先微调贡献大的参数、忽略不重要的部分。常与 L1 正则化等技术结合,用稀疏化手段自动选择重要参数,减少计算与存储开销。
重参数化是 机器学习 与优化中的技巧:把模型参数转换为一种新的表示方式,使优化更高效或计算更简化;目标通常是把复杂、高维的优化问题转化为低维、易处理的问题。
- 低秩重参数化:假设预训练模型的适配过程是低秩的,模型参数可用低秩矩阵乘积表示。把高维参数矩阵 W 表示为两个低维矩阵 A、B 的乘积,即 W ≈ A·B;优化时只需调整较小的低维矩阵,无需直接调整高维原始参数,复杂度大幅降低。
- 代理参数重参数化:引入较小的低维参数 P,通过某种映射关系(如线性变换)间接影响高维参数矩阵 W,即 W′ = f§;优化只调整代理参数,原始高维参数通过重参数化关系与代理参数关联,从而减少计算量与内存开销。
在重参数化微调背景下, LoRA 与 QLoRA 是两种代表性实现
重参数化微调低秩适配(LoRA)举例:用 HuggingFace peft 库对因果语言模型挂 LoRA 的最小示例:
pip install "transformers>=4.31" peft datasets accelerate
bash
- 1
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, TaskType
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-1.5B") # 以任一开源 LLM 为例
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-1.5B")
config = LoraConfig(
task_type=TaskType.CAUSAL_LM,
r=8, # 秩,对应式(4-2) 的 r;越大表达能力越强、可训练参数越多
lora_alpha=16, # 缩放系数,ΔW 按 alpha/r 缩放,控制旁路影响强度
lora_dropout=0.05, # 旁路 dropout,防过拟合
target_modules=["q_proj", "k_proj", "v_proj", "o_proj"], # 对应书中 W_q/W_k/W_v/W_o
# A 高斯随机初始化、B 零初始化为 peft 默认行为(lora_A 用 kaiming,lora_B 用零)
)
model = get_peft_model(model, config)
model.print_trainable_parameters()
# 预期输出形如:trainable params: 1,703,936 || all params: 1,544,171,520 || trainable%: 0.11
# 训练(可与 transformers.Trainer 配合);训练完成后可合并旁路权重,推理零额外延迟:
# merged = model.merge_and_unload()
python运行
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
重参数化微调量化低秩适配(QLoRA)举例:
transformers
+ bitsandbytes 的 4-bit 加载要点:
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
import torch
bnb_config = BitsAndBytesConfig(
load_in_4bit=True, # 4-bit 量化加载(NF4)
bnb_4bit_quant_type="nf4", # 对应书中 NF4
bnb_4bit_use_double_quant=True, # 对应书中"双量化"
bnb_4bit_compute_dtype=torch.bfloat16, # 计算时反量化到 bf16,保证数值精度
)
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf",
quantization_config=nb_config)
# 之后再按上节方法挂 LoRA(peft 的 prepare_model_for_kbit_training(model))即可训练。
# 经验参考:7B 模型 QLoRA 微调约需 6-10GB 显存(单卡 24G 甚至消费级显卡即可)。
python运行
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13