一、Transformer 模型的训练
Transformer 模型采用两阶段的训练过程:
- 第一阶段:预训练(Pretraining)。在大规模语料库上进行无监督或自监督学习,学习通用的语言表示。例如 BERT 通过掩码语言模型(MLM)和下一句预测(NSP)任务进行预训练。MLM 任务中,输入序列的一些单词被随机替换为特殊的 [MASK] 标记,模型任务是预测这些被掩盖的单词,使模型通过学习上下文信息预测缺失单词,从而学到丰富的语言表示。
- 第二阶段:微调(Fine-tuning)。将预训练模型应用到特定下游任务,在标注数据集上进一步训练,调整模型参数以适应特定任务。
通过这些训练策略,Transformer 能在各类 NLP 任务中实现高效学习和良好性能;随着研究深入,更多优化技术和训练方法也在不断开发应用。
预训练任务主要是预测文本序列中的下一个单词,这种单向自回归任务使模型能深入理解上下文信息并生成连贯、逻辑性强的文本。预训练完成后,大语言模型可在文本分类、问答系统、文本生成等多种下游任务上微调,展示出强大的迁移学习能力。
大语言模型的预训练任务多样化,旨在使模型捕捉和学习语言的广泛特性。常见任务及核心公式:
1、语言模型(LM):预测一系列词中下一个词的概率:
这是经典的概率密度估计问题,属于无监督学习问题,可通过最大似然估计(MLE)来估计。
2、掩码语言模型(MLM):针对给定文本随机掩盖一些词,然后预测这些被掩盖的词,用以提升大语言模型的文本推理能力:
其中 [MASK] 是遮挡令牌,用含遮挡词标记的整个输入序列来预测被遮挡的词。
3、置换语言模型(PLM):对输入序列中的词进行随机置换,然后预测原始的词序,通过对不同顺序的预训练增强大语言模型对正确顺序的预测和推理能力:
一些大语言模型会使用置换预训练代替掩码机制,即使用置换词而不使用 [MASK]。
4、去噪自编码(DAE):对输入进行一定干扰,然后让模型恢复未受干扰的原始输入:
其中
是被干扰的输入,
x 是原始输入。
5、对比学习(Contrastive Learning):通过对比相似和不相似的样本对来训练模型,增强大语言模型的文本推理能力:
其中 y 是与 x 相似的样本,y' 是与 x 不相似的样本。
预训练中的优化技术
1、全量微调与参数高效微调
全量微调(FFT)调整模型所有参数以适应特定任务数据,可能导致灾难性遗忘,模型在新任务上表现变好,但在原有任务上能力下降。参数高效微调( PEFT )旨在解决 FFT 的问题,只调整模型的部分参数,降低训练成本并减少对原有能力的遗忘。
2、监督式微调(SFT)
使用人工标注的数据,通过监督学习方法对大语言模型进行微调,适用于有明确标注 数据集 的任务。例如利用标注好的文本数据集对预训练 BERT 微调,以提高情感分析或文本分类等任务的性能。
3、人类反馈强化学习微调(RLHF)
通过强化学习的方式将人类反馈引入大语言模型的微调,使模型生成的结果更符合人类期望。
4、软提示(Soft Prompt)与前缀微调(Prefix Tuning)
软提示将"提示"问题转为连续问题,通过反向传播和梯度下降更新参数学习,避免人工设计提示的局限性。前缀微调在 Transformer 的 Encoder 和 Decoder 中加入特定前缀,而不是在输入序列前加 Token,可节省空间并增加多层感知机层以稳定训练;通过优化连续的前缀生成任务相关的输出,在不显著增加模型参数的情况下提升性能。
5、低秩分解(LoRA)
在模型中引入低秩矩阵来微调全连接层,通过训练两个较小的矩阵,避免推理延迟,同时达到媲美全量微调的效果。
这些技术的应用可显著提高大语言模型预训练效果,帮助模型在特定任务上达到更好性能,同时减少训练成本、提高训练效率。
大语言模型的指令微调是一种训练方法,使模型能够根据给定的自然语言指令来调整其行为和输出。核心思想是在模型输入中加入明确的指令,指导模型完成特定任务。指令可用于提示词,也可用于微调;对期望输出描述得越好,结果通常就越符合要求。
指令微调的四个关键步骤:
- 预训练:大语言模型首先在大规模文本数据上预训练,学习语言的通用模式和结构;
- 指令微调:在包含指令的数据集上微调,数据集通常包含多种任务的示例,每个任务以自然语言指令形式给出;
- 任务适应:模型学习根据指令适应不同任务,如文本分类、情感分析、问答等;
- 输出生成:微调后,模型可根据新的输入和指令生成符合任务要求的输出。
指令数据集中每个训练样本包含三要素:
- 指令:指定给定任务的自然语言文本输入,例如"将这句话从英语翻译成中文";
- 附加信息:可选的补充信息,提供与当前任务相关的上下文,例如阅读理解任务的输入可能包括一段短文,然后指示模型回答关于它的给定问题;
- 期望输出:根据提供的指令和上下文生成的目标输出(响应),作为模型预测的真实标准,模型根据此标准进行评估和优化。
实施微调的实用技巧:
- 选对预训练模型:选择与任务最相关的预训练模型,如情感分析任务选在大型情感语料库上预训练的模型,效果可能优于通用模型;
- 优化数据集:数据清洗、数据增强和类别平衡;处理不平衡数据集时可过采样少数类或欠采样多数类,提高泛化能力;
- 精调超参数:学习率、批大小、训练轮数对避免过拟合和加速训练至关重要;微调通常使用较小的学习率,避免破坏预训练模型已学到的有用特征;
- 判别式微调:对模型不同层进行不同程度的微调,帮助模型在保留通用特征的同时学习特定任务的专业化特征。
在 自然语言处理 领域中,提示学习是介于传统的监督学习和无监督学习之间。核心思想是通过精心设计的提示引导预训练的大语言模型完成特定下游任务,而无须对模型进行大规模的参数调整。
四个优势:
- 任务适应性:允许模型通过微调少量参数适应新任务,无须从头训练;
- 计算效率:避免大规模参数调整,计算资源上更高效;
- 泛化能力:精心设计的提示帮助模型捕捉任务本质特征,更好泛化到未见数据和任务,对实际应用中的鲁棒性和适应性至关重要;
- 可解释性:提示直接关联到模型输出,为理解模型决策过程提供了直观方式,有助于提高透明度,也为调试和优化提供便利。
设计有效提示的四个原则:
- 明确性:提示应清晰明确,直接指向任务目标,避免歧义或模糊性;
- 简洁性:尽可能简洁,只包含完成任务所必需的信息,避免不必要的复杂性;
- 相关性:与任务数据紧密相关,能引导模型关注输入数据中的关键部分;
- 一致性:同一任务中使用的提示应保持风格和格式的一致性,便于模型学习和泛化。