← 返回列表

AI安全--AI大模型的预训练和微调

高级反反爬 security.blog.csdn.net 作者 成就一亿技术人! 发布 2026-11-02T22:20:21+08:00 入库 2026-11-18T02:57:30

一、Transformer 模型的训练

Transformer 模型采用两阶段的训练过程:

通过这些训练策略,Transformer 能在各类 NLP 任务中实现高效学习和良好性能;随着研究深入,更多优化技术和训练方法也在不断开发应用。

预训练任务主要是预测文本序列中的下一个单词,这种单向自回归任务使模型能深入理解上下文信息并生成连贯、逻辑性强的文本。预训练完成后,大语言模型可在文本分类、问答系统、文本生成等多种下游任务上微调,展示出强大的迁移学习能力。

大语言模型的预训练任务多样化,旨在使模型捕捉和学习语言的广泛特性。常见任务及核心公式:

1、语言模型(LM):预测一系列词中下一个词的概率:

这是经典的概率密度估计问题,属于无监督学习问题,可通过最大似然估计(MLE)来估计。

2、掩码语言模型(MLM):针对给定文本随机掩盖一些词,然后预测这些被掩盖的词,用以提升大语言模型的文本推理能力:

其中 [MASK] 是遮挡令牌,用含遮挡词标记的整个输入序列来预测被遮挡的词。

3、置换语言模型(PLM):对输入序列中的词进行随机置换,然后预测原始的词序,通过对不同顺序的预训练增强大语言模型对正确顺序的预测和推理能力:

一些大语言模型会使用置换预训练代替掩码机制,即使用置换词而不使用 [MASK]。

4、去噪自编码(DAE):对输入进行一定干扰,然后让模型恢复未受干扰的原始输入:

其中 
是被干扰的输入,

x 是原始输入。

5、对比学习(Contrastive Learning):通过对比相似和不相似的样本对来训练模型,增强大语言模型的文本推理能力:

其中 y 是与 x 相似的样本,y' 是与 x 不相似的样本。

预训练中的优化技术

1、全量微调与参数高效微调

全量微调(FFT)调整模型所有参数以适应特定任务数据,可能导致灾难性遗忘,模型在新任务上表现变好,但在原有任务上能力下降。参数高效微调( PEFT )旨在解决 FFT 的问题,只调整模型的部分参数,降低训练成本并减少对原有能力的遗忘。

2、监督式微调(SFT)

使用人工标注的数据,通过监督学习方法对大语言模型进行微调,适用于有明确标注 数据集 的任务。例如利用标注好的文本数据集对预训练 BERT 微调,以提高情感分析或文本分类等任务的性能。

3、人类反馈强化学习微调(RLHF)

通过强化学习的方式将人类反馈引入大语言模型的微调,使模型生成的结果更符合人类期望。

4、软提示(Soft Prompt)与前缀微调(Prefix Tuning)

软提示将"提示"问题转为连续问题,通过反向传播和梯度下降更新参数学习,避免人工设计提示的局限性。前缀微调在 Transformer 的 Encoder 和 Decoder 中加入特定前缀,而不是在输入序列前加 Token,可节省空间并增加多层感知机层以稳定训练;通过优化连续的前缀生成任务相关的输出,在不显著增加模型参数的情况下提升性能。

5、低秩分解(LoRA)

在模型中引入低秩矩阵来微调全连接层,通过训练两个较小的矩阵,避免推理延迟,同时达到媲美全量微调的效果。

这些技术的应用可显著提高大语言模型预训练效果,帮助模型在特定任务上达到更好性能,同时减少训练成本、提高训练效率。

大语言模型的指令微调是一种训练方法,使模型能够根据给定的自然语言指令来调整其行为和输出。核心思想是在模型输入中加入明确的指令,指导模型完成特定任务。指令可用于提示词,也可用于微调;对期望输出描述得越好,结果通常就越符合要求。

指令微调的四个关键步骤:

指令数据集中每个训练样本包含三要素:

实施微调的实用技巧:

在 自然语言处理 领域中,提示学习是介于传统的监督学习和无监督学习之间。核心思想是通过精心设计的提示引导预训练的大语言模型完成特定下游任务,而无须对模型进行大规模的参数调整。

四个优势:

设计有效提示的四个原则:

原文链接:https://security.blog.csdn.net/article/details/169849492