← 返回列表

AI安全--AI大模型的隐私保护解析

高级反反爬 security.blog.csdn.net 作者 成就一亿技术人! 发布 2026-11-06T15:57:45+08:00 入库 2026-11-18T02:56:46

1、数据清理

数据清理是确保数据质量的首要步骤:纠正错误和不一致(错误日期格式、重复记录、缺失项等),提升数据可靠性与准确性。在隐私保护语境下,大量个人信息被采集用于训练/微调
NLP
模型,数据清理不仅要修复常规错误,还须确保数据不违反隐私法规或政策要求。核心手段包括:匿名化(去标识化)、假名化(轻量匿名化)、数据最小化(降低信息粒度)、数据聚合(保持统计特性与总体趋势即可)。

2、联邦学习

联邦学习能在多个边缘设备或服务器上协同训练模型,在确保数据隐私的同时推动 机器学习 发展。工作流程五步:

3、差分隐私

差分隐私可使攻击者知道 数据集 之外的所有背景信息,也无法通过所获取的分析结果推测出某个特定数据点是否存在于数据集中。实现方式是向数据中引入随机且不可预测的噪声,使个体难以被单独识别,在提供有用统计信息的同时尽量减少隐私泄露。

差分隐私在 LLM 训练中的两种实现:

我们来举一个例子。以 PyTorch 生态的 Opacus 库为例,对预训练/微调过程施加差分隐私(即"梯度注入噪声"路线)的最小实现:

# 环境准备(Python 3.9+)
pip install torch transformers opacus

bash

import torch
from torch.utils.data import DataLoader, TensorDataset
from opacus import PrivacyEngine
from transformers import AutoModelForCausalLM, AutoTokenizer, get_scheduler
model_name = "gpt2"                      # 以小模型演示,可换任意 CausalLM
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer.pad_token = tokenizer.eos_token
# 数据格式:文本列表 -> tokenize 后的 input_ids/labels
texts = ["示例句子一", "示例句子二"]
batch = tokenizer(texts, return_tensors="pt", padding=True, truncation=True)
dataset = TensorDataset(batch["input_ids"], batch["attention_mask"])
loader = DataLoader(dataset, batch_size=2)
optimizer = torch.optim.AdamW(model.parameters(), lr=5e-4)
# 关键三步:接入隐私引擎,设定目标 epsilon 与最大训练轮数
privacy_engine = PrivacyEngine()
model, optimizer, loader = privacy_engine.make_private_with_epsilon(
    module=model,
    optimizer=optimizer,
    data_loader=loader,
    epochs=1,
    target_epsilon=8.0,     # 隐私预算:越低隐私越强、噪声越大
    target_delta=1e-5,      # 通常取 1/训练集大小 的量级
    max_grad_norm=1.0,      # 梯度裁剪范数
)
model.train()
for input_ids, attn in loader:
    optimizer.zero_grad()
    out = model(input_ids=input_ids, attention_mask=attn, labels=input_ids)
    out.loss.backward()
    optimizer.step()
print("已消耗隐私预算 epsilon =", privacy_engine.get_epsilon(delta=1e-5))

python运行

要点:target_epsilon 是整个训练过程允许消耗的总隐私预算;max_grad_norm 逐样本裁剪梯度,裁剪+加噪即 DP-SGD。每次继续训练都会消耗预算,须做预算管理。

1、联邦学习

联邦学习在 LLM 的微调阶段的做法:将预训练好的全局模型分发到执行微调任务的边缘设备或本地服务器,每个设备/服务器用与特定任务相关的本地数据对全局模型微调。两个阶段的定位不同:

2、知识遗忘(机器遗忘)

问题背景:LLM 用来自公开互联网、社交平台、文章、书籍、对话记录等海量文本训练,模型可能无意中"记住"敏感的个人信息(个人身份、健康状况、财务信息等),并在生成输出时泄露出来。

知识遗忘可以选择性地"忘记"模型已学到的敏感信息,或通过一定机制主动清除,从而降低泄露可能。它不是简单地删除数据,而是要确保在模型训练和推理过程中有效识别并删除敏感数据对模型的影响,同时不明显损害模型整体性能。

若模型在初始训练阶段学到了某些敏感信息,微调阶段需要通过知识遗忘技术清除,确保模型不会在后续任务中泄露本不应暴露的数据。微调阶段的知识遗忘有三种实现方式:

1、同态加密

同态加密指在数据加密状态下执行计算,并确保解密得到的结果与在明文上执行相同操作的结果一致。核心优势是计算过程中的敏感数据(输入与模型参数)始终处于加密状态,避免未授权访问。按支持运算能力分三类:半同态加密(仅支持加法或乘法)、部分同态加密(支持有限数量的运算)、完全同态加密(支持无限次加法与乘法)。

在 LLM 推理中的应用:将输入数据与模型参数加密,在加密状态下执行推理;外部计算服务器或未授权参与方即便能访问密文也无法解读,只有计算完成后由持有解密密钥的可信方解密结果。局限:计算成本高,LLM 这类大计算量任务会导致效率显著下降,须在隐私保护与计算效率间权衡,设计合适的加密算法与优化策略。

2、安全多方计算

安全多方计算 允许多个互不信任的参与方在不泄露各自私有数据的前提下共同计算,任何一方都无法访问其他方的私有输入,同时确保计算结果的准确性与完整性。适用于多个独立数据持有者共同计算的、隐私要求极高的场景。在 LLM 中的三个关键应用:

3、函数秘密共享(FSS)

FSS 使用数学函数(如多项式)将原始秘密分成多个共享,以"每个共享独立且不足以揭示整个秘密"的方式编码后分发给不同参与者。各方独立对其共享执行预先确定的运算(算术或逻辑操作),计算在加密/隐藏状态的秘密共享上进行,参与者无法从自己的共享获取原始秘密的任何信息;最后汇总各方结果,当组合达到足够数量的共享时可恢复对整个秘密执行函数的结果。

安全性在于:每个共享本身不含足够信息,即使部分共享泄露或参与者不诚实,秘密仍然安全;只有达到预定阈值(一定数量共享被正确组合)时原始信息才被披露。

在 LLM 推理中:模型或函数用加密方法划分为共享,每一方持有一个共享;计算中各方用私人数据对自己的份额操作,个人输入不公开;计算后各方协同组合份额重构函数结果,在保持隐私的同时揭示最终输出。

4、推理中的差分隐私

差分隐私可向模型输出引入噪声,在保证预测精度的同时保护个人数据隐私;通过调整参数有效管理隐私预算,并持续监控,确保随时间推移在隐私与实用性之间取得平衡。

5、基于检测的方法

原文链接:https://security.blog.csdn.net/article/details/170193413