第2章 隐私、安全及机器学习
本章先记住
- 先写“保护谁、抵御谁、在哪个阶段”，再选择隐私机制。
- HE/MPC主要隐藏计算中的输入与中间量；DP限制个体对发布结果的影响。
- 机密性机制不能自动判断更新是否恶意，隐私保护与投毒防御必须分开设计。
🧭 学习目标与本章地图
本章定位
- 在知识体系中的位置：为后续安全FedAvg、纵向联邦和联邦迁移提供隐私工具箱。
- 前置知识：概率、随机机制、基本加密概念、机器学习训练与推理。
- 后续基础：第3章隐私梯度下降、第4章安全聚合、第5～6章加密协同训练。
- 核心问题：保护谁的信息、抵御谁、在什么阶段保护，以及付出什么代价？
学习目标
- 区分隐私保护机器学习与安全机器学习。
- 识别训练和推理阶段的主要隐私攻击。
- 区分半诚实与恶意攻击者。
- 解释MPC、HE、DP和安全聚合的边界。
- 写出
-DP定义并解释参数。
Mermaid思维导图
一、本章要解决的问题
“使用了加密”或“数据没上传”都不是完整安全声明。一个可验证的声明必须回答：
- 保护对象：原始样本、标签、梯度、模型参数还是查询？
- 攻击阶段：数据发布、训练还是推理？
- 攻击者能力：黑盒/白盒、半诚实/恶意、是否串谋？
- 允许输出：协议最终允许各方学到什么？
- 安全代价：精度、计算、通信和延迟损失多少？
二、核心概念与定义
| 概念 | 准确定义 | 通俗理解 | 区别 |
|---|---|---|---|
| PPML | 重点保护数据和模型的隐私、机密性 | 防止别人从计算中多知道信息 | 不等于抵御模型投毒 |
| 安全机器学习 | 重点保护系统完整性与可用性 | 防止模型被欺骗或破坏 | 不自动隐藏训练数据 |
| 半诚实攻击者 | 遵守协议，但尝试从所见信息推断更多内容 | 按规则做事，同时分析所有消息 | 安全协议常先在此模型下构造 |
| 恶意攻击者 | 可任意偏离协议、伪造输入或消息 | 不按规则行动 | 防御难度和成本更高 |
| 重构攻击 | 从训练中间量恢复样本或特征 | 从梯度反推训练数据 | 发生在训练阶段 |
| 模型反演 | 从模型访问和输出推断训练特征或模型信息 | 反复查询模型以还原信息 | 可发生在推理阶段 |
| 成员推断 | 判断某样本是否参与过训练 | 判断“这个人是否在训练集” | DP是典型缓解机制 |
| 属性推断 | 利用公开数据与背景知识推断敏感属性 | 去匿名化或补全隐私字段 | 删除身份字段通常不够 |
三、威胁模型
| 维度 | 需要明确的问题 |
|---|---|
| 角色 | 输入方、计算方、结果方分别是谁？ |
| 可见性 | 攻击者能看到原始输出、梯度、参数还是仅聚合值？ |
| 控制权 | 攻击者控制服务器、多少客户端或通信链路？ |
| 串谋 | 服务器是否与客户端串谋？多个客户端是否串谋？ |
| 时机 | 攻击发生在数据发布、训练还是推理阶段？ |
| 目标 | 窃取信息、破坏精度、植入后门还是拒绝服务？ |
⚡ 易混淆点
隐私攻击关心“攻击者学到了不该知道的信息”；完整性攻击关心“攻击者让系统产生错误行为”。一个系统可能保护单个更新的机密性，却更难检测被隐藏的投毒更新。
把威胁模型应用到三条贯穿案例
| 案例 | 重点保护对象 | 攻击角色与可见内容 | 可组合机制及剩余风险 |
|---|---|---|---|
| A：跨医院HFL | 患者记录、单院更新、患者是否参与 | 聚合服务器看到参与元数据和聚合结果；医院看到全局模型 | 安全聚合、传输加密和按保护单位设计的DP；仍需处理投毒、最终模型泄露和参与偏差 |
| B：银行—电商VFL | ID交集、银行标签、电商特征、联合梯度 | 双方看到协议消息和授权输出；协调方可能看到受掩码解密量 | PSI、HE或MPC及输出访问控制；仍需处理交集敏感、恶意探测和协同推理泄露 |
| C：跨地区FTL | 对齐样本关系、隐藏表征、标签和梯度 | 源域与目标域看到加密或共享的交互量及最终预测 | HE或MPC、表示/输出保护和最小披露；仍需处理属性推断、负迁移、恶意输入和长期在线依赖 |
同一机制在三条案例中的保护单位可能不同。例如，医院HFL可关注单条病历、单名患者或整家医院的贡献；三者分别对应记录级、用户级和客户端/机构级邻接。医院虽然是一个客户端，却不等于一个用户。如果不先定义邻接关系，就无法解释DP预算或攻击实验究竟保护了谁。
四、机制边界与最小定义
| 机制 | 主要保护什么 | 不能自动解决什么 | 主要代价 |
|---|---|---|---|
| MPC | 多方输入与中间量 | 输出泄露、模型投毒 | 多轮通信与协议复杂度 |
| HE | 密文中的输入与计算 | 解密结果泄露、恶意输入 | 密文膨胀、计算慢、非线性近似 |
| DP | 声明保护单位对输出的影响 | 密码学机密性、任意投毒 | 噪声、效用损失与预算累积 |
| 安全聚合 | 单个客户端更新 | 最终模型泄露、匿名投毒 | 密钥协议、掉线恢复 |
本章只建立选择机制所需的概念边界。HE的运算类型、秘密共享与Beaver三元组、安全聚合协议、PSI及组合方案统一放在隐私机制卡片中查询。
差分隐私
若相邻数据集
则
：隐私损失上界，通常越小保护越强。 ：允许保证失效的极小概率。 - 邻接关系决定保护单位：可以是一条记录、一个用户的全部记录，也可以是一个客户端/机构的全部贡献。
- 敏感度描述单个保护单位变化可能造成的最大输出变化。
- 客户端/机构级DP保护整家参与机构的加入或删除；除非客户端与自然人一一对应且贡献边界一致，否则不能称为用户级DP。
💡 通俗理解
DP不是让两个结果完全相同，而是让“加入或删除一个保护对象”后输出分布足够接近，使观察者难以可靠判断该对象是否参与。
保留这一定义是因为威胁模型必须先确定
五、关键假设
| 假设类型 | 具体假设 | 假设不成立时的后果 |
|---|---|---|
| 数据假设 | DP邻接关系和敏感度定义正确 | 隐私保证保护错对象或噪声不足 |
| 系统假设 | 密钥、随机数和协议消息被正确管理 | 密钥泄露或实现侧信道破坏理论保证 |
| 模型假设 | 非线性可被协议支持或近似 | HE/MPC无法直接高效执行模型 |
| 信任假设 | 腐败方数量不超过协议阈值 | 串谋者可能恢复秘密输入 |
| 攻击者假设 | 半诚实或恶意模型被清晰规定 | 安全结论无法迁移到更强攻击者 |
六、代价与权衡
| 维度 | 收益 | 代价或风险 |
|---|---|---|
| 模型效果 | DP可提供可量化隐私 | 噪声降低精度，少数群体可能受损更大 |
| 本地计算 | 本地扰动或加密减少明文暴露 | 终端加密计算增加 |
| 通信 | 安全协议避免传明文 | 密文、份额和多轮消息增加带宽 |
| 存储 | 可存密文或协议状态 | 密文膨胀、客户端状态增加 |
| 隐私 | 可获得协议安全或DP保证 | 依赖正确实现和明确保护单位 |
| 鲁棒性 | 隐藏单个更新降低窥探风险 | 服务器更难逐客户端检测异常 |
七、复习与推演
- PPML与安全机器学习分别关注什么？
- 半诚实与恶意攻击者有什么区别？
- MPC、HE、DP和安全聚合分别保护什么？
- 为什么安全聚合不能替代DP？
-DP中的邻接关系为什么关键？ - HE为什么经常需要近似非线性函数？
- 隐藏单个更新为什么可能妨碍投毒检测？
🔍 参考答案
- PPML偏机密性和隐私，安全ML还关注完整性与可用性。
- 半诚实者遵守协议但分析消息；恶意者可任意偏离协议。
- MPC保护多方输入，HE保护密文计算，DP限制个体影响，安全聚合隐藏单个更新。
- 安全聚合隐藏更新来源，但聚合结果和最终模型仍可能泄露个体信息。
- 它定义“一个保护单位发生变化”具体意味着什么。
- 受支持的密文运算有限，激活、比较等运算成本高。
- 服务器看不到单个更新，也就难以直接做逐客户端异常判断。
🧪 从理解到研究（进阶）
已知局限与隐含假设
DP存在隐私与效用权衡。
HE功能越强通常成本越高，非线性计算困难。
MPC依赖腐败方数量、非串谋等安全假设。
保护梯度会增加计算和通信复杂度。
安全协议与ML训练过程可以无缝组合。
客户端参与和隐私损失可被正确会计。
添加噪声对所有客户端造成近似影响。
隐藏更新不会显著削弱安全检测。
从假设推导：
- 理论安全不代表实现没有密钥管理、随机数或侧信道漏洞。
- 安全聚合与鲁棒检测存在可见性冲突。
- DP平均效用可接受时，尾部客户端的损失仍可能很大。
失效条件实验
本节只列隐私与攻击模型特有扰动；保护单位、隐私指标、独立重复和系统开销统一按实验规范报告。
- 比较记录级、用户级与客户端/机构级DP；
- 在数据量不平衡条件下测尾部客户端效用；
- 安全聚合开启前后比较异常检测能力；
- 改变客户端参与相关性并重新计算隐私预算；
- 同时加入DP噪声和模型投毒。
可证伪的研究问题
在跨设备且客户端与用户一一对应的用户级DP下，强Non-IID与统一裁剪阈值是否会让小数据客户端产生系统性更大的有效信号损失？
可测指标：裁剪率、更新信噪比、各客户端分位精度、隐私预算和收敛轮数。
现代研究方向
- 用户级DP与真实生产训练；
- 分布式DP和安全聚合组合；
- 隐私会计在动态参与下的有效性；
- 隐私、鲁棒性与公平性的联合设计；
- 大模型PEFT更新的隐私泄露。
原始论文与关键后续
- McMahan et al., Learning Differentially Private Recurrent Language Models, ICLR 2018（arXiv:1710.06963）：DP-FedAvg，确立「裁剪 + 高斯噪声 + 隐私预算」的用户级 DP 范式。
- Abadi et al., Deep Learning with Differential Privacy, CCS 2016（arXiv:1607.00133）：DP-SGD，深度学习中差分隐私的标准实现。
- Shokri et al., Membership Inference Attacks Against Machine Learning Models, IEEE S&P 2017（arXiv:1610.05820）：成员推断攻击，隐私风险度量的代表工作。
- Zhu et al., Deep Leakage from Gradients, NeurIPS 2019（arXiv:1906.08935）：从梯度重构训练数据，梯度泄露风险的标志性演示。
- Kasiviswanathan et al., What Can We Learn Privately?, SIAM J. Comput. 40(3), 2011（arXiv:0803.0924；DOI: 10.1137/090756090）：刻画本地隐私学习与统计查询模型的关系。