联邦学习知识地图
用法：先用本页建立完整知识框架，再进入各章；复习时先遮住正文，只看“闭卷主线”。
⚡ 时效性说明
联邦学习仍在快速发展。除FedAvg等基础方法外，本专题也纳入FedProx、SCAFFOLD、FedNova、FedOpt、FedDyn、FedBN、个性化联邦学习、生产级用户差分隐私和联邦大模型等现代研究线索。
一句话总纲
联邦学习让多个数据拥有方在不直接集中原始数据的前提下协作训练或使用模型，但必须同时处理数据异质性、通信限制、隐私泄露、恶意攻击和利益分配。
常用缩写速查
| 缩写 | 含义 | 本专题中的作用 |
|---|---|---|
| HFL / VFL / FTL | 横向 / 纵向 / 联邦迁移学习 | 按样本与特征重叠关系分类 |
| DP | 差分隐私 | 限制声明保护单位对输出的影响 |
| HE / AHE | 同态 / 加法同态加密 | 在密文上执行受支持运算 |
| MPC | 安全多方计算 | 联合计算多方私有输入 |
| PSI | 私有集合求交 | 在VFL/FTL前安全对齐实体 |
| IID / Non-IID | 独立同分布 / 非独立同分布 | 描述客户端数据异质性 |
| FRL | 联邦强化学习 | 把联邦约束扩展到序列决策 |
全专题统一约定
角色、符号与基线（展开查看）
角色名称
| 统一称呼 | 使用范围 | 本专题约定 |
|---|---|---|
| 参与方 | 不限定算法的通用语境 | 持有数据、提供计算或参与协议的组织/设备 |
| 客户端 | HFL、FedSGD和FedAvg | 第 |
| 聚合服务器 | HFL客户端—服务器架构 | 选择客户端、下发 |
| 主动方 / 标签方 | VFL | 持有标签并计算损失信号；案例B固定为银行B |
| 被动方 / 特征方 | VFL | 持有额外特征但不持有标签；案例B固定为电商A |
| 协调/解密方C | 部分VFL密码协议 | 可选协议角色，只处理密钥或受掩码结果；不表示无条件可信 |
| 源域A / 目标域B | FTL | A提供监督知识，B是最终评价与部署目标域 |
HFL符号
| 符号 | 含义 |
|---|---|
| 客户端总数、第 | |
| 客户端 | |
| 本轮参与客户端样本总数 | |
| 局部目标及在指定参数点计算的局部梯度 | |
| 本轮初始全局模型、客户端 | |
| 本轮聚合权重；样本量加权时为 |
基线名称
- Local-only：每个数据拥有方只用自身可用数据训练；需要明确是哪一方，例如B-only。
- 部署方单方基线：最终使用模型的一方只用自身可用数据和监督训练。案例B的B-only是银行单方模型；案例C的B-only是在评估沙箱中只用B方特征和同等授权目标监督、不使用A方源域知识的对照，不表示B现实中持有标签。
- 集中参考：在允许集中数据的受控实验中训练，用于估计效用上界；并非现实中一定可部署。
- 明文协议参考：保持相同分布式目标与消息逻辑，但移除密码保护，用于测量密码开销或近似误差。
- 同预算联邦/安全实现：在相同数据划分、训练轮数、调参和计算通信预算下比较，避免把额外资源误当成方法增益。
⚡ 客户端不等于隐私保护单位
一台设备可能对应一个用户，也可能多个设备属于同一用户；一家医院作为一个客户端时，内部有大量患者。因此，客户端更新裁剪产生的是哪一级DP，必须由邻接关系决定，不能仅由代码中的“一个客户端”推断。
知识体系定位
- 问题来源：数据孤岛、隐私法规、商业竞争和边缘设备通信限制。
- 技术基础：机器学习、分布式优化、密码学、差分隐私和机制设计。
- 三条算法主线：横向联邦学习、纵向联邦学习、联邦迁移学习。
- 两条保障主线：隐私与安全、激励与治理。
- 应用扩展：计算机视觉、自然语言处理、推荐系统、强化学习和行业协作。
Mermaid知识图
三类联邦学习
| 类型 | 样本ID空间 | 特征空间 | 典型场景 | 训练的核心困难 |
|---|---|---|---|---|
| 横向联邦学习（HFL） | 不同或重叠很少 | 相同 | 多家同类医院、不同手机用户 | Non-IID、客户端漂移、通信与掉线 |
| 纵向联邦学习（VFL） | 大量重叠 | 不同 | 银行与电商的共同客户 | 隐私实体对齐、加密中间量、协同推理 |
| 联邦迁移学习（FTL） | 重叠很少 | 重叠很少 | 不同业务、地区或模态 | 学习共享表征、负迁移、安全迁移 |
每方都有相同结构的数据列，但记录属于不同用户。常通过本地训练和模型聚合得到共享模型。
三条贯穿案例
| 案例 | 数据关系 | 本专题中的教学任务 | 深入阅读 |
|---|---|---|---|
| A：跨医院联合诊断 | 字段与标签语义一致，患者不同 | 判断HFL、走完一轮FedAvg、比较聚合权重 | 第4章 |
| B：银行—电商联合风控 | 共同客户较多，特征分散，银行持标签 | 判断VFL、追踪实体对齐与消息可见性 | 第5章 |
| C：跨地区弱标签迁移 | 样本和特征都难对齐，目标域标签少 | 判断FTL、理解对齐权重与负迁移 | 第6章 |
阅读案例的统一八问
- 参与方是谁？ 谁提供数据、计算、协调和结果服务？
- 数据如何分布？ 样本、特征和标签分别由谁持有？
- 交换什么？ 模型、梯度、激活、加密统计还是预测结果？
- 谁能看到什么？ 每条消息的发送方、接收方和可见内容是什么？
- 模型归谁？ 最终是完整共享模型，还是分散在多方的模型组件？
- 推理依赖谁？ 单方能否独立预测，哪些角色必须持续在线？
- 哪个假设最脆弱？ 数据对齐、任务一致、非串谋还是参与代表性？
- 与谁比较？ 至少包含部署方Local-only、可行的集中参考、明文协议参考和同预算联邦/安全实现。
从案例分析到项目设计
统一八问用于追踪一条案例的完整逻辑。真正设计系统时，还要继续明确攻击者能力、隐私保护单位、通信与算力预算，以及平均、尾部、公平、安全和系统指标。
核心训练闭环
text
服务器初始化模型
↓
选择本轮参与方
↓
参与方在本地数据上计算
↓
上传模型更新或加密中间结果
↓
服务器聚合 / 多方安全计算
↓
更新共享模型并评估
↓
重复直到停止1
2
3
4
5
6
7
8
9
10
11
12
13
2
3
4
5
6
7
8
9
10
11
12
13
⭐ 核心结论
联邦学习不是一个单独算法，而是一类带有数据主权、系统异构和隐私安全约束的协作学习问题。FedAvg只是横向联邦学习中最经典的优化基线。
四种隐私机制的边界
| 机制 | 主要保护对象 | 核心作用 | 不能自动解决的问题 |
|---|---|---|---|
| 安全聚合 | 单个客户端更新 | 服务器只能看到更新之和 | 最终模型泄露、投毒攻击 |
| 差分隐私 | 单条样本或单个用户的影响 | 给输出提供可量化的隐私界限 | 任意恶意更新、密码学机密性 |
| 同态加密 | 计算中的明文和中间量 | 允许在密文上执行受支持运算 | 输出本身泄露、低成本训练 |
| 安全多方计算 | 多方私有输入 | 只泄露协议规定的输出 | 输出允许泄露的内容、所有系统攻击 |
⚡ 隐私边界
“原始数据不离开本地”只减少了直接集中数据的风险，并不等于模型更新、中间激活和最终模型不会泄露训练信息。
学习章节链路
| 章节 | 核心问题 | 输出知识 |
|---|---|---|
| 第1章 | 为什么需要联邦学习？ | 定义、HFL/VFL/FTL分类、生态视角 |
| 第2章 | 如何描述和保护隐私？ | 威胁模型、MPC、HE、DP |
| 第3章 | 联邦学习从哪些分布式技术发展而来？ | DML、并行方式、隐私梯度下降 |
| 第4章 | 样本分散时如何训练共享或个性化模型？ | HFL、FedAvg、五类联邦优化、FedBN、Per-FedAvg与个性化评估 |
| 第5章 | 特征分散时如何联合建模？ | PSI、纵向线性模型、SecureBoost |
| 第6章 | 样本和特征都难对齐时怎么办？ | 共享表征、安全联邦迁移 |
| 第7章 | 为什么参与方愿意长期参与？ | 贡献估计、收益分享、FLI |
| 第8章 | 如何适配具体机器学习任务？ | CV、NLP、推荐系统场景 |
| 第9章 | 如何联合学习序列决策策略？ | 横向/纵向联邦强化学习 |
| 第10章 | 哪些行业可能采用？ | 金融、医疗、IoT等场景卡 |
| 第11章 | 如何统一技术与治理？ | 技术、经济、法律共同构成生态 |
现代联邦学习问题链
text
目标A：仍训练一个共享模型
FedAvg
├─ 限制本地解偏离全局起点 → FedProx
├─ 控制变量校正客户端漂移 → SCAFFOLD
├─ 归一化不同本地进度 → FedNova
├─ 服务器伪梯度与自适应优化 → FedOpt（FedAdagrad / FedAdam / FedYogi）
└─ 动态正则对齐局部/全局驻点 → FedDyn
目标B：允许客户端最终模型不同
个性化联邦学习
├─ 特征分布偏移，BN状态留在本地 → FedBN
├─ 学习少步适配后表现良好的初始化 → Per-FedAvg
└─ 其他路线 → 本地头 / 模型混合 / 聚类 / 多任务
正交系统问题
├─ 真实设备与在线偏差 → 大规模系统基准与异步FL
├─ 正式隐私保证 → 按保护单位设计的DP + 安全聚合
└─ 基础模型规模 → 联邦LoRA / Adapter / 指令微调1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
使用指南
四类页面各负责什么
| 页面类型 | 主要职责 | 不承担的职责 |
|---|---|---|
| 第1～11章正文 | 解释概念、推导公式、贯穿案例、关键假设与失效原因 | 不重复完整实现清单 |
| 算法卡片 | 快速重建角色、消息、更新、复杂度、失败条件与基线 | 不重复公式推导和教学案例 |
| 隐私机制卡片 | 查询正式保证、攻击者可见内容、依赖假设与组合方式 | 不重复第2章的威胁建模教学 |
| 实验规范 | 统一数据划分、统计、系统指标与复现报告要求 | 不替代各章的方法特有实验变量 |
正文用于“学会为什么”，卡片用于“快速查怎么做”，实验规范用于“统一怎么验证”。三者之间允许保留识别方法所必需的核心公式，但不重复大段推导、案例或通用报告清单。
笔记导航：核心原理
| 入口 | 核心问题 | 建议用途 |
|---|---|---|
| 第1章：分类 | HFL、VFL、FTL如何区分？ | 建立坐标系 |
| 第2章：隐私安全 | 保护谁、抵御谁、允许泄露什么？ | 建立安全边界 |
| 第3章：分布式基础 | 普通DML与FL有何不同？ | 补前置知识 |
| 第4章：FedAvg | 样本分散时如何聚合？ | 重建核心算法 |
| 第5章：纵向联邦 | 特征分散时如何联合计算？ | 理解协同训练/推理 |
| 第6章：联邦迁移 | 样本与特征都难对齐怎么办？ | 分析迁移与负迁移 |
| 第7章：激励 | 如何衡量贡献并持续支付？ | 理解经济治理 |
笔记导航：应用、扩展与复习
| 入口 | 内容 | 建议用途 |
|---|---|---|
| 第8～11章专题总览 | 任务、强化学习、行业、生态 | 按问题选择专题 |
| 算法卡片 | 17张标准化算法速查卡 | 消息流与伪代码默写 |
| 隐私机制卡片 | 安全聚合、DP、HE、MPC、PSI | 横向对比 |
| 闭卷复习题 | 自动判分、公式、算法、方法鉴别和科研题 | 主动回忆与验收 |
| 实验规范 | 数据划分、报告与统计规范 | 复现与论文写作对照 |
阅读路径
- 第一次学习：第1章分类 → 第3章分布式基础 → 第4章FedAvg → 第2章隐私安全 → 第5～7章。
- 算法路线：第3章 → 第4章 → 第5章 → 第6章 → 算法卡片。
- 隐私路线：第2章 → 隐私机制卡片 → 第5～6章安全协议。
- 复习路线：本页闭卷主线 → 自动判分速测 → 错题对应章节 → 算法卡片默写 → 实验规范 对照。
闭卷主线
不看正文，依次回答：
- HFL、VFL和FTL如何根据样本与特征重叠关系区分？
- 联邦学习与普通分布式训练的约束有何不同？
- 一轮FedAvg包含哪些步骤？
- 为什么Non-IID会使本地更新方向冲突？
- FedProx、SCAFFOLD、FedNova、FedOpt和FedDyn分别修改训练的哪个位置？
- FedDyn、FedBN和Per-FedAvg的最终输出分别是共享模型、带本地状态的模型，还是可适配初始化？
- 安全聚合、差分隐私、HE和MPC各保护什么？
- 为什么纵向联邦在推理阶段也可能需要多方在线？
- 为什么贡献评估和收益分配也是联邦系统的一部分？
- 一个可信个性化联邦实验除平均精度外还必须测什么？
方法地图与代表性文献
方法地图
读法：箭头表示问题分支或直接的方法关系，不表示所有方法都由FedAvg演化而来。FedAvg是横向联邦优化的常用基线；VFL、隐私协议、鲁棒聚合和个性化方法属于不同设计维度，可以按威胁模型与任务需要组合。
代表性文献（核心 17 篇）
| 文献 | 与本专题的关系 |
|---|---|
| McMahan et al., Communication-Efficient Learning of Deep Networks from Decentralized Data, AISTATS 2017（arXiv:1602.05629） | FedSGD / FedAvg 出处，HFL 基线 |
| Yang et al., Federated Machine Learning: Concept and Applications, ACM TIST 2019（arXiv:1902.04885） | HFL / VFL / FTL 分类框架 |
| Kairouz et al., Advances and Open Problems in Federated Learning, 2021（arXiv:1912.04977） | 全景综述：异质性、隐私、鲁棒、系统 |
| Li et al., Federated Learning: Challenges, Methods, and Future Directions, IEEE SPM 2020（arXiv:1908.07873） | 应用导向综述 |
| Li et al., On the Convergence of FedAvg on Non-IID Data, ICLR 2020（arXiv:1907.02189） | Non-IID 下的收敛与漂移理论 |
| Li et al., Federated Optimization in Heterogeneous Networks, MLSys 2020（arXiv:1812.06127） | FedProx 出处 |
| Karimireddy et al., SCAFFOLD, ICML 2020（arXiv:1910.06378） | 方差缩减型联邦优化 |
| Wang et al., Tackling the Objective Inconsistency Problem..., NeurIPS 2020（arXiv:2007.07481） | FedNova 出处 |
| Reddi et al., Adaptive Federated Optimization, ICLR 2021（arXiv:2003.00295） | FedOpt 出处 |
| Acar et al., Federated Learning Based on Dynamic Regularization, ICLR 2021（arXiv:2111.04263） | FedDyn 出处 |
| Li et al., FedBN: Federated Learning on Non-IID Features via Local Batch Normalization, ICLR 2021（arXiv:2102.07623） | 特征偏移下本地BN路线 |
| Fallah et al., Personalized Federated Learning with Theoretical Guarantees, NeurIPS 2020（arXiv:2002.07948） | Per-FedAvg元学习个性化路线 |
| Bonawitz et al., Practical Secure Aggregation..., CCS 2017（arXiv:1611.04482） | 安全聚合出处 |
| McMahan et al., Learning Differentially Private Recurrent Language Models, ICLR 2018（arXiv:1710.06963） | DP-FedAvg 出处（用户级 DP） |
| Hardy et al., Private Federated Learning on Vertically Partitioned Data..., 2017（arXiv:1711.10677） | VFL + 实体对齐 + AHE 出处 |
| Yu et al., A Sustainable Incentive Scheme for Federated Learning, IEEE Intelligent Systems 2020（DOI: 10.1109/MIS.2020.2987774） | FLI：有限预算下兼顾效用、未获支付与等待公平 |
| Qi et al., Federated Reinforcement Learning..., 2021（arXiv:2108.11887） | 联邦强化学习综述 |
其余方法（个性化、鲁棒聚合、蒸馏、迁移等）的出处见各章「原始论文与关键后续」小节与算法/隐私卡片。
⚡ 教学构造声明
本专题中的数值示例（FedAvg 两客户端加权、VFL 联合残差、FTL 权重决策、FLI 预算分配等）均为教学构造：数值为演示计算逻辑而设计，不代表真实实验数据或真实训练结果。用于复习计算过程可以，引用为实验证据不行。