上官呆呆的笔记

Appearance

联邦学习算法卡片 ​

本页用于快速重建算法，不重复正文中的推导和教学案例。每张卡固定回答七件事：出处、问题与数据、角色与状态、消息与更新、成本与停止、安全与失效、实验基线。符号和基线名称遵循知识地图的统一约定。

算法总览 ​

算法数据划分主要交换输出与推理
FedSGDHFL本地全数据梯度完整模型；通常单方推理
FedAvgHFL多步本地模型/更新完整模型；通常单方推理
FedProxHFL近端约束后的本地模型/更新完整模型；通常单方推理
SCAFFOLDHFL模型差与控制变量差完整模型；通常单方推理
FedNovaHFL归一化本地方向与进度系数完整模型；通常单方推理
FedOptHFL本地模型差；服务器自适应更新完整模型；通常单方推理
FedDynHFL动态正则后的本地模型共享模型；通常单方推理
FedBNHFL / 特征偏移非BN共享参数共享参数+客户端本地BN状态
Per-FedAvg个性化HFL本地元更新后的模型共享初始化；本地适配后推理
AHE安全FedAvgHFL密文本地模型聚合模型；视部署而定
安全联邦线性回归VFL加密点积、残差和梯度参数分片；协同推理
SecureBoostVFL加密梯度统计、路由分布式树；协同推理
AHE/秘密共享FTLFTL表征交互、损失和梯度两方网络；协同推理
FLI任意FL贡献、成本和支付状态支付与队列；不涉及推理
HFRL模型聚合横向FRL策略/价值网络更新联邦RL模型；通常本地运行
纵向联邦DQN纵向FRL中间激活和梯度分布式Q网络；协同推理

⚡ 使用边界

公式的推导、变量直觉和数值案例回正文查阅；隐私机制的正式保证回隐私机制卡片查阅。下面的复杂度只表示问题规模的主导项，不补造依赖具体协议和实现的常数。

一、横向联邦算法 ​

FedSGD｜共同参数点计算梯度
  • 出处：McMahan et al., AISTATS 2017（arXiv:1602.05629）；教学推导见第4章。
  • 问题与数据：HFL中各客户端特征/标签空间相同、样本分散；目标是在共同参数点聚合本地全数据梯度。
  • 角色与状态：服务器保存与选择状态；客户端保存和模型副本。
  • 消息与更新：服务器下发，客户端上传；服务器执行
  • 成本与停止：客户端每轮约；选中个客户端、模型维度时上行；按收敛、轮数或时间停止。
  • 安全与失效：原始算法无正式隐私且默认客户端诚实、服务器正确聚合；采样或加权严重有偏、恶意更新和学习率不当都会使其失效。
  • 实验基线：集中梯度下降参考、FedAvg、各客户端Local-only。
FedAvg｜多步本地训练后聚合
  • 出处：McMahan et al., AISTATS 2017（arXiv:1602.05629）；公式推导与两医院数值案例见第4章。
  • 问题与数据：HFL中用多步本地计算减少通信轮次，允许数据Non-IID与部分参与。
  • 角色与状态：服务器保存及采样/轮次状态；客户端保存本地数据、模型副本和可选优化器状态。
  • 消息与更新：下行，客户端做若干mini-batch更新后上传或差值；服务器执行
  • 成本与停止：以个本地epoch计，客户端每轮约，每轮上下行主导项；按损失、指标、轮数或时间停止。
  • 安全与失效：原始算法无正式隐私且不防恶意客户端；或过大、局部目标冲突、参与偏差和模型不一致会放大漂移。
  • 实验基线：集中参考、Local-only、FedSGD；研究异质性时加入FedProx、SCAFFOLD等同预算方法。
🔍 一轮伪代码
text
server w <- w0
for each round t:
    Ct <- sample max(rho*K, 1) clients
    parallel for k in Ct:
        wk <- local_train(w, Dk, S, M, eta)
        upload wk
    alpha_{k,t} <- nk / sum_{j in Ct} nj
    w <- weighted_average({wk}, {alpha_{k,t}})
    stop if criterion met
FedProx｜近端约束限制本地偏移
  • 出处：Li et al., MLSys 2020（arXiv:1812.06127）；公式与参数边界见第4章。
  • 问题与数据：HFL中的统计异质性和系统异质性；允许客户端用不同计算量近似求解本地问题。
  • 角色与状态：角色与FedAvg相同；客户端额外使用近端系数和本轮起点，无需新增服务器持久状态。
  • 消息与更新：客户端近似最小化

再上传本地模型；服务器仍按约定权重聚合。时回到无近端约束的本地训练。

  • 成本与停止：通信主导项与FedAvg相同；每步增加，并按本地求解精度、轮数或全局指标停止。
  • 安全与失效：没有新增正式隐私或恶意安全保证；过小限制不足，过大可能拖慢训练，且不自动修正不同本地步数造成的目标不一致。
  • 实验基线：FedAvg及同预算SCAFFOLD；联合扫描、本地步数和系统异质性，固定总梯度计算与调参预算。
SCAFFOLD｜控制变量校正客户端漂移
  • 出处：Karimireddy et al., ICML 2020（arXiv:1910.06378）；推导见第4章。
  • 问题与数据：Non-IID使客户端本地梯度系统性偏离全局方向，造成客户端漂移。
  • 角色与状态：服务器保存模型与控制变量；客户端跨轮保存。原始算法中的是客户端状态。
  • 消息与更新：服务器下发；客户端执行，上传，服务器同时更新模型与。
  • 成本与停止：相对FedAvg多传控制变量差并保存每客户端状态；使用控制变量更新Option I时还需额外全梯度，Option II可复用本地轨迹。
  • 安全与失效：没有新增正式隐私；客户端长期不参与会使陈旧，状态丢失、控制变量符号错误或不公平的客户端重访都可能破坏校正。
  • 实验基线：FedAvg、FedProx；固定本地梯度求值次数，并单独报告控制变量通信、存储和客户端重访间隔。
FedNova｜归一化不同本地进度
  • 出处：Wang et al., NeurIPS 2020（arXiv:2007.07481）；目标不一致分析见第4章。
  • 问题与数据：客户端计算速度、数据量或本地求解器不同，使每轮本地步数和累计进度不一致。
  • 角色与状态：客户端记录本轮步数或一般求解器的梯度累积系数；服务器保存有效全局步长。
  • 消息与更新：对普通本地SGD，客户端用归一化方向；服务器执行
  • 成本与停止：上传一个模型规模的归一化方向及少量进度元数据；计算与所选本地求解器相同，按全局指标或轮数停止。
  • 安全与失效：不提供隐私或投毒防御，也不直接消除数据Non-IID；进度系数错误、权重目标错误或不当会重新引入偏差或不稳定。
  • 实验基线：相同步数分布下的FedAvg/FedProx，并报告方差、归一化前后有效权重和同预算系统指标。
FedOpt｜服务器端自适应优化
  • 出处：Reddi et al., ICLR 2021（arXiv:2003.00295）；框架定义见第4章。
  • 问题与数据：FedAvg的服务器SGD步难调或收敛不稳，希望把客户端优化器与服务器优化器解耦。
  • 角色与状态：客户端执行ClientOpt；服务器执行ServerOpt并保存动量或二阶累积状态。FedAdam、FedYogi和FedAdagrad是具体服务器优化器实例。
  • 消息与更新：聚合客户端模型差，把交给。
  • 成本与停止：客户端通信与FedAvg相同；服务器为Adam/Yogi类方法保存额外模型规模状态，并按指标、轮数或时间停止。
  • 安全与失效：不自动修正客户端漂移、步数偏差或恶意更新；客户端/服务器学习率、动量和稳定项组合不当会造成发散或虚假的调参优势。
  • 实验基线：FedAvg、FedAvgM及其他FedOpt实例；分别调客户端与服务器学习率，并保持搜索空间和预算可比。
FedDyn｜动态正则对齐局部与全局驻点
  • 出处：Acar et al., ICLR 2021（arXiv:2111.04263）；目标、递推与权重边界见第4章。
  • 问题与数据：HFL中局部目标驻点通常不是全局目标驻点，客户端充分优化自己的损失会与全局共识冲突。
  • 角色与状态：客户端保留前一轮本地模型/递推梯度；服务器保存与校正状态。
  • 消息与更新：原论文中客户端求解

并上传；服务器平均活跃客户端模型后用校正。

  • 成本与停止：每轮上下行主导项与FedAvg同阶，但客户端和服务器都有额外模型规模持久状态；实现通常用多步SGD近似求解局部子问题。
  • 安全与失效：不提供正式隐私或投毒防御；、局部求解精度、状态丢失或陈旧状态都会改变动态校正。原目标按客户端均匀加权，不可无说明地替换为样本权重。
  • 实验基线：FedAvg、FedProx、SCAFFOLD；固定采样、本地梯度计算和调参预算，单独扫描与求解精度。
FedBN｜特征偏移下保留本地BN状态
  • 出处：Li et al., ICLR 2021（arXiv:2102.07623）；参数分层与边界见第4章。
  • 问题与数据：不同扫描仪、传感器或场景使客户端特征分布不同，希望在聚合共享表示时保留本地归一化。
  • 角色与状态：服务器保存非BN共享参数；客户端保存本地BN参数与运行统计。
  • 消息与更新：客户端使用本地训练，只上传非BN部分；服务器执行，不聚合。
  • 成本与停止：聚合流程接近FedAvg，且不上传BN状态；客户端需持久保存本地BN，新客户端还需BN校准或适配阶段。
  • 安全与失效：不提供正式隐私或恶意安全；标签偏斜、概念偏移、无BN架构、过小本地batch和新客户端无历史BN都可使机制失效。
  • 实验基线：FedAvg、FedProx、Local-only；增加聚合BN/本地BN消融，分别测特征偏移与标签偏斜，报告已见与新客户端。
Per-FedAvg｜学习少步适配的元初始化
  • 出处：Fallah et al., NeurIPS 2020（arXiv:2002.07948）；元目标与Hessian边界见第4章。
  • 问题与数据：单一全局模型不适合每个客户端，目标是学到当前或新客户端用少量本地梯度步就能适配的初始化。
  • 角色与状态：服务器保存元初始化；客户端保存本地数据，训练时计算内层适配与外层元更新，部署时保存。
  • 消息与更新：客户端优化，返回元更新后模型，服务器平均；最终用或少量适配步生成本地模型。
  • 成本与停止：精确元梯度含Hessian或Hessian-向量乘积，一阶近似计算较低但目标估计不同；通信向量与FedAvg同阶，还有部署时适配成本。
  • 安全与失效：不自带隐私保证；本地样本太少、内层步长不当、任务过度不相似、新客户端分布超出训练任务范围都会导致适配失败。
  • 实验基线：Local-only、FedAvg、FedAvg+同预算微调；分开报告适配前/后、已见/新客户端和平均/尾部性能，并对齐梯度调用与调参预算。
AHE安全FedAvg｜在密文上聚合模型
  • 出处：由McMahan et al. 的FedAvg与Paillier等加法同态方案组合而成；它是一类协议构造，不指向唯一标准算法。教学边界见第4章。
  • 问题与数据：在HFL聚合时不向协调服务器直接暴露单个客户端明文模型。
  • 角色与状态：客户端保存本地模型与加密材料；协调方保存聚合状态；解密权限由独立角色或门限参与方持有。
  • 消息与更新：客户端上传，协调方在密文上做加权求和，再由获授权角色解密聚合结果。
  • 成本与停止：在FedAvg成本上增加逐参数加解密和密文膨胀；轮数与基础FedAvg停止条件一致。
  • 安全与失效：保证取决于加密、密钥、解密权限与串谋模型；不防投毒、选择性解密和最终模型泄露，密钥泄露会直接破坏机密性。
  • 实验基线：明文FedAvg、安全聚合、MPC聚合，并保持模型、轮数与安全目标可比。

二、纵向联邦算法 ​

安全联邦线性回归｜安全计算联合残差与梯度
  • 出处：Hardy et al., 2017（arXiv:1711.10677）；损失拆解见第5章。
  • 问题与数据：共同样本拥有不同特征，一方持标签；联合训练线性模型而不直接交换原始特征。
  • 角色与状态：A持，B持；可选协调方C持解密能力，双方各自保存随机掩码。
  • 消息与更新：交换加密局部得分、联合残差、损失和受掩码梯度；去掩码后各方更新本地参数。核心量为
  • 成本与停止：成本随重叠样本、特征维度和密文规模增长；按联合损失或迭代上限停止。
  • 安全与失效：依赖半诚实、非串谋、密钥安全和协议的代数隐藏条件；实体错配、特殊探测输入、串谋或密钥泄露会使其失效。
  • 实验基线：B-only、可行的集中参考、明文VFL参考和同预算AHE/MPC实现；A-only仅在A有合法标签时适用。
SecureBoost｜安全聚合分裂统计
  • 出处：Cheng et al., IEEE Trans. Big Data 2021（arXiv:1901.08755）；分裂增益推导见第5章。
  • 问题与数据：共同样本、特征分散且主动方持标签；在不直接公开被动方特征的情况下训练提升树。
  • 角色与状态：主动方保存标签和树结构；被动方保存特征、分桶和阈值查找表。
  • 消息与更新：主动方发送加密；被动方按桶聚合密文统计；主动方解密并按下式选分裂，再用参与方ID与记录ID保存分布式路径：
  • 成本与停止：每节点遍历各方“特征×桶”候选并通信密文统计；按树数、深度、最小增益或叶样本数停止。
  • 安全与失效：依赖实体对齐、半诚实与非串谋；小桶、重复路径探测、恶意特征、标签投毒和掉线会破坏隐私或可用性。
  • 实验基线：集中XGBoost参考、B-only、明文VFL树和同预算安全实现。
🔍 一棵树的消息流
text
active encrypts gi, hi
for each node:
    passive parties bucket features and aggregate encrypted G/H
    active decrypts candidates and selects party/feature/threshold-id
    selected passive stores threshold and returns left sample IDs
    active records [party-id, record-id] and splits the node
prediction traverses distributed lookup records

三、联邦迁移算法 ​

AHE联邦迁移学习｜密文表征交互
  • 出处：FTL分类与共享表示框架见Yang et al., ACM TIST 2019（arXiv:1902.04885）；教学目标与负迁移分析见第6章。
  • 问题与数据：样本和特征重叠都少，利用源域监督改善目标域预测。
  • 角色与状态：源域A与目标域B分别保存本地数据、网络、加密材料和梯度掩码；没有中央模型服务器。
  • 消息与更新：交换加密表征交互项、联合损失和受掩码梯度；双方分别更新本地网络。核心目标为
  • 成本与停止：双网络前后向之外还需密文交互，成本随对齐样本和表示维度增长；按目标损失或迭代上限停止。
  • 安全与失效：通常依赖半诚实、至多一方被破坏和安全密钥；域无关、对齐偏差、恶意输入及二阶近似区间失配都会使其失效。
  • 实验基线：B-only、、集中迁移参考、明文FTL参考和同预算AHE/秘密共享实现。
秘密共享联邦迁移学习｜份额计算交叉项
  • 出处：FTL问题框架见Yang et al., ACM TIST 2019（arXiv:1902.04885）；与AHE的差异见第6章。
  • 问题与数据：用秘密份额计算FTL交叉损失和梯度，降低AHE在线算术成本。
  • 角色与状态：A、B保存本地网络与秘密份额，预处理角色生成不可复用的乘法三元组。
  • 消息与更新：本地项各自计算，交叉项通过份额乘法与重构消息共同计算；双方合并梯度并更新本地网络，抽象目标为。
  • 成本与停止：在线算术通常轻于AHE，但乘法引入多轮通信并需要离线材料；按损失或迭代上限停止。
  • 安全与失效：保证取决于腐败阈值、非串谋和预处理安全；份额串谋、三元组泄露或随机材料复用会破坏保证。
  • 实验基线：B-only、、明文FTL参考和同预算AHE实现。

四、激励与治理 ​

FLI｜有限预算下的动态支付
  • 出处：Yu et al., A Sustainable Incentive Scheme for Federated Learning, IEEE Intelligent Systems 2020（DOI: 10.1109/MIS.2020.2987774）；公式推导见第7章。
  • 问题与数据：在任意联邦训练中，根据贡献、成本、历史欠偿和等待时间，在有限预算下动态支付。
  • 角色与状态：联盟管理者保存；参与方产生贡献证据、成本报价和付款记录。
  • 消息与更新：参与方上传更新/贡献证据与成本信息，管理者计算支付权重
  • 成本与停止：给定后的分配为，贡献评估可能更昂贵；机制按联盟生命周期持续运行。
  • 安全与失效：基础机制不提供成本或贡献隐私，也不自动满足激励相容与抗女巫；高报成本、验证集投机和长期预算赤字会使支付偏离真实价值。
  • 实验基线：均分、按样本量、Shapley近似和只按成本分配。

五、联邦强化学习 ​

HFRL模型聚合｜相同任务、多环境经验
  • 出处：Qi et al., Federated Reinforcement Learning, 2021（arXiv:2108.11887）；教学背景见联邦强化学习。
  • 问题与数据：多个智能体共享任务接口但拥有不同环境经验，在不共享原始轨迹时协作训练。
  • 角色与状态：智能体保存轨迹/回放和本地策略或价值网络；服务器保存联邦模型。
  • 消息与更新：智能体本地交互与训练后上传模型更新，服务器融合并下发新模型。
  • 成本与停止：本地采样和RL训练主导计算，通信随智能体数与网络参数量增长；按回报稳定、预算或安全阈值停止。
  • 安全与失效：正式隐私取决于叠加协议；策略非平稳、任务语义冲突、旧策略更新和恶意奖励会使聚合失效。
  • 实验基线：单智能体、集中经验参考和普通分布式RL。
纵向联邦DQN｜同一环境、不同观察
  • 出处：Qi et al., Federated Reinforcement Learning, 2021（arXiv:2108.11887）；教学背景见联邦强化学习。
  • 问题与数据：同一环境的状态或观察分散在不同角色，联合训练Q网络。
  • 角色与状态：Q网络方持奖励和联合损失；协作方保存本地观察与网络；通常没有独立服务器。
  • 消息与更新：协作方发送受保护中间激活，Q网络方计算DQN损失并返回梯度，各方更新本地网络。
  • 成本与停止：每个环境步或训练批次交换激活与梯度，延迟敏感；按回报、损失、安全阈值或预算停止。
  • 安全与失效：HE/MPC只能保护规定的中间量；观察错位、网络延迟、奖励操纵与表征重建仍会使系统失效。
  • 实验基线：Q网络方单独观察、集中观察DQN参考和多智能体RL。