第7章 联邦学习激励机制

原书范围：PDF第150～163页。

本章定位

• 在全书中的位置：从“算法能否训练”转向“参与方为何持续贡献”，补足联邦学习的经济与治理条件。
• 前置知识：FedAvg训练轮次、边际贡献、收益分配、基本博弈论与队列思想。
• 后续基础：跨机构联盟治理、数据定价、贡献评估、客户端选择和长期参与。
• 核心问题：预算有限时，如何按贡献、成本和等待时间动态分配收益，并避免长期欠偿集中在少数参与方？

一句话总结

FLI先把贡献、成本、未补偿金额和等待时间转成每方支付权重，再按预算比例分期支付，以平衡联盟效用和长期公平。

学习目标

1. 区分平等、边际收益、边际损失和Shapley分配。
2. 解释为什么只按模型改进支付仍不充分。
3. 重建FLI中的四个量。
4. 解释预算不足时分期付款如何更新。
5. 说明贡献评估和成本申报为何是机制的薄弱环节。
6. 设计可检验激励相容性与长期公平的实验。

Mermaid思维导图

一、本章要解决的问题

联邦模型的性能依赖参与方持续上传更新，但参与会消耗计算、通信、数据资产和商业机会。大机构可能贡献高质量数据，却因共享模型帮助竞争者而承担更高机会成本；小参与方又可能因长期得不到补偿而退出。

激励机制必须同时回答：

• 谁贡献了多少有效价值？
• 参与方付出了什么成本？
• 当前预算不足时，谁应优先得到补偿？
• 如何避免只奖励大参与方或只奖励最早参与者？
• 如何防止无信息更新、虚报和搭便车？

⭐ 核心结论

贡献评估和收益分配是两个不同问题。FLI主要解决“给定贡献分数和成本后怎样动态分配预算”，并不自动保证贡献分数真实、成本申报诚实或参与策略激励相容。

二、核心概念与定义

概念	准确定义	通俗理解	与相近概念的区别
效用函数	参与方集合为联盟产生的价值	某组参与方一起能创造多少收益	不一定只等于模型精度
边际收益	参与方加入已有集合后增加的效用	加入后多带来多少	依赖加入顺序和已有成员
边际损失	参与方离开集合后减少的效用	缺少它会损失多少	依赖退出时的联盟状态
Shapley值	对参与方在所有加入顺序中的边际贡献取加权平均	平均所有组队顺序下的贡献	概念公平但精确计算昂贵
反向拍卖	参与方报价提供资源，联盟选择满足质量/预算的组合	卖方竞价、买方采购	报价真实性需机制保证
贡献	第轮参与方最新贡献带来的期望边际收益	本轮模型改进价值	原书FLI把它作为外部输入
成本	参与方本轮贡献所需补偿的代价	数据、计算和机会成本	自报成本未必是真实成本
期望损失	应补偿与已支付之间的累计差额	还欠参与方多少钱	不是机器学习损失
时间队列	对未补偿状态持续时间的累计惩罚	欠得越久优先级越高	与欠款金额不同

三、收益分配方法

预算在所有参与方间均分。简单且低成本，但忽略数据质量、规模、成本和边际价值。

方法	公平依据	主要优势	主要风险/成本
平等	身份平等	、透明	搭便车，不反映贡献
单独效用		易解释	忽略互补性和冗余
固定顺序边际		体现增量价值	顺序偏差
Shapley	所有顺序平均边际	考虑互补与冗余	指数级联盟评估
边际损失		衡量不可替代性	退出顺序和联盟状态敏感

预算按效用权重分配

原书式（7-1）：

其中是第轮可用预算，是参与方的支付权重，是实际分期付款。

• 权重只决定预算比例，不保证预算足以完全补偿。
• 若所有为零，需要实现定义兜底规则，原书公式本身会出现零分母。
• 预算比例化会耦合参与方：一方权重增大，其他方当轮付款减少。

Shapley贡献

对参与方全集，标准Shapley形式可写为：

• 是尚不包含的子联盟。
• 它平均不同加入顺序中的边际增益。
• 精确计算需评估大量子联盟；在FL中每次可能还意味着重新训练或至少重新评估模型。

四、FLI核心机制

评估本轮贡献qi(t)与成本ci(t)
  ↓
读取历史欠偿Yi(t)与等待Qi(t)
  ↓
计算目标支付权重ui(t)
  ↓
按权重划分当轮预算B(t)
  ↓
实际支付ûi(t)
  ↓
更新欠偿和等待队列
  ↓
进入下一轮

• 输入：预算、贡献、成本、历史队列、权衡参数。
• 角色：联盟/机制管理者和个参与方。
• 参与方状态：贡献、报价、已收收益。
• 管理者状态：贡献分数、成本、欠偿和等待队列。
• 交换信息：更新、贡献验证结果、成本报价和付款。
• 输出：每方当轮实际支付及更新后的队列。

五、关键公式

5.1 期望损失队列

原书式（7-7）：

• 增加欠偿，实际付款减少欠偿。
• max保证队列非负，超额支付不形成负债倒置。
• 大表示长期补偿不足。

5.2 时间队列

原书式（7-8）、（7-9）：

其中是参与方历史平均成本。只要仍有欠偿，等待队列便继续增长，使长期未支付者获得更高优先级。

5.3 三种公平

公平标准	含义	对应状态
贡献公平	回报应与贡献明确相关	效用项
期望损失分布公平	各方欠偿和等待应尽量小且不集中	的分布
期望公平	欠偿随时间的变化应尽量小	队列漂移

原书用长期效用：

以及Lyapunov函数：

在价值和队列漂移之间权衡。越大，支付更强调当前贡献；越小，越强调偿还历史欠账和等待公平。

5.4 FLI支付权重

原书式（7-19）：

再用式（7-1）按预算比例支付：

• 高：奖励有价值贡献。
• 高：补偿本轮成本。
• 高：优先偿还欠款和等待。
• 权重公式并不验证是否真实。

六、算法卡：FLI

• 解决的问题：预算受限时，动态、公平地向联邦参与方分期支付。
• 适用的数据划分：不依赖HFL/VFL/FTL，可叠加于任意按轮次贡献的联邦。
• 参与角色：机制管理者、个参与方。
• 客户端保存的状态：贡献行为、私有成本、收到的付款。
• 服务端保存的状态：、预算和。
• 每轮交换的信息：贡献结果/更新、成本报价、支付信息。
• 本地更新：参与方产生模型贡献并提交报价。
• 服务端更新：计算权重、分配预算、更新两类队列。
• 核心公式：。
• 终止条件：机制按业务生命周期持续运行；单轮无训练收敛终止。
• 计算复杂度：给定后为；贡献评估本身可能远高于此。
• 通信复杂度：支付机制本身状态/报价消息，不含模型训练通信。
• 隐私机制：原书未给出正式成本/贡献隐私机制。
• 信任与攻击者假设：管理者正确计算，参与方报价和贡献分数可获得。
• 主要优势：同时考虑当前贡献、成本、历史欠偿和等待。
• 主要局限：上游贡献/成本难测；不是激励相容、抗串谋或抗女巫证明。
• 可能失效的条件：虚报成本、贡献指标被操纵、预算长期小于真实成本、身份复制。
• 应该比较的基线：均分、按样本量、按边际改进、Shapley近似、只按成本。

🔍 展开查看：FLI伪代码

输入：预算B(t)、权衡omega、每方历史Yi(t)、Qi(t)
S <- 0
for i = 1..N:
    若本轮有贡献：估计ci(t)、qi(t)，否则ci(t)=0
    lambda_i(t) <- historical_mean_cost_i if Yi(t)>0 else 0
    ui(t) <- 0.5 * [omega*qi(t)+Yi(t)+ci(t)+Qi(t)+lambda_i(t)]
    S <- S + ui(t)
for i = 1..N:
    payment_i <- ui(t)/S * B(t)  // S=0时实现需定义兜底
    Yi(t+1) <- max(0, Yi(t)+ci(t)-payment_i)
    Qi(t+1) <- max(0, Qi(t)+lambda_i(t)-payment_i)
返回各方payment_i

七、关键假设

假设类型	具体假设	假设不成立时的后果
数据假设	模型效用可被可靠度量	不代表真实贡献
系统假设	沙盒或反事实评估可执行	贡献评估过慢或不可复现
模型假设	单一效用指标能表达联盟价值	公平、安全或群体性能被忽略
信任假设	管理者正确记录队列和支付	可定向欠付或操纵权重
攻击者假设	参与方不通过报价、身份或更新操纵机制	女巫、串谋、投机更新获取超额收益

八、代价与权衡

维度	收益	代价或风险
模型效果	奖励有效更新可提高质量	对验证集过拟合或短期改进投机
本地计算	补偿资源投入	成本难审计，弱设备可能被排除
通信成本	可将通信纳入成本	报价和评估增加协议复杂度
存储成本	队列仅线性状态	长期审计和支付记录需治理
隐私保证	可用收益换参与	贡献评估可能泄露数据价值和分布
安全与鲁棒性	无信息更新可不奖励	付款指标本身成为攻击目标
客户端公平性	显式考虑欠偿与等待	取决于和公平定义是否合理

九、局限与开放问题

原书明确指出

• 参与成本难以估计，可能需采购拍卖；
• 贡献难以估计，可能需沙盒模拟；
• Shapley计算昂贵；
• 数据质量与成本未必独立，参与方可能提交无信息数据套利。

根据假设推导

• 使用单一验证集定义会奖励对该验证分布的过拟合；
• 成本自报若无激励相容机制，会系统性高报；
• 大预算可缓解欠偿，却不能修复错误贡献度量；
• 公开支付和贡献分数可能泄露参与方数据规模、质量和商业价值。

2020年后仍重要

• 可扩展数据Shapley及近似误差界；
• 隐私保护贡献评估；
• 抗女巫、抗串谋和可验证训练；
• 公平与鲁棒客户端选择的联合机制；
• 联邦基础模型中数据、算力和适配器贡献的定价。

十、图示回查

原书图/算法	PDF页码	应记住的关系
图7-1	151	联盟把模型收益传给参与方
图7-2	157	贡献、成本、欠偿、等待进入FLI支付
算法7-1	162	权重计算、预算比例化与队列更新

十一、章节关系

第4～6章：参与方如何协作训练
  ↓
第7章：参与方为何持续协作
  ├─ 贡献评估依赖模型性能
  ├─ 成本依赖计算/通信/机会成本
  ├─ 安全依赖防虚报和可验证执行
  └─ 应用联盟依赖长期治理与预算

十二、闭卷回忆问题

1. 为什么均分预算可能导致搭便车？
2. Shapley值解决了哪种顺序偏差，代价是什么？
3. 分别表示什么？
4. FLI为什么需要两个队列而不是一个？
5. 增大时支付优先级如何变化？
6. 为什么FLI的不代表整个贡献评估是？
7. 哪些行为会操纵贡献或成本？
8. 如何判断一个激励机制是否提高长期参与而非短期更新量？

🔍 参考答案

1. 无信息或低质量贡献和高质量贡献获得相同回报。
2. 它平均所有加入顺序下的边际贡献，但精确计算需要大量子联盟评估。
3. 当前贡献、当前成本、累计欠偿、欠偿等待。
4. 相同欠款金额下，等待更久者应有更高优先级。
5. 更强调当前贡献，相对弱化历史欠偿。
6. 仅指给定后的支付计算；求可能需要多次训练/评估。
7. 高报成本、复制身份、针对验证集优化、串谋制造边际价值。
8. 观察留存率、真实质量、欠偿分布和预算效率的长期变化，而非只看参与次数。

从教材到科研

现有方法隐含了哪些假设？

• 贡献可由可验证的标量表示；
• 成本报价接近真实成本；
• 参与身份唯一且不可复制；
• 当前模型改进能代表长期业务价值；
• 预算长期足以覆盖必要成本。

怎样构造让这些假设失效的实验？

• 让参与方针对贡献验证集过拟合；
• 注入冗余、互补和冲突数据，比较贡献度量；
• 模拟成本高报、低报和多身份；
• 设置长期预算赤字，观察欠偿队列是否发散；
• 比较平均支付、最差欠偿和高质量参与方留存；
• 加入投毒方，测试“短期提分、长期后门”的支付漏洞。

可以提出哪些可证伪的研究问题？

当贡献分数由单一验证集上的即时精度增益定义时，参与方是否能通过针对该验证分布的更新获得高支付，却降低时间外测试集性能；多验证环境的一致性评分能否降低这种支付-泛化背离？

• 现有方法：即时模型改进贡献分数加FLI。
• 失效条件：验证分布固定且可被推断。
• 可能机制：参与方优化支付代理而非真实效用。
• 可观察结果：贡献分、付款、验证/时间外性能和更新相似度。
• 验证指标：支付-真实效用相关系数、长期精度、后门成功率和留存率。