2-1 联邦学习的核心挑战和对策 - 吴方熙

联合学习是一种协作学习范式，通过共享模型的同时将数据保存在设备上，实现将学习能力与数据集中的需求分离。该技术在 Gboard 文本预测、Siri 个性化等领域有广泛应用，但面临效率、异质性、联邦学习、安全隐私等关键挑战。

FedKD（高效通信）
- 动机：客户端和服务器之间通信成本巨大。
- 方法：通过知识蒸馏进行有效的交流。
- 模型：FedKD 模型。
- 实验：应用于新闻推荐和医学文本分类，验证了高效通信的有效性。
高效 - FedRec（高效学习框架）
- 动机：大型 AI 模型的学习成本高，客户端计算能力较弱。
- 方法：子模型具有不同的隐私和计算要求，采用 Split learning。
- 模型：高效 - FedRec 框架。
- 实验：应用于新闻推荐，验证了计算和通信的高效性。
InclusiveFL（异构设备包容性联合学习）
- 动机：异构客户端设备具有不同的计算能力。
- 方法：确保所有客户都能使用小模型，避免大型模型排除弱客户。
- 模型：InclusiveFL 模型。
- 实验：验证了所有异构客户端的贡献能提高性能并降低计算开销。
FedPrompt（隐私保护）
- 动机：联合学习不能提供严格的隐私保护保证。
- 方法：结合差分隐私（DP）和 LDP，通过提示调谐提高准确性。
- 模型：FedPrompt 模型。
- 实验：应用于 NLP 任务，验证了隐私保护的有效性。
FedAttack（安全防御）
- 动机：联合学习易受数据毒药攻击和模型毒药攻击。
- 方法：通过硬采样对联合推荐进行有效和隐蔽的中毒攻击。
- 模型：FedAttack 模型。
- 实验：验证了攻击的有效性和隐蔽性。