4-2 纵向联邦 XGB 算法

纵向联邦XGB算法总结

问题定义

• 算法背景：基于联邦树模型和XGB模型，解决纵向联邦学习中的数据隐私保护问题。
• 算法设定：输入为垂直切分的数据，输出为分布式XGB模型。

安全训练

• MPC技术：采用秘密分享和同态加密技术，实现安全计算。
• SS-XGB：针对XGB训练过程中的偏导数计算问题，提出秘密分享解决方案，解决A方特征偏导数在B方计算的安全问题。
• 瓶颈分析：原始秘密分享矩阵乘法性能差，通过引入不经意排列算子解决冗余计算问题。

训练优化

• 不经意排列算子：通过不经意排列算子对秘密分享向量进行排序，提高计算效率。
• HEP-XGB：基于同态加密的不经意排序，将导数值转为同态变量，通过同态加法求分桶累积和。
• CRP-XGB：基于秘密分享，通过随机掩码和可信执行环境解决X泄漏问题，实现安全排列。

预测算法

• 预测流程：支持明文预测和安全预测两种模式，通过秘密分享向量计算预测结果。
• 实验测评：
  • 精度测试：业务数据集分类任务（14w训练，11w测试，16+7特征）和回归任务（61w训练，26w测试，25+29特征），联合建模精度接近单独建模。
  • 性能测试：分类任务树深度5，采样率0.8，性能表现良好。
  • 大规模测试：1200w样本，200维特征，LAN测试结果优异。

研究结论

• 纵向联邦XGB算法在保证数据隐私的同时，实现了与单独建模相近的精度和良好的性能。
• 通过引入不经意排列算子和同态加密技术，有效解决了安全计算中的性能瓶颈问题。
• 该算法适用于大规模纵向联邦学习任务，具有较高的实用价值。