3-4 隐私计算在大数据 AI 领域的应用实践 - 龚奇源

隐私计算在大数据AI领域的应用实践总结

隐私计算背景

• 个人隐私和安全意识提高，国内外隐私合规要求趋严（如欧盟GDPR、美国CCPA、中国网络安全法等）。
• 隐私计算成为热点，大量企业和投资涌入，技术蓬勃发展（差分隐私、可信执行环境、同态加密、安全多方计算、联邦学习）。

大数据AI背景

• 大数据框架和技术大规模普及，易用性提高，方向逐步细化。
• AI应用无处不在，从实验室走向生产环境，应用于大规模、分布式场景。
• 数据流水线整合数据管理、数据分析、数据科学及人工智能。

大数据AI+隐私计算常见痛点

• 现有应用兼容性、迁移性、对其他设施的影响。
• 大规模数据处理能力、计算效率、数据孤岛问题。

大数据AI+隐私计算解决方案

• BigDL PPML：可信的大数据AI方案，支持加密数据上的标准分布式AI应用，硬件（Intel SGX/TDX）保护计算和内存，端到端安全，支持K8s集群环境。
• Apache Spark安全：现有Spark存在安全隐患，OS/VM/Hypervisor漏洞可能导致敏感数据泄露。
• Intel SGX：硬件级可信执行环境，攻击面小，性能影响小，支持1TB飞地，可保护明文和敏感模块或整个Spark应用。
• 远程证明：保证应用完整性，无需修改Spark代码，通过Attestation Service验证应用是否在SGX中运行。

BigDL PPML端到端一站式架构

• 工作流程：部署K8s集群及SGX插件、Attestation服务、KMS，上传BigDL PPML docker镜像，加密上传数据，提交任务，读取结果。
• 角色分工：集群管理员负责SGX相关准备和开发，开发者/数据科学家负责正常建模和查询。

BigDL隐私保护机器学习方案

• 技术栈：Intel SGX、Trusted SQL & Dataframe、Trusted ML、Trusted DL、Trusted FL（联邦学习）、Orca分布式AI、DLlib、Apache Flink、Secure Execution Layer等。
• 应用场景：支持分布式AI（TensorFlow/PyTorch/OpenVINO/Ray）、Spark、XGBoost、Ray、TensorFlow、PyTorch、OpenVINO等框架。

应用实践案例

• 实时流计算-天池大赛：Alibaba、Intel和Occlum联合举办Kaggle-like比赛，用于在线电商推荐中的垃圾邮件检测，部署在Alibaba Cloud Xeon服务器（SGX）上，使用Flink和PyTorch。
• 实时流计算-SKT：SKT Mobile Edge Computing提供5G服务，通过BigDL PPML运行Trusted Model Serving，提供安全、实时、分布式DL模型推理服务。
• 大规模数据分析-SparkSQL TPC-DS：使用SGX保护的Spark SQL性能对比，证明机密计算的有效性。
• 联邦学习：通过SGX构建安全的联邦学习环境，实现跨不同参与方的联合模型构建，数据保持本地，保护计算环境，实现多方共赢。

总结和展望

• 隐私计算+大数据AI：通过SGX构建安全执行环境，LibOS帮助应用无缝迁移，保证性能影响最小，支持大规模数据，联邦学习解决数据孤岛问题。
• BigDL PPML：构建一站式的隐私计算方案。
• TEE发展趋势：易用性（TDX/Realm/SEV-SNP）、安全性（TEOS、Micro kernel）、拓展性（IO支持、加速器支持：GPU/QAT/FPGA）。