张鹏-AISecOps 软件供应链管理实践

AISecOps软件供应链管理实践 张鹏@JFrog解决方案架构师 张鹏 JFrog解决方案架构师 专注于DevSecOps解决方案设计与实施，具有丰富研发和云服务经验，负责JFrog中国南区及港澳台区域业务，具 有 丰 富 的 银 行、证 劵、科 技 等 行 业 的DevSecOps建设实践经验。 01A I时 代 的D e v S e c O p s变 革 02制 品 库 的 “ 多 类 型 ”& “大 模 型 ” 管 理 实 践 03制 品 库 的 “ 软 件 供 应 链 安 全 ” 管 理 实 践 04D e m o &案 例 PART 01 AI时代的DevSecOps变革 关于JFrog JFrog软件供应链管理平台 •Artifactory（30+制品管理，Huggingface）•Xray（18+制品扫描）•Curation（OSS引入管理）•JFrog AdvancedSecurity（SAST）•RuntimeSecurity（保持关注） G O P S全 球 运 维 大 会2 0 2 4 ·深 圳 站 变革：世界仍在OSS上运行？ 观点&思考 “我们正处于AI的起跑线上，每个行业都将被革命” “苹果或因AI取消了电动汽车计划” “DevSecOps实践将为AI/ML开发和安全提供宝贵经验” PART 02 制品库的“多类型”&“大模型”管理实践 上一代软件管理方式 为什么需要PrivateHuggingfaceHub “类似于PrivateGithub、PrivateDockerhub，也需要PrivateHuggingface Hub” https://huggingface.co/blog/introducing-private-hub通过与ML/DataSci团队的数千次对话，有了对构建ML面临的最常见问题和挑战的独特视角：重复的工作、不良的反馈循环、跨团队协作的高摩擦、非标准流程和工具以及生产模型优化困难。我们不再提供Private Hub本地部署。 G O P S全 球 运 维 大 会2 0 2 4 ·深 圳 站 AI/ML与传统软件研发的异同 角色不同，目标一致，并行“构建”过程与“结果”，带来版本管理的复杂性和ML效率问题 G O P S全 球 运 维 大 会2 0 2 4 ·深 圳 站 如今AI/ML模型版本管理的问题 •使用S3存储桶 这会让数据科学家自行命名每个上传，这通常会导致命名不一致、File_Name_Final_Final_Final难题，甚至丢失文件。 •使用Git 数据科学家和工程师只需在Main分支上堆叠Commit，利益相关者可以看到以前的提交，但没有简单的方法可以知道他们每次提交会得到什么，因为名称只是一组随机字符。 Artifactory“多类型”和“大模型”使用场景 1.研发依赖管理（多地同步） 多种语言包的管理能力，Maven、Docker、Python、Conda、Huggingface模型上传下载 2.大文件管理（本地上传下载） 对比FTP具有去重存储和上传，降低存储和传输成本，高可用，灵活权限管理和API集成单机制品库上传速度上限为1000MB/s单机制品库下载速度为880MB/s（客户端数量不足，理论能打满带宽）横向扩展制品库节点，可以倍数提高上传和下载速度 3. E+制品分发（边缘就近下载） 通过Release Bundle分片分发，GPG签名保护下载权限分发制品传输速度为100MB/s（两地互联网带宽限制） 对比FTP/S3-并发下载可打满80-100%带宽 G O P S全 球 运 维 大 会2 0 2 4 ·深 圳 站 JFrog AI/ML模型版本管理方式 1.更好的存储和性能，替换FTP/S32.模型管理版本化3.元数据可视化4.存储空间可清理5.易于分享模型6.晋级模型，而无额外存储成本7.同步模型到生产环境，而无额外网络成本8.模型安全扫描 JFrog AISecOps集成架构 例如JFrog与Qwak集成的完整AISecOps解决方案，可实现团队之间的无缝交叉协作。 1.将所有模型、制品集中在唯一可信源中2.减少外部服务中断或消除公共存储库中模型或包版本的潜在风险3.管理和限制对外部私有或公共存储库的访问，确保用户只能使用经过批准的源4.为利益相关者提供有关公司内部使用的内容的全面透明度 G O P S全 球 运 维 大 会2 0 2 4 ·深 圳 站 PART 03 制品库的“软件供应链安全”管理实践 利用ChatGPT的新型攻击 G O P S全 球 运 维 大 会2 0 2 4 ·深 圳 站 使用Huggingface的数据科学家成为攻击目标 JFrog安全研究团队开发了扫描环境，每天多次严格检查上传到Huggingface的每个新模型 G O P S全 球 运 维 大 会2 0 2 4 ·深 圳 站 JFrog公众号 THANKS！ 讲师微信