从 AI 平台演进获得的十点架构启示 - 谷歌_王顺

AI智能总结

查看更多

1. 变与不变： 训练和推理是AI的两大核心任务，平台演进需兼顾两者。
2. 合二为一： AutoML和定制化训练SDK统一，简化开发流程。
3. 敏捷开发： 可持续的集成/训练/部署/监控（CI/CT/CD/CM）是关键，工作流示意包括数据与模型管理、代码与配置、训练流水线、注册模型、服务包、服务日志等。
4. 用户驱动： 托管ScaNN满足企业客户需求，提升用户体验。
5. 海纳百川： PyTorch和TensorFlow框架相同优先级，2018年官方支持PyTorch，2020年Cloud TPU支持PyTorch/XLA，2021年Vertex AI提供预安装PyTorch的容器选项。
6. 出类拔萃： NAS搜索SOTA网络结构，以Image recognition为例，pyglove开源项目助力模型优化。
7. 脱颖而出： Reduction Server提高分布式训练效率，通过高带宽低成本的CPU-only VMs，在BERT-large MNLI finetune任务中，增加20个reduction server节点将训练吞吐量提升75%，成本每步降低42%。
8. 八面玲珑： 客户横跨多行业，包括Twitter、Spotify等。
9. 独孤九剑： 覆盖AI/ML全生命周期，提供端到端解决方案。
10. 继往开来： JAX和Pathways定义下一代框架和平台，JAX支持可组合函数变换，Pathways通过GPipe、GShard/GSPMD等技术实现高效训练。