总结
生成式AI已从实验阶段进入企业日常应用,帮助企业实现内容总结、代码辅助、客户体验提升、工作流自动化等目标。企业正转向混合AI基础架构,结合公共云与本地环境,以满足数据隐私、主权和扩展性需求。
AI用例与构建模块
各行业(医疗、保险、电信、汽车等)广泛应用AI,包括生成式AI(利用LLM生成内容)、预测性AI(预估未来结果)和代理式AI(协调多步骤任务)。AI构建模块包括AI推理(模型应用新数据)、生成式AI(基于数据和提示生成内容)和代理式AI(调用工具、连接应用)。
构建生产就绪型AI环境
构建AI环境是一个循环改进过程,包括确定用例、选择平台位置、选择模型、自定义模型(RAG、微调)、部署应用和扩展工作流。关键技术和能力包括开放模型、GenAIOps/DevOps工具、模型调优工具、推理运行时、AI代理基础组件、计算加速器和混合云基础架构。
AI部署挑战与平台注意事项
企业面临模型选择、控制和一致性、模型成本和对齐复杂度等挑战。开放混合AI平台可提供跨环境模型优化、自定义和治理的一致工具。
容器和容器编排
容器简化应用部署和跨环境管理,是部署LLM和生成式AI的最佳选择。容器编排(如Kubernetes)管理容器生命周期,提供统一调度、多租户控制和资源管理。
应用管理和GenAIOps
AI工作负载生命周期管理涉及部署、扩展和管理AI工具和服务。GenAIOps和MLOps实践促进团队协作,通过自动化(如CI/CD管道)加快模型和应用开发。
混合云平台
混合云平台支持跨本地、边缘和云环境开发和部署AI,满足主权AI和私有AI需求。开源平台提供灵活性、集成机会和快速创新。
模型自定义和对齐
模型对齐通过私有数据自定义模型,提高准确性和效率。采用RAG、微调、提示工程等方法,使用开放模型避免锁定,并让业务专家参与确保业务相关性。
大规模AI推理
推理是AI生产运行时关键环节,直接影响用户体验和成本。优化推理运行时(如vLLM、llm-d)可降低成本、改善延迟,并支持混合云部署。
AI安全防护
AI安全防护确保模型和代理在规定边界内运行,符合商业、法律和道德要求。采用分层安全方法,包括策略防护、内容过滤、模型验证和私有环境部署。
构建开放、灵活的AI基础
红帽AI Enterprise是一个集成式AI平台,支持混合云环境开发和部署AI模型、代理和应用。其核心功能包括模型调优、高性能推理、代理式AI工作流管理,并提供企业级能力和即用型开发环境。
利用经过认证的AI/ML合作伙伴生态系统
通过与英伟达、AMD、英特尔等合作伙伴合作,红帽AI Enterprise提供混合云扩展的端到端企业级AI平台。验证和认证计划确保硬件充分利用,并与Hugging Face等生态系统集成。
成功案例
土耳其航空公司和Denizbank利用红帽AI实现运营现代化和数字银行生态创新,加速AI实验速度,提高模型可靠性,并提供更智能的客户体验。AGESIC利用红帽AI实现AI标准化和规模化应用,增强安全性,并提升公民服务。