构建生产就绪型 AI 环境的首要考虑因素

目录 第6页构建生产就绪型AI环境 数据是一项重要的商业资产 第3页 第9页容器和容器编排 第11页应用管理和GenAIOps 第13页混合云平台 第14页模型自定义和对齐 第15页大规模AI推理 第17页AI安全防护 第18页构建开放、灵活的AI基础 利用经过认证的AI/ML合作伙伴生态系统获得更多选择和更大的灵活性 第20页 第21页合作伙伴亮点 第22页成功案例 第23页准备好从您的数据中获得更大价值了吗？ 数据是一项重要的商业资产 企业AI市场现状 生成式人工智能（生成式AI）已跨越实验阶段，成为许多企业组织的日常工具。 基于企业组织现有的数据和应用，生成式AI可以帮助企业组织实现以下目标： 团队利用它来总结内容、辅助编写代码和创作内容，并以更自然的方式与数据交互。在企业层面，领导者希望生成式AI能够帮助他们改善客户、员工和整体运营的成效，而不仅仅是回答零散的问题或制作有趣的表情包。 将大量的非结构化内容转化为可搜索且可重复使用的知识。 协助开发人员、分析师和内容作者更快地创建和优化代码、报告及内容。 跨渠道为客户和员工提供个性化的数字体验。 自动化处理遵循明确策略的常规决策和工作流。 提升开发、运营和业务团队的生产力。 近期行业研究表明，这种转变已经开始。IDC报告称，超过半数的受访企业组织已在生产环境中运行多种生成式AI增强型应用或服务，并预计2025年至2029年间，AI领域的支出将同比增长约三分之一，到2029年相关支出将达到约1.3万亿美元。1对于大多数企业而言，生成式AI正逐渐成为其核心产品与服务的一部分。 与此同时，许多企业组织已将目光投向下一步：代理式AI。代理式AI并未将生成式AI视为单一的聊天机器人或助手，而是使用可以调用工具、与应用交互以及协调多步骤任务的AI代理。在实践中，这种方法可以改变您构建和运维软件的方式，从客户自助服务和IT运维到复杂的业务工作流，皆涵盖其中。 IDC报告称，超过半数的企业组织已经开始真刀真枪地测试和试用代理式AI，到2026年底，近三分之一的AI赋能应用将依赖于此项技术。2企业目前将其视为一条战略性的前进路径。 要想把握这一价值，您需要能够灵活地选择AI的运行方式和位置。 许多企业组织目前正规划混合AI基础架构，将公共云与专用的本地环境相结合。IDC指出，公共云与本地基础架构的混合模式已成为最常见的数字基础架构策略，并且大多数决策者认为他们的AI工作负载需要采用混合部署方式。3 借助混合开放平台，企业组织可实现以下目标： 确保敏感数据与模型处于掌控之中。满足数据隐私和主权方面的要求。从一系列硬件选项中自由选择。从广泛的开源模型中自由选择。仍可在需要时利用云级扩展能力。 本电子书将介绍构建生产就绪型AI平台的核心步骤、企业组织在此过程中将会遇到的关键注意事项，以及红帽® AI Enterprise如何提供统一的解决方案来助力构建该平台。 各个行业的AI用例 医疗卫生 保险 电信 •自动化理赔处理。•提供按实际使用情况计费的保险服务。•协助进行风险计算。 •深入了解客户行为。•改善客户体验。•优化5G网络性能。 •提升临床诊疗效率。•提高诊断速度和准确性。•改善患者治疗效果。 汽车 金融服务 能源 •支持自动驾驶。•预测维护需求。•优化供应链。 •个性化客户服务。•改进风险分析。•检测欺诈与洗钱行为。 •预测维护需求。•优化现场作业和安全保障。•加速油藏模拟和预测。 企业AI的构建模块 •AI推理：AI推理是生产运行时阶段，在此阶段，模型将所学知识应用到新的真实数据中，以返回预测、建议或操作。推理可以在混合环境中运行：本地、云端或边缘。 本电子书将探讨不同类型的AI如何在企业架构中协同工作。 •生成式AI：利用大语言模型（LLM）根据数据和提示生成文本、代码和其他内容，使团队可以更快地工作并更轻松地进行实验。 •预测性AI：利用历史和实时数据来预估未来结果，如需求、风险或设备健康状况，使企业组织能够更早、更有信心地采取行动。 •代理式AI：使用AI代理，这些代理可以调用工具、连接到应用，并协调多步骤工作流以实现目标，而不仅仅是回答单个问题。 构建生产就绪型AI环境 构建生成式AI驱动的应用和AI代理是一个重复循环、逐步改进的过程，而不仅仅是简单地创建AI模型。AI/ML生命周期中的主要步骤如下： 5678在推理服务器中部署您的模型。构建生成式AI驱动的应用或工作负载。构建好工作环境后，即可通过代理式AI扩展和自动化工作流。以安全至上的方式大规模监控和管理模型。 1确定您的用例，为您的AI计划设定业务目标，并获得利益相关者和领导层的支持。 234选择模型实验和部署平台的运行位置：本地或云端。选择最符合您需求的AI模型。选择开放模型，以避免锁定。使用检索增强生成（RAG），根据您的专有数据自定义或调整所选模型。 借助开放且适应性强的AI架构，您能够更有效地执行这一流程。这种架构需要以下几种关键技术和能力： •访问前沿的开放权重模型，为企业组织提供一个起点。 •GenAIOps和DevOps工具，它们使AI工程师、数据科学家、机器学习（ML）工程师和应用开发人员能够创建、部署和管理AI模型、AI代理以及AI驱动的应用。 •访问模型调优工具，如微调和RAG功能，以便利用私有企业数据自定义模型，并使其适应特定领域的用例。 •推理运行时，使您能够提供最佳的性能、吞吐量和延迟。 •用于AI代理的基础组件，以便在生产环境中管理、治理并确保实施的安全性。 •计算、存储和网络加速器，用于加速数据准备、模型自定义和推理任务。 •基础架构端点，为AI运维的所有阶段提供跨本地、虚拟、边缘以及私有、公共和混合云环境的资源。 本电子书回顾了构建有效AI架构的关键注意事项。 推理是AI的生产运行时。模型只有在具备API并能够提供内容时，才会真正为您所用。这些内容正是通过推理来提供的。 Chris Wright红帽首席技术官4 AI部署挑战 企业组织面临着选择、构建和交付具有竞争优势的AI解决方案的压力。在实施和扩展AI部署的过程中，有几项挑战亟待解决： 和开发人员参与其中，从而更快地从实验阶段迈向生产阶段。 •控制和一致性。预打包的AI服务会限制对硬件、数据和治理的控制权。选择混合方法，这样您就可以自主选择模型和基础架构，同时保留对数据、生命周期及部署规模的掌控权。 •模型成本。大规模运行大型模型和推理的成本可能十分高昂。企业组织必须优化模型和推理，以控制计算成本，同时仍保障交付准确且响应迅速的应用。 •对齐的复杂性。模型训练和调优以及创建RAG管道的过程既复杂又高度依赖图形处理单元（GPU）算力。企业组织可以简化企业数据的自定义过程，并让业务专家 要应对这些挑战，需要一个开放的混合AI平台，为跨环境的模型优化、自定义和治理提供一致的工具。 AI平台注意事项 容器和容器编排 容器 容器是一个基本的软件单元，用于打包应用及其所有依赖项。容器可以简化应用的构建流程，并允许在不进行任何更改的情况下跨不同环境部署应用。 为什么它们对AI至关重要？ 最佳实践和建议 AI工程师和应用开发人员需要访问他们想要的工具和资源，以最大限度地提高生产力。与此同时，IT运维团队需要确保资源处于最新状态、符合合规要求并以安全的方式使用。 寻找一个灵活且高度可用的容器平台，该平台应包含集成的安全防护功能，并简化您在环境中部署、管理和移动容器的方式。选择一个集成了广泛技术的开源平台，以获得更大的灵活性和更多的选择。 容器通常是部署LLM和生成式AI驱动的应用的最佳选择，因为它们将模型服务器、依赖项和配置打包成一个可重复的单元，使得生产部署、扩展和更新更易于管理。 借助容器，您可以在混合环境中以一致的方式部署各式各样的AI工具。团队可以迭代地修改和共享具有版本控制功能的容器镜像，这些功能可跟踪更改以提高透明度。同时，流程隔离和资源控制提高了防范威胁的能力。 容器编排 容器编排涉及管理整个环境中容器的创建、部署和生命周期。 最佳实践和建议 为什么它对AI如此重要？ 采用容器后，您需要一种方法来高效地部署、管理和扩展容器。借助容器编排引擎，您能够以一致的方式管理容器的整个生命周期。这些工具通常可以集中访问本地、边缘和云环境中的计算、存储和网络资源。它们还提供统一的工作负载调度、多租户控制和配额执行功能。 选择基于Kubernetes的容器编排环境，以领先的开源技术为基础进行构建，并避免专有云锁定。寻找一个能够提供强大的多租户控制、基于角色的访问权限和策略管理功能的平台，以便一致地管理AI工作负载。优先考虑那些拥有广泛的Operator和集成生态系统的选项，从而标准化在混合环境中部署、扩展和管理AI服务的方式。 到2027年，超过75%的AI部署预计将采用容器技术作为底层计算环境，而2024年这一比例还不足50%。5 AI平台注意事项 应用管理和GenAIOps AI工作负载生命周期管理 AI工作负载生命周期管理专注于如何部署、扩展和管理为AI用例提供支持的工具和服务。 最佳实践和建议 为什么它对AI如此重要？ AI/ML环境本身就具有复杂性。AI工作负载生命周期管理组件（如Notebook、工作台、管道和模型服务端点）应进行容器化，以便于控制和管理。IT运维团队可以自动执行常见的生命周期任务，如配置、置备和更新，以提高准确性并减少手动操作。数据科学家、AI工程师和应用开发人员可以从目录中请求预先批准的AI环境，而无需向IT部门提交工单。借助自动化，员工能够从重复性任务中解放出来，将更多时间精力投入到价值更高的战略活动中。 有效的AI工作负载生命周期管理，始于精心筛选的AI工作台和Notebook镜像。这些镜像包含常用的AI和ML库，使团队能够从一个安全、受支持的基线环境起步，而非临时搭建的环境。企业组织应提供基于浏览器的Notebook环境，并集成Git，以便团队能够协作进行实验，并持续跟踪代码与模型的变更情况。 GenAIOps和MLOps实践 GenAIOps和MLOps实践汇集了大规模实施AI所需的工具、平台和流程。 为什么它对AI如此重要？ 企业组织需要快速高效地开发和部署AI/ML模型以及使用它们的应用。团队之间的协作对于这些工作的成功至关重要。 与DevOps类似，GenAIOps和MLOps方法可促进AI工程师、应用开发人员和IT运维团队之间的协作，以加快生成式AI模型、AI代理和AI赋能应用的创建、训练、部署和管理。自动化通常以持续集成/持续交付（CI/CD）管道的形式出现，使快速、渐进式和迭代式变更成为可能，从而加快模型和应用开发生命周期。 GenAIOps和MLOps实践 GenAIOps和MLOps不仅涉及技术，人员和流程也发挥着关键作用。将GenAIOps和MLOps实践应用于整个AI生命周期。使用平台和工具中的自动化功能，以及Kubeflow等开源技术来创建CI/CD管道和工作流。 AI平台注意事项 混合云平台 混合云平台为跨本地、边缘和云环境开发、部署和管理AI奠定了坚实基础。它还为您提供了一种方法，能够从初期阶段就针对主权AI和私有AI进行设计，因此您可以决定哪些工作负载在公共云中运行，哪些保留在您掌控的本地或私有云环境中。 最佳实践和建议 选择一个安全至上的平台，该平台需支持硬件加速、广泛的AI和应用开发工具生态系统，以及集成的GenAIOps和运维管理功能。 寻找能够针对数据本地性、模型放置和访问权限提供强大策略控制的平台，以便您能够在本地或私有云中运行主权和私有AI工作负载，同时在需要时还能连接到公共云。 为什么它对AI如此重要？ AI模型、代理、软件和应用都需要可扩展的基础架构来进行开发和部署。借助一致的混合云平台，您可以在基础架构的所有部分以相同的方式开发、