道德 AI 指南 ： 如何确保 GenAI 的负责任 AI 原则

道德 AI 指南 ： 如何确保GenAI 的负责任 AI 原则 Contents 2.3.1. Introduction理解负责任的 AI (RAI)理解负责任的 AI 的可观察性规划与设计仪表数据收集存储和数据聚合生成质量和安全度量Visualization监控和报警反馈回路 Hexaware案例：基于RAG的GenAI应用RAI框架 作为解决方案：RAI可观测性框架GenAI应用 RAI网关 数据洞察仪表盘 监控与警报 反馈循环 5. RAI可观测性工具与框架：哪一种合作伙伴最适合您？结论：全面的RAI框架是当务之急。 整合现有的数字和AI解决方案与生成式AI技术，在医疗、金融、教育、广告、娱乐和营销等行业中显著提升了工作流程效率。 01Introduction 在目前已开发的所有AI模型中，生成式AI及其各种子集迅速获得了 prominence，其中大型语言模型（LLMs）尤为突出。随着生成式AI的广泛应用，这些模型也受到了显著的关注和审查。 在企业人工智能探索之旅——一个你通过实验和创新来利用人工智能的旅程中，如果没有密切监控，你的以人工智能为主导的团队、流程和赋能工具可能会面临多个障碍。随着负责任的人工智能（RAI）成为高度追求的竞争优势，生成式人工智能（GenAI）解决方案首当其冲。因此，让我们探讨如何构建GenAI以创造一个更安全、更安全的未来。 在我们的白皮书中，我们探讨了数据/AI可观测性在GenAI开发和部署生命周期中的作用，确保遵循负责任的AI原则。此外，我们将映射GenAI生命周期中可观测性的各个阶段，并探索一种端到端的GenAI可观测性框架的有力解决方案。 Businesses 今天优先考虑在整个 AI 开发过程中（包括数据收集、模型训练、部署、监控和偏见缓解）遵循负责任的人工智能指导原则。今天，“负责任人工智能”（Responsible AI）这一术语代表了一系列原则，用于以安全、可信和伦理的方式开发、评估和部署 AI 解决方案。这些原则在整个 AI 解决方案生命周期中都非常重要。 设置适当的护栏以确保负责任的人工智能的发展，确保伦理原则不被忽视，并融入人工智能的应用和工作流程中。这种做法有助于减轻风险和负面后果，同时最大化积极影响。 可观测性在负责任的人工智能中扮演着关键角色，通过提供边界来监控、理解并改进人工智能系统，实现持续优化。对于人工智能而言，可观测性涉及有效测量、理解并管理人工智能模型的内部状态和输出的能力。 可观测性框架引入了一种主动的方法来检测AI应用中的问题，并有助于采取必要的措施以防止意外情况。这有助于在企业内部建立对这些解决方案的信任。负责任的AI可观测性涉及多个阶段，以确保在整个开发和部署过程中AI系统都是公平、透明和可问责的。 以下是每个阶段的详细概述 ： 规划与设计 初始阶段涉及定义可观察性需求并设计支持它们的架构。 •定义 RAI 可观察性的目标和目的。•确定要监控的关键绩效指标 (KPI) 和指标。•设计日志记录、监视和警报基础架构。•为可观察性选择适当的工具和技术。•确定关键利益相关者 - 数据科学家、法律团队和最终用户。•了解并记录法规要求和道德准则。 Instrumentation 涉及向 GenAI 应用程序添加可观察性特征以捕获相关数据。 •在各个级别(信息 ， 调试 ， 错误) 实现日志记录。•集成指标收集库以捕获性能数据。•添加跟踪功能以跟踪请求流。 数据收集 此阶段涉及从各种来源收集数据 ， 以全面了解系统的行为。 •为日志、指标和跟踪设置数据收集器。•确保数据实时收集并存储在集中位置。•使用代理或导出器从不同的组件收集数据。 存储和数据聚合 以易于进行分析的方式聚合和存储收集的数据。 •使用数据库或数据湖来存储日志、指标和跟踪。•实施数据聚合工具以组合来自不同来源的数据。•确保数据安全地存储并且易于检索。 生成质量和安全度量 使用统计和机器学习 (ML) 技术来识别数据中的偏差。 连贯性、流畅性、相关性、相似性和•计算质量指标 -幻觉。这些指标评估生成内容的整体质量和连贯性。脱逃缺陷率，有害代码•生成风险和安全指标 -速率，以及负面和不公平内容缺陷率。这些指标侧重于识别潜在的内容和安全风险，并确保生成内容的安全性。 这些指标可以使用传统的 ML 模型或 LLM 生成。 可视化涉及创建仪表板和报告 ， 以使收集的数据易于理解。 •使用可视化工具(如 Grafana 或 Kibana) 创建仪表板。•以直观的格式显示关键指标、日志和跟踪。•设置实时监控仪表板以实现连续可见性。 监控和报警 持续监控 GenAI 系统的运行状况和性能 ， 并发出任何异常或问题警报。 •设置监控工具以持续跟踪指标和日志。•监控应用程序的性能、公平性和道德合规性。•定义警报规则 ， 将关键问题通知利益相关者。•对某些类型的警报实施自动响应。 持续分析数据，利用反馈进行改进，并保持对最新的人工智能可观测性发展动态的了解。 •定期检查监测数据和事件报告。•使用反馈对应用程序和可观察性过程进行持续改进。•保持对RAI可观测性进展的跟进并遵循最佳实践。截至目前，我们已经探讨了RAI的原则以及RAI可观测性的各个阶段。现在，让我们来看一下我们为某客户使用的RAI可观测性框架。 Hexaware 用例 ： 基于 RAG 的 GenAI 应用程序的 RAI 框架 我们利用数字平台和RAI可观测性框架，提高了检索增强生成（RAG）的应用可靠性，这些应用包括内容创作、总结、问答等领域。 04 该平台作为RAI网关，使我们的客户能够监控和管理应用程序与大型语言模型（LLM）端点之间的交互。 可观测性框架确保我们的生成式人工智能应用能够安全高效地通信，并且能够记录事件和资源使用情况的全面日志。这种设置不仅促进了实时监控，还提供了故障排查和性能优化的宝贵见解。 将其理解为解决方案 ： RAI 可观察性框架 今天，负责任的人工智能（AI）网关等平台可以在整个AI解决方案生命周期中嵌入负责任人工智能（RAI）框架，以实现全面的治理和伦理原则。 该网关作为通过公共API访问AI服务的集中控制点。它促进了各种应用程序与企业内外的第三方AI API之间的安全连接。 在将平台可观测性与框架的持续监控和反馈指南相结合时，您可以确保多个触点上的透明性和公平性。 让我们探索框架中多个组件的功能。 当使用可观察性框架保护时，GenAI应用通过RAI网关访问LLM端点。这些请求包括提示、系统提示和真实数据。为了辅助调试和故障排除，应用程序事件和错误日志会被记录下来。此外，还会捕获有关资源利用率的数据。以下是RAI网关存在时GenAI应用的功能：你： GenAI 应用程序与与 LLM 端点的通信 ：通过 RAI 网关的大型语言模型 (LLM) 端点。 平台监控和过滤筛选用户发出的每个请求 ：来自最终用户的各种询问 ， 如提示、系统提示和地面实况数据。 帮助调试和创建可搜索的问题日志:故障排除时 ， 应用程序会详细记录它遇到的所有事件和错误。 这些日志提供了详细的见解定义问题的响应 ：这使得它更容易找到和解决问题。 应用程序跟踪如何跟踪计算资源和成本 ：大量的 CPU 、内存和它正在使用的其他系统资源。 RAI 网关 RAI 网关旨在简化可观察性框架的实现 ， 监视和管理。 •跟踪请求、响应时间、令牌使用情况、成本和错误率。•检查提示毒性 ， 偏见 ， 越狱和注射。•监测 LLM 对幻觉 ， 相关性 ， 相似性 ， 越狱和有害内容的反应。•实现高效 GenAI 资源使用的负载平衡。•精细监控、计费和配额管理(每分钟令牌 ， 每分钟请求) 。•检测 PII 和屏蔽数据。•集中内容审核以防止向外部LLM共享敏感信息，并审查LLM响应以过滤污言秽语。 •自动收集和存储应用程序和 RAI 网关日志。•用于清洁和转换数据的数据工程管道。•评分引擎 ， 用于计算清理数据的指标(幻觉 ， 相关性评分等) 。•实现 API 以从转换后的数据中使用指标。 Data Insights 仪表板 •实时可视化显示指标、日志和跟踪 ， 提供快速洞察•每个应用的请求数量仪表盘，活跃用户数量仪表盘，模型延迟仪表盘，令牌使用量仪表盘，模型使用量仪表盘，越狱数量仪表盘•应用程序使用的每个 LLM 模型的幻觉、相关性、相似性得分。•针对不同利益相关者(如数据科学家、工程师和业务分析师) 的自定义视图。 监测和警报 •跟踪关键绩效指标(KPI) ， 例如越狱 ， 幻觉 ， 相关性 ， 相似性得分。•监控 CPU 、 GPU 、内存使用情况和其他系统资源。•关键指标阈值和违规警报。例如：当幻觉得分超过阈值时，将发送警报。 •监控和分析反馈被纳入开发过程以持续改进应用程序和可观测性流程。•与利益相关者定期审查监测数据和事件报告。•观察到的数据和性能指标用于定期重新训练和更新模型。 在追求负责任的人工智能可观察性方面，企业必须采用一种全面的方法，该方法涵盖各种旨在确保透明度、公平性和可靠性的工具和框架。 05 可观测性在人工智能中不仅涉及监控性能指标，还涉及理解并缓解偏见、确保可解释性以及在整个AI生命周期中维持伦理标准。我们全面的可观测性框架使您能够使用符合社会价值观的AI。 在该领域处于领先地位，多家主要的人工智能赋能公司开发了针对RAI可观测性的专门工具和框架。这些产品旨在解决人工智能治理的多方面挑战，提供必要的资源以持续监控、评估和改进企业的人工智能系统。 在后续部分，了解这些行业领导者创建的具体工具和框架，并突出它们在负责任的人工智能可观测性领域中的独特贡献。 通过根据这些工具的关键特性和优势进行评估，您可以做出谨慎的选择，以符合负责任的人工智能（AI）可观测性的特定需求。首先，确定需要监控的AI系统的关键方面——无论是偏见检测、可解释性还是性能透明度。 接下来，评估可用的工具和框架，以确定哪些工具能提供最 robust 的解决方案以满足这些要求。以下是最合适的场景概述。 最适合已经使用 Azure 的企业•Microsoft Azure ML ： 生态系统 ， 具有强大的合规性和集成功能。非常适合需要强大偏见的企业•IBM Watson OpenScale ：检测和可解释性 ， 与 IBM 服务具有良好的集成。适用于 Google Cloud 用户， 提供•Google Cloud AI 平台 ：强大的监控和可解释性。专门从事可解释性和偏差检测 ， 具有•提琴手 AI:用户友好的界面。专注于数据质量和漂移检测 ， 使其在•WhyLabs:监控能力 ， 支持多种 ML 算法 ， 具有较强的可解释性•H2O.ai:功能。提供自动化 ML ， 具有很强的公平性和•DataRobot:合规工具。 精心挑选不仅在于满足基本要求，还在于理解您企业面临的独特挑战，并选择能够产生实际影响的工具。 我们与数据科学家、伦理学家和商业领导者等利益相关方进行交流，以确保选定的解决方案符合您的价值观和目标。通过做出明智的决策，您的AI可观测性工具也能增强用户和利益相关方的信任和可信度。 一个负责任的AI政策的战略性方法应最终确保您的未来AI策略。 结论 ： 全面的 RAI 框架是小时的需要 想象一个企业可以无虞地利用人工智能威力的世界。通过集成关键组件，企业可以实现全面的通用人工智能（GenAI）可观测性，犹如拥有了一个超级仪表盘，能够监控大型语言模型（LLMs）的每一个动作。这不仅仅是关于监控AI；而是确保这些模型在负责任使用人工智能的框架内运行。 将其视为一位警觉的守护者，最大化AI的潜力同时最小化任何风险。采用如RAI网关这样的平台后，您可以轻松集成监控工具和伦理准则，确保AI工作流程的安全、公平和有益。优先考虑这些实践可以让企业构建并部署既有效率又符合伦理的LLM。 拥有全面可观测性，大语言模型（LLMs）