人工智能创新中的可观测性：应用趋势、需求与最佳实践

www.barc.com邮箱：tgrosser@barc.com作者联系方式Timm是会议和研讨会的热门演讲者，并撰写了众多BARC研究报告和文章。社交媒体：：linkedin.com/timm-grosser Timm Grosser是BARC公司数据与分析部的高级分析师，专注于数据战略、数据治理和数据管理。他的核心专长在于数据与分析战略、组织架构、软件选择以及实施。Timm Grosser | BARC 数据与分析部高级分析师 Kevin为EMC Pivotal在美洲和EMEA地区启动了数据分析服务团队，并在数据集成软件提供商Attunity（现为Qlik一部分）进行了实地培训。Kevin是一位经常公开演讲的作者，也是两本关于数据管理的合著者，他最热爱教授数据与人工智能领导者关于如何利用数据价值而不断发展的策略、工具和技术。Kevin Petrie是BARC的研究副总裁，他领导数据管理实践，并撰写有关人工智能、数据集成和数据治理等主题的文章。三十年来，Kevin作为一名行业分析师、讲师、营销人员、服务领导者和技术记者，解读了技术对从业者意味着什么。Kevin Petrie | BARC美国研究部门副总裁 邮箱：kpetrie@barc.comwww.barc.com联系方式社交媒体：linkedin.com/kevinpetrietech 目录AI创新的可观测性 – © BARC 2025执行摘要������������������������������������������������������Recommendations���������������������Survey Results�������������������������������������������������������������������� <|user|>8State of Observability ������������������������������������������������������������������� 9 如何应对数据可观测性挑战�������������������� 12 观察非结构化数据的重要性日益增长 ��������� 14 可观测性工具的作用 ������������������������������������������������ 17 团队合作至关重要 ����������������������������������������������������������������� 20 新浪潮——Generative AI 是否改变了格局？ ����������������� 22 Sponsor Profiles����������������������关于Collibra 32 关于Precisely 33Company Profile29关于BARC 30 前言我们研究了三个不同的可观察性领域：数据质量、数据管道和人工智能/机器学习模型。在每一种情况下，可观察性指的是对这些元素进行测量、监控和优化。我们发现大多数组织现在已经正式化了数据、管道和模型的可观察性项目。在培养负责任的AI方面，组织优先考虑隐私、可审计性和合规性。当然，挑战仍然存在，因为技能、协作和流程自动化方面的短缺阻碍了可观察性的全面采用。随着人工智能（AI）提升了分析的机遇与风险，组织认识到对透明、值得信赖的输入和输出有着迫切的需求。因此，现在是推出这份报告的最佳时机，该报告调查了来自各行业的264名数据与AI利益相关者，了解他们实施可观察性的原因、地点和方式。另一个重点是可观测性扩展至基本表格之外。现在，组织采集元数据来监测文本、图像、视频和其他半结构化或非结构化数据对象，以支持生成式人工智能（GenAI）。通常情况下，区域差异仍然存在：北美公司在人工智能应用和可观测性成熟度上处于领先地位，更注重法规合规性、模型准确性和一致的程序指标。 4享受！Timm Grosser 和 Kevin Petrie2025年3月我们针对广泛受访者开展了此项调查，包括数据工程师和数据科学家，以及CXO和企业流程所有者。我们的受访者群体涵盖了多种商业职能和行业，其中IT和制造业尤为突出。公司规模分布均衡：近三分之一的公司员工少于500人，近三分之一的公司员工在5000人以上。我们同时代表北美和欧洲，受访者来自亚洲的比例较小。一如既往，您可以信赖BARC来识别和解释这些不同子组之间的有意义差异。 执行摘要 执行摘要AI创新的可观测性 – © BARC 2025各公司正认真对待数据、管道和模型的管理，以支持分析，特别是人工智能/机器学习。超过三分之二的公司已经就这些领域中的每一个正式化、实施或优化了相关项目。它们在治理方面有熟悉的优先事项，包括隐私、可信度、透明度/可审计性、监管合规性和模型准确性。好！在人工智能时代，数据基础比以往任何时候都更重要。这些跨职能团队有许多工作要做。只有59%的受访者信任他们的模型输入和输出，在他们的人工智能/机器学习项目进入生产阶段时，这引发了关于业务成果的担忧。采取上述步骤将有助于纠正这种情况。正如经常发生的那样，人员和流程带来的挑战比技术本身更大。可观察性的首要障碍——培训/技能差距——与其他关于数据管理、数据素养和人工智能采纳的BARC调查结果一致。我们看到手动流程、组织混乱、数据隐私以及缺乏跨职能协作被列为首要障碍也并不意外。为了克服这些问题，受访者正确地将重点放在再培训、招聘和获取人才上。他们还致力于加强治理政策并规范化可观察性计划。业务流程所有者通过在可观察性中发挥主导作用已经在发挥作用。随着人工智能提升分析的风险与回报，数据团队正巩固其可观测性计划以强化数据治理。工程师、经理和高管现在正参与数据、管道和模型可观测性的正式计划。尽管仍有许多工作有待完成，跨职能团队致力于提升隐私、信任、透明度、监管合规性和模型准确性。1Highlight −AI成熟度：观察力和治理的问题。 6我们的调查表明，在这一方向上取得了实质性进展。以下是一些重点。他们现在也观察和管理非结构化数据，例如文本，其中Gen-AI采用者和北美公司引领着潮流。我们是否进入了一个新的数据文艺复兴，以清洁模型输入推动创新和公司重塑？这些强劲的采用数据具有前景，因为半结构化/非结构化数据将对预测性机器学习到生成式人工智能的先进模型的成功至关重要。而且它需要不同于表格的不同可观察性技术。例如，数据工程师或数据科学家必须监控和控制文本内容的分词、分段和向量化过程，然后确保输出——向量嵌入——准确支持生成式人工智能语言模型的检索增强生成。这种类型的可观察性包括仔细附加和跟踪对象元数据。我们看到数据团队处理这类流程，我们感到很高兴。2Highlight −可观察性不仅仅意味着结构化数据虽然结构化表格仍然是可观察性项目的主要关注点，但文档、图像/视频/音频文件等非结构化对象现在正得到迫切需要的关注。几乎三分之一的受访者观察到这些数据类型在生产环境中使用。JSON或日志文件等半结构化数据具有相似的地位。这标志着下一波数据需求浪潮，其中很大一部分是由能够解释和生成自然语言文本的GenAI聊天机器人驱动的。 AI创新的可观测性 – © BARC 2025执行摘要Highlight −北美领先欧洲此外，北美人对模型精度看得比欧洲人更重要，而且他们中有两倍的人在实施正式的可观测性测量。欧洲人对临时性测量手段的严重依赖是危险的——考虑到他们对透明度和可审计性的高度关注，这一现象令人惊讶。欧洲人也更青睐传统表格，而北美公司则对支持更高水平人工智能/机器学习采用的流数据以及图像、视频和音频文件表现出更大的兴趣。欧洲必须弥合这一差距并加强治理计划，以支持美国级别的生产人工智能采用。欧盟最近采取的行动，如投资人工智能“吉兆工厂”和缩减监管，可能会帮助地区内的更多创新。与其他数据及人工智能的方面一样，北美地区在人工智能采纳和可观测性实践方面表现出比欧洲同行更高的成熟度。在三个学科中，北美的平均比例为88%，他们已经正式化、实施或优化了他们的可观测性项目，而欧洲的平均比例则为47%。北美地区也比欧洲人更重视数据隐私和法规遵从。考虑到美国没有与欧盟新《人工智能法案》相匹配的联邦法规，这表明在治理方面采取了成熟的方针。 突出 − 来自生成式人工智能采用的教训GenAI引入了新的要求，包括非结构化数据的可观察性和治理（40%的受访者）以及向量数据库（33%），以及为非结构化数据标注/管理元数据（33%）。几乎同样数量的人提到了改进表格数据质量的必要性，而表格数据仍然是AI最流行的输入方式。为保持可信AI，组织必须连接分布式数据环境，并促进团队间的协作，确保AI模型在完全透明和可问责的情况下运行。随着企业采用生成式人工智能（GenAI），它们必须对其可观测性计划进行现代化改造，以应对新的数据类型、数据管道和模型。为了评估这些趋势和需求，我们根据其GenAI的采用情况将其划分为三组。这包括“用户”、“测试者”和“规划者”。（仅有6%没有计划）。GenAI用户和GenAI测试者的可观测性计划比其他组更为成熟。他们需要快速推进，例如通过扩展其计划以应对聊天机器人和内容生成。GenAI用户比其他人更观测所有数据类型，尤其是在图像、视频和音频文件。 可观测性现状调查结果 21%23%26%15%16%19%36%21%16%7%26%32%18%23%1%43%33%31%30%30%29%23%21%20%18%17%16%15%44%观点AI创新的可观测性 – © BARC 2025公司在关注可观察性以支持商业智能、分析以及现在的人工智能方面变得认真起来。AI/ML模型可观测性数据管道可观察性数据质量可观察性优化实施正式化InconsistendNo programBI仪表板标准报告预测性机器学习实时/流式分析临时BI/分析项目数据提供数据仓库聊天机器人数据同步/复制内容生成数据产品与市场平台推荐引擎情感分析内容个性化那么，这些可观察性项目支持哪些类型的分析？虽然BI仪表板和报告的传统用例占主导地位，但预测性机器学习和实时分析等现代用例占到了近三分之一的响应。值得注意的是，尽管有63%的POC/生产用途的生成式AI，但用于支持聊天机器人和内容生成的可观察性仅占23%和20%。这表明生成式AI的采用者才开始观察和管理支持聊天机器人的数据、管道或模型。他们需要迅速弥补这一差距，以避免治理问题。此外，推荐引擎和情感分析等流行AI/ML用例的低可观察性响应引发了类似的关于企业风险水平的担忧。随着人工智能采用加速，数据和AI/ML团队认识到需要对输入和输出进行系统性的可观察性方法。在受访者中，有相等的多数比例（76%）已经正式化、实施或优化了数据质量和数据管道可观察性方案。虽然AI/ML模型可观察性总体上略有不足，但优化这些方案的公司数量超过了优化管道方案的公司。所有这些数据均超出了我们的预期，并显示出对超越消防演习、单点工具或临时项目等方案的严肃承诺。在数据与AI的其他方面一样，北美地区展现出比欧洲同行更高成熟度，平均为88%的正式化或更优水平，而大西洋彼岸的平均水平仅为47%。在可观测性领域，顶尖表现者与落后者之间的差距更为显著。GenAI用户和测试者比GenAI规划者拥有更成熟的可观测性项目，尽管这种差异并不如此前那么明显。综合这些发现，呈现出一个熟悉的故事：积极、通常以美国为基地的新技术采用者往往拥有更成熟的项目。图1：您认为您公司的可观测性项目该如何最好地描述？(n=221)图2：贵组织需要可观测性的主要用例是什么？(n=222) 10 48%47%47%44%30%29%29%28%26%20%1%30%优先事项与成功衡量指标确保数据隐私提升可信度提升透明度以及可审计性遵守法规提高人工智能的准确性模型和分析缓解风险提升工作负荷可扩展性控制成本降低延迟，通过put and uptime检测数据/模型漂移防止数据偏差防