2024年数据和AI趋势报告

数据和 AI
趋势报告 生成式 AI 的影响 新机会、新技术、新技能。 随着新时代的到来，整个数据栈发生了连锁反应。为了进一步研究技术的变化趋势，Google 向数百位企业和 IT 主管展开问卷调查，以了解他们的目标和生成式 AI 采用策略。本报告将深入探讨受访者对 2024 年及未来技术发展趋势的观点，为希望利用生成式 AI 的企业提供宝贵数据洞见。 随着生成式 AI 的问世，全球拉开了革新的序幕。这项革命性技术将以前所未有的方式，颠覆各行各业并改变我们的生活。数据是AI 发挥强大效用的核心。企业要想充分利用生成式 AI，就需要有能力访问、管理和激活各种系统中的结构化和非结构化数据。 不仅如此，还要使用 AI 和机器学习 (ML) 技术深入了解数据，借此强化模型或改善客户体验。只要做到上述几点、确保数据质量和安全，同时遵循负责任的数据使用原则，企业就能获得成功。 五大趋势概览： 生成式 AI 会在组织内。加快数据洞见的交付 阅读用时：5 分钟 阅读用时：6 分钟 阅读用时：5 分钟 阅读用时：4分钟 阅读用时：3 分钟 生成式 AI 会在组织内。 加快数据洞见的交付 近三分之二的数据决策者预计，到2024 年，数据洞见将实现民主化。
84% 的人认为生成式 AI 将帮助他们的组织更快地获取数据洞见。 为什么您应该关注？ “ Moody's在财务数据、披露和报告制作方面拥有深厚的专业知识，这项独特优势让我们能开发经过微调优化的大语言模型。GoogleCloud的生成式 AI 将帮助我们的客户和员工比以往更快地生成新数据洞见。” 生成式 AI 为技术环境带来的巨大变革怎么强调都不为过。就商业智能 (BI) 而言，相关工具将变得越来越易于使用，即便是非技术团队成员也将可以利用这些数据洞见来提高工作效率，并比以往更快地传播知识。这意味着您的组织可以全面提高数据素养并制定更明智的决策，最终在市场上取得更重大的成就。 现代BI 工具已经在设法为用户提供所需数据，一个简单的例子就是内嵌在最相关情境中的数据报告，例如销售人员所用CRM中显示的客户数据洞见。不过，这些数据洞见始终需要由分析师精心整理。最终用户距离他们的数据始终有一步之遥，通过将大语言模型与业务数据对接起来，可以帮助弥合这一差距。团队成员能够以对话方式直观地与数据交互，还可以通过与数据交互或在整个公司内执行简单搜索来创建报告和信息中心。事实上，本报告调查的许多组织已经在这样做了。 目前 52% 的非技术用户已经在使用生成式 AI 获取深入数据洞见。 NickReedMoody'sCorporation首席产品官 无论是走在前沿的数据科学家，还是业务线人员，都已开始使用 AI。 同时将这些集成到办公工具和业务应用中。许多应用都可让用户查看他人是如何找到问题的适当解答，这样，人们不仅可以集思广益，还能深入分析哪些互动在一天、一季度或一年内带来了最大的影响。 从根本上讲，如果工具能让用户直接以自然语言获取所需的关键业务数据，将成为弥合组织当前技能缺口的一大助力。 预计从 2024 年开始，更多企业用户将使用搜索技术与数据“对话”，并利用对话式界面创建报告、信息中心和直观、智能的可视化图表， 所有人都可以善用 AI。 通过将大语言模型与您的业务数据对接，即使您不是技术团队的成员，也可以使用搜索技术与您的数据“对话”。此外，您还可以使用对话式界面创建报告、信息中心和直观、智能的可视化图表，并将它们集成到办公工具和业务应用中。 这些改变已经在悄然发生。下面是数据决策者对以下这个问题的一些回答：“您的组织中哪些类型的非技术用户正在使用生成式 AI 从组织的数据中获取洞见？” “50 多年前，Wendy’s 推出了业内第一个现代化的餐品自取窗口，我们很高兴能够与 Google Cloud 合作，继续推进我们的事业，为得来速体验带来新一轮创新浪潮。让员工能够继续专注于制作美味餐食并与食客建立联系，让他们不断再次光顾。”Google Cloud 的生成式 AI 技术为我们创造了重大机遇，让我们有机会为顾客提供真正与众不同、顺畅、更快速的体验， 数据和 AI 的角色将变得模糊。 80% 的受访者认为各种数据角色之间的界限开始变得模糊。 为什么您应该关注？ 在我小时候，我妈妈会花几个小时与旅行社一起规划度假行程。与 Google Cloud 合作采用生成式 AI 后，我们通过聊天机器人就能提供定制旅行规划服务。我们的目标不仅仅是为客户安排行程，还要协助他们打造独特的旅行体验。” “ 随着 AI 的应用范围不断扩大，公司将原始数据用于 AI 的速度将变得日益重要。 随着流程的简化，数据和 AI 的角色会变得越来越模糊。这意味着以前相互孤立的团队必须比以往更加紧密地合作。 如果组织建立成熟的使用流程，将能制定更明智的决策、更快推出新产品和服务，并提供更优异的客户体验。 研究表明，超过一半(54%)的数字化领先企业表示，由于缺乏技能，他们难以跟上变革的步伐。 现在，许多数据分析师逐渐开始承担以前由数据科学家负责的业务，反之亦然。 Nash Squared，《DigitalLeadershipReport》
（数字领导力报告），2023年。 当前，各组织最欠缺的技能有数据分析、数据工程、AI 以及业务分析。生成式 AI 可帮助提升现有数据团队和工作负载的效率，进而弥合日益严重的技能差距。无缝使用数据和 AI 平台可以帮助组织加速从数据到 AI 的历程，从而提高效率并加速创新。 这种互联让用户可以： 拥有一个为数据工程师、数据分析师和数据科学家提供多种编程语言（如 SQL、Python 和Spark）支持的共同工作空间。 使用 CI/CD、版本记录、源代码控制等软件开发最佳实践来管理数据资产，以提升协作和交接效率。 此外，数据和 AI 工具的互联程度越来越高，可以帮助用户简化数据和 AI 工作流。 生成式 AI 还可以帮助员工高效完成更多技术任务。例如，针对更新财务报告系统所需的新代码提供建议、概述营销活动的 A 和 B 版本，或制作初稿供员工用于正式生产环境。 将 AI 直接应用于数据可以充分激发其潜力，无论数据的格式如何。 先进的 AI 和机器学习(ML)技术的问世，彻底改变了组织利用数据的方式。这些先进技术提供了独特的机会，可充分激发所有数据的潜力，无论是结构化、半结构化还是非结构化数据。此外，多模态AI也解锁了无限可能，让组织能以更高的效率和准确性，针对他们的企业数据执行模型调优及标准答案关联。文本嵌入让您可以直接对数据执行矢量搜索，无需复杂且耗时的预处理步骤。这简化了查找相关信息、识别模式和趋势以及对文档等来源中类似的非结构化数据进行聚类的过程。 导致组织未能充分发挥数据潜力的最大阻碍是当今生成的大量未得到利用的非结构化数据。这包括图片、文档和视频等格式。据估计，约有高达80% 的数据尚未被组织利用。 由固定字段和列组成的结构化数据（例如电子表格或数据库中的数据）可以使用传统方法轻松处理和分析。而非结构化数据，例如社交媒体帖子、电子邮件、客户通话录音、临床文档和传感器测量结果，通常很复杂且难以解读，因此很难提取有意义的数据洞见。 预计到2025年，非结构化数据将占全球数据量的80%。 VentureBeat，2022 年。 强有力的数据治理机制。是实现 AI 创新的关键 66% 的组织表示，其内部至少这构成了重大的风险。一半的数据都是暗数据， 《Five Factors For Planning A Data Governance Strategy》(制定数据治理策略的五大要素)，Forbes，2023 年；Gartner 术语表，暗数据，2024 年。 不到一半 (44%) 的受访者对其组织的数据质量充满信心。 为什么您应该关注？ 《GoogleCloudCustomerIntelligenceTrendsResearchSurvey》
(GoogleCloud客户智能趋势研究问卷调查)，2024 年。 生成式 AI 好处多多，但也有其缺点。许多组织发现这项技术会带来新的漏洞和弱点，特别是在数据质量方面。仅仅将 LLM 应用于数据是不够的。这些模型必须基于优质企业数据，否则就有产生幻觉的风险。在数据治理、质量和信任方面采取务实做法的组织将在运用 AI 交付切实业务成果方面处于有利地位。 类似的，大多数受访者 (54%) 认为他们的组织在数据治理方面只是较为成熟，而只有 27% 的受访者认为他们的组织极为成熟或非常成熟。 可喜的是，许多组织正采取行动来确保数据质量良好，且准确可信。大多数受访组织认为自己正在• ” 打造数据驱动的文化ה 将数据治理监控机制集中化ה 制定集中式政策管理、监控及审核机制。 近半受访者对其组织的数据质量还算有信心(45%)，另有 11% 的受访者则不太有信心。 Snap Inc 使用 Google 的数据云来整合分散各处的数据，提供一个特定业务领域专用的自助式数据平台，实现集中式治理和可见性，同时保持对分散各处的数据的所有权。随着数据效率的提高，他们得以专注于改善用户体验和提高互动度。 家乐福使用 Google 数据云，通过提高数据安全性和强化对业务关键型应用的安全访问，实现零信任网络保护。他们以数据为中心的基础设施让他们能够灵活地快速调整，并为客户提供最高质量服务。 现在组织最需要什么？ 现在，组织最需要的就是从设计上保证安全且充分集成数据加密机制的数据平台。理想的平台应能够自动建立组织自有数据目录，并让组织能使用元数据有条理地整合及整理数据。这样一来，组织就可以根据业务情境，集中保护及治理数据，并使用
内置自动化和智能功能来剖析数据、提高质量及 端到端数据沿袭。
自动生成沿袭，以便您可以跟踪数据流、执行影 响分析，并使用沿袭作为跨数据和 AI 模型的治理和合规基础。 数据和 AI 资产的统一治理。对数据授权、保留和分类进行集中的政策管理、监控和审核。 沿袭数据等，从而更高效地大规模管理数据。这可以确保： 数据质量。自动生成数据质量规则来衡量数据的完整性、准确性和有效性。 69% 的员工在过去 12 个月曾绕过组织的信息安全规章。 《5GartnerPredictsNearlyHalfofCybersecurityLeadersWillChangeJobsby2025》
（Gartner预测近半数信息安全主管会在 2025年前换工作），2023年。 运营数据将在企业应用方面的。激发生成式 AI潜力 71% 的组织计划使用功能。与生成式 AI集成的数据库 为什么您应该关注？ 企业非常看好大语言模型 (LLM)。尽管他们都体验到了 Gemini 和其他大语言模型等工具的强大功能，但也意识到这些工具的创造性本质并不适合大多数企业应用场景。企业生成式 AI 应用面临着单靠 LLM 本身无法解决的诸多挑战。例如在不耗费大量成本的前提下，提供准确、最新的信息和符合当下情境的用户体验。 具有矢量支持的运营数据库和仓库有助于将LLM 和企业生成式 AI 应用融和在一起。这就是为什么矢量搜索和矢量数据库受到如此多的关注，也是为什么“检索增强生成”(RAG) 是改进和增强 LLM 及生成式 AI 模型的重要技术。此外，我们看到业界涌现了很多创新技术，而且大量都是开源社区推动的，包括开发者最常用的数据库之一 PostgreSQL。 组织希望从依托 AI 技术的数据库中获得什么？ 在数据库中使用 AI 时，最重要的功能包括与 AI 模型无缝对接、使用 RAG 等技术实现 LLM 标准答案关联，以及使用自然语言进行数据库管理。 合理运用，获得丰厚回报。 当运营数据与生成式 AI 紧密集成时，生成式 AI的真正力量就会被释放出来，在企业应用中实时提供与情境相关的超个性化体验。简而言之，依