加速迁移企业数据

加速迁移企业数据 以及AI如何改变竞争格局。 简介 BigQuery是一款名副其实的统一平台，而其他解决方案需要将单独的数据仓库、数据湖和AI工具拼凑在一起。这种统一平台消除了复杂性和长延迟，为企业提供了一条直通路径，让他们能够跨所有数据类型扩展数据科学和多模态AI，而无需管理不同的系统。如今，各行各业的领先组织都在采用云优先和AI优先的方法，利用Google AI正在迅速改变各行各业，不断颠覆市场和核心业务流程，并迅速成为新的竞争优势。在采用生成式AI的企业中，有74%在第一年即实现了投资回报，其中84%的企业实现了6%或更高的收入增长。1要想让AI取得成功，必须确保基础设施具备卓越的可伸缩性、速度或灵活性， Cloud和BigQuery解锁数据价值，以更快地获取数据洞见，实现旧系统的现代化改造，并解决复杂的行业挑战。重点不是要不要迁移，而是如何快速改造数据基础设施，从而在AI驱动的未来竞争中占得先机。 而传统基础设施无法满足这些要求。因此，组织面临着严峻的挑战，包括非AI就绪型系统、困在孤岛中的数据以及扩缩成本过高的过时技术等。虽然AI有着巨大的潜力，但老旧的系统却阻碍了前进的道路。云迁移已经不再只是运营层面的升级。如今，它成为了一项战略要务：现代数 据架构、实时数据洞见和AI驱动的转型都依赖于数据。 Google Cloud助力业务发展 01推动AI创新并提高成本效益对旧版企业数据仓库(EDW)和数据湖进行现代化改造。 缩短数据分析时间提高数据访问效率。02 快速进行大规模原型设计。 第1章 推动AI创新并提高成本效益对旧版企业数据仓库(EDW)和数据湖进行现 代化改造。 PayPal如何迁移并扩缩全球数据平台 需求 这种方法可以整合分散在多个数据仓库和数据湖中、总量高达400PB的分析数据，同时克服了本地平台的限制，从而让他们能够利用云AI的优势，实现规模化创新。 20多年来，PayPal一直致力于利用技术来让金融服务和商业活动更方便、更具包容性、更安全，从而始终走在数字支付革命的最前沿。 策略将BigQuery作为统一的企业数据仓库平台 为了从Teradata、Snowflake、Redshift和Hadoop迁移数据，他们采用 了BigQuery Migration Service，以便自动转译来自不同来源的代码，并与Google合作增强了数据验证工具。关键原则包括弃用旧技术债务，解耦依赖项以实现灵活迁移，构建实时信息中心来跟踪迁移进度，以及选择性地进行现代化改造，而不是直接原样迁移。采用企业上下通力协作的方法，配合强大的培训和自动化工具，确保了所有团队步调一致并快速上手。 推出基于AI的个性化客户体验减轻运营负担迁移类型：从Teradata、Redshift和Hadoop迁移到BigQuery 经验与启示 企业范围的通力协作数据迁移已经被提升到企业级优先事项的高度。为了实现这一目1 将优化融入迁移过程中PayPal不是在迁移后进行优化，而是从一开始就集成了优化功 标，他们要确保每个利益相关方团队的路线图中都有支持迁移的正式OKR。战略性消除技术债务 能。他们致力于改进BigQuery Migration Service等迁移工具，以便提前生成优化后的代码，从而无需在后期进行修改和重新测试。优先考虑财务运营(FinOps) PayPal有意识地决定不将任何技术债务留到未来。根据详细的使2 他们意识到云中无限的资源可能会导致预算超支，因此构建了一 用情况和相似性分析，淘汰或整合资产。仅迁移具有适当业务用途的工作负载和数据。积极推行自动化来实现规模化 个FinOps平台来跟踪消耗情况，并让团队承担责任。实时进度信息中心 实现了可观测性、报告和通知自动化，可在实时信息中心查看每项 为了管理庞大的规模（400PB、数十万个表和工作负载），他们 资产的迁移状态。这对于跟踪数据依赖状态，即时显示失败状态以及提高执行效率至关重要。 采取的策略是尽可能全面实现自动化。这包括使用BigQueryMigration Service自动转译来自各种来源平台的代码，并自动执行测试流程。 结果 迁移到BigQuery是一项了不起的成就。我们在查询性能方面取得了巨大进步，数据新鲜度提高了16倍以上，现在可以在更大规模上，以更灵活的方式和更低的成本，向客户推出基于AI的个性化体验。”Vaishali Walia PayPal高级工程总监 JB Hunt如何利用实时分析技术改变物流运营 需求 一种对本地旧企业数据仓库进行现代化改造的方法。该数据仓库基于20世纪90年代的UDB/DB2技术构建，已经变得高度分散。夜间批处理提供的是前一天的数据，而且该环境缺乏现代分析和AI计划所需的可伸缩性、用户友好性和成本透明度。 JB Hunt是北美规模最大的物流运输公司之一，全公司拥有3.3万多名员工和超过15万项拖车资产，每年在整个北美大陆管理着超过1,140万趟行程，为托运人提供运力和技术解决方案。 策略将BigQuery作为集中式分析平台 在迁移之前，JB Hunt对30年的数据集进行了全面缩减和清理，将12,000 份报告减少到了3,000份，并消除了重复数据，以避免不必要的数据传输成本和性能瓶颈。迁移工作在18个月内就完成了，重点在于管理数据工作流。他们采用FinOps来控制成本并明确责任，具体做法包括应用项目级成本跟踪和每日配额，以及要求团队为流程添加标签，以便进行清晰的投资回报率分析。凭借这种结构化方法，他们以清晰、一致、可伸缩且经济高效的方式，从原来的UDB/DB2环境迁移到了BigQuery。 加快了机器学习模型的开发和部署 建立了透明的FinOps，可跟踪费用并了解投资回报率 迁移类型：从Databricks到BigQuery 经验与启示 通过集中化提高效率旧平台停用后，所有数据都整合到BigQuery中， 迁移前的清理工作必不可少在迁移到云端之前，JB Hunt进行了大规模的缩减工作，将1 这确保了数据的一致性，并使内部用户能够更高效地完成分析工作。 12,000份报告减少到3,000份，并消除了重复的数据集。这对于摆脱迁移“包袱”至关重要，因为迁移“包袱”会产生大量不必要的云费用。采用FinOps来控制成本并明确责任 迁移到BigQuery后，他们获得了在本地环境中无法实现2 的精细费用可见性。他们为每个业务部门和子部门设置了项目级详细信息和每日配额。通过要求团队在项目中标记流程，以进行清晰的投资回报率分析。现在，他们的数据可以推动预算对话，轻松识别高成本/低价值流程和高价值投资领域，从而消除资源争用状况。 结果 数据延迟时间从24小时缩短至几分钟，以便获得更及时的数据洞见。约2小时 使用BigQuery机器学习和Vertex AI重新训练机器学习模型，从2天以上缩短至几小时 FinOps功能，它让我们能够一目了然地追踪各项资源的使用对象和使用情况，以及这些流程的投资回报率。”Douglas MettenburgJB Hunt Transport工程与技术副总裁 DBS Bank如何扩缩混合数据平台，以实现增长和满足监管要求 需求 一种扩展其成本高昂且结构复杂的本地Hadoop生态系统的方法。该生态系统主要使用Spark来处理批处理和流式处理工作负载，数据量超过6PB，数据集超过40,000个。他们还需要满足严格的数据监管要求，包括印度尼西亚的数据驻留要求，以及确保本地和云环境之间的兼容性。 策略将现有本地基础设施与Google Cloud相结合的混合云架构 市场，他们通过内部混合数据平台管理大规模数据运营。 为了在短短四个月内迁移1.5PB的数据和12,000个数据集，并满足严格的监管要 求，DBS Bank采用了并行运行策略。他们同时使用了位于新加坡的本地平台和位于印度尼西亚的新Google Cloud平台。在此过程中，自动化对账引擎会不断检查两个平台之间的数据一致性。在迁移过程中，他们还趁机将数据格式从旧版Hive架构更新为了Apache Iceberg的现代化格式，从而在BigQuery中提高数据处理效率，改进分区并简化压缩。自动化、架构灵活性和组织透明度是他们取得快速进展的关键，同时，他们还通过培训来帮助员工掌握机器学习和生成式AI工具等新功能，确保在迁移后顺利采用。 实现了与生成式AI和机器学习工作流的顺畅集成 通过云自动扩缩功能优化成本 迁移类型：从Hadoop到BigQuery 结果 经验与启示 在不到4个月的时间内迁移了12,000个数据集1.5PB 不要害怕修改架构这一观点可能有些争议，但既然无论如何都要重新提取数1 据，那么迁移就是解决遗留问题并实现系统现代化的绝佳时机（例如，将文件格式从Hive更改为Iceberg）。实现全面自动化，尤其是对账 显著的成本优化 迁移过程中难免会出现问题，因此，建立自动查找差异的流2 程对于顺利可靠地完成迁移至关重要。关注人员的两个维度 •执行：从第一天起，就要确保完全透明，让所有利益相关方 改进了分区处理和数据压缩 都参与进来并保持一致。•迁移后采用：如果无法使用，最先进的技术也形同虚设。为用户学习过程做好规划，帮助他们充分利用集成式机器学习和生成式AI工具等新功能。 我们发现BigQuery的巨大优势在于它可以与整个Google Cloud平台生态系统（如生成式AI和机器学习工作流）集成，这在本地环境难以高效实现。”Rafal Kowalski DBS Bank大数据和AI云主管 Intesa Sanpaolo如何实现大规模数据生态系统迁移 需求 一种对基于Teradata和Hadoop构建的旧版本地数据服务中心进行现代化改造的方法。该中心面临着性能瓶颈、可伸缩性限制和管理成本高昂等问题。他们还希望消除不断提取和复制数据的需求，因为这限制了他们的高级分析和AI功能。 Intesa Sanpaolo运营着一个庞大的数据服务中心，管理超过1PB的数据、80,000多个数据库对象、20,000多个ETL，并为4,000多名数据用户提供支持，同时还制定了180,000多条数据质量规则。 策略将BigQuery作为现代化数据平台 在制定强有力的五年期TCO业务用例并进行了全面的RFP/POC测试 后，Intesa Sanpaolo采用了分阶段实施的三年期迁移计划。该计划保证了数据使用者不会出现回退，在BigQuery上启动了新的云原生项目，并使用PySpark和Data Catalog等云技术实现了现代化。Intesa Sanpaolo高度依赖全套BigQuery Migration Service来自动执行并加速迁移。 显著提升了性能，并具备线性可伸缩性通过停用未使用的流程，优化了数据基础设施 经验与启示 自动对账，让利益相关方专注于重要工作考虑到数据所有者和用户都很忙碌，该策略致力于尽可能减 利用强有力的业务用例和测试来获得内部支持为了打消疑虑，首先要制定可靠的业务用例并进行全面测1 少了他们的参与。他们对所有迁移的数据实施“每日精细化自动对账”，让利益相关方能够高效地专注于调查关键差异。分阶段迁移“冷数据”，为后续迁移打下基础 试，从而建立信心。Intesa Sanpaolo证明，BigQuery可将高峰工作负载的性能提高30%，并实现线性扩缩。通过无回退要求保证业务连续性 鉴于该系统对风险、合规和财务报告提供数据支持的关键性2 该银行发现，他们的大部分数据都是静态冷数据（10年历史 数据）。无论原计划将其归入哪个批次，他们都在第一年内将这些庞大且不变动的数据集迁移到了云端。这有助于尽早将重心转移到云端，从而提前获得发展动力。 质，该策略的基础是绝对保证现有流程不会中断，并且在新平台上不会发生任何回退。战略性数据精简 迁移是清理数据资产的好机会。Intesa Sanp