加快从本地设备到 Snowflake 数据云的迁移

2023 年 10 月 加快从设备到 Snowflake 数据云的迁移 Contents 前言 01 什么是 Cloud Datawarehouse ？ 03 是什么让雪花脱颖而出 ？ 04 迁移本地 DW 设备的挑战05 到雪花的数据云 Amaze ® - 加速迁移到 Snowflake 的数据云 06 前言01 数据是企业的重要资产，因为它们正在寻找新的方法来从数据中获取额外的洞察，转向基于数据的决策制定。这只有通过更强大的数据管理原则基础才能实现。企业希望拥有可扩展的数据管理解决方案，能够处理不可预测的数据增长、提供实时洞察，并促进整个企业的安全数据民主化。像Snowflake这样的数据云平台提供了现代云原生架构，以支持不断变化的业务需求。自2018年以来，Snowflake的客户数量几乎翻了三倍，推动了这一趋势。收入同比增长 247% 。组织已经认识到云的无限容量和弹性，能够在较低的成本下提供最深入的数据驱动洞察。Snowflake提供了企业级的、基于云的数据仓库，能够轻松安全地加载、集成和分析各种类型的数据。随着企业踏上云之旅，主要的考量将是：我如何能够尽快迁移到云上，同时最小化对现有业务的影响？Hexaware的amaze®平台和框架带来自动化，帮助企业无需承担业务风险且成本更低地迅速采用云数据仓库和分析服务。 成为 Hexaware 自己的专有平台 ， 没有嵌入式 3rd派对产品, amaze ® 降低了云转型成本并加速实现 TCO 节约 数据仓库系统的演变 02 电子商务和面向客户的应用程序在2000年初的增长导致数据量激增，从而增加了对大型数据仓库系统的需求。传统的基于对称多处理（SMP）架构的数据库管理系统（RDBMS），如Oracle，无法管理大量数据以及数据仓库所需的查询能力。采用大规模并行处理（MPP）架构的设备，如Teradata和Netezza，解决了这一问题，它们能够轻松处理太字节（TB）级别的数据。然而，这些设备的拥有成本较高，因此并非所有组织都能负担得起。随着“大数据”时代的到来，Hadoop的出现使得访问MPP架构变得普遍，并且它还能处理更复杂的非结构化数据挑战。Hadoop生态系统中存在大量的管理开销，原因在于生态系统的工具过多以及与现有应用的集成难题。将数据仓库设备部署在云上并结合对象存储支持Hadoop功能，为云数据仓库系统铺平了道路，如Redshift和SQL DW，但这些系统仍然属于本地部署，只是嵌入到云架构中，并非真正的云原生解决方案。 03 什么是 Cloud Datawarehouse ？ DW on Cloud 除了提供传统数据仓库的所有功能外，还提供了一个统一界面，用于处理结构化、半结构化或非结构化数据，采用SaaS或PAAS模式。 数据仓库运行的两个关键要求是存储和处理。Hadoop 能够满足这些需求，但随之而来的是庞大的生态系统管理问题。迁移到云中可以缓解这一问题，因为云服务不仅提供了基础设施管理，还提供了通过 API 接口访问的服务。云数据仓库（Cloud DW）提供了弹性功能，我们可以根据需求增加或减少云资源，而无需基础设施支持团队的干预，以自助服务模式进行。因此，当我们迁移至云时，无需运行 YARN 等管理系统软件。云对象存储平台如 AWSS3、Azure Blobstore 和 Google Cloud Storage 提供了弹性存储能力，而 Snowflake、Redshift 和 Azure Synapse 则提供了支持高级分析的处理能力。 以下是 Cloud DW 相对于本地传统数据仓库的其他优势 ： 虽然所有云数据仓库（DW）平台都提供了根据分析目的所需的存储和处理能力的弹性扩展功能，Snowflake独树一帜，能够独立扩展存储和计算资源。作为云原生产品，Snowflake甚至能够在扩展计算资源时保持查询不间断运行。在选择合适的云数据仓库产品时，另一个重要的标准是支持的数据类型多样性。大多数产品都支持半结构化数据，例如Redshift将JSON存储为文本字段，Azure Synapse则需要使用PolyBase功能。而Snowflake则原生支持结构化和半结构化数据。 是什么让雪花脱颖而出 ？ 04 雪flake的数据云平台提供了数据仓库和分析的支持，并以SaaS（软件即服务）模式提供。该平台从云端构建，速度快、易于使用，并将利用率与成本挂钩，支持基本的云原则。雪flake的平台支持数据仓库，并优化处理大量数据，能够处理结构化和半结构化数据，并可独立扩展存储和计算能力。该平台兼容流行的ETL、BI和数据科学工具，并通过SQL接口提供，相比传统数据仓库可以节省环境维护成本。以下是其主要功能和优势： 数据共享与使用雪花阅读器帐户的组织外的用户 节约成本在查询未运行时的自动挂起模式方面 部署选项在所有三个主要公有云 - AWS 、 Amazon 和 Google 将本地 DW 设备迁移到雪花云数据平台的挑战 05 戴尔沃德（DW） Appliances 迁移至 Snowflake 只能在不影响业务的前提下，完整地引入所有业务需求的情况下才可能成功。在此过程中，我们还需要时刻牢记要以最佳方式重新平台化系统，充分利用 Snowflake 带来的所有新技术进步。满足这一需求是迁移的主要挑战，必须尽可能做到最好。 DW appliances在企业中运行多年，期间许多设备积累了由其脚本对象（如存储过程、视图或宏）捕获的数据处理。这导致了大量的过程性脚本集合，理解这些脚本的复杂性并确定其在迁移中的作用是一项巨大挑战。 每款Data Warehouse（DW） Appliances，如Teradata和Netezza，都定义了自己特定的SQL函数，这些函数具有各自独特的环境特性。理解并重新设计这些函数是另一个挑战。 德威家电产品将达到其使用寿命尽头，并且其数据处理能力也将达到最大值。我们需要规划从这些设备中提取数据以进行数据迁移，而不影响现有设备的数据处理能力。 确保清晰地了解数据库对象对ETL层和报告层的影响，并确保这些层尤其是报告层不受影响，这是一个更大的挑战。 Amaze ® - 加快向 Snowflake 云数据平台的迁移 06 惊奇®是一款专门针对从Teradata、Netezza、Exadata等设备迁移问题进行自动化处理的平台，并能以较低的成本降低业务风险，加速云迁移过程。 使用 Amaze ® 进行迁移 Hexaware拥有由自动化平台amaze支持的明确的Microsoft认证 AppliancesDW迁移过程。®。基于企业在云中采用的现有方案 ， 从 Hexaware amaze 中适当的阶段®应用 4 步变换旅程。 惊奇®交付 快速了解数据景观的当前状态 将数据库及数据库辅助对象迁移至覆盖数据管道、数据存储和数据分析所有层的Snowflake平台 企业正在探索云 ： 评估:尝试使用问卷和云就绪评分来识别最适合目的的云堆栈。评分模型通常是与TDWI共同构建的，这通常需要1到2周的时间。 企业已经决定使用云计算 ， 但认为转型是有风险的 ： 深度发现 ：应用amaze®以揭示现有环境的复杂性和关键点。amaze®平台具有自动化数据库、ETL和报告层对象元数据分析的工具，以便为迁移、复杂性及依赖性分析提取库存。全面了解当前库存以定义迁移范围是一项具有挑战性的任务，因为它涉及多年来的所有开发工作。了解当前环境不仅对于决定最终状态架构至关重要，还对于估算达到该状态所需的努力至关重要。这通常需要2到4周的时间。 企业已决定采用云架构，并具备对复杂性的可见性，正寻求自动化转型： MVP:基于Amaze®的试点解决方案以展示自动化可行性，快速完成转换以缩短时间线并在最低成本下交付价值。最小可行产品（MVP）还将使团队能够测试一些具有挑战性的用例、非支持对象迁移的方法，并最终确定整体迁移项目的timeline。这通常需要2到4周的时间。 企业正在寻求基于工厂的执行模型 ， 以快速交付 ： 变换,全面实施基于Hexaware迁移框架和amaze®平台的全面云转型。在所有规划和设计完成后，转换阶段将以工厂模式进行多轮迭代迁移。根据设计决策，amaze®的配置将在三层架构中更新，并实际执行迁移过程，涵盖数据对象（包括表、视图、存储过程和其他脚本）、ETL包、BI语义层和报表。这将基于环境复杂性，从3到12个月不等的冲刺交付周期。 惊奇®是一个端到端的云化平台，实现了数据管道、数据存储和数据分析三层的自动化。amaze的核心价值在于此。®包括内置智能的加速交付 ， 以确保具有成本效益的解决方案。 借助 Amaze 成功实现迁移之旅® 利用惊人®为了将北美地区某矿业客户本地的100TB企业数据仓库（EDW）转型为Snowflake，我们成功地将成本和努力减少了60%。他们的企业数据仓库已运行了十年，基于Teradata和Hadoop环境构建。自动化帮助我们不仅将Teradata和Hive的数据对象、脚本和数据转换到Snowflake以实现“现状”功能，还通过HVR和Snowpipe提供了增强的实时分析功能，适用于诸如驾驶员安全和视频分析等场景。 通过自动化节省高达 60% 的成本无嵌入式许可产品跨所有数据层的端到端托管服务数据词汇表上的其他服务 30+元数据适配器智能内置的本地环境到云平台差距的知识数据层影响警报 基于元数据的数据摄入框架 自动化数据景观发现 自动化数据、管道和分析迁移 成熟的迁移过程框架 优化的云服务推荐 Conclusion 现代化EDW平台在云平台上进行更新，使用Snowflake可能是一项企业可以承担的成本优化项目之一。除了考虑云平台的准备情况之外，初始迁移成本将是主要考量因素之一。使用®迁移到云的时间、精力和成本将减少 ， 从而为前进提供动力。 为了绝对免费评估您的云 readiness 并了解 amaze 在云和数据库迁移方面的功能。®， 请写信给我们 amaze @ hexaware. com 。 参考文献 •2019 年报告 ， “用于分析的数据管理解决方案的魔力象限 ” 。•Snowflake 文档 - https: / / docs. snowflake. com / en / user - guide / intro - key - concepts. html•https: / / dzone. com / articles / hadoop - vs - database - vs - cloud - dwh 作者 Aruna Narayan高级顾问 Muneeswara PandianC副总统 关于 Hexaware Hexaware 是一家全球性的科技和业务流程服务公司。我们的 27,000 名 Hexawarian 每天都怀着一个共同的目标醒来；通过优秀的人才和技术创造微笑。随着这一目标逐渐实现，我们正朝着成为世界上最受喜爱的数字化转型合作伙伴的目标稳步前进。我们也致力于保护地球，为我们的客户、员工、合作伙伴、投资者以及我们运营的社区构建更美好的未来。 在全球19个国家设有40多个办事处，我们通过与企业合作，帮助他们构建、转型、运行和优化技术及业务流程，从而实现大规模和快速的数字化转型。 了解有关 Hexaware 的更多信息 ， 请访问 www. hexaware. com 取得联系