3-1 通过 dbt 把软件开发的最佳实践带到数据领域

传统数据分析中的流程问题

• 传统数据仓库的局限性：成本高昂、数据转换在存储层外进行、基础设施管理复杂、数据分析任务分散在工程师、数据分析师和利益相关者之间。
• 具体问题：工程师成为每次更改的瓶颈、从头创建代码比查找现有代码更简单、不可追踪的变更流程破坏数据管道，降低对数据的信任。

云原生数仓带来的机会

• 云原生数仓的优势：降低成本、易于使用、弹性存储和计算使得数仓内转换可行、减少基础设施管理。
• 带来的可能性：工程师和分析师更专注于高回报任务（如优化和构建数据转换流程），为数据工作流程创新提供机会。

dbt 提供的解决方案

• 核心理念：将软件开发的最佳实践应用于数据分析，实现模块化、可测试、持续集成和文档化，使数据分析流程更快更稳定地更新。
• 工作方式：让任何知道 SQL 的人都能快速构建和测试数据，使用版本控制一次性更新并部署到所有地方，提供文档工具和自动刷新的血缘关系。

dbt 的关键功能

• 开发：
  • 使用 SELECT 语句（声明式）快速开发，包括多种物化类型（表、视图、增量、快照）。
  • 无需考虑运行顺序，在开发、测试和生产中运行相同代码，自动解析正确模式，自动构建依赖关系。
  • 宏：沙盒环境执行用户逻辑，将 SQL 片段抽象为可重用的宏，使用控制结构（如 if 语句和 for 循环）和环境变量。
• 文档：
  • 自动生成数据血缘关系，维护共享理解。
• 测试：
  • 在线测试假设数据和转换的有效性，包括唯一性、空值、特定值和有效外键等测试。
• 部署：
  • 使用版本控制和 CI/CD 无缝部署，最小化无用运行，通过仅测试更改来减少浪费。
  • 集成 git 提供商，实现持续集成和持续部署，提供作业调度、日志和警报功能。