企业实时数据服务平台建设最佳实践

1 2 目录 3 1. 4 5 6 ⚫ ⚫ 7 8 9 ⚫ ⚫ ⚫ 10 ⚫ ⚫ 11 ⚫ ⚫ ⚫ 12 ⚫ ⚫ ✓ ✓ ✓ ⚫ 13 ⚫ ⚫ 14 ⚫ ⚫ ⚫ ⚫ ⚫ 15 ⚫ ✓ ✓ 16 17 18 19 푁22푁⚫ ⚫ 20 21 22 23 24 ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ 25 ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ 26 27 1. 数据连接类型对象: Connector, 针对平台支持的数据源进行查询 2. 数据连接对象: Connection, 可创建任意平台支持的数据源 3. 数据源: Source, 定义一些具有特定结构的数据来源, 由特性的 Connection 与 其下层结构描述组成 4. 核心对象 Pipeline, 定义一个计算过程, 可以执行多种无状态数据处理, 有状态数据复制, 多流 JOIN, 多表合并, 聚合计算等数据处理, 使用形式类似: p.read_from(source).filter("time > 2022-03-05").join(p2).writeTo(data_lake); 5. Job, Pipeline 的运行态, 可进行启动, 停止, 监控等多种运维操作 6. DataCheck, 辅助过程, 在 1:1 数据复制过程中, 可实时增量检测源与目标是否一致 7. DataTrace, 辅助过程, 可检测某个特定的数据模型的前向数据血缘与后向数据引用 8. API, 数据操作, 可将某个特定的数据结构发布为 HTTP CURD 接口, 并且与数据连接类型无关 28 1. ######################################################### 2. bash iShell.sh # 启动交互工具 3. 2022年 3月 5日 星期六 23时28分06秒 CST Welcome to Live Data Platform Shell, Enjoy Your Data Trip! 4. 5. [1] login -s server -a access_token # 通过 token 登录系统 6. Login success! You are admin now. 7. ######################################################### 8. 9. [2] show dbs # 列出数据源 10. 0. user, Mysql, _id is: xxx 11. 1. custom, Mongodb, _id is: xxx 12. 13. [3] use custom # 使用数据源 14. database switch to custom 15. 16. [4] show tables # 列出表 17. 0. xxx, _id is: xxx 18. 1. yyy, _id is: xxx 19. 20. [5] desc xxx # 描述表 21. { 22. "a": "string", 23. "b": "number", 24. "c": "data" 25. } 26. 27. [6] preview xxx # 预览表 28. 0. {"a": "xxx", "b": 100, "c": "2021-10-22 13:04:00"} 29. 1. {"a": "xxx", "b": 100, "c": "2021-10-22 13:04:00"} 30. 31. ######################################################### 32. [7] show jobs # 列出全部运行的任务 33. 1. xxx, running, full sync 34. 2. yyy, stopped, full+inc sync 35. 36. > status job xxx 37. running 38. 39. > stop job xxx 29 40. job xxx stopped 41. 42. > descj xxx 43. ######################################################### 44. > use custom #