3-4 数据服务化在京东的实践

数据服务化在京东的实践

缘起：数据服务化从0到1

• 业务需求背景：某业务方提出数据API需求，要求在5月6日提需，618前交付80个接口。初期面临的问题包括：
  • SQL参数化需求：业务方希望API支持SQL参数化，以实现报表钻取功能。
  • API性能问题：生成的API性能不如Java定制开发，主要耗时在数据库执行SQL上。
  • API数量过多：80个API开发周期长，维护成本高。
• 解决方案：
  • SQL参数化：通过支持JDBC规范，实现SQL参数化，防止SQL注入，并支持in语法传参。
  • 性能优化：通过调优，将平台耗时占比从97%下降到1%，达到微秒级别。
  • API数量减少：利用FreeMarker模板语言，将80个API减少到5个，实现动态查询条件与组合。
• 关键数据：
  • API开发周期从一周缩短到一个小时。
  • 平台耗时占比从97%下降到1%。

扛鼎：数据服务化从1到100

• 大促场景挑战：几百个指标需要在短时间内开发上线，面临存量接口复用、复杂链路调试、高QPS NoSQL存储生成API等问题。
• 解决方案：
  • NoSQL存储生成API：支持ElasticSearch、Redis、HBase等多种NoSQL存储，通过SQL查询或表单填写生成API。
  • 一键添加缓存：提供被动缓存和主动缓存两种方式，被动缓存随用户请求动态生成，主动缓存定时刷新，解决QPS毛刺问题。
  • 服务编排：支持接入存量HTTP和RPC接口，通过Groovy节点编写兜底逻辑，多个API编排形成复合API，并提供可视化调试工具。
• 关键数据：
  • 大促期间成功上线几百个指标。

静思：数据服务治理

• 数据服务治理概念：借鉴交通治理类比，治理对象为数据服务，通过政策、流程和基础设施使组织达成期望的行为。
• 政策驱动的服务治理：定义了政策管理点（PM）、政策信息点（PI）、政策决策点（PD）、政策强制点（PE）等角色，形成治理方、提供方、消费方的治理体系。
• 服务市场治理场景：通过服务市场进行交易、营销、分析等场景，治理方通过卡点确保服务质量，避免重复建设。
• 治理关键措施：
  • 服务分级。
  • 服务查重。
  • 质量控制。
  • 服务评价。
  • 规则宣贯。
  • 服务发布卡点。