计算密集型应用以ServiceMesh为支点解决分布式问题的探索与实践_王志龙

京东集团架构师 / 王志龙 个人简介 1 0 年 + 互 联 网 一 线 研 发 及 架 构 经 验 ， K u b e r n e t e sContributor，Layotto Wasm Maintainer，专注云原生领域，擅长性能极限优化。 曾工作于腾讯、阿里，参与过微信 PaaS 云平台从0到1建设，阿里 Serverless C++ 和 Golang Runtime 研发及落地。 目前工作于京东集团搜索与推荐部，负责京东搜推微服务治理和新一代 Serverless 云化平台研发工作。 目录 一、 Mesh溯源及背景介绍二、 落地挑战和方案选型三、 业务赋能探索&实践四、 技术布局与未来展望 一、Mesh溯源及背景介绍 起源于 Buoyant 内部分享，从落地到概念 专门的一层基础设施；负责可靠传输；轻量的网络代理；对应用程序透明 William MorganBuoyant CEO服务网格理念的提出者和先行者以及最早的布道师 2016.09.29 Buoyant 2016.01.15 初次发布2016.09.29 概念诞生Micro-Service =>Service Mesh 一脉相承 典型形式 —— Sidecar 部署 一般为 Pod 多容器，但是随着 Node 模式的演进，载体多样化起来，但整体形式一致 服务网格和 Sidecar 的关系 绿方块为服务，蓝方块为边车部署的代理，多个 Sidecar 之间的连接和交互组成了 Mesh 当年的基于 Envoy HTTP 通道传输私有协议方案 如今的 Service Mesh 百家争鸣，百花齐放 Mesh——协调微服务能力和分布式压力的一个支点 二、落地挑战和方案选型 搜推广等计算密集型应用特点及落地挑战 技术选型 MOSN 多协议框架快速落地，中长期使用 MoE “双语”扩展 MoE —— Mosn On Envoy 多集群多主控制面架构 多形态数据面&多数据面 + 多控制面架构 三、业务赋能探索&实践 跨语言、多协议去中心化网关 TP99 降低 50%，抖动明显好转，可用率提高一个数量级HTTP网关下沉到数据面=>私有协议RPC调用 异构环境负载均衡——加权最小连接数 加权后不同规格机器可以相对均匀， TP99 降 5ms，但是个别算力或容器跟物理机差别大的，依然会不均匀 复合多策略负载均衡——加权&本地耗时感知&远端负载感知 可根据业务需要设置 CPU 保护水位，打开远端负载感知常规流量 CPU TP75 63%=>60%，TP99 降 8 ms 基于Envoyfilter下发的混合跳步CPU/QPS自适应限流 CPU/QPS 动态限流应对常规流量，可用率更高，TP99更低 测试环境治理——单模块 Mock 测试 屏蔽个性化影响，提高压测效率；数据面一次修改，所有模块透明复用，一劳永逸；目前测试提效20%+ 流量分组——以 Debug 流量为例 路由动态别名，实例按需分组，赋能异常流量测试，跨集群流量调度，动态扩分片，全流量实验 基于 eBPF 的旁路无侵入观测 零侵入，跨语言，高扩展，低损耗——有效快速解决跨语言异构系统、多模块的问题紧急排查和定位 四、技术规划与未来展望 LiMoE = Layotto in MOSN on Envoy “能力 X 性能” Istio Ecosystem——基于 Admiral 智能自动化流量调控 Mesh Node 化架构赋能新一代 Serverless 平台 欢迎技术交流