轻舟中间件产品介绍手册

目录 前言 产品简介 产品种类 轻舟分布式缓存中间件 Redis轻舟分布式搜索中间件 Elasticsearch轻舟分布式消息中间件 RocketMQ轻舟分布式协调中间件 ZooKeeper轻舟分布式消息中间件 Kafka轻舟分布式路由中间件 Nginx轻舟中间件运维稳定性管控服务04060805070910 客户案例 前言PREFACE 网易数帆是网易集团旗下TOB企业服务品牌，定位于领先的数字化转型技术与服务提供商，为客户提供创新、可靠的国产软件基础平台产品及相应技术服务，业务覆盖云原生基础软件、数据智能全链路产品、人工智能算法应用三大领域，旗下拥有轻舟、有数、易智三大产品线，致力于帮助客户搭建无绑定、高兼容、自主可控的创新基础平台架构，快速应对新一代信息技术下实现数字化转型的需求。 网 易 数 帆 旗 下 轻 舟 一 站 式 云 原 生 软 件 生 产 力 平 台 ， 覆 盖 开 发 、 构 建 、 发 布 、 上 线运 行 、 治 理 和 运 维 等 环 节 ， 源 自 网 易 内 部 的 大 规 模 互 联 网 业 务 实 践 ， 经 过 金 融 、制 造 、 物 流 等 行 业 客 户 的 生 产 环 境 验 证 。 产品简介 轻舟中间件是基于云原生强大的编排能力和Kubernetes通用接口，通过自定义Operator实现状态从而构建的云原生 PaaS 平台，提供基于容器的数据库、缓存、消息、搜索、协调等分布式中间件服务。相比于云主机虚拟化而言，轻舟中间件具有更加强大的性能、更加经济的IT成本、更加轻量的资源管理、更加灵活的调度策略、更加可靠的服务保障、更加迅速的故障自愈能力。 轻舟中间件不仅支持多云集中部署与管理、自动化运维、弹性扩缩容、故障自愈等云原生特性，还提供了完善的租户隔离、用户权限管理、操作审计、日志采集、监控告警等企业级增强能力。能够帮助企业构建运维简单、性能卓越、成本节约、安全可靠的云原生中间件 PaaS 平台，从而帮助企业彻底解决传统IT环境下部署和运维中间件所存在的 SLA 保障难、运维难、成本高、资源利用率低等一系列问题，进而帮助企业以更经济的IT成本实现业务的敏捷、高效支撑。适用于企业数字化转型、业务中台、工业互联网、集团云、行业云等多种场景。 产品全景 核心优势 稳定可靠 成熟验证 轻舟中间件沉淀了网易集团内部十余年大规模中间件集群运维和管理经验，并且经过了诸多内外部真实生产环境大规模、高并发场景下稳定运行的考验，不仅支撑了网易严选、网易云音乐、网易传媒等互联网业务，也在大量金融级客户中验证了产品的成熟度。 轻舟中间件基于云原生时代的事实标准 Kubernetes的通用接口打造，帮助中间件平滑、稳定地运行在多种基础设施之上，同时基于 Kubernetes Operator的高可用调度能力，保障中间件集群具备高可用、故障容忍、弹性扩展等能力。另一方面，轻舟中间件基于开源生态构建，同时融入网易核心技术，并且经过网易内部十余年大规模集群运维场景考验和打磨，为生产环境业务提供了稳定性可靠的中间件服务。 稳定性管控 降本增效 轻舟中间件提供了强大的运维稳定性管控能力，将网易内部十余年的运维经验体系化输出，赋能客户以低成本快速掌握中间件稳定性运维最佳实践。稳定性巡检能力帮助运维人员“防患于未然”，在故障发生之前感知潜在风险并提前介入处理；异常事件辅助根因能力帮助运维人员在异常事件告警发生的时候，通过运维经验沉淀的根因分析引擎辅助快速定位造成异常告警事件的原因，降低故障带来的损失。 轻舟中间件为企业客户提供了一站式中间件集群管理平台，提供主流消息、缓存等中间件服务，支持以统一可视化方式管理集群生命周期，提供了自动化运维能力以及弹性扩缩容能力。一方面，大大降低了技术栈选型开发以及运维等人力成本；另一方面，基于云原生特性实现的弹性扩缩容以及资源混部，大大提升了集群的资源利用率。 Redis 轻舟分布式缓存中间件 轻舟中间件Redis兼容开源标准Redis协议，支持多可用区高可用、自动化运维、故障自愈、平滑扩展等云原生特性。基于高可靠双机主从热备和可平滑扩展的集群架构，满足高性能场景以及弹性变配的业务需求。 产品架构图 核心功能 浏览器实时计数 数据库缓存 排行榜 提供有序集合数据结构，实现如游戏积分实时排行榜、电商月度销量排行榜等复杂排行榜应用 为浏览量、播放量、广告点击量、库存计数提供高性能的实时计数功能 满足低时延、高并发访问要求，减轻数据库负载，适用于直播、大促、秒杀等场景 核心优势 轻舟分布式协调中间件 轻舟中间件ZooKeeper是基于开源分布式协调组件ZooKeeper研发的高可用的云原生中间件产品，提供了强大的分布式协调能力以及数据一致性解决方案。 产品架构图 核心功能 服务注册与发现 分布式协调 典型的分布式数据一致性解决方案，实现分布式配置管理、系统协调等，例如： HBase、Kafka 等 提供稳定可靠的 ZooKeeper 集群实现服务注册与发现 核心优势 弹性扩缩容 Elasticsearch轻舟分布式搜索中间件 轻舟中间件 Elasticsearch是基于开源分布式搜索引擎Elasticsearch研发的一种高性能、高可用的云原生中间件产品，提供了强大的全文检索及数据分析能力。 产品架构图 核心功能 仅需几毫秒，即可从 PB 级数据中找到匹配信息，并支持排序、分组、聚合，满足各种搜索场景需求 最易实施和扩展日志记录的解决方案之一，快速对接各种数据源，借助 Kibana 的丰富图表高效可视化分析日志 Elasticsearch配合Kibana 提供开箱即用的可视化组件和图表模板，简化了数据分析及可视化的难度 核心优势 数据备份与恢复 弹性扩容 Kafka 轻舟分布式消息中间件 轻舟中间件 Kafka 具有容器化、高吞吐量、高扩展性、可容错等特性，能够提供提供安全访问、多可用区部署、机架感知、服务自愈、快速扩缩容、Topic管理、集群数据同步、全方位的状态和性能数据监控等功能。 产品架构图 核心功能 Web 或 APP 活动跟踪的最佳工具，实现网页浏览、操作等信息的实时处理、监控或离线统计分析等。 日志聚合的最佳解决方案，数据采集业务无感知，对接 Hadoop等离线仓库存储、Spark 等实时在线分析平台。 相比传统消息代理系统， Kafka具有更高的吞吐量、内置分区、冗余、固有容错等能力。 核心优势 弹性扩缩容 RocketMQ 轻舟分布式消息中间件 轻舟中间件 RocketMQ 是容器化、高吞吐量、高扩展性、可容错的分布式云原生消息中间件，提供安全访问、多可用区、服务自愈、快速扩缩容、全方位的状态和性能数据监控等功能。 产品架构图 核心功能 上游系统出现访问流量高峰时，将业务罗逻辑异步化，避免流量冲击下游业务，适用于电商秒杀，抢红包等场景 即实现上下游解耦，又引入分布式事务，确保数据最终一致性。适用于交易、支付等场景 实现上下游系统松耦合设计，下游系统出现异常或宕机不会影响更多系统 核心优势 数据安全 Nginx轻舟分布式路由中间件 轻舟中间件 Nginx 是基于开源 Nginx 代理服务方案研发的分布式路由中间件，提供更加成熟、灵活、易用的分布式高可用云原生路由网关服务，具备容器化、高扩展性、可容错、配置变更实时更新等特性。 产品架构图 核心功能 提供非阻塞、高并发支持的反向代理能力，具有配置方式灵活且可以热生效、内存消耗小、网络带宽节省且稳定性高的特点。 提供多种负载均衡算法，可将大量请求进行分布式处理，从而最大程度地提高响应速率和容量利用率。 提供多种访问控制方式，可以通过设置IP、网段等黑白名单控制请求路由。 核心优势 弹性扩缩容 轻舟中间件运维稳定性管控 随着企业业务的不断发展，中间件集群的规模也不断增长，在运维复杂性急剧提升的同时，对于集群稳定性的要求也不断提高，面对这样的情况，传统依靠手动方式以及运维人员主观经验对于中间件集群进行运维、巡检以及故障分析的策略难以应对上述挑战。因此，能够将大量运维经验沉淀为企业组织过程资产的自动化、智能化中间件运维稳定性管控能力显得尤为重要。 轻舟中间件运维稳定性管控产品是为轻舟中间件量身打造的运维稳定性管控平台，其独立于轻舟中间件集群实例管理层提供服务，因此不仅能够完美适配轻舟云原生中间件，也能够通过统一元数据管理能力适配运行于外部环境的中间件集群，并为其提供一致的稳定性管控能力。 轻舟中间件运维稳定性管控产品沉淀了网易内部十余年的运维经验并将其体系化输出，通过巡检规则库、异常事件根因分析引擎等，赋能客户以低成本快速掌握中间件稳定性运维最佳实践。轻舟中间件运维稳定性管控产品为中间件集群提供强大的自动化、智能化稳定性管控能力，帮助运维人员“防患于未然”的集群运维稳定性巡检与预警能力，能够帮助运维人员在故障发生之前感知潜在风险并提前介入处置；异常事件辅助根因能力，能够帮助运维人员在发现异常事件之后在诸多异常指标项中迅速定位造成异常事件的根本原因，从而立即响应，将因故障而造成的损失降到最低。 核心优势 典型场景 稳定性巡检与预警 异常事件根因辅助定位 稳定性巡检能够根据内部多年事故和问题排查经验总结而成完善的巡检规则库，通过定时巡检任务可以实现自动化对中间件集群进行巡检，及时发现并预警运维稳定性上的潜在风险，如容量水位增强趋势风险、业务使用风险以及配置风险等。让用户在稳定性事件发生之前及时感知风险，并提前介入准备应对措施。 异常事件根因辅助分析能够帮助运维人员在发现异常事件之后在诸多异常指标项中迅速定位造成异常事件的根本原因，从而立即响应，执行相应运维操作，从而将因故障事件而造成的损失降到最低。 INTRODUCE 客户案例 安信证券 安信证券是一家全牌照综合类券商，多项业务排名进入全国前列，旗下拥有47家分公司，在27个省级行政区设有373家证券营业部。 价值收益： 降低运维难度 完备高可用方案 提高交付效率 中间件下沉到标准基础设施，统一版本及操作流程，容易实现标准的运维体系 自服务平台可对中间件进行全生命周期的管理，高度自动化，减少了人工操作 通过感知机房及优化调度算法保证跨机房的高可用能力 北京银行 北京银行成立于1996年，是一家新型的股份制商业银行，是中国最大的城市商业银行及北京地区第三大银行。 价值收益： 提升资源利用实现弹性扩缩容，节省资源占用 降低运维难度 缩短开发周期 可视化生命周期管理，简化运维复杂问题 提升应用系统开发效率，大大缩短开发周期 兴业银行 兴业银行成立于1988年，业务涵盖信托、租赁、基金、理财、期货、资产管理、研究咨询、数字金融等在内的现代综合金融服务集团。 价值收益： 降低运维投入 提升交付效率 弹性扩缩容 实现自动部署、自动化运维等功能，减轻维护带来的人力成本 为应用系统建设提供按需使用、灵活伸缩能力 避免在基础技术能力上重复建设、研发效率受限等问题