轻舟中间件产品介绍手册2022 前言客户案例产品简介产品全景核心优势产品种类轻舟分布式缓存中间件Redis轻舟分布式搜索中间件Elasticsearch轻舟分布式消息中间件RocketMQ轻舟分布式协调中间件ZooKeeper轻舟分布式消息中间件Kafka轻舟分布式路由中间件Nginx轻舟中间件运维稳定性管控服务04060805070910目录CONTENT 前言PREFACE网易数帆是网易集团旗下TOB企业服务品牌，定位于领先的数字化转型技术与服务提供商，为客户提供创新、可靠的国产软件基础平台产品及相应技术服务，业务覆盖云原生基础软件、数据智能全链路产品、人工智能算法应用三大领域，旗下拥有轻舟、有数、易智三大产品线，致力于帮助客户搭建无绑定、高兼容、自主可控的创新基础平台架构，快速应对新一代信息技术下实现数字化转型的需求。网易数帆旗下轻舟一站式云原生软件生产力平台，覆盖开发、构建、发布、上线运行、治理和运维等环节，源自网易内部的大规模互联网业务实践，经过金融、制造、物流等行业客户的生产环境验证。01 轻舟中间件是基于云原生强大的编排能力和Kubernetes通用接口，通过自定义Operator实现状态从而构建的云原生PaaS平台，提供基于容器的数据库、缓存、消息、搜索、协调等分布式中间件服务。相比于云主机虚拟化而言，轻舟中间件具有更加强大的性能、更加经济的IT成本、更加轻量的资源管理、更加灵活的调度策略、更加可靠的服务保障、更加迅速的故障自愈能力。轻舟中间件不仅支持多云集中部署与管理、自动化运维、弹性扩缩容、故障自愈等云原生特性，还提供了完善的租户隔离、用户权限管理、操作审计、日志采集、监控告警等企业级增强能力。能够帮助企业构建运维简单、性能卓越、成本节约、安全可靠的云原生中间件PaaS平台，从而帮助企业彻底解决传统IT环境下部署和运维中间件所存在的SLA保障难、运维难、成本高、资源利用率低等一系列问题，进而帮助企业以更经济的IT成本实现业务的敏捷、高效支撑。适用于企业数字化转型、业务中台、工业互联网、集团云、行业云等多种场景。02INTRODUCE产品简介产品全景物理机/裸金属服务器Operator应用市场云原生中间件服务中间件统一管理运维稳定性管控数据面访问服务控制面访问方式容器虚拟机公有云私有云基础设施层中间件服务层接入层Redis可视化生命周期管理稳定性巡检与预警LoadBalancerServiceElasticsearch资源配置变更异常事件因辅助定位API控制台RocketMQ日志查询Pulsar指标/事件告警Kafka在线扩缩容运维稳定性经验引擎NodePortServiceZooKeeper高可用故障自愈集群异常故障自愈Kubectl仓库管理数据备份容灾ActiveMQ多维度监控更多云原生中间件多角色用户权限管理Operator管理细粒度操作审计 轻舟中间件基于云原生时代的事实标准Kubernetes的通用接口打造，帮助中间件平滑、稳定地运行在多种基础设施之上，同时基于KubernetesOperator的高可用调度能力，保障中间件集群具备高可用、故障容忍、弹性扩展等能力。另一方面，轻舟中间件基于开源生态构建，同时融入网易核心技术，并且经过网易内部十余年大规模集群运维场景考验和打磨，为生产环境业务提供了稳定性可靠的中间件服务。轻舟中间件为企业客户提供了一站式中间件集群管理平台，提供主流消息、缓存等中间件服务，支持以统一可视化方式管理集群生命周期，提供了自动化运维能力以及弹性扩缩容能力。一方面，大大降低了技术栈选型开发以及运维等人力成本；另一方面，基于云原生特性实现的弹性扩缩容以及资源混部，大大提升了集群的资源利用率。轻舟中间件提供了强大的运维稳定性管控能力，将网易内部十余年的运维经验体系化输出，赋能客户以低成本快速掌握中间件稳定性运维最佳实践。稳定性巡检能力帮助运维人员“防患于未然”，在故障发生之前感知潜在风险并提前介入处理；异常事件辅助根因能力帮助运维人员在异常事件告警发生的时候，通过运维经验沉淀的根因分析引擎辅助快速定位造成异常告警事件的原因，降低故障带来的损失。轻舟中间件沉淀了网易集团内部十余年大规模中间件集群运维和管理经验，并且经过了诸多内外部真实生产环境大规模、高并发场景下稳定运行的考验，不仅支撑了网易严选、网易云音乐、网易传媒等互联网业务，也在大量金融级客户中验证了产品的成熟度。稳定可靠成熟验证降本增效稳定性管控03INTRODUCE核心优势 PRODUCT数据库缓存满足低时延、高并发访问要求，减轻数据库负载，适用于直播、大促、秒杀等场景排行榜提供有序集合数据结构，实现如游戏积分实时排行榜、电商月度销量排行榜等复杂排行榜应用浏览器实时计数为浏览量、播放量、广告点击量、库存计数提供高性能的实时计数功能04双主机从热备集群故障自愈高可用容灾调度自动化运维Redis轻舟分布式缓存中间件轻舟中间件Redis兼容开源标准Redis协议，支持多可用区高可用、自动化运维、故障自愈、平滑扩展等云原生特性。基于高可靠双机主从热备和可平滑扩展的集群架构，满足高性能场景以及弹性变配的业务需求。产品架构图核心优势核心功能INTRODUCERedisNode 0RedisNode 1RedisNode NPodPodPodPodPodPodRedisNode 0’RedisNode 1’RedisNode 2’APIServerKafkaOperatorPrometheusAlertsManagerExplorerKubernetes Cluster PRODUCT05INTRODUCEZooKeeper轻舟分布式协调中间件轻舟中间件ZooKeeper是基于开源分布式协调组件ZooKeeper研发的高可用的云原生中间件产品，提供了强大的分布式协调能力以及数据一致性解决方案。产品架构图核心功能核心优势高可用容灾调度弹性扩缩容数据节点管理可视化数据备份与恢复服务注册与发现分布式协调提供稳定可靠的 ZooKeeper集群实现服务注册与发现典型的分布式数据一致性解决方案，实现分布式配置管理、系统协调等，例如：HBase、Kafka等Zookeeper ClusterPodPodPodZooKeeperFollower 1ZooKeeperLeaderZooKeeperFollower 2APIServerZooKeeperOperatorAlertsManagerExplorerPrometheusKubernetes Cluster PRODUCT06高可用容灾调度弹性扩容索引生命周期管理可视化数据备份与恢复INTRODUCEElasticsearch轻舟分布式搜索中间件轻舟中间件Elasticsearch是基于开源分布式搜索引擎Elasticsearch研发的一种高性能、高可用的云原生中间件产品，提供了强大的全文检索及数据分析能力。产品架构图核心优势核心功能数据分析及可视化全文搜索日志分析Elasticsearch配合Kibana提供开箱即用的可视化组件和图表模板，简化了数据分析及可视化的难度仅需几毫秒，即可从 PB级数据中找到匹配信息，并支持排序、分组、聚合，满足各种搜索场景需求最易实施和扩展日志记录的解决方案之一，快速对接各种数据源，借助 Kibana的丰富图表高效可视化分析日志Client Node 0Data Node 0Master Follower 1Client Node 1Data Node 1Master LeaderPrometheusAlertsManagerClient Node 2APIServerElastic-searchOpratorData Node 2Master Follower 2KibanaClient NodesData NodesMaster NodesPodPodPodPodPodPodPodPodPodKubernetes ClusterMaster PRODUCT07高可用容灾调度弹性扩缩容多种认证机制支持集群间数据同步INTRODUCEKafka轻舟分布式消息中间件轻舟中间件 Kafka具有容器化、高吞吐量、高扩展性、可容错等特性，能够提供提供安全访问、多可用区部署、机架感知、服务自愈、快速扩缩容、Topic管理、集群数据同步、全方位的状态和性能数据监控等功能。产品架构图核心优势核心功能构建日志分析平台网站活动追踪异步消息通信日志聚合的最佳解决方案，数据采集业务无感知，对接 Hadoop等离线仓库存储、Spark等实时在线分析平台。Web或APP活动跟踪的最佳工具，实现网页浏览、操作等信息的实时处理、监控或离线统计分析等。相比传统消息代理系统，Kafka具有更高的吞吐量、内置分区、冗余、固有容错等能力。ZooKeeperNode 0ZooKeeperNode 1ZooKeeperNode 2KafkaBroker 0KafkaBroker 1KafkaBroker 2ExplorerPrometheusKubernetes ClusterZookeeper ClusterKafka ClusterPodPodPodPodPodPodAPIServerZooKeeperOperatorKafkaOperatorAlertsManager PRODUCT08统一的消息管理丰富的消息类型数据安全高可用调度能力INTRODUCERocketMQ轻舟分布式消息中间件轻舟中间件 RocketMQ是容器化、高吞吐量、高扩展性、可容错的分布式云原生消息中间件，提供安全访问、多可用区、服务自愈、快速扩缩容、全方位的状态和性能数据监控等功能。产品架构图核心优势核心功能分布式事务消息削峰填谷异步解耦即实现上下游解耦，又引入分布式事务，确保数据最终一致性。适用于交易、支付等场景上游系统出现访问流量高峰时，将业务罗逻辑异步化，避免流量冲击下游业务，适用于电商秒杀，抢红包等场景实现上下游系统松耦合设计，下游系统出现异常或宕机不会影响更多系统RocketMQ ConsoleNameServer ClusterBroker ClusterAPIServerRocketMQOperatorAlertsManagerPrometheusExplorerPodPodPodPodPodPodRocketMQ NameServer 0RocketMQ NameServer 1RocketMQ NameServer 2RocketMQ Broker 0 FollowerRocketMQ Broker 0 LeaderRocketMQ Broker 0 FollowerKubernetes Cluster PRODUCT09高可用容灾调度弹性扩缩容路由配置灵活且实时生效访问控制负载均衡反向代理提供多种访问控制方式，可以通过设置IP、网段等黑白名单控制请求路由。提供多种负载均衡算法，可将大量请求进行分布式处理，从而最大程度地提高响应速率和容量利用率。提供非阻塞、高并发支持的反向代理能力，具有配置方式灵活且可以热生效、内存消耗小、网络带宽节省且稳定性高的特点。INTRODUCENginx轻舟分布式路由中间件轻舟中间件 Nginx是基于开源Nginx代理服务方案研发的分布式路由中间件，提供更加成熟、灵活、易用的分布式高可用云原生路由网关服务，具备容器化、高扩展性、可容错、配置变更实时更新等特性。产品架构图核心优势核心功能APIServerAlertsManagerPrometheusPodNginx Nod 0Nginx Nod 1Nginx Nod 2PodPodPodCustom ResourceConfigKafkaOperatorKubernetes Cluster 随着企业业务的不断发展，中间件集群的规模也不断增长，在运维复杂性急剧提升的同时，对于集群稳定性的要求也不断提高，面对这样的情况，传统依靠手动方式以及运维人员主观经验对于中间件集群进行运维、巡检以及故障分析的策略难以应对上述挑战。因此，