前 言 云网络（也称作SDN）是实现公有云环境下多租户隔离的关键技术手段，而云网络网关（也称作SDN网关）作为云网络系统的关键转发网元，在云网络系统中扮演着至关重要的角色 （注：在本技术白皮书中，“SDN”和“云网络”是可以相互替换的术语）。本技术白皮书对当前业界主流的云网络网关技术路线进行了较为全面、客观的优劣势分析，并结合对云网络网关相关技术的现状和趋势的研判，提出了将有状态网关和无状态网关解藕并分别采取不同技术路线实现高性能网关的技术思路。该技术思路不仅符合开放网络的理念，同时也顺应极简网络的潮流。目前移动云正携手合作伙伴推动上述技术路线的落地部署。通过该技术白皮书的技术分享，希望在业界形成更广泛的共识，共同推动云网络朝着更加开放的极简网络的方向演进。 编写单位和人员 中国移动: 姚军, 王燕, 徐小虎, 徐硕，俞文俊，谭跃辉，李维亮，徐璐，金鹏程，主要负责技术白皮书整体章节的构思以及第一章、第二章以及4.1章节的编写以及所有章节的修订。 北京邮电大学：潘恬，主要负责第二章的编写 英特尔: 陈志华，主要负责3.1和4.2章节的编写 博通: 张玺，何宗应，王娜，曲延光，主要负责3.2章节的编写 锐捷: 吴航，邹赛虎，章建钦，主要负责4.3章节的编写 新华三：王雪，主要负责4.3章节的编写 目录 第 1 章 云网络网关功能定位及分类 ....................................................................... 1 1.1 无状态网关 ................................................................................................................... 1 1.2 有状态网关 ................................................................................................................... 2 第 2 章 当前云网络网关主要技术路线 .................................................................... 3 2.1 NFV形态网关技术路线 .............................................................................................. 3 2.2 超融合硬件形态云网络网关技术路线 ........................................................................ 7 第 3 章 云网络网关相关技术现状和趋势 .............................................................. 11 3.1 DPU/IPU .................................................................................................................... 11 3.2 新一代可编程网络芯片 ............................................................................................. 14 3.2.1 基于流水线逻辑的可编程 ................................................................................ 15 3.2.2 基于表项资源的可编程 .................................................................................... 18 3.2.3 基于队列调度的可编程 .................................................................................... 20 3.2.4 基于加速引擎的模块化设计 ............................................................................ 21 3.2.5 更加友好的可编程软件 .................................................................................... 22 第 4 章 开放云网络高性能网关技术路线 .............................................................. 26 4.1 有状态网关和无状态网关解藕 ................................................................................. 26 4.2 有状态网关的技术路线 ............................................................................................. 27 4.3 无状态网关的技术路线 ............................................................................................. 30 缩略语列表 ................................................................................................................... 36 开放云网络之高性能网关技术白皮书 1 第 1 章 云网络网关功能定位及分类 云网络（也称作SDN）是实现公有云环境下多租户隔离的关键技术手段，而云网络网关（也称作SDN网关）作为云网络系统的关键网元，在云网络系统中扮演着至关重要的角色，如实现租户流量集中转发控制（比如跨VPC的互访）和复杂业务处理逻辑（比如网络地址翻译即NAT和服务器负载均衡即SLB）。 按照是否需要维护租户流量的会话状态（比如TCP/UDP会话），可以将云网络网关分为无状态网关和有状态网关两类。顾名思义，无状态网关无需维护会话状态，而有状态网关则需维护会话状态。 1.1 无状态网关 无状态网关通常只需要维护路由转发表和静态的地址映射表。VPC网关（以下简称VGW）和互联网网关（以下简称IGW）是典型的无状态网关。VGW主要维护VPC路由信息，IGW除了维护VPC路由之外，通常还需要维护VPC私网地址和公网地址的1:1 NAT映射表和功能用于1:1 NAT功能。IGW的1:1 NAT功能有别于下文中提到的NAT网关的功能，1:1 NAT主要完成VPC地址到公网地址的1:1翻译，1:1 NAT映射条目在租户购买公网IP地址之后就通过 2 SDN集中控制器配置生成并下发到IGW，而不是由途径IGW的TCP/UDP等流量触发创建，因此，IGW的1:1 NAT条目数量取决于IGW所在的云数据中心对外已售卖的EIP地址数量，而与会话数量无关。 1.2 有状态网关 有状态网关除了需要维护少量条目的路由转发表之外，需要动态创建并维护由途径的TCP/UDP等流量触发的会话连接表条目。NAT网关和SLB网关是典型的有状态网关。NAT网关主要完成VPC内主机主动访问互联网所需要的n:1 SNAT功能，即源地址翻译功能，由于某个VPC内的多个VPC私有地址会复用一个关联到NAT网关的公网地址或NAT网关的私网地址（注：该私网地址将在IGW上完成1:1 NAT，将该私网地址转化为公网地址）对外通信，NAT网关需要维护TCP/UDP会话连接状态来实现多种用途，比如保证一个内部主机主动发起的任意一个TCP/UDP会话的所有数据包在经过NAT网关时，源地址和源端口翻译之后的源地址和源端口始终保持不变。SLB网关主要完成四层负载均衡能力，不论是采用Full NAT模式，DR模式还是DSR模式，SLB网关都需要跟踪维护会话连接状态信息，以保证同一TCP/UDP会话的流量始终被负载分担到服务器集群中某个固定的真实服务器Real Server或L7负载均衡服务器（比如Ngnix服务器）。 此外，VPN网关也属于有状态网关，因为其需要与对端VPN设备（如VPN客户端）建立和维护IPsec或SSL会话连接。 开放云网络之高性能网关技术白皮书 3 第 2 章 当前云网络网关主要技术路线 针对上述提到的云网络网关（包括有状态网关和无状态网关）的技术实现路线，不同云厂商采用的技术路线往往不尽相同，比如，有的完全采用NFV方式实现有状态网关和无状态网关，有的则采用超融合硬件设备来实现有状态网关和无状态网关，有的则采用NFV方式实现有状态网关而采用可编程硬件设备实现无状态网关。 2.1 NFV形态网关技术路线 云网络发展早期主要使用厂商硬件设备方案支撑相关网关业务发展，但随着云网络业务的快速发展，上述方案暴露出的问题越来越明显，比如设备的采购成本和维护成本高昂，设备的规格和特性无法快速升级迭代，已经严重制约了云网络的快速和可持续发展。由此，云网络网关开始往NFV网关技术方向演进，相关技术经过多年的发展，目前已经经过了三轮迭代演进，分别是NFV 1.0、NFV2.0和NFV3.0。 4 图 2-1 NFV 1.0方案 基于Linux内核的NFV1.0方案，如图2-1所示。在Linux内核中，基于网络子系统的Netfilter模块，开源组织开发出了用于负载均衡的LVS和用于防火墙、NAT的Iptables。云厂商将这部分功能进行整理和自定义，完成了NFV 1.0的方案。该方案基于开源系统，可以在有新需求的时候进行快速开发迭代，并且该方案运行在x86服务器上，当设备性能和容量不够时可以方便快速地扩容x86服务器集群。NFV1.0方案很好地满足了云网络业务快速开发迭代、快速扩容的需求，但是受限于Linux内核相对复杂冗长的报文处理逻辑，单个NFV网元设备的性能始终无法达到较高水平。 开放云网络之高性能网关技术白皮书 5 图 2-2 NFV 2.0方案 随着DPDK（Data Plane Development Kit，数据平面开发套件）技术的出现和不断成熟，业界开始使用DPDK技术开发用户态的网关系统，由此从NFV 1.0进入到NFV 2.0阶段。在如图2-2所示的NFV 2.0方案下，通过内核旁路、核隔离、独占网卡、内存巨页、网卡多队列和DPDK用户态协议栈等一系列优化技术的使用，单个NFV网元的性能得到了大幅提升，已经可以达到10/25G网卡线速转发能力, 相比内核态网关，大约有10倍以上的提升。 6 图 2-3 NFV 3.0方案 虽然在NFV 2.0阶段解决了性能问题，但随着云网络的进一步发展，弹性能力不足、开放性不够等新的问题又开始凸显出来。为进一步解决弹性扩容、支撑第三方网元等问题，业界开始了NFV 3.0的演进。NFV 3.0方案如图2-3所示。在NFV 3.0方案中NFV网元不再部署在物理服务器上，而是使用通用云主机（即虚拟机），这样网元便拥有了普通云主机的极致灵活性，具有极强的弹性伸缩能力，也不再需要适配新的网卡硬件。网元开始被统一的NFV平台纳管调度，这就使得其开放性大幅提高，云上用