PASS无延迟直播应用白皮书

POLYV保利威2021无延迟直播应用发展白皮书2021年6月保利威独家发布 2020-2024年全球实时音视频互动市场规模市汤复合年均增长率将接近46%北美地区贡款了36%的增长46%36%市汤份额增量达到160亿美元2020年，整个市场增长了44.23%160亿44.23%整体市场较为分散，有几个头部玩家会占领市场图1-4全球实时音视频互动市场规模（数据来源：Techavio）但是，5G并不能解决丢包、延时、抖动和终端性能多样性等互联网本身的复杂问题，这些问题在5G时代将对技术提出更高要求。"5G+”产业的落地，离不开实时音视频技术的发展。换言之，5G技术可以在很大程度上赋能产业升级，但实时音视频技术是助力5G改变各个产业的阶梯。1.2.3-无延迟直播为企业业务赋能无延迟直播在助力企业使用直播开展业务、提高用户体验和保障视频安全三个维度上起到重要作用。业务转化赋能：无延迟直播互动体验和线下沟通非常接近，带给用户的体验优于普通直播可以大幅提升用户在直播间的停留时长和互动参与度，减少直播间跳出率，为企业、机构后续营销转化打好基础。用户体验突破：用户可以使用手机、电脑、平板等各种设备随时随地接入直播间，在微信网页中即可实现实时视频通话互动，大大增强用户使用无延迟直播的意愿。视频安全保障：PRTC无延迟直播可结合保利感拥有独家的PIaySafe视频版权保护体系，教育机构可以使用跑马灯、水印、加密算法等技术来杜绝课程盗版，减少侵权造成的损失和人力物力消耗。保利威直播平台统计数据显示，与传统直播相比较，无延迟直播能够将用户在直播间的停留时长提升30%~50%，直播间销售转化率可从10%提升至30%40%，直播间互动用户量翻倍。07POLYV保利威 1.3无延迟直播应用场景无延迟直播带来万人高并发的真互动体验，在教育培训、营销直播、数字会展等场景中大有可为。1.3.1-教育培训直播在线教育常见的大班课中，老师面对的是上万名学生，课程讲解结束后老师一般会出题目让学生练手，比如数学解答题、英语选择题。如果使用传统直播，老师与学生的互动体验会打折扣，比如老师认为已经把题目发给学生，学生实际上还没看到题目，而在老师收题时，学生可能刚看到题目或根本没看到题目，从而导致收题率不高，学生投诉比较多，这是对低延迟刚性的需求。·李唐清溪渔隐图图1-5某教育机构通过保利威无延迟直播，开办国画体验直播课对于家长和学生而言，体验误的感受很大程度上决定是否会报名课程。除了内容的专业度线上体验的流畅感、稳定性、互动性都对上课体验有决定性影响。用户可以在手机、电脑上实现高参与度的互动，让课堂体验再上一层，对提升公开课的转化率非常有帮助。POLYV保利威08 1.3.2-营销直播在营销场景中，秒杀活动、商品拍卖、促销抢购等交易场景对直播的实时反馈要求很高。例如，在低价促销中，主播为了活跃气氛带动更多的用户参与进来，会推出一些低价商品让大家抢购，这一“秒杀”过程对延迟要求非常之高；再比如，主播有时为了活跃直播间气氛，会给观众发放红包，这也是无延迟直播的刚需场景。传统直播的延迟不仅难以满足带货需求，还限制了带货新玩法的出现。据数据显示，低延迟直播对电商直播的成交有明显促进作用，UV转化率提升4%，GMV提升5%，无延退直播能让营销带货更接近线下体验。图1-6师大教育通过保利威无延退直播，开启双十一钜惠专场1.3.3-数字会展在企业家研讨会、行业高峰论坛等场景中，由于人群的特殊性，需要将用户体验做到最佳。无延迟直播可以提升商家在会展中咨询、互动、洽谈、签约等商务活动的效率。企业可以通过直播搭建专业的数字展厅，设置虚拟背景，从而实现和线下展厅几乎一致的品牌展示效果。直播顾问通过无延迟直播，在线接受咨询；用户可在聊天室提问，也可以在直播间“举手”申请连线顾问，与顾问进行面对面的视频直播交流。保利威用直器量动企业端长POLyV图1-7保利威线上虚拟展厅，用户可以发起实时咨询60POLYV保利威 2PART无延迟直播方案 2.1无延迟直播核心技术2.1.1-直播技术协议的演进从直播协议的演进历程来看，主要分为3个阶段：第一阶段是专有协议，最主要的代表是RTMP和RTSP。这些协议需要专门的服务器支持，早期的分发成本较高，同时存在播放器是否支持的问题。因为这些协议出现的时间较早，如RTMP已出现近20年，目前各大厂商对RTMP都有很好的支持。但是由于苹果宣布iOS设备不再支持FIash，所以RTMP目前主要还是用在推流侧。RTMP作为全链路直播协议将逐步淡出舞台。第二阶段是基于HTTP的分片协议进行直播，最主要的代表是苹果推出的HLS和安卓阵营推出的DASH，类似的协议还包括微软的SmoothStreaming和Adobe的HDS。因为这些直播协议底层都是基于HTTP协议，所以适用性更好，设备触达率更高，对CDN的支持也更好。因为采用了分片转码技术，可以较好地适配用户的不同网络状况，能有效地降低播放器的卡顿率，提升画面质量。上述转码技术带来最大的问题就是延迟。因为播放器需要缓存多个分片，导致延迟一般都在5-30秒。需要看到的是，这些技术已经在逐步向低延时方向发展，如苹果最近宣布的LowLatency、HLS以及标准设计推出的基于低延时的LL-CMAF。这些低延时的扩展，根本目的就是为了有效降低时延。以上两个阶段的协议都是基于TCP协议。诞生自上世纪70年代的TCP/IP协议架构是目前互联网的基础协议。由于早期的互联网传输速度慢、容量低、可靠性差。为了保证通信的可靠性，可靠的、面向连接的TCP协议获得了广泛的应用，TCP采取了很严格的握手、校验、重传机制。这一方面保障了客种应用在早期互联网应用正常传输，但另一方面也产生了延时高、传输慢、利用效率低等问题。现在互联网上广泛应用的多媒体协设，例如rtmp、http-fIv、HLSDASH等等，都是基于TCP协议。TCP成就今天的互联网，但同时也制约着现代互联网的发展。现代的互联网，比起上世纪70年代发生了翻天覆地的变化：高速、高容量、低延时、接入点丰富、随处可达。11POLY保制威 图2-1 TCP协议 VS UDP协议为了克服TCP协议带来的问题，越来越多新型的网络应用开始基于无连接的、快速的UDP协议进行改造，架构出新一代的、性能更加优异的、更加符合现代网络环境的传输、会话、表示。应用层协议，第三阶段，以WebRTC为代表的实时音视频技术，正是利用了UDP无连接、快速的优势，重新架构了整个音视频传输体系。UDP不需要和TCP一样在发送数据前进行三次握手建立连接，并且也只是数据报文的“搬运工”，不会对数据报文进行任何拆分和拼接操作，在数据发送效率上高于普通TCP协议。2.1.2-WebRTC的诞生2011年，Google以GIPS公司的专利技术为基础建立了WebRTC开源项目，并向外界公开其源代码：该项目的使命是让开发者能以简单的JaVaScriptAPI和HTML5脚本语言在浏览器中创建功能丰富、高质量的实时通信应用。Google放弃价值不菲的知识产权，意图是令浏览器厂商将该技术直接内嵌到浏览器中，从而将浏览器打造成普适的实时通信平台。这为广大的网络应用开发者深入了解与实时通信相关的音频、视频处理技术提供了平台，也对未来开发新型面向P2P的实时通信网页应用带来积极意义。WebRTC的核心组件包括音视频引擎、传输层协议UDP、媒体协议、数据协议、P2P内网穿透、信令与SDP协商等。音频引擎负责音频采集和传输，具有降噪、回声消除等功能；视频引擎负责网络抖动优化、互联网传输编解码优化；视频编码部分提供视频设备控制、视频编码、加密、图像增强等功能在以WebRTC为底层技术的无延迟互动中，存在着NACK、ARQ、FEC、JitterBuffer等几个关键技术。POLYV保利威12 2.1.3-NACK和ARQ（弱网对抗）在传统TCP协议的网络下，接收方需要对收到的所有数据进行ACK确认（Acknowledge），如果发送方收不到ACK，在超过一定的时间之后，发送方会认为接收方丢包，会触发数据连接的停等和重传。这个过程在超时判断、等待确认等方面都引入了很大的延时。尤其是在现代网络大部分时间畅通，偶尔出现网络波动的情况下，很影响传输效率。与传统的TCP连接不同，现代的RTC技术并不要求接收方对所有消息进行ACK确认，只要求接收方对没有收到（或者是乱序）的数据发送NACK（丢包重传），以触发数据重传。这个机制大大提升了通信效率，也能更及时地对抗网络波动（无需等待超时）。1238网络传输8缓存列表2丢失的数据2图2-2NACK原理图在NACK的基础上，RTC技术在不同的网络环境下，针对不同的情况采取不同的ARQ算法策略，智能控制不同的重传率，能比传统TCPACK策略更有效地应对不同的网络情况，极大地提升通信效率。2. 1.4FEC在某些网络环境下，例如高RTT（Round-TripTime）的网络条件下，WebRTC会使用FEC(ForwardErrorCorrection）算法策略去对抗网络丢包。（以毫秒为单位）。RTT是确定本地网络或较大Internet上连接运行状况的重要指标，并且网络管理员通常使用RTT来诊断网络连接的速度和可靠性。FEC会在每个数据包中附带一些穴余的编码，使得每个数据包并不仅仅承担原始数据的传输职责。由于几余数据的存在，如果网络链路中存在丢包，也能利用这些几余数据进行校验和恢复，不影响正常的传输。13POLYV保利威 信源穴余编码信道噪声信宿纠错图2-3FEC弱测对抗技术,原理图]2.1.5-JitterBuffer在实际应用场景下，网络抖动、设备编解码抖动都是无法完全避免的。WebRTC设计了一套抖动缓冲区（JitterBuffer）的机制来解决这些问题。JitterBuffer机制能处理丢包、乱序、延时到达等情况，平滑的向解码模块输出数据包/顿，是WebRTC实现低延迟和抗弱网的核心模块之一采集编码分包发送网络染解码littorBuffe组顿接收图2-4RTC数据流程图JitterBuffer的核心思想是用时间换空间，以增大端到端的延迟为代价来换取视频通话的流畅性。当网络不稳定时（抖动发生），增加Buffer的长度，多缓存一些数据，以应对将来可能发生的抖动；当网络稳定下来时，减小Buffer的长度，少缓存一些数据，降低视频端到端的延迟，提高实时性。因此JitterBuffer的运行过程是一个根据抖动来动态调整buffer长度的过程。好的JitterBuffer能够在保证尽量不卡的前提下降低端到端的延退，即它能够在延时和卡顿率之间取得较好的平衡。抖动延迟由网络抖动延迟、解码延迟、染延迟构成。其中，解码延迟和染延迟比较稳定，网络抖动延迟是动态变化的。计算网络抖动是Jitterbuffer的核心之一。WebRTC使用卡尔曼滤波估算网络排队延迟和信道速率。卡尔曼滤波是一种预测的算法，根据抖动延迟观测值、前后两顿大小差值、网络噪声、系统误差协方差等计算卡尔受增益系数。一方面用于对数据进行平滑处理，另一方面也反馈到QoS模块，以决定采取不同的拥塞控制和网络重传策略：POLYV保利威14 2.2无延迟直播架构2.2.1-控制面和数据面分离为了解决大容量、低延时、地域广的挑战，无延迟直播的系统架构采取控制面与数据面分离（CUPS-Control and User Plane Soparation）的设计思路数滤再·骨干热提面一边1图2-5无延迟直播系统架构图-CUPS架构上，无延退直播系统将通信容量和时间敏感度都不高的控制系统与数据容量和时间敏感度都比较高的数据系统进行分离，使两者在运行中不会互相影响。在数据面上，通过全球范围内广泛布设的网关（Gateway）节点，解决终端用户就近快速接入的问题。同时，通过建设全球的实时音视频骨干传输网络，在全球核心数据中心建设Relay节点，对实时音视频数进行汇聚和快速穿透，降低网络中转次数、提升传输效率。节点分配首先会采用就近原则、运营商匹配原则和负载均衡原则，为用户选出理论最佳的多个