2023音视频体验白皮书

目录 摘要03 背景04 音视频体验评估指标体系08 音视频体验评估模型13 评估模型典型值23 音视频体验优化案例27 问题与展望31 附录32 摘要 以抖音为代表的新一代现象级应用的兴起，不仅推动了短视频这一赛道的全面爆发，更培养了用户通过视频表达自我和获取知识的习惯。在视频类应用盛行的背景下，用户对于播放体验的需求与日俱增，他们泻望超高清强交互、更加沉漫式的体验。如果无法满足用户的这些需求，应用的播放时长、留存拉新和业务创新将受到直接影响。然而，尽管用户对音视频体验的需求与日俱增，业界却尚未建立完善的音视频体验评估体系，难以准确定位影响播放体验的关键因素。 为解决上述问题，本白皮书基于亿级日活跃用户的真实反馈数据和大规模实践经验，提出一套行之有效的音视频体验评估指标和模型，分享火山引擎视频云在音视频体验优化上的典型策路应用和案例，旨在助力企业优化用户体验，从而促进业务增长。 本白皮书的受众涵盖以下人群： 已经或计划布局视频业务且关注用户体验和增长的泛互联网企业运营、技术、研发、产品等相关人士。正在探索视频技术与行业场景融合且关注用户体验和业务创新的传统企业运营、技术、研发、产品等相关人士。 白皮书编委： 王飞，吴佳敏，成彦儒，程镇，旷喻玉，李嘉，李小孟，刘浩，曾寅，赵瑜婉，林股颖，朱木，顾思懿，石秀娟 第一章 背景 1.1技术成熟培养视频消费习惯1.2视频化趋势重塑互联网体验1.3晋音视频体验优化助力业务增长 1 背景 1.1技术成熟培养视频消费习惯 近年来，随着底层基础设施和关键技术的不断成熟，视频类应用的消费时长占移动互联网应用的比例呈现上升态势。相比单纯的文字、图片或音频，视频以更加直观的方式聚合多维度的信息，能够带来更强的交互性和更为沉漫的体验。社交、资讯、电商、音乐等各类应用部开始将视频类功能视为增强用户粘性的重要手段。据艾瑞咨询研究院的报告显示，2022年中国T0p100应用中，搭载视频类功能（包括点播、直播和实时音视频三类）的应用比例高达69%。视频类应用的消费时长占移动互联网应用的比例也呈现上升态势。 1.2视频化趋势重塑互联网体验 从行业来右，视频类应用开始加速渗透到企业的日常经营活动中。全面视频化趋势正在重塑空间体验、知识传递、直播电商、商业连接等领域的体验： 沉浸式视频正在重塑空间体验，预计2027年AR和VR市场的复合增长率将达到32.6% ·素质教育、职业教育和教育数字基建等领域正在快速增长，推动了知识传递方式的突破。 ，中国的云视频会议市场在2021年的37亿的基础上持续增长，到2022年已达到42亿。 1.3音视频体验优化助力业务增长 在营销方式、信息传播、商业连接和知识传递等业务模式全面转向视频化的趋势下，互联网用户对音视频体验不断提出更高要求，主要体现在以下几个方面： 超高清化：超高清化主要体现在视频分辨率的提升。移动端视频应用逐渐支持更高分辨率（如2K、4K甚至更高）的内容源，尤其是移动端平台支持180*、360°全景视频和自由视角视频的播放，用户对于在手机上观看高于1080D分辨率的内容源有了强烈需求。 沉浸感：视频的沉浸感是与平面视频相比最显著的变化。传统平面视频观看通常只提供有限的固定视角，而空间化视频（如180°、360°全景视频、自由视角视频）可以让用户通过手机移动端的滑屏和陀螺仪操作选择所需的视角进行观看。 交互化：视频的交互化可从两个方面进行考虑。一方面是用户与视频内容的交互，即通过空间化规频的发展实现用户与视频内容的交互。另一方面是用户与用户之间的交互，例如“一起看”和短视频内容社交。这些交互化的方式以视频内容为媒介，打破用户之间的社交障碍，提升视频观看的趣味性，进一步提升用户的观看体验。 火山引擎视频云一直致力于优化音视频体验，并积累了大量关于用户体验指标和业务指标之间关联的数据。图3展示了2022-2023年火山引擎视频云体验优化项目在短视频、直播、秀场直播和直播电商场景中取得的成果， 以上数据表明，在不同场景下的优化措施均取得显著的成效，用户的音视频体验直接影响着应用的用户留存和业务增长。然而，在衡量音视频体验需求与业务增长之间的关系时，通常面临以下两大挑战： 挑战一：用户音视频体验的差异导致了业务增长的差异，如何准确衡量音视频体验成为一个关键问题。 挑战二：体验与成本存在一定的矛盾关系，如何在有限的资源条件下将用户体验最大化、取得两者间的最佳平衡则是另一个关键挑战。 第二章 音视频体验评估指标体系 2.1音画质指标2.2流畅度指标 2音视频体验评估指标体系 为帮助厂商准确衡评估音视频体验，火山引擎视频云基于亿级日活跃用户的真实反馈数据、播放器日志数据、多媒体实验室采集数据等，构建了一个标准透明、度量准确、归因全面、验证可靠的OOS指标体系。如图4所示，音画质指标和流畅度指标共同组成了音视频体验指标体系。 2.1音画质指标 下表列出音视频体验指标体系中的音画质指标及其英文全称、缩写和解释： 2.2流畅度指标 下表列出音视频体验指标体系中的流畅度指标及其英文全称、缩写和解释： 下表列出对流畅度指标产生影响的参数。 第三章 音视频体验评估模型 3.1总体模型综述3.2！典型得分曲线3.3体验评估模型 3音视频体验评估模型 3.1总体模型综述 音视频体验综合评估模型（MPEl,MultimediaPlaybackExperienceIndex）为 具体来说，MPEI为两个子体验模块（沉漫体验质量QImE、观看体验质量QPE）的函数关系。MPEI适用场景广泛，涵盖不同业务类型（如纯音频、短视频、中视频、长视频），且具备扩展到新型业务场景的能力。 如公式（2）所示，MPEI的取值范围在[0，100]。MPEI低于60分说明业务当前的音视频体验对客户流失影响严重；MPEI高于60分说明音视频体验达标；MPEI高于80分说明音视频体验优秀。 3.2典型得分曲线 以下典型得分曲线适用于音视频体验评估模型： 典型线1：J型极致优化曲线 典型招标解读：J型招损的优化可以持换产生量善的用户泌验改益典型指标：百秒音通不同步时长 典型线2：S型拐点优化曲线 典型期标解读：对于S空新标，随着验标的优化，在我近新标典登值后，后续优化对用户体典型脂标：起插着恢耗时验的增益退新减少 典型线3:D型离散优化线 fo=ifx= Acc.seekα,ifx=Inacc.seek 典型指标解读：D登报标代表离胶指标对用户体多的影典型霜标：是否开启精Seek功能 3.3体验评估模型 沉浸体验质量 沉浸体验质量QIME的评估模型为： QImE =min (Qp,Qv),场景E（短视题，中视频，长视频】QA;场景=音频 具体来说，QIME的评估模型为三个子模块（码流质量QP、画面质量Qv、音频质量QA）的函数关系。 以下公式和表格展示了分别对Qp、Qv、QA产生影响的指标以及其对应的得分曲线。 Qp = fi( VBR,VFR )(4)Q= f2(VQSC,PSNR,SSIM,VMAF,COT,BTN,SAT,VSNR )(5)Qa = fs( ASR,ABR )(6) 码流质量 码流质量QP从技术参数角度分析了音视频码流的优劣。QP考虑了视频码率VBR和视频顿率VFR的影响，其评估模型为： V1_5,if VFR[60, o )VFRI =Vu6,if VFR E[24, 60V.if VFR c[10, 24]Vue, iif VFR[0, 24] 上述公式中，V1_1-V1_8为模型参数，具体取值如下： 码流质量Qp具有以下特性： 在特定顺率下，随着码率的增加，QP呈现递增趋势，但增长逐渐放缓。在特定码率下，随着率的增加，Qp也呈现递增趋势，但增长逐渐放缓。 画面质量 画面质量Qv表达了点播视频的视觉感受。Qv考虑了清晰度质量分VQSC、有参画质指标（如图像峰值信噪比PSNR、图像结构相似性SSIM、视频多方法评估融合VMAF）以及其他基础画面指标（如饱和度SAT、爆光BTN）的影响，其评估模型为： 上述公式中，V2_1-V2_11为模型参数，具体取值如下： 画面质量Qv2公式的特性为：随着清晰度质量分的增加，Qv呈现递增趋势，但增长遂渐放缓。 音频质量 音频质量QA考虑了音频码率ABR、音频采样率ASR的影响，其评估模型为： 上述公式中，v3_1-V3_8为模型参数，具体取值如下： 音频质量QA的公式具有以下特性： 在特定率下，随着码率的增加，QA呈现递增趋势，但增长逐渐放缓。 在特定码率下，随着赖率的增加，QA也呈现递增趋势，但增长逐渐放缓。 观看体验质量 观看体验质量QPE的评估模型为： 具体来说，（QPE的评估模型为三个子模块（观看体验流畅性QC、观看体验完整性QI、交互体验质量QInE）的函数关系。 以下公式和表格展示了分别对Qc、QI、QinE产生影响的指标以及其对应的得分曲线。 QinE= fe( ASST,ASE )(16) 观看体验流畅性 观看体验流畅性Qc主要考虑了音视频起播速度、卡频情况、音画不同步等现象的影响，其评估模型为： AVOSRI=『 1,where AVOSR=1or音频V4_6, where AVOSR = 0 上述公式中，V4_1-V4_18为模型参数，具体取值如下页： 观看体验完整性 观看体验完整性（Q：主要考虑了视频未起播（包含用户主动或客观未起播）、有声无画、有画无声等异常场景，其评估模型为： LWPRI=[1,where LWPR = 1Vs_1,where LWPR = 0(21) AWVRI =[ 1,where AWVR = 1Vs_2, where AWVR = 0(22) 上述公式中，v5_1-V5_5为模型参数：具体取值如下： 交互体验质量 交互体验质量QInE主要考虑了用户拖携进度条操作的体验，其评估模型为： 上述公式中，v6_11－V6_8为模型参数，具体取值如下： 交互体验质量QInE公式的特性为：针对不同的点播Seek模式给出了不同的计算标准，反馈了Seek精准与否带来的体验变化。 第四章 评估模型典型值 4.1起播首顿耗时对MPEI的影响4.2播放失败率对MPEI的影响4.3播放卡顿率对MPEI的影响4.4首顿未起播率对MPEI的影响4.5核心指标典型值 4评估模型典型值 优化关键指标如首顿起播耗时和卡顿率可以提升播放体验。然而，由于人类的生理感知和操作能力有限，当这些指标达到特定值后，进一步优化对体验的影响变得微乎其微。因此，目标是将这些指标优化至这一特定值，即指标的典型值。 在建立音视频体验评估模型之前，传统的数据分析方法是利用长期积累的线上业务数据进行统计和归纳，以得出当前业务指标的典型值。尽管这种方法在精密分析的基础上较为准确，但它需要大量人力和计算资源，并且无法适应不同产品和业务的复杂场景。 火山引擎视频云MPEI评估模型可以帮助企业快速对各个业务场景和阶段进行分析，得出当前业务指标的典型值，进而制定当前阶段的优化策略和目标。基于此，对不同赛道的客个应用进行了模型分析，选取代表指标计算出发展曲线和典型值。 4.1起播首顿耗时对MPEI的影响 右图8展示了短视频、中视频、长视频场景中起播首顺耗时对MPEI的影响 : 短视频场景中，起播首赖耗时高于400毫秒时MPEI得分保持较低；起播首顿耗时低于400毫秒时，MPEI先逐渐增加，然后趋于平缓。 中视频和长视频场景中，随着起播首顿耗时的降低，MPEI先逐渐增加；起播首顿耗时超过某值后，MPEI趋于平缓。 4.2播放失败率对MPEI的影响 右图9展示了短视频、中视频、长视频场景中播放失败率对MPEI的影响：长视频场景中，随着播放失败率的增加，MPEI缓慢降低。 中视频和短视频场景中，随着播放失败率的增加，MPEI显著降低。 4.3播放卡