2024年移动场景扩展现实超高清技术白皮书

TechnicalWhitePaperonUHDExtendedRealityinMobileScenarios U H DW o r l d A s s o c i a t i o n 前言 本文件由UWA联盟虚拟现实工作组组织制订，并负责解释。 本文件发布日期：2024年12月31日。本文件由世界超高清视频产业联盟提出并归口。本文件归属世界超高清视频产业联盟。任何单位与个人未经联盟书面允许，不得以任何形式转售、复制、修改、抄袭、传播全部或部分内容。 本文件主要起草单位： 中央广播电视总台、华为技术有限公司、咪咕文化科技有限公司、深圳创维数字技术有限公司、北京字节跳动网络技术有限公司、中国电子技术标准化研究院、中国信息通信研究院、杭州微帧信息科技有限公司 本文件主要起草人： 李岩、张钰、郎凤岐、周子丰、赵海龙、朱家悦、杨友庆、毕蕾、陈文斌、陈春明、张月川、胡超、耿一丹、徐遥令、翟云、陈曦、汪立民 免责说明： 1，本文件免费使用，仅供参考，不对使用本文件的产品负责。2，本文件刷新后上传联盟官网，不另行通知。 目录 1.移动场景扩展现实超高清技术概述.....................................................................................................................1 2.1内容生产.............................................................................................................................................................22.2内容编码.............................................................................................................................................................62.3内容传输.............................................................................................................................................................82.4内容播放.............................................................................................................................................................9 3.1消费者场景.......................................................................................................................................................113.1企业场景...........................................................................................................................................................15 4.移动场景扩展现实面临的挑战...........................................................................................................................20 4.1沉浸式体验......................................................................................................................................................204.2丰富的内容......................................................................................................................................................224.3便携和续航......................................................................................................................................................22 5.1关键技术标准化及发展方向..........................................................................................................................235.2产业政策建议...................................................................................................................................................25 1.移动场景扩展现实超高清技术概述 移动场景扩展现实超高清技术是指在移动蜂窝网络下使用扩展现实设备（XR）的超高清技术，XR涵盖了虚拟现实（VR）、增强现实（AR）和混合现实（MR）等多种形式、应用场景包含个人消费者场景及企业用户场景。 5G自2019年正式商用以来，截至2023年全球已拥有超过15亿用户，提供了远高于4G的用户体验，5G技术同时也在推动制造业、能源、公共事业、医疗保健、媒体和娱乐等行业的转型，成为迄今为止增长最快的移动技术。截至2024年上半年中国累计建设近375万个5G基站，基本完成全国覆盖。2024年5G-A的第一个标准版本3GPPRel-18正式冻结，标志着5G-A进入商用元年，全球领先的13大运营商联合宣布成为5G-A网络先锋，中国移动更是率先在杭州启动了世界上第一个商业5G-A网络，并计划在年底前扩展到全国300多个城市，标志着5G-A从技术验证步入商用部署阶段。 国际市场在2024年上市了其首款混合现实（MR）头显设备，该设备主打超高清观影体验。采用MicroOLED屏幕，单眼分辨率达到4K以上，并且支持8K超高解析度，为用户提供了出色的图像质量，它还集成了流媒体服务，支持高质量的8K内容播放，为用户带来沉浸式的观影体验，让观看超高清电影真正走向了移动场景。与此同时，整个产业链都在积极跟进，高通发布了支持单目4K，双目8K的芯片，国内创维、玩出梦想等终端厂家也发布了双目8KMR样机，咪咕上线咪咕视频-Vision等软硬件产品。 5G/5G-A快速的发展为移动场景下的超高清视频提供了强大的网络支持，扩展现实超高清视频技术则在显示和音频方面带来了革命性的体验，共同推动了移动场景下超高清视频的发展，为超高清技术发展提供了新的发展方向。 2.移动场景扩展现实超高清关键技术 随着5G/5G-A持续演进和创新，将提供更高的带宽、更低的时延，移动网络下扩展现实设备观看超高清视频将进入快车道，对超高清内容生产、编码、传输、播放等整个端到端的技术都带来新的挑战。超高清视频包含MPEG、MV-HEVC等多种格式，包含双目3D视频、全景视频、体积视频等多种形态，本白皮书将基于近期发展快且已经有商用高码率8K视频发布的MV-HEVC格式双目3D视频进行介绍。 2.1内容生产 移动网络场景下的超高清技术相对传统平面超高清技术为用户提供了更加丰富和沉浸的观看体验，这不仅需要更高的分辨率和帧率，同时还要考虑全景拍摄、3D效果、用户交互和多视角切换等问题，通常需要专门的软硬件来支持，随着空扩展现实类产品的发布，空间视频和空间音频开始受到广泛关注。 1、空间视频的定义：左、右眼分别传送不同的视图，会带来更丰富的用户体验，向用户的左眼呈现一幅图像，同时右眼呈现另一幅相关的图像，以产生立体视觉效果，大脑同时接收来自两只眼睛的视觉刺激而产生的深度感知，空间视频能够存储除视频本身的额外深度信息。 2、空间视频关键技术及产品演进：为提升空间视频体验，目前在技术上可以提供XR平台类工具套件，为开发者提供激光测量（LiDAR）场景重建、人体运动捕捉跟踪、垂直和水平平面检测、图像检测、3D对象检测、3D对象扫描、4KHDR视频捕捉等底层技术，利用MV-HEVC（MultiviewHighEfficiencyVideoCoding）的视频编码可显著提升3D视频观看体验。用户还可以对某一真实物体进行扫描建模，并通过对象追踪功能（ObjectTracking）实时精准定位物体位置。部分产品在功能上可以通过对象捕捉（ObjectCapture）进行3D模型创建，实现空间视频录制。使用更新的空间音频功能，可根据个人的身体生理结构定制出不同的空间音频效果。 3、非专业的空间视频制作流程：随着科技的发展，日常空间视频制作已经开始逐渐普及并且操作更加简单。一些产品可以基于人类的双目立体视觉原理，通过手机主摄像头与超广角摄像头模仿人眼采集具有一定水平视差的双目画面，生成MV-HEVC编码视频。空间视频拍摄方式和常规二维视频拍摄方式类似，用户打开手机相机APP，选择视频模式并横置，点击空间视频图标符号，点击录制按钮即可拍摄空间视频。 4、专业的空间视频制作过程： 1）URSACineImmersive（单个镜头8160x7200分辨率、90fps、16档动态范围），该设备拍摄视频文件格式为BlackmagicRAW，其存储了相机元数据、镜头数据、白平衡、数字板信息和自定义LUT，以确保拍摄现场和后期制作过程中图像的一致性。视频文件可实时同步到BlackmagicCloud和DaVinciResolve。作为专业视频编辑软件，DaVinciResolve的沉浸式视频查看器允许编辑者在2D监视器或VisionPro上平移、倾斜和翻滚剪辑，以获得更加沉浸式的编辑体验。 2）NXImmersiveDesigner：该技术将产品工程解决方案与XR技术相结合，提供沉浸式设计和协作，让创作者在完全沉浸式的环境中更直观地进行创作，让其在虚拟世界和现实世界之间自由移动，与世界各地的同事进 行实时的协调合作。 5、空间视频呈现及交互：目前各厂商已陆续推出各类沉浸式视频短片。相比传统电影的视野范围（40°-60°），这种沉浸式视频可以提供180°视角的8K画面，同时配合耳机的空间音频功能，整个观看体验更加身临其境。结合佩戴设备上8K分辨率显示器和高效眼追踪系统，将MV-HEVC编码视频分别呈现给人的左眼和右眼，最终产生具有空间立体感的3D画面，同时通过交互功能，用户与空间视频画面进行实时互动。当前咪咕视频、腾讯视频等多个内容制造商开始出品此类节目，多赛多屏同看（咪咕视频-Vision）、王者荣耀沙盘（腾讯视频-Vision）等交互场景已开始应用。 6、空间视频生产设备发展情况：目前，iPhone15Pro及以上型号、VisionPro、QuestPro、Quest3、PICO4Ultr