5G高新视频—VR视频技术白皮书（2020）总结
1. 概述
5G高新视频是指5G环境下具有“更高技术格式、更新应用场景、更美视听体验”的视频，其中VR视频作为重要组成部分，是指全景视频，如水平360°×垂直360°全景视频、水平180°×垂直180°全景视频等。用户可借助VR眼镜等虚拟现实设备观看全景视频，并获得身临其境的视觉感受。本白皮书主要讨论3DoFVR视频，6DoFVR视频是未来发展方向。
2. VR视频关键技术
VR视频端到端系统包括VR视频源、VR视频编码、VR视频传输和VR视频终端接收和显示4个部分。关键技术包括：
- 视频参数：映射后图像有效像素数至少为7680×3840（8K×4K），比特深度至少为10bit。
- 拍摄制作：包括VR视频拍摄、计算机图形学制作、实拍抠像结合CG制作等方法。
- 拼接算法：常用算法包括AutoStitch、APAP、ANAP、GSP、Seam-Driven、Parallax-Tolerance等。
- 映射及压缩编码：常用映射模型包括等距圆柱映射（ERP）、正六面体映射（CMP）、等角方块映射（EAC）、正八面体映射（OHP）、正二十面体映射（ISP）、分区域球体映射（SSP）、截体金字塔（TSP）等。压缩编码可采用H.264、H.265、AVS2等。
- 传输：VR视频传输主要有两种技术路线：全视角传输方案和基于FOV的传输方案。8K/50P的视频，采用H.265或AVS2编码，码率需80～100Mbps。未来30KVR视频预计需要800～1000Mbps码率。
- 终端渲染显示：VR视频以流媒体形式经网络传输到达用户终端侧，或者VR视频以文件形式存储在终端侧，终端对VR视频进行解码、渲染和显示。终端显示屏的最高分辨率可达到4K，按照人眼视域124°和60PPD计算，终端显示屏要达到16K才能实现理想的显示效果。
- 感知交互：用户佩戴HDM或VR眼镜观看VR视频时，用户头部姿态的变化，如偏转、俯仰和滚动，可以被HDM和VR眼镜中的陀螺仪等装置捕获到，VR视频系统根据这些捕获的姿态参数，渲染显示用户当前应看到的画面。用户与VR视频系统的交互属于弱交互或强交互。
- 6DoF：6DoF是指用户可以在物理空间内任何位置、任何方向自由地观看节目素材。拍摄方法包括摄像机拍摄和CG仿真制作。编解码采用多视角多深度图方案，在内容端采集多视点信息，并基于多视点信息估计出场景的深度信息，编码端将多视点和多深度信息拼接成超高清平面视频，采用新一代AVS3等标准高效编码。
3. VR视频国内外技术标准
- 国外标准：ITU、MPEG、DVB、SMPTES、3GPP、JPEG、IEEE等组织都在VR领域进行技术研究和相关标准制定工作。
- 国内标准：AVSVR标准定义了VR视频映射模型和基于VR视频映射模型的VR视频重建过程，支持常用VR视频表示模型，兼容AVS3/AVS2/AVS+/H.265/H.264等传统平面视频编码标准。
4. VR视频在广播电视及新媒体领域中的应用
- 国外应用：日本NHK、韩国、美国NBC、ABC、欧洲BBC、Facebook、谷歌、NYTVR、HubbloVR、NextVR等。
- 国内应用：中央广播电视总台、大连天途、新疆天山云VR、深圳天威、爱奇艺VR、优酷VR、UtoVR、Insta360、腾讯VR等。
5. VR视频端到端解决方案
- 系统架构：包括VR视频制播平台、VR视频业务平台、传输网络、VR视频终端。
- 拍摄制作域解决方案：包括直播场景、录播和点播场景两种工艺流程。
- 业务平台方案：包括VR视频直播/点播平台，提供VR视频直播、VR视频点播等服务。
- 网络传输方案：包括基于有线电视网络/IPTV的VR视频传输方案和基于5G网络的VR视频传输方案。
- VR视频终端：包括Wi-Fi模块、解码、视频帧处理、播放操作控制和显示处理等模块。
6. VR视频应用的挑战与前景
- 节目制作域：拍摄指导、映射、制作流程和创作工具等。
- 传输分发域：高传输码率、VR分发格式等。
- 终端消费域：眩晕感、HMD的重量、外观设计等。
- 发展前景：5G为VR视频的发展提供了强有力的支撑，VR视频将在广播电视、新闻、旅游、游戏、电影、科研、教育、医疗等领域得到广泛应用，VR技术与AR技术融合发展也是未来的发展趋势之一。
