沉浸式视频技术白皮书（2020）
概述
沉浸式视频是指采用裸眼观看方式获得身临其境感受，呈现画面覆盖人眼至少120°（水平）×70°（垂直）视场角的视频系统及具备三维声的音频系统。其核心要素包括画面包围感、画质和沉浸式声音。
画面包围感
沉浸式视频通过球幕、环幕、沉浸屋CAVE等异形显示空间实现画面包围感，使观众同时获得周围多方位的视听信息。
画质
沉浸式视频追求高质量画面，关键指标包括：
- 分辨率：推荐4K/8K，需根据水平视场角和视敏角确定最低分辨率。
- 动态范围：推荐HDR技术，提升画面对比度，但投影内弧形球幕终端不适用。
- 色域：推荐ITU-RBT.2020，条件暂不具备的可放宽至DCI-P3。
- 帧率：最低每秒50/60帧，未来需要达到每秒100/120帧。
- 色深：推荐12bit，最低10bit。
沉浸式声音
沉浸式视频通过三维声技术实现沉浸式声音，主要分为：
- 基于声道的技术：如5.1.4，增加顶部声道，但对扬声器布局依赖性强。
- 基于对象的技术：如杜比全景声、DTS-X，不受扬声器布局限制，是目前主流技术。
- 基于场景的技术：如MPEG-H，通过记录三维空间中声压重现声音，适用于VR和游戏。
沉浸式视频关键技术
沉浸式视频涉及关键技术包括：
- 全景视频拍摄技术：多机组合拍摄、全景相机拍摄。
- 视频图像缝合技术：模板缝合、光流缝合。
- 三维图像映射技术：鱼眼映射、等距圆柱映射、正六面体映射、等角方块映射。
- 计算机图像制作技术：采用3DsMAX、MAYA等软件进行三维建模和渲染。
- 三维声技术：基于声道、基于对象、基于场景。
- 编码及传输技术：H.264、H.265、AVS等编码标准，有线电视、5G无线网、互联网等传输方式。
- 媒体播控技术：视频解码播放、投影拼接融合、自动校准技术、透视校正技术、环境特效控制。
- 投影呈现技术：投影几何校正技术、异形边沿融合技术、球面投影亮度均一化技术。
- LED屏呈现技术：异形无缝拼接技术、透声及吸声技术、图像球形矢量变换技术。
沉浸式视频端到端解决方案
沉浸式视频业务主要分为直播和点播两种场景，分别对应不同的工艺制作流程。
直播工艺流程
拍摄、实时拼接、实时编转码、直播传输分发和终端播放。
点播工艺流程
后期制作、编转码点播管理、传输分发和终端播放。
沉浸式视频的应用场景
沉浸式视频应用场景丰富，包括：
- 重大活动应用：如国庆阅兵VR直播。
- 游艺场馆应用：如飞行影院。
- 展陈场馆应用：如感官式体验馆。
- 教育培训应用：如空中客车A320模拟驾驶项目。
- 家庭终端应用：如FulldomePro沉浸式家庭影院终端。
- 虚拟拍摄应用：如XR虚拟拍摄系统。
沉浸式视频应用的挑战与前景
存在的问题
- 内容制作域：内容储备少，高质量内容欠缺，缺乏版权保护机制，制作流程和三维声技术支持滞后。
- 传输分发域：点播录播传输链条未建立，8K传输应用较少，直播时延较长，节目加密问题亟待解决。
- 终端显示域：终端媒体播放服务器不支持流式信号内容接收，投影融合及内弧形银幕对比度不高，LED内弧屏存在声聚焦和音箱透声问题，家庭场景解决方案还在探讨中，传输分发平台未建立。
发展前景展望
5G环境下，沉浸式视频将走向大众，成为视频观看体验的新模式，应用场景将扩展到文旅、文博、文娱、文创等领域。
