2022年全息通信技术白皮书

全息通信技术白皮书（2022年）中国移动通信集团有限公司 前言随着当前移动网络的带宽和时延等关键性能的进一步提高以及未来6G网络的前景越来越明朗，可以依托于高性能网络的业务研究也进入了一个新的阶段。全息通信以其无以伦比的高真实性和沉浸感以及应用于元宇宙的前景成为其中一个被广泛关注的领域。白皮书介绍了全息技术的概念和发展历程，梳理了全息通信的应用场景，对全息通信技术链条中的内容采集、算法处理、网络传输、渲染和显示等各重要技术环节进行了分析研究。结合当前全息通信产业现状，分析了相关的技术案例，并展望了全息通信技术的发展前景。本白皮书的版权归中国移动所有，未经授权，任何单位或个人不得复制或拷贝本文之部分或全部内容。 中国移动全息通信技术白皮书（2022）1目录1.全息技术概述..............................................................21.1全息概念...............................................................21.2发展历程...............................................................22.全息技术在通信中的应用....................................................32.1一对多场景：全息演讲或教学.............................................32.2一对一场景：私人交流...................................................42.3多对多场景：会议.......................................................53.全息通信关键技术..........................................................63.1内容采集...............................................................63.1.1彩色相机...........................................................63.1.2深度相机+彩色相机阵列..............................................63.2算法处理...............................................................73.2.1非三维重建.........................................................83.2.2传统三维重建算法...................................................83.2.3基于深度学习的三维重建............................................123.3传输..................................................................133.3.1高带宽............................................................143.3.2低时延............................................................143.3.3强安全............................................................143.3.4大算力............................................................153.4渲染技术..............................................................153.4.1多视图立体渲染技术................................................153.4.2超多视点的虚拟立体内容渲染技术....................................163.4.3多平面图像渲染技术................................................193.5显示技术..............................................................203.5.1穿戴式设备........................................................203.5.2裸眼3D显示设备...................................................214.全息通信技术案例.........................................................224.1微软（MICROSOFT）.......................................................234.2谷歌（GOOGLE）.........................................................234.3螳螂慧视（MANTISVISION）...............................................235.总结和展望...............................................................246.编写单位和作者...........................................................25缩略语列表..................................................................26参考文献....................................................................27 中国移动全息通信技术白皮书（2022）21.全息技术概述1.1全息概念“全息”（Holography）即“全部信息”，这一概念是在1947年由英国匈牙利裔物理学家丹尼斯·盖伯首次提出，他也因此获得了1971年的诺贝尔物理学奖。全息技术是一种利用干涉和衍射原理来记录物体的反射，透射光波中的振幅相位信息进而再现物体真实三维图像的技术。它与物理学、计算机科学、电子通信及人机交互等学科领域有着密切的联系。1.2发展历程自1947年由丹尼斯·盖伯发明了全息术，全息技术总共经历了三个大的阶段，分别是：传统光学全息（Traditionalopticalholography），数字全息（Digitalholography）与计算全息（ComputationalHolography）。在每一个时期内，存在着一些分支技术的发展，以及全息术与各个领域结合产生的新技术。传统光学全息：光学全息的全部过程分为信息数据采集与信息图像重构两个阶段，采集阶段相当于照相机的拍摄过程，而信息图像重构阶段相当于洗照片的过程。数字全息：由于全息图只是对物体的物光束和参考光波进行相干叠加时产生的一些列干涉条纹进行了记录，而要得到物体的再现像，就必须对全息图进行重新处理，数字全息是利用电荷耦合器件来代替传统的光学记录材料来记录全息图，将物体的物光信息数字化记录，便于存储、数字处理以及重现。它最早是由Goodman在1967年提出的。计算全息：计算全息最早是由Kozma和Kelly提出，但是限于当时计算机技术水平的不足，计算全息一直没有发展起来，直到21世纪初期数码照相机的普及和计算机技术的发展成熟才又进入了发展时期。计算全息是一种数字全息领域的分支，这种新型的方法是利用计算机去模拟物体的光场分布，用算法去进行全息图的制作，该方法可以不依赖实物，而是基于该物体的数学描述进行全息图制作，实现了全息术从实际物体到虚拟物体的突破。计算全息三维显示技术是近 中国移动全息通信技术白皮书（2022）3年来将全息术、光电技术及计算机高速计算技术相结合发展起来的最具潜力的三维显示技术，与传统光学全息术相比具有灵活、可重复性好的特点。2.全息技术在通信中的应用广义上说，全息通信业务是高沉浸、多维度交互应用场景数据的采集、编码、传输、渲染及显示的整体应用方案，包含了从数据采集到多维度感官数据还原的整个端到端过程，是一种高沉浸式、高自然度交互的业务形态。结合6G技术，进行扩展与挖掘可获得包括数字孪生、高质量全息、沉浸XR、新型智慧城市、全域应急通信抢险、智能工厂、网联机器人等相关全息通信场景与业务形态，体现“人-机-物-境”的完美协作。本文所涉及的内容为狭义上的通信概念，即指人与人之间通过某种媒介进行的信息交流与传递。目前，远程通信用户面临的痛点主要为：语音通话、视频通话存在着临场感差和交互通道单一等弊端；受限于通信网络性能，视频通话常存在网络波动影响通讯质量等问题；传输高质量的视觉通讯内容受制于传输带宽而难以实现的问题。其中全息通信主要解决第一个问题，而诸如6G等高性能网络主要解决后两个问题，赋能全息通信应用。基于全息通信具有真实度高、参与感强和沉浸感佳的特点，全息通信可以应用于以下三类场景：一对多场景、一对一场景和多对多场景。2.1一对多场景：全息演讲或教学当前，远程演讲或教学越来越多的应用于现实生活，重要信息的传播可以不受地域限制。相较于传统的通信方式，全息的高真实性特点使受众专注度大为提升，学习效果进一步贴近线下演讲或教学。此应用场景具有如下特点：信息流重要程度通常不对等，下行流重要性（演讲者或授课者的信息）大于上行流（受众的反馈），信息流呈现辐射状。基于以上特点，初期的业务端到端解决方案可采用下行全息显示、上行高清显示的方式，利于在全息技术和6G等高速网络技术发展的初期部署。业务场景 中国移动全息通信技术白皮书（2022）4如图1所示：图1一对多场景2.2一对一场景：私人交流随着网络的发展，从语音交流到视频交流，人们对于通信中的沉浸感要求越来越高，远在异地的亲朋好友可以通过全息通信获得近似面对面交流的体验，真正做到天涯若比邻。此应用场景具有如下特点：信息流重要程度对等，双向都需要全息显示，通信模式为点对点通信。基于以上特点，业务端到端解决方案需要采用对称的双向全息模式，每个用户既是被采集者同时也是接受者，此种模式对网络带宽的需求较高。业务场景如图2所示： 中国移动全息通信技术白皮书（2022）5图2一对一场景2.3多对多场景：会议当全息技术和大带宽网络技术发展到一定阶段，可以构筑高质量的互动通信。在视频会议这一场景中，线上参会人员的人物数据将会被实时采集，通过全息显示技术构建高真实度的参会场景，实现身临其境般的线上会议感受。此应用场景具有如下特点：信息流重要程度对等，每个人的面前都需要显示所有其他人的全息影像和声音，是一对一场景的复杂形式。基于以上特点，业务端到端解决方案中每个用户既是被采集者也是接受者，作为接受者时，同时获取来自其他用户的全息影像和声音。此种模式对网络带宽的需求很高。业务场景如图3所示：图3多对多场景 中国移动全息通信技术白皮书（2022）63.全息通信关键技术全息通信的关键技术包括内容采集、算法处理、传输、渲染和显示。3.1内容采集全息通信所需的动态三维内容又称作“体积视频”（VolumetricVideo），其采集方式可以分为纯彩色相机阵列采集和深度相机+彩色相机阵列采集。3.1.1彩色相机