MR板块推荐系列二十三：苹果持续推进3D内容生态建设，引领空间运算时代

首次覆盖，给予行业“增持”评级。苹果2023秋季发布会上推出空间视频功能，早在2021年，苹果就推出目标捕捉功能，苹果在3D内容建设领域不断发力，有望推动Vision Pro的生态建设，引领空间运算时代。推荐产业链上相关标的：立讯精密（002475）、高伟电子（1415.HK）、水晶光电（002273）、蓝特光学（688127）、舜宇光学科技（2382.HK）、智立方（301312）、深科达（688328）。受益标的：杰普特（688025）、博众精工（688097）、荣旗科技（301360）、华兴源创 （688001）、博杰股份（002975）等。 苹果不断加码3D内容建设，有望引领空间计算时代。在3D内容建设方面，苹果先后分别于2021和2023年推出了目标捕捉和空间视频功能，在3D生态建设方面持续深入，伴随着VisionPro产品的发布，有望推动3D生态不断完善。同时苹果在3D内容开发方面保持了相对开放的态度，目标捕捉生成的3D模型格式为USDZ，为目前业界常用的3D模型格式。苹果的3D拍摄使用的视频编码方式为MV-HEVC，是HEVC的一个延伸，HEVC被认为是当前最先进的视频编码标准之一，由全球十几个组织共同开发，苹果空间视频的文件格式目前支持QuickTime和MPEG-4。苹果这种相对开放的做法不仅对于其本身的发展提供了更多的内容来源，更有助于推动整个XR行业的进步。 3D拍摄重构生产生活，应用有望多点爆发。基于3D拍摄技术，XR行业内容库将进一步丰富，推动Vision Pro生态建设，并且带来更多创新应用的场景。借助MR眼镜等终端设备，3D拍摄将在诸多领域大放异彩。在B端，其可以帮助医生进行医学诊断、帮助患者更快康复； 为工业产品设计降本增效、规范流程管控；帮助商户更好进行商品推广、流量转化。在C端，可以消弭时空的限制，提升教学和学习效率； 带来更具沉浸感的娱乐互动，拉进社交距离，提供极致的文旅体验。 3D内容发展有望与VisionPro销量形成良性循环，带动产业链公司发展。3D内容的建设有望进一步打开Vision Pro的销量空间，而Vision Pro的销量提升反之则能够进一步推动3D内容及相关应用的推广，产业链相关公司将迎来受益。 风险提示。MR销量不及预期；相关公司研发进度不及预期；行业竞争加剧。 1.3D拍摄：从目标捕捉到空间视频 苹果耕耘3D内容创建多年，有望引爆空间计算时代。苹果在3D内容的创建上已经耕耘多年，2021年WWDC上，其推出目标捕捉（Object Capture）功能，让更多的第三方App可以直接通过iOS App实现Object Capture并生成一个USDZ格式的3D文件。在2023年秋季发布会上，苹果进一步推出其空间视频（SpatialVideo）功能，iPhone15 Pro及Pro max支持空间视频的拍摄，并能在VisionPro上播放及共享给其他用户。 苹果在3D内容创建领域的不断推进，有望推动VisionPro的生态建设，引领空间运算时代。 图1：苹果2023年发布空间视频功能 图2：苹果2021年推出目标捕捉功能 苹果所推出的空间视频以及目标捕捉是两个不同的概念。空间视频通过两个摄像头，采用双目立体视觉原理，类似于电影院3D电影，通过双目视差产生立体感，而目标捕捉则是通过多角度拍摄很多图片和深度信息，结合激光雷达扫描，通过算法生成三维模型；从文件格式来说，苹果的空间视频和目标捕捉均采用了行业通用的编码和格式，空间视频采用的视频编码为MV-HEVC，已经在电影院中得到应用，同时苹果支持QuickTime和MPEG-4两种空间视频的文件格式，而目标捕捉的3D模型，苹果采用USDZ格式，是目前行业广泛应用的一种3D模型格式； 从硬件方面，目标捕捉需要摄像头和激光雷达，而空间视频需要两个RGB摄像头。目标捕捉需要苹果设备升级到iOS17，而空间视频已经支持iPhone15的Pro和Promax以及苹果眼镜；在应用方面，目前目标捕捉可以通过苹果的API来开发应用，而空间视频可以由苹果官网的拍照APP支持。 1.1.空间视频（SpatialVideo） 空间视频震撼亮相苹果2023年秋季发布会。在2023年秋季发布会上，苹果宣布iPhone 15 Pro系列支持一项新的功能，即空间视频（Spatial video）的拍摄，用超广角和主摄一起来拍摄带三维感的视频，之后用户可以通过Apple Vision Pro重温空间视频，让用户拥有身临其境的感受，同时还可以通过Vision Pro与其他人分享视频。由于手机的普及程度以及使用频次较高，用户可以使用手机来捕捉生活中的重要时刻，降低了拍摄设备的门槛。3D视频的拍摄进一步丰富了空间计算平台的内容，有望有效解决困扰XR发展的3D内容制作难题，同时将进一步推动VisionPro的生态建设。 图3：iPhone15 Pro系列支持空间视频 1.2.目标捕捉（Object Capture） 苹果早在2021年就推出目标捕捉功能。苹果2021年WWDC推出Object capture，以从多个角度拍摄的照片为基础，Object capture可以在几分钟之内完成3D模型的创建。拍摄过程共有以下几步，将镜头对准物体，绕着物体走一圈，objectcapture会自动选取合适的图像，并提供可视化指引与额外的反馈信息，最后拍摄底部，随后便会生成USDZ格式的的模型。USDZ格式是目前行业内广泛使用的一种3D模型格式，为苹果与皮克斯共同研发，于2018年推出。 图4：结构光3D成像原理 2.空间视频与目标捕捉采用不同的技术路径 2.1.3D立体成像原理 目前3D立体成像的主要方法有双目立体视觉、ToF、结构光等方式。 我们所熟知的苹果的FaceID功能即采用了结构光的原理；苹果iPhone 15 Pro系列支持的的“Spatial video”功能主要利用了双目立体视觉的原理，即用主摄与超广角两颗摄像头模仿人类的眼睛，实现3D内容的创建；而下文所提的“Object Capture”则主要使用了ToF方法，几种3D成像的方法在测量距离、精度、范围、适用场景方面均有所不同。 表1:几种不同原理的3D成像方法应用有所不同 双目立体视觉：目前iPhone15 Pro系列的空间视频拍摄主要使用这种方法。双目立体视觉模仿人的两个眼睛，通过融合两只眼睛获得的图像并进行立体匹配获得两幅图像的视差，再根据三角测量原理计算出场景的深度，双目立体视觉目前在三维建模、自动驾驶、手机摄影等领域具有较为广泛的应用。 图5：双目立体视觉的主要原理 图6：人的两只眼睛存在视差 图7：苹果展示的3D图像效果逼真 飞行时间法（ToF）：即Timeof Flight，基本原理为通过发射连续光脉冲（一般为不可见光）到被观测物体上，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行时间来得到目标物的距离。根据具体的调制方法，ToF一般又可分为脉冲调制以及连续波调制，脉冲调制直接根据光脉冲的发射与接收时间差来测算距离，而连续波调制一般采用正弦波，通过测算接收端与发射端正弦波的相位偏移来测量距离。按照飞行时间测算的方法不同，ToF又可以分为iToF和dToF。 图8：脉冲调制原理图 图9：连续波调制原理图 结构光3D成像：结构光即将提前编码设计好的结构性图案投影到三维空间物体表面上，用另外的相机来观察物体表面的成像畸变情况，根据结构光图案以及观察到的畸变，计算出物体的形状以及深度信息。 图10：结构光3D成像原理 2.2.空间视频主要使用了双目立体视觉 苹果发布会表示，其空间视频的拍摄主要使用了超广角和主摄像头来实现。通过双摄像头实现的“画面时差”感，产生在电影院观看3D电影的效果。2023年6月份，苹果发布其Apple Vis ion Pro产品，Vis ionPro为苹果首个搭载3D相机的设备。从原理上来说，Vision Pro通过其配置的雷达以及景深摄像头实现3D拍摄，原理上与iPhone15 Pro系列有所不同。 图11：空间视频主要使用超广角和主摄像头来实现 图12：iPhone 15主摄像头参数 图13：iPhone 15pro max超广角摄像头参数 苹果的3D视频拍摄整体结构与2D差别不大，但做了额外支持。苹果的2D拍摄使用了苹果公司提出的给予HTTP的媒体流传输协议，用于实时音视频流的传输，即HLS（HTTP LiveStreaming），HLS协议通过将整条流切割成一个个小的可用通过HTTP下载的媒体文件，然后提供一个配套的媒体列表文件，让客户端按顺序提取这些媒体文件。而在苹果的3D拍摄中，整体的架构与2D无大差别，使用了HLS技术加入了fMP4 Timed Metadata对3D拍摄进行了额外支持。 3D视频编码采用了较为通用的格式。苹果的3D拍摄使用的视频编码方式为MV-HEVC(Multiview High Effic iency VideoCoding)，是HEVC的一个延伸，而这套编码早在2015年就被ISO/IECMPEG和ITU-T VCEG两大国际标准化组织确立为标准编码。视频的每一个frame都有一个左眼和右眼的图像，MV-HEVC的HEVC的一个延伸，AppleSilicon芯片也可以MV-HEVC数据进行处理。苹果针对空间视频，新增了一项vexu（video extended usage）负责记录空间视频的相关信息（包括左右眼视角记录和立体视觉信息等）。 图14：苹果2D拍摄使用了HLS 图15：苹果对3D拍摄进行了额外支持 图16：苹果新增vexu来记录空间视频的相关信息 2.3.目标捕捉主要使用了ToF方案 ObjectCapture采用了计算机视觉技术，以不同角度拍摄的系列照片为基础，并借助激光雷达扫描，创建3D模型。Object capture创建3D模型的大概步骤如下：打开示例APP，将镜头对准物体，并绕着物体走一圈，苹果提供可视化的指引以及额外的反馈信息，然后拍摄底部，就可以生成USDZ格式的模型。同时苹果为了保证对于纹理不足的物体的重建效果，支持了激光雷达扫描，通过强化点云的覆盖率和密度，结合RGB摄像头，使物体的3D形态得到全面呈现。 图17：苹果3D模型的创建过程 图18：苹果3D模型的创建的几个步骤 由于苹果的3D模型创建需使用激光雷达，所以目前支持的设备包括iPhone12 Pro、iPadPro2021及之后配备激光雷达的机型。同时，在模型的重建中，若用户需要对不同的重建要求进行选择，可以将数据传输到iMAC上进行更多细节的工作。 图19：苹果3D模型的创建仅支持有激光雷达的机型 图20：激光雷达支持更多的物体3D模型创建 图21：iMAC上可以对模型重建做出更多工作 3.应用端：3D拍摄重构生产生活，应用有望多点爆 发 基于3D拍摄技术，XR行业内容库将进一步丰富，推动Vision Pro生态建设，并且带来更多创新应用的场景。借助MR眼镜等终端设备，3D拍摄将在诸多领域大放异彩，例如辅助医生进行手术计划和导航、工业设计和制造过程管控、教育娱乐等重要应用前景。 3.1.To B：医疗、工业生产、营销等领域大有可为 3.1.1.医学诊疗与康复：三维扫描与呈现赋能医学研究与治疗 3D模型为医护人员在规培中提供全面直观的学习体验。3D扫描和模型技术可以将人体内部的器官、骨骼和组织以三维形式呈现，学生可以通过旋转、缩放、分层等方式探索人体内部结构，从而直观全面地了解医学知识。3D技术还可用于手术模拟，让学生实践模拟各种手术场景，包括手术前的准备工作、手术中的操作步骤和手术后的处理流程，从而提高手术技能和安全。 图22：3D拍摄技术应用于医护人员教育培训 人体数字化建模助力医学研究和临床诊断。通过3D建模、渲染将人体器官、骨骼和组织以3D形式数字化，为医学研究提供更真实、立体的数据来源，帮助医学研究人员准确