2023年ARMR技术深度产业报告

1AR/MR技术Augmented Reality/Mixed Reality Technology深度产业报告QibitaiIndustry Insight Report分析师：丁乔dingqiao@qbitai.com 量子位硬科技深度产业报告——AR/MR2目录技术篇1.1 AR/MR背景031.2 定义及概念区分031.3 AR/MR产业关键技术031.4 AR行业技术积累和发展挑战07价值篇2.1 价值描述102.2 应用价值11产业篇3.1 行业现状及未来产业发展阶段分析163.2 行业发展阶段及市场规模233.3 产业链分析253.4 AR/MR玩家分析303.5 关键竞争要素35 量子位硬科技深度产业报告——AR/MR3技术篇1.1 AR/MR背景增强现实技术由来已久，早在上世纪60年代，计算机图形学之父萨瑟兰（Ivan Sutherland）就开发制作了史上第一台AR设备，这套设备虽然因为过于笨重只能悬挂在天花板上，但是其技术原理和现在的AR设备没有本质差别。随着软件和硬件技术的快速发展，越来越新、越来越好的AR技术在拓展人们的视野，甚至给予了人类观察世界的全新视角。2021年FaceBooK将公司名改为META，并表示将品牌重新定义为一个功能更加多元的互联网社交媒体形式，并提出打造元宇宙的概念。而VR、AR 、MR 等技术就是元宇宙世界的入口。VR技术由于其完全虚拟、高沉浸感，而承担了更多虚拟社交、影音、游戏等C端娱乐功能，而AR与MR 由于对现实进行增强、且具备实时混合虚拟信息的概念而成为了以使用者为中心的随身助手，也因此被认为是继PC、智能手机之后的下一代计算终端和互联网入口。1.2 定义及概念区分增强现实AR（Augmented Reality)、混合现实MR(Mixed Reality)与虚拟现实VR（Virtual Reality）是三种为用户提供虚拟体验服务的技术。•VR虚拟现实利用数字技术模拟创建一个虚拟的三维世界，为用户提供视觉、听觉等感官模拟，同时让用户可即时、无限制地观察三维空间内的事物，感觉仿佛身临其境。•MR混合现实混合现实MR是指将虚拟信息引入现实世界中并能够和现实环境及用户进行实时交互。MR技术需要将现实物体赋予数字属性，使其可以与计算机生成的虚拟对象互动，同时将虚拟物体赋予一定的现实属性，使其更加拟真。例如在MR体系中，虚拟生成的皮球能够掉落在在真实世界的地板上，而产生形变、回弹等一系列交互效果。虚拟对象不再仅仅是以提供辅助性信息的形式服务于真实对象，而是可以以主体的形式存在。虚拟对象和真实对象可以互相遮挡，甚至难以区分到底哪个是真实物体。•AR增强现实狭义的AR是指用户以直接或间接的形式，观察真实场景，在现实场景的基础上叠加图像，声音，视频或其他类型的数字信息，以丰富人们对现实世界的观察效果，实现超越现实的感官体验。广义的AR概念则包含MR，在将虚拟数字世界与物理现实的连续光谱中，除去真实世界和虚拟现实的任何一种虚拟和现实的混合模式都称之为AR，它涵盖了增强现实(augmented reality)与增强虚拟(augmented virtuality)，包含了虚拟到现实任意一种混合模式。本文中对AR采取广泛定义，即包含MR技术在内。1.3 AR/MR产业关键技术AR系统通过收集真实场景、人机交互获得用户数据，继而通过图像渲染和展示来完成对现实环境的增强效果。简单AR效果是在现实场景中叠加虚拟信息，例如谷歌眼镜能够显示天气、时间等内容；复杂的AR效果需要对现实世界进行识别、模型构建，并在此基础上叠加预先设定的效果或者智能化增强，所以需要收集真实场景进行图像匹配、地图构建。 量子位硬科技深度产业报告——AR/MR4AR系统主要有以下几个步骤，以AR眼镜为例：设备通过摄像头和传感器对真实场景进行数据采集，传入处理器进行分析和重构通过摄像头、陀螺仪、传感器等设备获得使用者的位姿数据，根据使用者的当前视角重新建立空间坐标系实时更新使用者在现实环境中的空间位置变化数据，获得虚拟坐标与现实坐标之间的映射关系将虚拟信息融入到真实场景中，需要考虑虚拟景物在真实环境中的合理性，例如光照环境、相互遮挡关系、作用力与反作用力等，以此保证虚拟和现实的和谐融合；通过合适的光学结构，将合成影像呈现在镜片上读取环境用户交互更新数据三维注册显示当前AR技术的发展重点在于三维注册等空间感知技术的迭代升级，以提高其稳定性，降低算力要求。在硬件方面，AR技术主要在近眼显示模块的研发升级上，其中包括微显示器的研发、量产，以及光学组合器的研发生产。1.3.1 三维注册技术AR技术为了实现虚拟和现实物体的融合，必须将虚拟物体合并到现实世界中的准确位置。获取真实环境信息并将虚拟场景准确渲染到真实场景中的步骤称为三维跟踪注册，这一步是为了实现虚拟场景和真实场景的无缝叠加，也是能够实现AR效果的基础。因此AR系统必须实时检测使用者的位置，头部角度，运动方向等，并根据使用者的视场重新建立坐标系，进而确定显示何种虚拟物体。按照跟踪注册模式可以将AR系统分为以下几类：基于计算机视觉的AR技术，其中包括基于标记物的AR技术、基于硬件设备的AR技术、以及使用多种方式的混合AR技术。其中应用最为广泛的为基于SLAM的三维注册技术，它还用于无人机、飞行器、无人驾驶和机器人清洁器等产品。SLAM技术近几年逐步成熟，并被用于AR产品的追踪定位。SLAM跟踪注册技术不需要场景的先验知识，能够在未知场景当中进行跟踪的同时重建其三维结构。此外，基于定位或传感器的三维注册技术在户外等场景中也有一定应用范围。•基于SLAM技术的三维注册技术SLAM技术(Simultaneous localization and mapping，同步定位与建图)使用激光雷达或者单目/双目摄像头进行真实环境的监测和虚拟地图的创建，在AR领域，主要运用摄像头通过视觉技术来完成3维跟踪和注册。目前三种主要的基于视觉的SLAM方法如下：类别用途纯视觉SLAM纯视觉SLAM系统通常使用单目相机。基于单眼的系统在系统初始化方面更加复杂，至少需要两个不同的视图来确定初始深度；除此之外还会引发坐标漂移和尺度估计失败等问题视觉惯性SLAM结合惯性测量估计结构和传感器姿态。惯性数据由IMU提供，该单元由陀螺仪，加速度计和磁力计设备组成。IMU能提供与沿x，y ，z 轴的角速率和加速度相关的信息，以及设备周围的磁场情况信息。添加IMU可以使信息更加丰富，提高更高的精准度，但也增加了算法的复杂度。尤其是在初始化步骤期间，除了相机位姿的初始估计外，还需要估计IMU姿态基于RGB-D的SLAM系统RGB -D传感器由单目RGB摄像头和深度传感器组成，大多数基于RGB -D的系统利用迭代最近点（ICP）算法定位传感器，融合深度图进而完成整个结构的重建。RGB -D设备可以直接向SLAM系统提供深度图数据，无需任何预处理步骤即可获得彩色图像数据和密集深度图，因而降低了SLAM初始化的复杂程度。该方法主要适用于室内环境，并且需要较大的内存和功率 量子位硬科技深度产业报告——AR/MR5•基于定位或传感器的AR基于定位系统的AR技术需要通过GPS等方式获取用户的物理位置信息，在特定地点展现出特定的AR交互效果。基于GPS全球定位系统的跟踪注册技术多用于大规模户外AR系统中，通过GPS来获得使用者的地理位置信息。目前北斗系统定位最高精度已经可以达到亚米级。Pokémon GO是典型的基于位置的AR案例，此外AR导航系统也是利用该技术在屏幕中展示导航信息。基于惯性传感器的AR系统一般指利用陀螺仪或加速度计等惯性传感器来确定使用者智能设备朝向与用户视角。惯性传感系统具有实时性好、抗干扰能力强、输出信息大等优点，但随着跟踪时间的增加，被跟踪物体的位姿受累计误差的影响漂移较大，一般和GPS全球定位系统共同使用来完成户外AR系统的跟踪注册过程。系统使用GPS进行地理位置的粗略估计，通过惯性导航系统获取使用者智能设备的姿态，共同完成跟踪注册。1.3.2 AR/MR眼镜技术原理作为可穿戴设备，AR/MR眼镜或头戴式设备是最能提供沉浸感的终端形式。从谷歌推出第一代Google Glass AR眼镜开始，AR眼镜就因便携性、可提供混合现实所需的沉浸感而吸引了消费者和工业应用领域的目光。从技术上说，尽管AR/MR技术前景灿烂，头戴式设备已经经历了多次技术革新，但目前还有很多限制：设备笨重，无法长时间佩戴；分辨率低、视场角过小等画面显示问题。在设备优化和性能提升上仍有更多更大的挑战。为了保证近眼显示的效果，AR眼镜使用的微显示器和光学组合器的选择至关重要。AR、MR 近眼显示设备需要让使用者同时看到真实环境和与之精确叠加的虚拟画面，为了实现这一效果，一般认为有两种技术路线：•视频投射式（video see-through）系统设备为不透光的头盔包裹式，通过拍摄模块获取真实图像后叠加虚拟画面，在头盔内部的显示屏上显示。例如在VR头显设备的基础上添加真实环境的画面，或者使用手机作为主体搭配Google Cardboard，都可呈现AR效果。视频投射式AR设备由于能够对物理环境画面进行调节，因此被认为对不同背景（明暗）中的明暗虚拟内容具有良好的可见性，适合在室外等工作环境中使用。有报道称苹果未来的AR头显设备可能采用video see-through系统模式。•光学投射式（optical see-through）系统设备通过光学系统引入真实环境光线和虚拟画面进行叠加最终呈现AR效果。由于更贴近真实环境，且设备体积更小，在光学系统的快速发展迭代的背景下，光学投射式系统是当下AR眼睛厂商的主流选择。视频投射式（左）和光学投射式（右）头戴式设备的主要技术指标：•视场角（FoV）指人眼的视野范围边界形成的夹角，裸眼单目的视场角大约为水平160°*垂直130°，双目视场角约为水平200°、垂直130°。在近眼显示系统中，视场角越大，用户的沉浸式体验越好。而在屏幕显示中，像素点数一定，当分辨率提高（也即单位区域的像素点数量），屏幕的显示范围则会降低，视场角降低。 量子位硬科技深度产业报告——AR/MR6•显示亮度设备亮度是为了保持屏幕在环境亮度较高的情况下仍能保持一定的环境对比亮度，使得用户能够清晰地看到屏显内容，一般认为家居环境中亮度为30nit，办公环境中亮度150nit，晴天户外的亮度约为3000nit。按照市场主流AR眼镜的80%为例，在室外正常显示图像需要10000nit的显示亮度，低于2500nit在较亮环境下可能会使显示图像无法辨认。1.3.3 微显示器技术目前，关于AR显示的微显示器研究还处于初步发展阶段。尽管处于研发阶段的微显示器种类较多，但现阶段能够用于AR 显示的微显示器主要有硅基液晶(Liquid-Crystal-on-Silicon，LCoS)显示器、有机发光二极管(Organic LightEmittingDiode，OLED)及Micro-OLED显示器、微型发光二极管(Micro Light Emitting Diode，μLED )显示器4种。Micro-OLED显示器是市场主流选择，Micro-Led 是重点探索方向，Micro-Led 的量产成本控制和全彩化显示是技术发展的重点。应用场景应用企业/机构LCoS 显示技术•原理：将液晶和半导体基板相结合•特点：LCoS 技术成熟度较高，但部分区域对比度较低，影响AR效果；同时其刷新速度较慢、单个像素尺寸较大，无法进一步提高分辨率•案例：谷歌眼镜、Hololens一代和Magic Leap One等头戴式显示器、VuzixM300Micro-OLED显示器•原理：Micro-OLED显示器也称为硅基OLED，以单晶硅作为有源驱动背板而制作的主动式有机发光二极管显示器件•特点：自发光、厚度薄、质量轻、视角大、发光效率高等特性，更容易实现高像素密度、易于携带、功耗低等特性•案例：NrealAir 、联想Glasses