舜为科技AI眼镜解决方案及AI+AR可能性探讨研报总结
一、公司背景与定位
浙江舜为科技有限公司成立于2021年,总部位于杭州,占地面积18000㎡。公司依托舜宇集团在光学、光电领域的深厚积累,专注于XR(扩展现实)行业,致力于成为全球领先的XR系统方案解决商。舜为科技整合了舜宇集团的光学团队、供应链资源、卓越制造能力,并与虹软、网新等公司合作获取软件、算法等核心资源,形成全生命周期质量管理体系,并在上海设立办事处。
二、智能眼镜方案演进路径
研报详细阐述了智能眼镜的演进路径,从简单的音频赋能阶段逐步发展到集成AR功能的复杂形态:
- 智能音频眼镜:以眼镜为载体,集成多麦克风阵列,支持降噪、远场拾音、3D音频和语音交互功能,实现初步的增强体验。
- 智能眼镜+Camera:通过摄像头实现拍照分享功能,支持第一视角拍照、AI大模型连接、多模态识别等,提升信息获取能力。
- 智能眼镜+Camera+光学+眼动:进一步集成光学显示和眼动追踪技术,实现AR功能显示、虚实融合、AI轻量级多模态模型端侧落地,并通过眼动交互提升效率。
- 智能眼镜+Camera+光学:最终形态集成摄像头和光学显示模块,支持信息提示、图像预览、AR显示等功能,实现多维度信息获取。
三、智能眼镜的关键技术
研报重点分析了智能眼镜的三大核心技术:摄像头、音频和眼动追踪。
1. 摄像头技术
- 高质量影像:采用高分辨率传感器(12MP)、畸变控制镜头、动态场景适应算法、防抖技术,优化低光环境下的拍摄效果。
- 续航与轻量化设计:摄像头模组小型化、低功耗,结合HDR和多帧合成技术,满足全天候佩戴需求。
- 应用场景:支持直播、AI识人识物等场景,满足市场对拍摄效果和性能的综合需求。
2. 音频技术
- 多麦克风阵列:2-5麦克风阵列支持VPU近场降噪、Nmos4.4远场降噪,实现3m佩戴“分区”屏蔽非佩戴者语音,30cm低功耗唤醒。
- 语音交互:支持语音命令控制、语音识别和语言翻译,解放双手。
- 扬声器技术:开放场立体声高保真扬声器,结合算法实现空间音频,提供更真实的声场体验。
- 功能优化:大振幅单元提供优质低音,0.6mm漏音保护,近耳声场佩戴不入耳,声音自然。
3. 眼动追踪技术
- 技术方案:采用单IR相机+单LED+RGB场景相机,具有Glint-Free优势,算法功耗及系统功耗相对较低,器件少、成本低、布线简易。
- 功能:支持滑移补偿、佩戴检测、IPD检测、视线深度输出等,实现视线移动精准控制。
- 优势:提升交互效率,减少对语音和触控的依赖,结合注视点渲染技术,降低计算负荷。
四、AI+AR方案仍存在的挑战
尽管AI+AR技术潜力巨大,但仍面临以下挑战:
- 功耗、散热、续航:设备小型化和轻量化带来的功耗问题需要解决。
- 近眼显示技术:近眼显示技术仍需突破,以提升用户体验。
- 交互准确性与稳定性:眼动交互的准确性和稳定性需要进一步优化。
- 设备小型化与轻量化:如何在保证功能的同时实现设备的小型化和轻量化,是技术难点。
五、AI+AR潜在应用场景
AI+AR技术具有广泛的应用前景,包括:
- 导航与出行:结合眼动追踪,提高交互效率。
- 健康与日常辅助:视障辅助(如弱视群体、功能性盲)、心理分析(眼球追踪、微表情捕捉)、视觉补偿等。
- 实时翻译与跨语言交流:结合AI技术实现实时翻译。
- 户外直播:支持直播功能,提升信息传播效率。
六、舜为AI智能眼镜解决方案
舜为科技提供两种AI智能眼镜解决方案:
- 舜为AI智能眼镜解决方案:
- 技术亮点:超广角高清RGB Camera、1080P+EIS高清录像、语音降噪、语音唤醒和语音交互、AI多模态。
- 关键参数:重量38g、防尘防水等级IPX4、12MP传感器、环境光传感器、距离传感器、IMU、6轴A+G、2麦克风、4mic平台、AR1、4GB LPDDR4X+32GB eMMC、Wi-Fi6/6E、蓝牙BT5.3、Type C接口、220mAh电池、充电盒支持。
- 舜为一体式AR眼镜解决方案:
- 技术亮点:衍射波导搭配Micro LED光学显示方案、高通AR1平台、超广角高清RGB摄像头、降噪、语音唤醒和语音交互、空间音频。
- 关键参数:重量<80g、光学方案衍射光波导显示RGB micro LED、FOV30°、瞳距64mm、12M传感器、Ambient light sensor、P-sensor、IMU 6-axis A+G、2麦克风、3mic平台、高通AR1、4+32GB RAM+ROM、Wi-Fi6/6E、蓝牙5.3、按钮、触摸功能、Type C USB3.0接口。
七、研究结论
舜为科技通过整合光学、光电、软件、算法等资源,形成了完整的智能眼镜解决方案,并在AI+AR领域展现出强大的技术实力和应用潜力。未来,随着技术的不断突破和应用场景的拓展,智能眼镜有望在导航、健康、实时翻译、户外直播等领域发挥重要作用。然而,仍需解决功耗、显示技术、交互稳定性等技术挑战,以推动智能眼镜的普及和商业化。
专业光学团队丰富供应链资源卓越制造和交付能力全生命周期质量管理
——致力于成为全球领先的XR系统方案解决商
成立2021年
总部占地面积18000㎡
部分算法资源
浙江舜为科技有限公司立足于舜宇集团在光学、光电领域的深厚积累,专注于XR行业,以行业领先的研发能力、严格的全产品生命周期质量管理、卓越的制造能力,结合虹软、网新的软件、算法等核心资源,致力于成为全球领先的XR系统方案解决商。
Part1智能眼镜方案演进路径
Part2智能眼镜的关键技术
Part3AI+AR可能性探讨
Part4舜为智能眼镜解决方案
智能眼镜方案演进路径
u演 变 路 径 : 以 眼 镜 为 载 体,分 阶 段 实 现 音 频 赋 能,拍 照 赋 能,显 示 赋 能 , 多 交 互 维 度 赋 能 。
智能眼镜的关键技术-Camera
场景:
直播
拍摄
AI识人识物
所拍即所见——高质量影像
•高分辨率-高像素传感器•畸变控制,边缘解析力高-镜头优化•动态场景适应-防抖算法优化•低光环境优化-结合HDR和多帧合成技术
全天候佩戴——续航与轻量化设计
u作为AI GLASS的最核心的组件,模组的发展也是多元化的,其中小型化,低功耗,算法加持都是趋势。市场对AI眼镜摄像头拍摄效果和性能的需求,本质是硬件能力与算法综合提升的要求。
本文件为浙江舜为科技有限公司专有之财产,非由书面许可,不得以其他形式使用。This document is the exclusive property of ZhejiangSunnyverseTechnology Co., Ltdshall not be used in other forms without written permission.密2
智能眼镜的关键技术-音频
场景:通话,音乐,语音交互
智能眼镜的关键技术-眼动
•算法功耗及系统功耗相对较低•器件较少、成本低、布线简易•系统标定流程大大简化
AI+AR可能性探讨
无显示
•拍照,来电,信息无法预览或查看•语音交互过程无显示,操控无安全感
眼动交互更自然,精确
•视线移动实现精准控制(如选择菜单、目标识别),减少对语音和触控的依赖,提升交互效率
显示模块增强场景适配性
•语音交互搭配按键交互速度较慢•仅靠语音交互,隐私性不够强
•通过显示模块,信息获取更直接•无需依赖外部设备,尤其适合需要“双手自由”的场景
降低计算负荷
目标识别不够精确
•结合注视点渲染技术,系统仅渲染用户注视区域的画面,降低计算负荷并提升显示效果
•物体识别无法聚焦
AI+AR潜在应用场景
视障辅助
-如弱视群体的低视力,功能性盲
•视觉补偿•多模态提示•辅助视觉康复
•眼球追踪、微表情捕捉等方式进行心理分析。
舜为AI智能眼镜解决方案
技术亮点
•超广角⾼清RGB Camera,提供佩戴者第⼀⼈称视⻆影像•1080P+EIS高清录像•支持语音降噪,语音唤醒和语音交互•AI多模态•轻薄化眼镜形态设计,接近普通眼镜•开放场立体声⾼保真扬声器,可配合算法实现空间音频
舜为一体式AR眼镜解决方案
技术亮点
1.采用衍射波导搭配Micro LED光学显示方案。2.采用高通AR1平台和超广角高清RGB摄像头,为用户提供第一人称视角图像。3.支持降噪、语音唤醒和语音交互。开放场⽴体声与Hi-Fi扬声器结合算法,可实现空间音频。
应用场景
Thank you forwatching.