2024触觉反馈：沉漫式娱乐的新形态白皮书

触觉 沉浸式娱乐中的下⼀个模式 2024年8⽉西蒙·福雷斯特, 尼科拉斯·特祖梅卡斯, ⻢克西姆·德⽶特⾥耶夫 内容 介绍 ..................................................................................................... 3什么是触觉? ........................................................................................... 4如何创建触觉体验? ......................................................................... 4⼈类感知 ............................................................................................ 5多样化的⽣态系统 ......................................................................................... 6触觉的多种⽅法 ............................................................................. 7创建触觉体验的⽅法 ....................................................................... 7触觉标准化活动 ................................................................................ 9MPEG ......................................................................................................... 10IETF 和 W3C ................................................................................................ 11IEEE ........................................................................................................... 12ATSC .......................................................................................................... 12Khronos Group ............................................................................................ 13市场机会 .................................................................................................... 14触觉增强，或真正沉浸式？ ............................................................ 14个⼈电⼦产品带来机遇 .................................................................. 15视频潜⼒ ..................................................................................... 15XR：触觉的关键市场 .................................................................... 16XR硬件开发.................................................................................. 17游戏触觉反馈..................................................................................... 19沉浸式娱乐...................................................................................... 21总结.......................................................................................................... 23 Haptics: The next modality in immersive entertainment 介绍 我们的沟通⽅式正在不断发展，以赋予沉浸式内容更多权⼒，并越来越多地将触觉（或称触感）纳⼊我们的互联体验中。这种新的模式将我们的感官参与扩展到视觉和听觉之外，为互联通信、体验和服务增添更多的深度和沉浸感。 在2011年IEEE世界触觉⼤会上，预测到到2020年，先进的触觉功能将普遍可⽤，预计⽤⼾不仅可以触摸和操作屏幕上所⻅的内容，还能感知形状、质地和柔软度。但组织围绕实⽤机制、技术的演进和标准化⽅法的达成需要时间；因此，今天我们已经奠定了基础。 当前，触觉存在于多种形态和不同的设备领域，如智能⼿机和可穿戴设备。它们今天提供的体验通常是对内容的增强，⽽不是完全沉浸式的，然⽽，随着触觉标准的制定和发布，这种情况注定会发⽣改变。在扩展现实中，触觉提供了⼀个机会，可以创造真实的场景，⽤⼾可以利⽤所有感官来增强他们的虚拟存在感。在不久的将来，通过现有的协议和⽹络基础设施，向具有精确复制触觉和感官体验技术的产品⼴播或流式传输完全沉浸式体验将是可⾏的。 本⽂介绍了创新者、设备制造商和内容创作者的⼴泛⽣态系统，所有这些⼈必须合作，以揭⽰通往增强触觉内容的路径，同时强调标准领域内的重要⼯作，以了解和⽀持全球范围内设备间沉浸式扩展现实和增强触觉内容的传递。 Haptics: The next modality in immersive entertainment 触觉技术是什么 触觉技术被定义为⼀系列通过应⽤振动、压⼒、运动以及在某些情况下热量等⼒量来传递触觉信息的技术，以重现触摸或⾝体刺激的感觉。 触觉学并不是⼀⻔新学科。⾃从上世纪90年代以来，消费产品中就包含了触觉技术的基本元素，当时开始在游戏机⼿柄中添加振动，并在PC游戏配件中引⼊⼒反馈，主要是操纵杆和⽅向盘。 触觉体验是如何产⽣的 触觉依赖于称为致动器的物理设备，每个致动器都被设计⽤于在⽪肤表⾯诱发特定的感觉，或者产⽣施加在肢体和肌⾁上的⼒量。 1994年推出的Aura Interactor是最早的可穿戴触觉产品之⼀。 触觉系统的振动、⼒量和其他运动是通过不同⽅法机械地产⽣的。创建触觉感觉最常⻅的⽅法之⼀是利⽤偏⼼旋转质量致动器，它由连接到旋转轴的不平衡重量组成。快速旋转导致重量的⼒量不稳定，从⽽导致电机振荡，因此形成以振动形式的触觉反馈。 它监视游戏中的⾳频信号，然后使⽤电磁致动器将低频声⾳转换为代表动作的振动，如踢或打。 另⼀种类型的线性谐振致动器以类似的⽅式⼯作，通过电磁驱动⼀个连接到弹簧机构的⼩内部质量来产⽣振动。 配备这些执⾏器的产品可以根据需要始终复制特定的振动模式，然后编程以增强⽤⼾在沉浸式娱乐活动中的体验。在虚拟现实（VR）应⽤中，振动执⾏器经常被利⽤来创造表⾯纹理的感觉，并⽤来替代更昂贵和复杂的⼒反馈系统。这些执⾏器经常与⼿指和⼿部跟踪技术配对⽤于VR⼿套的实现。对于需要更⼤⼒量的应⽤，可以使⽤诸如线圈⻢达或压电执⾏器等组件。 当时被认为是商业成功，销售了超过40万台。 对于动觉应⽤，触觉执⾏器对⾝体施加⼒以增强或阻碍肢体运动。这些通常不会在⽪肤上感觉到，⽽是直接或间接地作⽤于肌⾁和肌腱。 抵抗性反馈通常⽤于外⻣骼和⼿套中，以阻碍肢体或⼿指在虚拟现实中的运动。抵抗性⼒通常⽤于模拟操作⼿势，并具有⾼度。 Haptics: The next modality in immersive entertainment 有效提升⼿部交互的真实感。主动⼒反馈通常⽤于游戏控制器和⼿持触觉设备，以对⽤⼾的关节或⼿指施加主动⼒。这种类型的反馈通常基于电机，施加⼒量到⽤⼾的⾝体部位。这模仿了与虚拟物体的交互或模拟了与输⼊控制设备（如⼒反馈⽅向盘或⻜⾏控制器）的真实交互。 运动感知的主要应⽤是在模拟器中，它们⽤于模仿现实世界系统的⾏为。与触觉体验相⽐，运动感知的实施成本相对较⾼，通常保留给企业和商业应⽤。 ⼈类感知 触觉刺激⼈类的体感系统，提供对周围环境的物理反馈。 ⼈类⾝体内基本上有四种类型的机械感受器。 按⽪肤深度递增的顺序，它们被称为梅斯纳⼩体、梅克尔盘、鲁芬尼末梢和帕契尼⼩体。 它们分别感知触觉、轻微或持续的压⼒，最深处的感受器对振动作出反应。机械感受器协同⼯作，将这些感觉转换为神经冲动，然后在⼤脑中合并，创造对世界的物理体验。这些感受器统称为低阈值（或⾼灵敏度）机械感受器，因为即使是轻微的机械刺激也会引起它们产⽣感觉。 ⼈体内四种主要机械感受器，每种感受器共同作⽤以创造对环境的物理体验 此外，触觉可以进⼀步细分为两个主要类别。 触觉：意识或感知施加在⽪肤表⾯的外部刺激的位置或位置变化。触觉反应使⼤脑能够感知压⼒、触摸和质地。 动觉或本体感觉：因个体⾃⾝运动⽽产⽣的肌⾁位置感觉。动觉反馈使⼤脑能够确定物体的⼤致⼤⼩和重量，以及相对于⾝体的位置。 触觉技术旨在通过机械刺激⽪肤表⾯以获得触觉反应，并通过阻碍肌⾁运动来获得动觉反馈，从⽽⼈⼯再现这些感觉。 ⼀个多样化的⽣态系统 尽管创建触觉系统的⽅法相对来说已经被很好地理解，但在设备⽣态系统中，关于如何⽣成触觉存在分歧。例如，使⽤偏⼼旋转质量致动器⽣成的振动与苹果的Taptic Engine等更精密的技术产⽣的振动存在显著差异。实际上，这意味着构建专为Taptic Engine调整的体验的开发⼈员可能需要为另⼀种触觉实现创建不同的配置。这通常意味着开发⼈员由于实施所需的更⾼成本和时间⽽不投资于卓越的触觉性能。 Haptics: The next modality in immersive entertainment 多种触觉⽅法 触觉体验可以在整个⾝体上创造触感。MPEG-I 触觉标准（ISO/IEC 23090-31）正在建⽴，以描述执⾏器应放置在⾝体的哪个位置，以及物理输出应是什么，从⽽实现这些体验的复制和适应 创建触觉体验有两种常⻅的⽅法。第⼀种⽅法分析⽂件中的⾳频，并将低频成分转换为触觉信号，以驱动触觉执⾏器。这种⽅法的⼀个扩展使⽤了封装在⾳频⽂件中的特殊轨道，专⽤于播放触觉数据——这类似于⽤于驱动触觉引擎的⾮常低频的低⾳⾳轨 第⼆种选择使⽤描述性触觉数据，这些数据被编码到媒体⽂件中，可以通过现有的流媒体协议⼴播或通过互联⽹发送。⽬前，标准组织主要关注描述可以使⽤⼀致和兼容格式对触觉数据进⾏编码和解码的系统 这是⼀个复杂的⼯作。确实，触觉的编码、解码和性能评估过程与⾳频和视频的过程有很⼤不同。值得注意的是，触觉的兴趣频率范围在零到800Hz之间，其中低于5Hz的频率对动觉应⽤尤为重要 “触觉的兴趣频率范