2024 年 NHK 科学技术研究所开放日

一、沉浸式媒体

1. 基于AR眼镜的新闻展示系统

• 研究概述：利用AR眼镜在三维空间中展示新闻文章，方便用户浏览获取信息。
• 研究亮点：
  • 三维空间中呈现新闻文章，内容相关联的文章位置更近。
  • 同步AR空间中共享新闻文章，促进用户间互动交流。
• 未来计划：2026年前完成内容推荐系统原型设计与评估，探索与真实空间和谐共存的信息呈现方式。

2. 下一代数字地面广播技术

• 研究概述：研发先进的ISDB-T系统，推动下一代数字地面广播革新。
• 研究亮点：
  • 层分复用技术提高频谱效率，基本服务为4K时仍能享受2K内容。
  • 子层技术增强移动接收服务的鲁棒性，视频服务中断时音频仍能稳定。
  • 峰均功率比降低技术有效降低发射机功耗。
• 未来计划：2025年3月前成功实现先进ISDB-T系统的标准化。

3. 广播节目中继传输技术

• 研究概述：提升传输容量，实现多个广播节目的复用传输。
• 研究亮点：
  • 允许多个广播节目复用传输，无需增加传输通道数量。
  • 扩大传输容量，满足新的传输要求。
• 未来计划：2027年左右制定相关技术标准，2030年左右投入实际使用。

4. 集成视频编码方案的卫星传输技术

• 研究概述：结合视频编码方案，有效压缩图像，减少恶劣天气下的通信服务中断。
• 研究亮点：
  • 使用层分复用卫星传输技术，同一信道上传输不同功率级别的信号。
  • 结合空间可扩展视频编码和层分复用技术的卫星广播系统。
• 未来计划：2026年通过卫星传输实验对发射机和接收机进行性能评估。

5. 体积视频制作辅助系统

• 研究概述：开发元宇宙演播室，使用多视点摄像机制作逼真的体积视频。
• 研究亮点：
  • 体积视频显示器为演员提供视觉支持，实时捕获并展示合作演员的图像。
  • 优化重建3D形状的过程，结合AI技术生成更逼真、品质更高的体积视频。
  • 实时渲染技术，实时渲染各种信息，如物体形状和反射属性等。
• 未来计划：2025年将技术应用于实际的节目制作流程中。

6. 沉浸式媒体的声音制作工具

• 研究概述：开发先进的声音制作工具，支持沉浸式媒体的声音设计。
• 研究亮点：
  • 沉浸式媒体的音频渲染器，再现和监控通过音频元数据生成的音频内容。
  • 音频元数据编辑器和查看器，方便用户创建、编辑和查看元数据。
• 未来计划：2025年开发前沿的音频元数据系统，2030年左右实现实际应用。

7. 使用光源阵列的3D显示器

• 研究概述：研究根据观看者的眼睛位置显示自然三维图像的技术。
• 研究亮点：
  • 3D/2D切换和3D/2D同步显示，根据用户喜好选择观看3D或二维图像。
  • 通过眼动跟踪技术实现宽视域。
• 未来计划：2027年左右对自然3D图像显示技术进行研究和开发，2030年左右实现实际应用。

8. 体验DEKIRUKANA 2030节目

• 研究概述：基于先进的虚拟技术和节目制作技术，为用户呈现沉浸式的节目内容体验。
• 内容亮点：
  • 节目空间沉浸式观看体验，通过头戴式显示器、大屏显示和沉浸式音响体验高沉浸感的节目空间。

9. 体验自由视角的沉浸式现场

• 研究概述：让用户以自由视角选择观看艺术家的虚拟现场表演。
• 内容亮点：
  • 更自由地享受互动内容，利用体积捕捉技术和双耳再现技术构建具有沉浸感和真实感的三维节目空间。

二、通用服务

1. 用于新闻内容的手语CG生成技术

• 研究概述：研究开发将日本新闻脚本翻译成手语并生成CG动画的技术。
• 研究亮点：
  • 新的运动生成方法：基于扩散模型和运动合成技术。
  • 提高口型和面部表情表现的表情控制。
  • 基于手语新闻视频的图像分析来估计手语词汇。
• 未来计划：2025年开发出用于突发新闻的手语CG制作系统。

2. 集成广播与宽带的内容交付平台

• 研究概述：研发基于网络的广播媒体技术，构建集广播与宽带于一体的内容交付平台。
• 研究亮点：
  • 采用融合广播与互联网的云原生交付平台技术。
  • 采用智能化的内容发现技术，实现轻松访问。
  • 提供从内容交付到接收的全方位验证环境。
• 未来计划：2026年左右成功实现该内容交付平台。

3. 基于网络的广播媒体

• 研究概述：积极投身于内容元数据与个人数据的研究，增强内容体验机会。
• 研究亮点：
  • 提升内容在日常生活中的可接触性。
  • 确保了个人数据的透明管理与利用。
• 未来计划：进一步接受深入的验证和标准化流程。

4. 提高内容可靠性的内容来源展示技术

• 研究概述：研发一项技术，用于生成和展示“内容来源”，为用户提供关于内容可靠性的决策依据。
• 实现方式：
  • 内容来源可视化的视频播放器。
  • 新闻报道和内容制作中的内容来源分类软件。
• 未来计划：推动内容来源展示技术的标准化，预计2026年部分投入实际使用。

三、前沿科学

1. 通过音乐可视化实现音乐内容的新颖表现形式

• 研究概述：通过将音乐转换成图像，让每个人都能更容易地理解和欣赏音乐。
• 研究亮点：
  • 利用音乐中包含的各种信息，如编曲、乐理和演奏技巧等。
  • 融合艺术视角的可视化设计，根据听众对音乐产生的印象设计表达方式。
  • 制作音乐可视化内容原型。
• 未来计划：2025年左右实现一套可用于节目制作的音乐可视化基础系统。

2. 探索理想的头戴式显示器规格

• 研究概述：探索理想的头戴式显示器（HMD）所需的视野（FoV）和分辨率。
• 实施细节：
  • 超高清圆柱式显示屏的应用。
  • 理想HMD的规格参数：水平方向FoV大约为240°，超过120°时适当降低分辨率。
• 未来计划：2027年前深入探索HMD周边区域的视觉特性。

3. 可自由变形的显示器

• 研究概述：对柔性显示器进行研究，适合多种形式的安装，让用户随时随地都能享受身临其境的逼真内容。
• 研究亮点：
  • 可拉伸布线技术，使用液态金属实现即使在拉伸或收缩时也能保持低电阻的布线。
  • 实现全彩色显示。
• 未来计划：2025年左右制造出具有超高清晰度和高图像质量的可变形显示器样机，2030年投入实际使用。

4. 超薄可弯曲硅图像传感器

• 研究概述：研究可弯曲硅图像传感器，以生产小型、无畸变的宽视场摄像机。
• 研究亮点：
  • 硅图像传感器的减薄技术，制造出厚度仅为0.01毫米的超薄硅图像传感器。
  • 基于曲率的镜头像差校正技术，改善水平方向的模糊效果。
• 未来计划：2025年实现凹曲面图像传感器的制造，2030年左右投入实际使用。

5. 利用自然光的全息成像技术

• 研究概述：研究在自然光或LED光等现有照明条件下捕捉高清三维（3D）信息的成像技术。
• 研究亮点：
  • 可利用自然光拍摄全息图像。
  • 利用透射式液晶透镜提高光利用效率。
• 未来计划：2027年之前开发出全息视频转换和色彩化所需的基本技术，2030年左右生产出摄像机样机。

四、支持媒体

1. 8K-ROI摄像制作系统

• 研究概述：利用单台8K-ROI摄像机拍摄的8K超高清广角图像，通过半自动的方式从中裁剪出多个不同的高清视频区域，从而提供多机位拍摄效果。
• 技术亮点：
  • 利用人工智能（AI）自动裁剪和生成目标区域信息。
  • 使用裁剪控制软件实现便捷的视频切换。
  • 使用软件控制实现流畅的摄像机运动。
• 未来计划：推动该技术在各类节目制作中的广泛应用，并探索其在沉浸式媒体内容制作领域的巨大潜力。

2. 视频描述性文本生成技术

• 研究概述：研发一种能够自动地为图像内容生成相关的元数据的系统，旨在提高节目制作效率。
• 技术亮点：
  • 能够生成更具体地描述视频内容的描述性文本。
  • 高效地生成多种元数据。
• 未来计划：2026年该节目制作支持系统能在视频摘要及其他应用领域实现商业化。

五、专题演讲

1. 2030-2040未来愿景（2024版）

• 2024年最新版本，不仅描绘未来媒体的创新蓝图，同时也聚焦于当前媒体领域所面临的紧迫难题。

六、实验室演讲

1. 沉浸式媒体

• 介绍利用AR和VR技术的沉浸式媒体，为用户带来身临其境的体验，包括未来教育项目、信息空间和查看自身周围空间信息的系统。

2. 基于网络的广播媒体

• 介绍基于互联网的新型广播系统，即“网络广播媒体”，包括云原生分发平台、内容检索系统，以及利用多媒体数据和用户个人信息拓宽内容分发边界的研究。

3. 创造未来媒体的设备技术

• 介绍在显示和成像领域的最新研究成果，包括可变形显示屏、超薄曲面硅图像传感器和全息成像技术。