科学报告|(2022) 12:10319| https://doi.org/10.1038/s41598-022-14421-51 打开超分辨率生成具有基于静态 T2*WI 的特定主题学习的对抗网络可提高 fMRI 激活中的空间差异敏感性太田纯子1,2,3,4, Kensuke Umehara1,2,3, Jeff Kershaw2, Riwa Kishimoto2,3, Yoshiyuki Hirano4, Yasuhiko Tachibana2,3, Hisateru Ohba1,3 & Takayuki Obata2,3fMRI 的空间分辨率相对较差，需要改进以指示功能活动的更具体位置。在这里，我们提出了一种新方案，称为基于静态 T2*WI 的特定主题超分辨率 fMRI (STSS‑SRfMRI)，以提高功能分辨率或能力区分功能磁共振成像的空间相邻但功能不同的反应。该方案基于利用 T2* 加权图像 (T2*WI) 数据集作为训练参考的超分辨率生成对抗网络 (SRGAN)。该方案的有效性通过比较来评估从原始未预处理的功能数据（原始 fMRI）中获得的激活图。使用 3 特斯拉扫描仪从 30 名健康志愿者那里获取 MRI 图像。修改后的 SRGAN 从原始低分辨率 fMRI 数据重建高分辨率图像系列。为了定量比较，计算了 STSS-SRfMRI 和原始 fMRI 激活图的几个指标。与原始 fMRI 图像相比，重建的 STSS-SRfMRI 图像区分两种不同的手指敲击任务的能力显着更高 [p = 0.00466]。结果表明，STSS-SRfMRI 方案的功能分辨率更高，这表明该方案是实现使用 3T MRI 获得的 fMRI 图像更高功能分辨率的潜在解决方案。功能性磁共振成像 (fMRI) 已迅速发展成为神经科学研究的重要工具。功能性神经影像工具可视化负责特定认知功能的大脑区域1.与其他认知成像模式相比，例如脑电图 (EEG)、皮层电图 (ECoG)、近红外光谱 (NIRS)、脑磁图 (MEG) 和正电子发射断层扫描 (PET)1, fMRI 是应用最广泛的。 fMRI 的一个优点是它具有相对较高的空间分辨率2.然而，一般解剖 MRI 图像的空间分辨率（像素大小 < 1 mm × 1 mm）高于一般 fMRI 数据（像素大小 < 3 mm × 3 mm）。因此，需要提高 fMRI 的空间分辨率，以便可以识别更具体的功能活动位置3.尽管 7 Tesla (7T) MRI 扫描仪可以获得比 3T MRI 获得的更高分辨率的 MRI 图像，但它们也更昂贵且可用性有限4.因此，需要一种可用于从 3T fMRI 数据中获取更高分辨率的大脑反应图的方法4.解决这个问题的一个可能方法是应用基于深度学习的超分辨率技术6将使用 3T MRI 扫描仪获取的低分辨率图像转换为高分辨率图像7.基于深度学习的超分辨率 (SR) 方案在应用时在定性和定量上均显示出高性能1 国立量子科学技术研究院 (QST) QST 医院医疗技术部医疗信息学科，日本千叶县稻毛区 Anagawa 4-9-1 263-8555。 2日本国立量子科学技术研究院量子医学科学研究所分子成像和治疗学系应用 MRI 研究，日本千叶。 3Quantum-Medicine AI Research Group, QST Advanced Study Laboratory, National Institutes for Quantum Science and Technology，千叶，日本。 4 千叶大学儿童心理发展研究中心，日本千叶。电子邮件：垃圾 o.76.ota@gmail.com 科学报告|(2022) 12:10319 |https://doi.org/10.1038/s41598-022-14421-52矩阵总成交量重复时间 [毫秒]回波时间 [ms]翻转角度 [度]功能磁共振成像64 × 649005002544低空间分辨率 T2* 加权成像64 × 64120002590高空间分辨率 T2* 加权成像128 × 128120002590T1 加权成像256 × 256123001.989表格1。磁共振成像扫描参数。医学影像8.最近，通过将 SR 技术与生成对抗网络 (GAN) 相结合，这些方案得到了改进9 形成 SRGAN10.与简单的基于卷积神经网络（CNN）的 SR 技术相比，SRGAN 有助于生成更逼真的图像11.要从低分辨率数据生成高空间分辨率 fMRI 系列，需要高空间分辨率信息源。静态 T2* 加权图像 (T2*WI) 和梯度回波 EPI fMRI 数据表现出相似的对比度，因为 fMRI 依赖于 T2* 弛豫14.由于 T2*WI 可以在高空间分辨率下获取，因此我们在此重点关注静态 T2*WI 作为训练 SRGAN 进行 fMRI 所需的图像。在这项研究中，我们为 fMRI 开发了一种新的基于 GAN 的 SR 方案，称为基于静态 T2*WI 的特定主题超分辨率 fMRI (STSS-SRfMRI)，以增强 fMRI 的功能分辨率。所提出方法的关键要素是利用从每个受试者获得的静态 T2*-WI 来训练特定于受试者的模型。本研究旨在评估使用 STSS-SRfMRI 方案与从原始未处理 fMRI 图像（原始 fMRI）获得的结果相比，功能分辨率的增强。材料和方法科目。根据赫尔辛基宣言，所有参与者在参与前均以书面形式获得了知情同意。经美国国家量子与放射科学与技术研究所机构审查委员会批准的实验方案符合 MRI 研究的安全指南。共有35名无神经系统疾病史的健康女性志愿者（平均年龄26.9±6.7岁）被选为本研究的候选人。 5 名受试者的数据被排除在外，原因如下：图像数据因技术错误而损坏（1 名受试者）、候选人视力受损且无法正确执行任务（1 名受试者）、存在严重的运动伪影（ 1 门科目），并且候选人因不明原因未能令人满意地完成任务（2 门科目）。MRI数据采集。所有受试者都使用 MAGNETOM Verio 扫描仪（Siemens AG；Munich，Germany）进行了 3T MRI 扫描。使用梯度回波平面回波成像 (GE-EPI) 序列进行 fMRI 扫描（回波时间：25 ms，重复时间：500 ms，翻转角：44°，视野：1440 mm × 1440 mm，采集矩阵：64 × 64，切片厚度：4 mm，切片：30，总扫描：900）在手指敲击任务期间。此外，T2*WI 是使用二维 (2D) 快速梯度回波序列（回波时间：25 ms，重复时间：2000 ms，翻转角：90°，视场：240 mm × 240 mm，采集矩阵：128 × 128 和 64 × 64，切片厚度：4 mm，切片数量：30）。此外，使用三维（3D）磁化准备的快速梯度回波序列（回波时间：1.98 ms，重复时间：2300 ms，翻转角度：9°，视野： 250 mm × 250 mm，采集矩阵：256 × 256，切片厚度：1 mm）。表 1 显示了 fMRI、T2* 加权 MRI 和 T1 加权 MRI 扫描的参数。手指敲击程序。在 fMRI 扫描期间执行了一个手指敲击任务。补充图 1 概述了任务协议，其中包括敲击一只手的拇指或小指的阶段以及每个任务之间的休息阶段。在开始实验之前，参与者有足够的时间熟悉任务并选择他们将使用哪只手来敲击。在参与者头部后面的屏幕上提供了关于敲击或休息手指的说明，并通过安装在头部线圈上的镜子进行观察。该投影是使用 E-prime 1.0（Psychology Software Tools，PA，USA）呈现的。每个受试者都被指示以自己的节奏轻敲被提示的手指，而不是相邻的手指。功能分析。在功能分析之前，前 60 次扫描被排除在分析之外，以确保磁化达到平衡15.将 T1WI 结构化数据共同配准到自动解剖标记 (AAL) 图谱后16, 功能数据与 T1WI 数据共同配准。然后将这些转换结合起来以识别功能数据集中的运动区域。此外，去除了时间序列中的线性趋势，并通过对每个像素应用低通滤波器来降低噪声水平。空间滤波也使用了高斯滤波器σ=1.5.在此预处理之后，通过关联从图像时间序列中获得功能激活图具有开/关任务设计的每个像素的信号强度时间过程与典型的血流动力学响应函数卷积。 SPM12（修订版 7219）17 用于分析。使用计算每个像素的互相关 (CC) 系数 科学报告|(2022) 12:10319 |https://doi.org/10.1038/s41598-022-14421-53图1。本研究提出的基于静态 T2*WI 的特定主题超分辨率 fMRI (STSS-SRfMRI) 方案概述。上部和下部分别对应于训练和测试阶段。在训练阶段，对生成器 (G) 进行了优化，以形成低分辨率和高分辨率 T2*WI 之间的关系。鉴别器 (D) 决定输入是“真实的”（即参考高分辨率 T2*WI）还是“假”（即生成的高分辨率 T2*WI）。 G 学会通过 D 的反馈生成更真实的输出。在测试阶段，使用优化的生成器从低分辨率 fMRI 数据重建高分辨率功能 MRI (fMRI) 时间序列，随后是高分辨率功能图是基于高分辨率 fMRI 计算的。.接收·瑞抄送=...,(1).RX..R是的.在哪里接收是参考任务设计和瑞是像素的信号强度时间过程15.所有图像预处理和功能分析均在 MATLAB R2018b（Mathworks，Natick，MA，USA）中进行。基于深度学习的超分辨率。图 1 描述了所提出方法的概述。 STSS-SRfMRI方案包含两个独特的思路：一是使用高空间分辨率静态T2*WI作为训练数据；其次，它适用于特定学科的学习。如介绍中所述，静态 T2*WI 用于将高空间分辨率信息引入训练过程。此外，由于功能信号变化通常非常小，因此使用特定主题的学习来消除可能通过包含来自其他主题的 T2*WI 数据而人为引入的任何解剖变异。在训练之前，调整和缩放 T2*WI 训练数据的像素强度以匹配 fMRI 数据的强度。来自每个受试者的所有 30 个 T2*WI 数据切片都用于训练和验证，以构建特定于受试者的模型。然后将经过训练的模型应用于来自同一受试者的 fMRI 数据。这项工作中使用的 SRGAN 以多种方式进行了定制。不是在生成器 G 中使用上采样块，而是使用 lanczos 3 插值将低分辨率图像放大到 128 × 128 矩阵大小18在被输入之前。所有批量标准化层也被删除20.应用鉴别器 (D)，卷积层数设置为 10，以适应输入的大小。我们使用自适应矩估计 (Adam) 优化器实现了修改后的 SRGAN 网络，其初始衰减率为 0.9，比例因子为 2，patch 大小为 64，batch 大小为 2，初始学习率为 0.0001，迭代次数为 100,000。训练图像是对应的 T2*WI 数据的 30 个切片。这些实验是在 Ubuntu 16.04 LTS 上的 PyTorch 1.1.0 中实现的。识别神经激活相关区域。根据低分辨率 fMRI 数据（原始图）和 STSS-SRfMRI 方案的处理输出（STSS-SR fMRI 图）生成的激活图，根据它们定位激活区域的效率进行比较。为此，针对每个受试者的原始 fMRI 和 STSS-SRfMRI 图分别识别对应于拇指和小指激活任务的区域。首先，为每个受试者和每个激活的手指的每个输入图像系列（即原始或 STSS-SR 数据）计算 CC 图。其次，每个CC图中的激活相关区域被定义为由值等于或高于阈值的像素组成的区域，见图2。阈值定义为... 科学报告|(2022) 12:10319 |https://doi.org/10.1038/s41598-022-14421-54图 2。概述如何为每个敲击任务定义激活相关区域。首先，激活图是从原始和基于静态 T2*WI 的特定主题超分辨率 fMRI (STSS-SRfMRI) 图像系列（顶行）获