GTC SJ 2026下一代智能手术机器人

大家好。我的名字,MadieAzizian。我很高兴今天能和你们谈谈下一代智能手术机器人。以下是我们将要讨论的议程的简要概述。第一,我们将看看艺术外科机器人系统的现状,他们看起来怎么样?然后我们来谈谈下一代手术机器人,我们认为这将是数据中心架构。然后,我们简要介绍了从开发到部署的路径,以及该路径的计算要求是什么,以及如何从临床决策转变为实际使用。然后我会把它交给我的同事,SeanHoover,谁将讨论数据和下一代模型。这是你已经在英伟达看到的一些公告。他会深入研究这些。然后,他基本上会介绍智能医院的激进系统。然后我们会总结并回答一些问题。所以如果你看看今天的手术机器人,你可以从几个不同的角度对它们进行分类。一个是人体的护身符。显然,开放获取机器人在骨科颅脊柱应用中已经存在了相当长的时间。在过去的三十年左右,用于显微镜超声的腹腔镜检查中的多种机器人技术一直在使用。而单端口机器人基本上是最近才出现的,比如达芬奇。使用的sp和等效性。以及发光机器人,从节点到分枝有各种各样的东西,血管内及不同类型,和无调机器人,焦点疗法的类型,海富科技hystotropsy和剂量,这些基本上都有不同类型的要求。因此,我们将主要关注屏幕左侧的多个单一端口,如系统。但我们谈论的现象适用于所有这些。基本上,您也可以按实施方式分类。所以你可以想象一个手术机器人基本上可以在车轮上的一张卡片上有多个手臂。这可能是最流行的系统类型之一。 其中许多是由不同的医疗设备公司制造的。或者它可能实际上是在车轮上的多张卡片上,这些卡片实际上围绕着一个手术室桌子。它也可以安装在手术室的桌子上,就像J和J的Otava系统。或者有不同的类型,基本上被螺栓固定在地板上或天花板上,特别是焦点治疗机器人有很多这类实施方案。您可以查看的另一个分类实际上来自自治级别。这实际上是来自几年前他们在那里建立的班纳德团队的一篇论文。在广宗洋和科学团队的研讨会论文之上,2017年的机器人,他们试图定义和就手术机器人的不同自主水平达成共识。你看到的绿色曲线基本上显示了每个类别中现有机器人系统的数量。大多数,如你所见,在一级,是帮助你的机器人,大部分是机器人。显然,很少有第二级和第三级具有任务自主性和条件自主性,但是在刚性体型应用中很少,而且大多数是。第四级几乎没有商业上的东西,五级自治,但有很多研究小组和初创公司正在为此努力。而这些也将在未来到来。我们谈论的一些架构实际上不仅支持一级,但也允许更高级别的自治系统。所以典型的手术机器人系统,伊塔利经营一家有一个或两个外科医生控制台,主要和次要外科医生坐在那里,可能是一个实习生和一个导师。或者基本上是两个分担责任的外科医生,或者只是一个真正在看手术的人。通常有一个视觉塔,内窥镜和所有配件都连接到手术机器人。所以这是当今存在的非常简单的架构。通常现代手术机器人系统与云有连接,用于空中更新的虚拟私有云,维修,收集数据,有时,基本上也会远程连接到系统并做类似的事情。例如,教学。我们看到越来越多的边缘AI侧车被添加到这些系统中,作为将能力带到手术机器人边缘的后期考虑。如果您查看有关此类系统不同组件如何连接的更多细节,这只是一种描述和过于简单化的方式来谈论手术机器人的不同组件是如何连接的。有许多不同的组件。这是,根据定义,分布式系统。 并且每个都与彼此之间通常专有类型的连接相连。因此,Sergent控制台将摇摆到手术机器人本身以及其中不同部分之间的联系。有时,星形配置或具有不同类型的基本电缆的Daisy链。信号,协议。这使得从一代机器人系统迁移到下一代变得非常困难,因为你基本上必须维护a到c是专有的东西,不能与其他事物交互。而且,你经常会处理支持这一点的基本部分的过时问题。这就是我们真正认为下一代手术机器人的原因之一。像许多其他机器人一样,将采用轮子或数据中心,连接到手术室。根据你所说的实施例。数据中心是非常可扩展的。让我们来看看不同行业的一些相似之处。如果你看看自动驾驶汽车行业,尤其是在海湾地区,你看到很多正在从事航空工作的初创公司,其中一些现在,我们的大公司在市场上有产品。你可能已经和wemo一起坐在这里,你已经看到了它是如何工作的。但经常,如果你有原型的内在内脏,真的那么丑。你知道,这是一辆正在开发中的自驾车的后备箱。你看到的是非常不同类型的电缆,不同的协议和不同的连接。很难维护和处理,随之而来的多个不同的供应商和复杂性。这里实际上是一个以数据中心为中心的自动驾驶汽车的视图。所以你可以看到,汽车本身的大脑基本上通过互联网连接到几乎所有传感器和执行器的ecus,使您可以轻松扩展。如果你想从一代走向下一代,添加更多传感器,升级你的传感器,改变你的执行器,提高计算能力。这只是一个数据中心。你只是改变计算,你更换传感器和执行器,一切都保持不变。都是基于以太网的。它是可互操作的,使您能够实际与不同的供应商合作,甚至拥有由多个不同公司构建的系统。人形体也是如此。 如果你看看遗留的类人生物,称人形遗产其实很有趣。根据定义,它们是较新的。但市场上的情况一直在追踪机器人操纵器和自动驾驶汽车。经常,有固定的输入和输出,基本上限制了你的传感器数量。您无法轻松添加更多传感器,有单独的传感器和执行主管,然后你基本上会得到一些复杂而昂贵的事情来处理。您的安全性和容错性有限,而且,我们处理流量时使用cpu的使用量很大,而我们正在与一些合作伙伴合作进行的一项数据中心人形设计完全基于互联网。再次,你有类人脑,人形机器人胸部的绿色盒子,通过互联网具有灵活的io。所以你只受限于你输入的互联网链接的带宽。您有一个统一的网络来感知执行。一切都在同一网络上同步。这大大降低了复杂性,并使其更具容错性。而且,由于这些系统的大脑带来的网络加速,我们将讨论。它消除了CPU的使用,所以你基本上可以直接访问GPU内存。所以,这里其实有一个观点,对以数据为中心的外科手术机器人的外观的非常简单的看法。你可以在底部看到,由于缺乏更好的单词,你可以为手术机器人的不同区域有不同的边缘计算。你有模拟区,手术控制台区,机器人区,内窥镜区,一个附件区。你基本上有一个互联网网络的骨干,而且,出于安全目的,您也可以拥有冗余的骨干。系统中几乎所有的输入输出都被处理了。在此之后,我们简要提到的以太网hoscan传感器桥接器使您几乎可以转换以太网内外的任何类型的信号,基本上使rdma rdma代表对GPU内存的远程直接内存访问。所以我们再加一点。所以,让我们来为你们这些来自元客的人做点小菜。如果我们想看看数据中心机器人系统的最高要求,您希望机器人网络是基于互联网的,并且您希望在系统内的任何地方实时访问数据。所以你不必重新设计东西来获得,例如,其他节点或该联合编码器上的内窥镜图像基本上在另一个节点。一切都应该可以通过软件配置随时随地访问。 来自传感器的入站数据应在任何处理单元中以最小的延迟和抖动访问。这基本上是一个要求,反之亦然。处理单元的出入数据应可供有电机控制器的控制单元访问,显示控制器,再次,以最小的延迟,将有冗余访问通道,显然,对于安全关键数据。所有进站数据都应该同步。显然,您希望拥有数据的真实性和安全性。这是一个明显的要求,因为你不希望有人与他们的笔记本电脑连接到系统并试图入侵。而切换这个功能可能是实现的最重要的功能之一,机器人的数字和物理孪生体之间的切换与这种架构无缝对接,随着IP地址和端口的变化,您将能够从传感器的数字版本切换到其物理版本。因此,开发周期变得更快。正因为如此,您不需要创建硬件抽象层,基本上使临时模拟桥令人沮丧。显然,单位应能够记录数据并以同步和一致性无缝地回放这些数据。让我们仔细看看性能。我将给你一个非常简单的例子。想象一下,你想要谈论手术机器人上的事件到动作表现。这是它所做的事情的核心。一个脱胎机器人正在检测一些东西。你根据这一点采取行动,然后通过。所以如果你有一个Tensor芯片,想象有规律的内窥镜。手术机器人系统,你让它经过一个ISP,图像信号处理管道,通过视频路由器,通过框架抓取器,通常在不同的物理节点上,对处理单元进行一些处理,然后到控制器单元,然后回到机械臂上的电机控制器做某事。我不会在这里展示外科医生的循环能力,只是为了能够谈论你获得的性能。你在市场上找到的最好的东西是,从基本上这个开始到结束,你得到的性能有50毫秒的延迟。数据中心版本将是这样,将原始数据交给芯片传感器,说,csi p通过halscsensor桥直接写入gp U内存。因此,当线路在相机中扫描时,它们基本上是用GPU内存编写的。在另一个字里,GPU内存成为传感器内存的扩展。 然后它会进入GPU上的holoscan k管道,这基本上是一张处理图。然后你基本上可以回到以太坊上,控制你的机械臂的微控制器。我们所做的基准测试显示了1.2毫秒的光实现速度从输入到输出。所以你会看到从50到1.2毫秒的差异在这一点上。它是如何启用的?我们有更小的验证。我们的数据中心位于此类机器人部署的边缘。这款名为igx store t 7000的高端版本,它有不同的版本,计算水平和价格点基本不同。显然,这一个带来了超过5000 teraflops的f4用于推理,如果您需要更多的计算,可以选择添加rtx Pro 6000。你拥有128GB的内存。更重要的是,您基本上可以达到每秒400千兆位的互联网带宽。这是上一代的两倍,是ix或n700。而在下一代,这将是日元的两倍,到每秒800吉比特。所以,不做任何事情,这种以数据为中心的方法会给你将来的证明。io部件由Holloscan传感器桥启用。这是一个非常简单的参考设计。这是一个fpg ip,我们已经公开并免费提供给所有想要把它放在里面的人。它几乎得到了任何ffig供应商的支持。我们的许多合作伙伴正在构建其中的六个。此外,它附带一个软件模拟器,你可以在微控制器或任何CPU上运行它。因此,您可以转换从I qc获得的几乎任何类型的信号。SPI和GPIO到JD,MP,CSI,LVDS等。另一方面,如果有多个以太网并直接访问GPU内存,则将及时同步以太网。这是通过kx提供的Nvidia网络加速实现的。这就是1.2毫秒我所说的管道。如果你看左上角,你看到立体相机连接到整个皮肤传感器桥。这是一个格子f gee。它通过以太网链接到igx,并在hoscan管道中处理。你看到的绿色右侧,绿色是人类控制的激光笔。红色基本上就是什么,那个双自由机器人的可伸缩激光笔基本上在墙上闪烁,让我再试一 次。如果可能的话,基本上跟踪绿色。你可以看到,几乎完全追踪失败者是因为校准。1.2毫秒基本上从靠近gpio命令的快门进入到mcu。光子,这里的两个光子是十毫秒,这主要是由相机快门基本上需要打开的时间驱动的。如果你看这个,显然,在普通的远程操作员机器人中,这可以用。但你也会听到很多关于远程手术的消息,因为机器人和外科医生都是疤痕,而外科医生更多的是疤痕。您希望外科医生能够在偏远地区工作。所以这是AA非常简化的图表,显示了Artela手术的状态。基本上,在患者方面,你有内窥镜b的过程和压缩,通过网络发送,显示给外科医生,激增,采取行动。这一行动再次通过网络进行,回到另一边,机器人跟着。使用这种以数据中心为中心的技术,如何加速这一过程?实际上,你可以应用整个扫描传感器桥和英伟达的加速来基本上消除患者侧和外科医生侧的延迟,因为我们在网络方面能做的不多。您显然可以与索瓦托和其他电信手术公司和电信公司合作,以获得最佳的网络。但是光速是受距离的限制的。我们能做的是消除管道的近端和远端的延迟,为正在运营的外科医生提供更好的性能和更好的安全性。让我们快速谈谈开发工作流程以及我们实际上是如何考虑的。我们看到这种类型的问题,特别是当你把更高的自主性作为三个计算机解决方案问题时。它的意思是基本上,如果你将AI带入循环,你需要训练那个AI算法。通常你需要参与某种刺激,然后在一天结束时。你需要部署。但这实际上是一个周期,在你的产品开发期间和产品发布之后都会持续。所以你可能想确保这个循环非常流畅,你有一个飞轮在那边运行。这种以数据中心为中心的方法使您能够无