大算力异构芯片赋能具身智能：从实时控制到空间计算

隋伟博⼠地⽠机器⼈技术副总裁 源自智能驾驶，通往通用智能 具身智能：堪比“计算机诞生”级的颠覆式创新 趋势一：大模型驱动具身机器人向AGI跃迁 趋势一：大模型驱动具身机器人向AGI跃迁 趋势二：以Transformer为核心的基础模型正在重塑机器人技术栈 模型容量增⼤:⼏B到⼏⼗B 多模态⼤模型 趋势三种需求 脑需要更适合的计算平台 S100算控一体化计算平台 大小脑协同，大小模型协作驱动具身机器人大小脑协同进化 RDKS100P RDKS100 全新BPUNash架构支持算法高速运行 8TOPS灵活选择，能效密度优化，满足景需求 线程VPU(VectorProcessUnit)单元，支持和FP32浮点计算，提升Layernorm、x等敏感算子的精度和性能 过160+ONNX标准算子，覆盖CNN和ormer等主流算法，100%硬件加速 三级缓存和高带宽DDR，突破内存瓶颈 BPU®持续迭代，构建具身机器人的大小脑引擎 实现效率最大化、具备高灵活性及高可编程性 大量端侧可直接部署的智能算法 超强异构系统，构建具身机器人核心驱动力 BPU+CPU+MCU超强异构，计算+控制的最佳方案 1.5/2.0GHzArm®Cortex®-A78AE 1.2GHzArm®Cortex®-R52+ 支持RTLinux低延时、快响应任务调度 双核DCLS，双核Split-Lock灵活配置兼顾可靠与性能要求 可拓展多路CANFD，UART，Ethernet等常用通信协议 支持EtherCAT/CAN直连主流关节电机 支持TSN&PTP网络多传感器时间高效同步 采用FreeRTOS进行开发 灵活高效的核内、动 兼顾低功耗和多样化算力组合的单SoC计算平台 新的AI架构（BPU3.0） •80/128TOPSwithnewlydesignedmemoryhierarchy•VectorprocessingunitsupportsFP16/FP32•MoreflexibleNNsupport,suchastransformer 强大的通用计算 •6xA78AE,100K/137KDMIPS•VisionDSP:Q864GFLOPSFP32 高性能图像处理•MIPI-CSI:3x4-laneRX+2x4-laneTX•Upto2.4Gpixel/sprocessingbandwidth 集成式GPU&Codec •GPU:100GFLOPS•Codec:4K@90FPSH.264/H.265/MJPEG 丰富的通信和存储资源 •Upto2x1GE•Upto4-lanePCIe4.0•DDR:96bitLPDDR5/4x/4•NVM:XSPINorFlash,eMMC,UFS 高性能MCU •6.5KDMIPS(lock-step)withlargeonchipmemory•1x1GbE+10xCAN-FD RDKS100机器人开发者套件，具身机器人开发从这里开始 RDKS10更多生态配件 欢迎从线上渠道选购，或根据社区指导，自由搭配 全新工具链，加速大小脑模型转换和部署 Omini-Occ：构建高性能具身机器人感知系统 40% <100ms <5GB 50GB/s D-Brain：构建高性能具身机器人感知系统 80% <100ms <8GB 100GB/s 高效运行具身机器人分层VLA系统 异构计算实现计算资源效率最优化 加速多样化具身机器人应用开发 所有方案均已开源至地瓜机器人社区：https://developer.d-robotics.cc/ 已覆盖多家具身头部客户，成为行业的共同选择 覆盖近具有⾏业影响⼒的具身客户共合作伙伴处于测评阶段 具身领域合作中的客户品类 RDK机器人开发者套件，守护你的机器人的梦想 RoboꢀcsDeveloperKit，YourRobotDreamKeeper AlPerformance 500TOPS人形机器人等 加速智能生长 让开发更简单、让机器更智能