多模态与多人工智能代理在硬件设计中的应用

Chia- Tung (Mark) Ho, 高级研究科学家 | GTC 2025 议程 ➢ 动机 ➢面向硬件设计的语言模型代理 ➢结论与未来工作 硬件设计挑战 • 随着技术的进步，硬件设计变得越来越具有挑战性。 •日益增多的设计规则•复杂的层间设计规则•严格的模式规则•日益增多的晶体管和更复杂的设计导致交付周期（TAT）延长。•... • 机会：利用智能AI代理提高生产力并缩短TAT •时间分析代理（~天/周 至 分钟）•设计规则检查代码生成（~天到分钟）•Verilog 编码和调试 用于硬件设计问题的自主代理？ 如何获取领域能力并提高部署效率 LLM技能与能力用于解决硬件设计问题 硬件设计问题与挑战：智能体部署 •按模型：基础模型和微调模型•通过即时提示：提示工程•通过工具：RAG/定制工具/API•通过分解：任务流，多AI对话•通过学习：试错、经验积累 •设计生成、调试、审查/分析、优化•低至中等智力投入，大量繁琐的工作。•提高生产力，使设计师的生活更轻松。 •构建用于芯片设计的实用代理需要广泛的专业领域能力。 •多元化的设计知识：逻辑设计、物理设计、验证、模拟设计等。•多样的工具命令和文件格式：PrimeTime，ICC2，Innovus，报告，LEF/DEF等 • 许多知识源自设计师的洞察力 •需要一个易于开发的框架设计师专家 •低代码开发•代理和工具库 多模态和多AI智能体在硬件设计中的应用 • 动态/静态可配置图式任务求解：灵活集成硬件设计知识• 硬件设计技能与能力：定制工具、内存、知识数据库开发• 单一AI/多AI解决子任务：利用autogen进行多AI协作配置 (a) 任务流程级 议程 ➢ 动机 ➢用于硬件设计的LLM智能体 ➢结论与未来工作 硬件设计代理研究的概述 芯片设计的代理研究概述 Verilog 与 DRC 编程任务的自主代理 DRC-Coder（陈家昌、何马克、任马克，ATG）工业3纳米技术节点设计规则 VerilogCoder (Mark Ho, Mark Ren)多智能体系统 + 动态任务图 + 定制化调试工具 多模态+多AI+工具+编程 VerilogCoder:基于图的自主Verilog编码代理规划和基于抽象语法树（AST）的波形跟踪工具 • VerilogEval基准测试通过率94.2% • 比SOTA高33.9% •动态任务图规划•任务驱动电路知识图谱检索 •代码完成与调试•任务流驱动的多智能体•AST - 导航波形调试工具 •VerilogCoder + MCTS: 98.1% 波形调试 规划者 框架概述 动态任务图求解 + 多AI协作 + 定制化工具 实验结果 VerilogCoder：自动修复功能错误 DRC-Coder: 自动设计规则检查代码生成 • 任务：为DRC规则检查器编写DRC代码。 •Input:Foundry document image, Post-processed grid based DRV image from commercial tool. • 输出：能够正确检测DRC错误的DRC代码。 Chen-Chia Chang, Chia- Tung Ho, Yaguang Li, Yiran Chen, Haoxing Ren, “DRC-Coder: Automated DRC Checker Code Generation Using LLM Autonomous“代理”，拟发表于 ISPD 2025 DRC代理流程 • 规划者：总结设计规则条件•铸造规则分析工具（VLM）•布局DRV分析工具（VLM） •程序员基于设计规则条件编写代码•DRC代码评估工具 多模式能力 铸造规则分析（VLM推理） 布局DRV分析（VLM推理） 实验结果 •将DRC检查视为分类问题；指标：精确率（P）、召回率（R）、准确率（A）和F1分数（F）•所提出的方案实现perfect score (1.00)在精确度、召回率和F1分数方面•提出的方方法实现37% 更高的 F1 分数than standard prompting DRC-Coder：自动生成设计规则检查代码 LLM用于标准单元布局设计优化 PPA（功率优化协议）与布局感知设备集群 • 高质量设备聚类考虑：扩散断开/共享、晶体管引脚访问、布线金属DRCs 专家级设计代理机构用于标准单元布局优化 •目标：调整和微调设备聚类约束逐步优化PPA和可达性 •输入：SPICE 网表、聚类约束、单元布局、布线可行性报告等。 •输出：调整和微调设备聚类约束 • 贡献： •率先探索在工业级基准上利用大型语言模型进行EDA优化。•对现有大型语言模型在晶体管级别设计中的能力和领域知识的全面评估和研究。•Achieve up to19.4%更小的电池区域/生成23.5%moreLVS/DRC洁净室布局优于之前的工作。 专家设计师代理：用于标准单元设计布局的大语言模型优化 •ReACT + 领域知识•知识提取•网络拓扑结构、物理布局、布线可行性 实验结果 时间路径调试代理 • 任务：多角多模式（MCMM）时序路径调试 •挑战：•多个提供各种时序信息（即，最大值、互调等）的时序报告。•440k行在报告中，8k时间路径，具有时间路径之间的关联 层级计划求解 + 多智能体协作 •MCMM：层级计划求解•报告依赖：精炼时间调试关系图•数据库检索：代理式检索 MCMM报告调试任务 •来自实际设计的多报告基准•通过经验丰富的人类工程师评估通过率。 议程➢ 动机➢用于硬件设计的LLM智能体➢结论与未来工作 结论 • 如何通过代理解决问题？•设计生成、调试、评审/分析、优化•低至中等智力投入，大量繁琐的工作。•提高生产力，使设计师的生活更轻松。 • 需要广泛的专业能力才能为芯片设计构建有用的智能体 •多样化的设计知识：逻辑设计、物理设计、验证、模拟设计等。•一系列多样化的工具命令和文件格式：PrimeTime、ICC2、Innovus、报告、LEF/DEF等。 • 代理能力源于设计者的洞察力 •具备实现显著设计和验证生产力提升的潜力。 未来工作 • 使用高质量硬件设计数据进行大语言模型的训练 • 提升基于大语言模型代理在硬件信号和波形调试方面的能力 • 将PPA指标纳入代理设计流程 •开发更高效的自学习技术和记忆系统，以帮助LLM代理解决更复杂的硬件任务。 谢谢 • 英伟达设计自动化研究组带来最新消息。 对于那些对帖子中突出提及的技术感兴趣的人，这里有一份相关的论文列表： •RTLFixer: 使用大型语言模型自动修复RTL语法错误 • /NVlabs/RTLFixerGitHub 仓库•VerilogCoder：基于图规划的自主Verilog编码代理与基于抽象语法树（AST）波形追踪工具• /NVlabs/ VerilogCoderGitHub 仓库•DRC-Coder: 使用LLM自主代理进行自动DRC检查代码生成大型语言模型（LLM）用于标准单元布局设计优化 • NTECH，圣克拉拉，2024年（生产中的代理） •大型语言模型用于标准单元布局设计优化•DRC-Agent：基于LLM-Agent的自动化设计规则检查•时间代理：一个用于生成QoR摘要时间表的多LLM代理•NanoTime Agent——通过提炼的时序调试关系图和智能体检索，实现多报告分析的自动化•MAGIC：由大型语言模型驱动的多智能体生成式智能绘图工具•通过多智能体LLM框架进行形式化验证断言生成 致谢 衷心感谢生产团队和内部合作伙伴在这一工作中的贡献。DAR团队成员：白云生、邓晨辉、刘奕辰、刘丹尼、梁荣健、杨浩宇、刘明杰、任马克 DAR实习生：陈家嘉，姚旭峰，蔡云达 生产团队成员：景公, Jatin Nainani, Abhishek Akkur, Ghaith Bany Hamad, Scott Fields,Yaguang Li,Tsunghsun Hsieh,金民秀，何阿文，杜尔卡·阿尼鲁德，蒂库·拉克希特，帕桑迪·加斯姆，干迪科塔·拉维基绍尔，高尔维特·戈尔 分类学研究 分类学研究