Harness Engineering——驯服Agent

Harness Engneering——驯服Agent 从理论到落地 AI肖睿团队（李晴）20260714@北京 •北大青鸟人工智能研究院•北大计算机学院•北大教育学院学习科学实验室 HarnessEngineering ——驯服Agent 报告概览·从模型能力、运行环境到系统治理三个层面重新理解AI Agent的构建方式 01回顾演进 02分析概念 概念起源·核心思想·关键问题 Prompt → Context → Harness → Loop 分析Harness Engineering的概念起源与核心思想梳理其解决的关键问题：任务漂移、上下文遗忘、执行失控、结果无法验证 回顾Prompt Engineering、Context Engineering、Harness Engineering与Loop Engineering的演进关系四阶段层层递进、嵌套包含，工程焦点从模型提示外移到自动化循环系统 03梳理实践 04展望未来 OpenAI / Anthropic代表性实践 Loop Engineering · Agent OS 对Harness Engineering的未来发展趋势进行展望Loop Engineering：长期自主运行与自我驱动Agent OS等方向：组件下沉与标准化基础设施 结合OpenAI、Anthropic等代表性实践梳理Harness的核心架构、设计原则与工程模式总结Agent系统从“能用”走向“可靠”的演进路径 目标：帮助读者建立对Harness Engineering的系统认知——理解背景与意义，掌握核心设计思想与工程实践方法，从模型能力、运行环境到系统治理三个层面重新理解AI Agent的构建方式，为设计和落地可靠的Agent系统提供参考。 章节目录 Harness Engineering实践案例分析 01AI Agent工程实践的演进历程 Agent Harness系统的实践经验 Harness Engineering概念与架构 Harness Engineering的未来演进及前沿模型 Harness Engineering核心架构：组件体系 04Harness的设计原则 引言：Agent落地生产环境的挑战 当Agent从演示走向真实生产环境时，人们很快发现：模型能力的提升并不意味着系统可靠性的提升。 主要工程挑战： 任务漂移与上下文遗忘：长周期任务中容易丢失初始目标。 执行失控与无限循环：遇到错误时无法自我纠正，陷入无效重试。 结果无法验证：缺乏客观的外部评价标准，导致产出不可靠。 长期运行成本过高：效率低下导致Token消耗巨大。 核心问题：如何让Agent"持续、稳定、可控地完成任务"成为新的核心问题。 01 AI Agent工程实践的演进历程 Ø1.1 Prompt EngineeringØ1.2 Context EngineeringØ1.3 Harness EngineeringØ1.4 Loop Engineering 01 AI Agent工程实践的演进历程 H/L P/C 基础阶段：提示与信息 进阶阶段：驾驭与循环 01Prompt Engineering 03Harness Engineering 核心：系统如何可靠运行（设计环境） 核心：如何说对话（优化指令） 04Loop Engineering核心：长期自主运行（自动化循环） 02Context Engineering核心：模型看到什么（优化输入） 嵌套层级: Prompt⊂Context⊂Harness⊂Loop四阶段层层递进、嵌套包含，而非简单替代——每一层都建立在前一层之上 •随着任务从“一次性”到“长期自主”演进，工程焦点外移：模型提示→信息环境→运行约束→自动化循环系统 •当前顶级实践（OpenAI、Anthropic等）已深度结合Harness + Loop，仍依赖前两者打基础•挑战与注意：Loop带来更高自主性，但需警惕Token成本、退出条件设计、错误放大风险•优秀实践强调清晰Goal、验证回路和小步安全迭代•Harness工程要解决的：执行沙箱、工具协议、上下文压缩、可观测性、验证回路、权限治理 AI肖睿团队 1.1 & 1.2从提示工程到上下文工程 1.1 Prompt Engineering（提示工程） •核心关注：如何说对话（Refining Intent /优化指令）告诉模型要做什么。•做什么：设计角色、任务描述、输出格式、Few-shot示例、Chain-of-Thought等。•适用场景：早期聊天机器人、简单问答、代码补全等单轮或短任务。•局限：模型容易“忘”、幻觉严重、上下文窗口有限，无法处理复杂任务。•对应问题：输出质量不稳定，主要靠“魔法咒语”。 1.2 Context Engineering（上下文工程） •核心关注：模型看到什么（Managing Information /优化输入环境）给模型正确且足够的信息。•做什么：RAG、记忆系统、会话历史管理、知识库构建、上下文压缩、工具描述注入等。•适用场景：多轮对话、知识密集型任务、需要外部数据的Agent。•局限：长周期任务仍会漂移、累积错误、缺乏全局控制。•关系：建立在好的Prompt之上，Prompt仍是上下文的一部分。 1.3 Harness Engineering（驾驭工程） 核心关注：整个系统如何可靠运行（Controlling Execution） 构建Agent周围的完整控制系统： 核心理念： •架构约束与规则（Architecture Guardrails）•反馈与验证回路（Evaluator Agent、自动测试）•工具权限边界、沙箱、安全机制•多Agent编排与分工•状态管理、记忆持久化、技术债清理 Agent = Model + Harness 模型提供智能，Harness提供可靠性。人类从“写Prompt/代码”转向“设计环境与规则”。 适用场景： 生产级、长运行、自主Agent（如编码Agent持续开发项目）。 监控、可观测性、人类干预接口、自我纠正循环等均属于Harness的范畴。Harness包含并超越了前两者，重点转向系统级可靠性。 关系：Harness包含并超越了前两者。好的Harness里仍有精心设计的Prompt和Context管理，但重点转向系统级可靠性 1.4 Loop Engineering（循环工程） 核心关注：如何实现长期自主运行与自我驱动 主要工作：在Harness基础上引入时间/调度维度和递归目标达成机制 •设计自动化的“循环系统”，代替人工逐轮Prompt，由系统按计划/定时触发Agent。•迭代循环：Action → Observe → Reason → Adjust，直到目标完成或阻塞。•工作发现与Triage（自动化发现任务）、Worktrees（并行避免冲突）、子Agent生成。•持久化状态、退出条件（Stopping Rules）、多循环堆叠（Loop Stacking）。 适用场景：长期自主Agent（多日/数周编码项目、持续开发、自动化运维、研究循环） 从“人类在循环中”转向“人类设计循环” 核心理念：不再手动Prompt Agent，而是设计系统（Loop）来Prompt Agent Loop位于Harness之上（Harness + Timer + Self-Feeding + Helpers） 一句话总结：构建自主循环系统，让Agent针对目标持续迭代，直至完成 关系：嵌套包含前三者。优质Loop依赖强Harness（可靠单次执行）、Context（干净信息）和Prompt（循环内指令）。重点从“单Agent运行环境”转向“多轮、持久、目标驱动的自动化流程”。 AI肖睿团队 总结AI Agent工程实践的四个阶段 ①Prompt Engineering：如何说对话，优化指令，让模型单次产生更好输出②Context Engineering：模型看到什么，优化输入环境，RAG/记忆/知识库③Harness Engineering：整个系统如何可靠运行，Agent = Model + Harness④Loop Engineering：如何实现长期自主运行，设计系统来Prompt Agent嵌套关系：Prompt⊂Context⊂Harness⊂Loop，层层递进非替代工程焦点外移：从模型提示到信息环境，再到运行约束，最后到自动化循环系统 人类从“写Prompt/代码”转向“设计环境与规则”，再到“设计循环系统” 02 Harness Engineering概念与架构 02 Harness Engineering概念与架构 本章从概念起源、核心定义出发，剖析Harness Engineering解决的关键问题，理解Agent时代的基础设施构建方法。 核心问题 Harness价值 Prompt Engineering难以支撑长周期、多步骤任务Agent执行缺乏外部约束与验证机制复杂任务中状态、记忆、协作不可控 为Agent提供可复现、可验证的执行环境将AI能力从单次交互升级为生产级流实现约束、度量、修复的闭环工程化 2.1Harness Engineering概念起源与贡献 Harness Engineering定义 Harness Engineering是AI Agent时代的新兴工程学科，围绕AI模型设计和构建完整执行环境（Harness） 核心公式：Agent = Model + Harness。Model是智能核心，Harness是模型之外的一切：系统提示、工具接口、权限控制、沙箱、反馈循环、验证机制等 Harness像马具：为强大但可能失控的AI提供缰绳与约束，确保其高效、可控地完成任务 强调约束（block）、度量（measure）、修复（repair），超越Prompt Engineering，适用于长周期自主任务 关键词：约束、度量、修复、外部执行骨架 2.1 Harness Engineering概念起源与贡献 Mitchell Hashimoto (2026.02)：HashiCorp联合创始人。在《My AI Adoption Journey》中首次提出并命名。强调：发现错误时，不只是重试，而是工程化环境（规则、检查、守卫）让错误永不重现。 OpenAI (2026.02)：发布《Harness Engineering: Leveraging Codex in an Agent-First World》。实证三人团队5个月生成约100万行生产代码、1500个PR，几乎零手动编写代码。证明了高可靠的Agent-First开发可行性。 发布多篇工程文章，聚焦长运行Agent的Harness设计（有效约束、上下文重置、规划/生成/评估分离等模式）。 意义：标志着从“Prompt时代”向“Agent基础设施时代”的转变。 各种Agent平台等产品正围绕Harness构建能力，Harness Engineering已成为AI开发者应对Agent复杂性的主流范式。 从个人实践到行业标杆，Harness Engineering已成为AI工程核心范式 2.2解决哪些问题 Harness解决的7大问题 ü1. Agent “会做，但做不完”——缺少任务执行结构 ü2. AI自己判断自己正确——执行者与裁判角色重叠 ü3.复杂任务失控——边界模糊、子任务遗漏、修改冲突 ü4.行为不可预测——同一输入输出不一致 ü5.长期任务失忆——上下文丢失、状态难以保持 ü6.多Agent协作混乱——职责、权限、调度不清晰 ü7. AI软件开发无法规模化——缺乏审计、复现、追踪、回滚能力 2.2解决痛点(1)：任务闭环与裁判机制 1.解决A