Decision Trace
DECISION TRACE · 调研 · AUDITABLE RECORD

HarnessMM 项目调研:有条件复用动作,能否帮我们的 Agent 省 token?|Decision Trace

HarnessMM 的核心想法值得借鉴:把已经确定的后续动作及触发条件保存下来,条件成立时再经原生工具执行,从而跳过不必要的模型回合;但它还不足以证明能安全、稳定地降低我们日常 Hermes 任务的综合成本,现阶段不建议接入主执行链。

最终判断HarnessMM 的核心想法值得借鉴:把已经确定的后续动作及触发条件保存下来,条件成立时再经原生工具执行,从而跳过不必要的模型回合;但它还不足以证明能安全、稳定地降低我们日常 Hermes 任务的综合成本,现阶段不建议接入主执行链。
记录日期2026-11-04
记录类型调研
章节数量10
预计阅读~7 min
核心结论HarnessMM 的核心想法值得借鉴:把已经确定的后续动作及触发条件保存下来,条件成立时再经原生工具执行,从而跳过不必要的模型回合;但它还不足以证明能安全、稳定地降低我们日常 Hermes 任务的综合成本,现阶段不建议接入主执行链。
  • HTML: https://decision.ht1072.top/2026-11-04-harnessmm-evaluation.html
  • Local HTML: [已移除本地路径]
  • Generated: 2026-11-04T17:40:18+08:00

HarnessMM 项目调研:有条件复用动作,能否帮我们的 Agent 省 token?

结论

HarnessMM 的核心想法值得借鉴:把已经确定的后续动作及触发条件保存下来,条件成立时再经原生工具执行,从而跳过不必要的模型回合;但它还不足以证明能安全、稳定地降低我们日常 Hermes 任务的综合成本,现阶段不建议接入主执行链。

这是一个研究代码项目,不是即装即用的 Hermes 插件。推荐只吸收“条件化复用、未知即退回、逐动作留证”的原则;如果以后要验证,先在隔离环境做只读回放和对照实验,不自动改生产。本文已完成公开发布归档,可作为后续复核的固定版本。

调研范围与证据等级

  • 对象:HarnessMM 项目、论文 v1、视觉比较说明和原生集成代码;仓库审计固定在 e77dfb5b768831be80c7a97855450a65404d01cb,避免把不断变化的 main 当成固定样本。[10][5]
  • 项目公开于 2026-10-26,采用 Apache-2.0;截至本轮 GitHub API 查询,最近主分支提交日期为 2026-11-03,没有正式 release。提交历史是从研究工作区抽取后重建的,不能按仓库历史年限推断全部研发时长。[24][12]
  • GitHub Actions 对该固定提交的 Python 3.10、3.12、3.14 任务显示成功,包含 Python / Node 测试、示例、离线案例和构建;这是项目自己的合成测试及构建记录,不是我们独立重跑,也不是论文业务效果复验。[16]
  • 论文是 arXiv 预印本;作者的实验数据、作者发布的聚合、代码静态审计、我们的推论分开看。未独立复跑基准,未安装项目,未调用其模型或运行其外部 runner。[5][11]

它是什么,不是什么

它的切入点不是换一个更小的主模型,而是改变 Agent 在工具返回之后,什么时候必须再调用模型。原生 Agent 一般是“模型决定动作 → 工具返回 → 模型决定下一步”;HarnessMM 让模型在适合的场景下,一次写出若干参数已经确定的后续动作,再由控制器根据真实回执判断能否继续执行。[5][15]

例如模型已经决定:先写入一段已知代码;如果写入成功则编译;如果编译成功,再运行已经确定的测试。这种“成功就继续”可以避免每一步都重新发送完整上下文。若下一步必须理解新读到的内容、核对外部状态或作新决策,就不该复用,而应回到原模型。这个例子用于解释机制,不是本轮实测。

项目术语 人话 关键边界
EDG:可执行决策图 预先保存具体动作、参数、依赖与触发条件 不是任意未来操作的授权书,字面参数必须已经确定。
GDR:带守卫的复用 查看真实工具回执与依赖,决定哪条动作具备执行条件 检查的是写下的局部条件,不保证动作安全或任务正确。
CCS:带证据的回调替代 在符合条件时,经宿主原生工具执行动作并记录被替代的模型回调 记录能证明替代发生,不能单凭它推算整个任务省了多少 token。
RSI:自我改进 基于训练反馈修订提示词、上下文和适配规则,经验证选择后冻结测试 此处不是模型权重自我训练,也不是证明系统可以无限自主进化。

以上是论文与集成指南对机制的说明;真实收益仍要通过完整任务的质量和成本对照来测。[5][15]

实验成绩:先看口径,再看数字

下表是作者报告,k 代表每个测试任务平均千 token,费用范围为测试执行的输入加输出,并非账单金额;训练、优化和验证的成本单列。每组对比内部保持相同任务、主干模型和评分器。[5][13]

数据与配置 测试任务数 成功率:原版 → 加入 HarnessMM 每任务 token:原版 → 加入 HarnessMM 作者报告的执行 token 降幅
HumanEval / Codex 98 90.82% → 90.82% 66.72k → 47.02k 29.54%
HumanEval / DeepSeek Harness 98 71.43% → 85.71% 96.28k → 11.62k 87.93%
MBPP-sanitized / DeepSeek Harness 257 90.27% → 91.83% 53.98k → 10.61k 80.35%

有两个必须拆开的点:

  1. DeepSeek Harness 是实验宿主,不等于使用了 DeepSeek 大模型。上面醒目的 HumanEval 结果使用自托管 Qwen3.5-4B、固定版本的 DeepSeek SDK,以及特定 author、上下文压缩和收尾组合。它不能直接代表最新版 DeepSeek 模型或社区插件的效果。[13]
  2. 87.93% 是整个配置的结果,不是纯粹由决策复用带来。该组总模型调用从 954 降到 415,差 539 次;可以证实的回调替换为 147 次,不等同于前者。平均输入从 92.45k 降到 7.09k,输出反而从 3.83k 升到 4.53k;上下文管理等组合也参与了变化,不能把所有收益算到 EDG 头上。[5][13]

98 题是作者从 HumanEval 全集自定义划出的测试段,不是官方全量 164 题;其同题配对比较比随意跨任务比较更有价值,但不是可直接横比的全量榜单。论文记载 DeepSeek 组 22 道由错变对、8 道由对变错,报告精确 McNemar 检验 p=0.0161;这是作者报告,不代表已独立核验原始轨迹。[5]

对照组比宣传更能说明问题

同一个 257 题的 MBPP 聚合中,仅使用 CoT 的对照组得到 93.39% 成功率、15.04k token;HarnessMM 为 91.83%、10.61k。即相对这一对照更省,但少做对 4 题;不能说所有对照下都“质量保持”。仓库聚合还写有 quality_vs_exact_cot_passed=false、mechanism_gate_passed=false 与 benefit_claim_eligible=false,同时对原生对照的质量和节约门标记为通过。具体门禁定义不完整,不能据此断言作者全部结论无效,但这些限制不能省略。[23][25]

另一组独立的 MBPP 消融比较报告:完整方法相对单次使用决策图省 26.91%,配对区间为 4.01% 至 45.57%;相对保留模型回调省 19.52%,但对应区间为 −2.07% 至 38.68%,跨过零;完全停用决策图的一组多做对 4 题。两组数值来自不同实验条件,不能混作同一条结果。[5]

论文也报告了相反样例:AIME 测试组的 HarnessMM 比 No Skill 多用 28.34% token;GAIA2 上相对 No Skill 的执行 token 降 12.41%,但成功率低于 SkillOpt。Terminal-Bench 的 18 道开发题里,Codex 成功率从 77.78% 降到 55.56%,说明更复杂工作中必须认真看质量代价;这是开发样本,不能冒充大规模正式测试。[5]

视觉榜单:只领先一题,且不是十组里成功率最高

仓库首页的视觉对比是与论文编码实验分开的 HarnessMM-V 扩展:Qwen3.5-9B、96 个测试任务、每题单次执行;HarnessMM-V 通过 60 题,HarnessPro 与 DeepSeek Harness 各通过 59 题,差异只有 1 题,即约 1.04 个百分点。十组中 SkillOpt 通过 62 题、成功率更高;作者首页的“更高”限定在四个指定对照上,并没有声称超过十组中的所有方法。[14]

5.07k 对 10.03k 对应的是这组测试中对 HarnessPro 的执行 token 对比,而不是同等质量下的生产账单节约;比较方案包含为视觉环境配置或复刻的适配器,不能把这看成对不同厂商旗舰模型本身的比较。公开资料没有给出逐任务配对表或多次运行结果,因此不足以认定这一题之差是稳定优势。[14]

实现审计:哪些保障是真的,哪些不是

固定代码中的 parseBank 有候选格式、工具 schema、依赖和参数的校验;localGuard 可检查返回码、文本和部分结构化字段。回执缺失、不能判断或没有可用候选时,相关常规路径会退回慢模型,而不是凭空补一个动作。[21][22]

ExecutableSubdag.observeTool 会核对候选动作与原生工具名称、参数、调用 ID 和回执,并记录被替换的回调及哈希;如果宿主明确表示动作未执行,代码不把它计为有效替代。这是有意义的执行证据,但它证明的是“发生了什么”,不是“下一步语义正确、操作安全、节约的反事实成本是多少”。[21]

需要特别警惕三处边界:

  • 字面匹配不是语义验证。测试明确显示,使用包含匹配查找 READY 时,NOT_READY? 也会匹配成功;对复杂工具输出用这种守卫可能误触发。[26]
  • 退出码为零不等于可以放心继续。它只能说明此前命令按进程约定正常退出,不能证明业务状态、审批、远端目标、结果时效与接下来的副作用都正确。这里是我们的工程判断,不是项目已经解决的问题。
  • 不能笼统说所有失败都自动回退。已核对的一条快速选择请求路径中,provider 请求异常会向上抛出,是否重试、是否中止取决于宿主;未知守卫的常规弃答与网络/运行错误不是同一类失败。[22]

因此它不应替代危险操作审批。多次执行、重复提交、状态漂移、伪造或截断回执、并发、用户中途转向,以及重试后的幂等性,都需要宿主自己守住。

可复现性与项目成熟度

仓库提供测试、合成案例、参考适配器与一次 MBPP 聚合记录。reproduction/mbpp_sanitized 能从作者给出的整数汇总重新算比例;它不会重新执行 257 道题,也不提供逐任务轨迹、模型请求日志或原始计费回执。其他几个离线案例验证的是模拟条件下的接口和控制行为,不是复跑论文成绩。[11][12][23]

视觉比较公开了汇总表和图表数据,但仓库中看到的可执行视觉案例是 baseline 的合成边界,而不是完整的 HarnessMM-V 对比实验包;资料不足以从当前仓库独立重跑 96 题成绩。更完整复跑仍需外部环境、数据、对应模型及新的实验封存。[14][29][11]

作者对现成 DeepSeek Harness 社区插件也明确区分:它是独立集成,不等同于论文所用 SDK 适配器;该环境的效果需要另测。对我们来说更不存在“已经支持 Hermes、一装就省”的证据。[13][17]

跟我们当前体系的关系

本轮对本机的 Hermes 源码、技能和本地 wiki 做了定向只读检索,没有发现已集成 HarnessMM 或 PhiAgent 的明确证据;这不等于检索过所有历史会话,也不代表它在本机绝不存在。我们的 Hermes 已经支持一次返回多项工具调用,现有脚本也能把确定流程合并执行;这些办法和它有相似目标,但不等于具备“基于回执自动启用动作图并跳过后续回调”。[19]

项目里的 Jev 是其内部选择器/协议命名,论文说明它受 TypeSafe Jev 思路启发;本机既有 Jev 则是 TypeSafe 的概率式决策能力。两者不是同一份实现,也不在同一职责层:前者解决候选动作如何选择与回退,后者是可用于决策的外部能力。不能因为名字相同就判断可直接接入或已经兼容。[5][27]

Hermes 官方已有 llm_execution 中间件可包裹或替代一次模型调用,工具调用前后也有钩子;这提供了可研究的技术接缝,但不等于项目已适配 Hermes,更不等于接入后自然保留账单与安全语义。[19][28]

本机源码里,terminal 结果以 output、exit_code、error 等字段构造;HarnessMM 的相关守卫路径则使用 return_code 和 stdout 等字段。两者之间需要可信适配,必须处理输出脱敏、截断、错误、超时和编码差异,而不是简单改字段名就认定等价。本机源码参考:~/.hermes/hermes-agent-live/source-overlay/tools/terminal_tool_result.py:240-274;对侧参考项目守卫实现。[21]

如果未来试图在 llm_execution 短路调用,消息格式、流式行为、会话回放、用量、成本和原有审批链都需要单独验证;本轮没有做相关实机试验,也不把潜在接缝当作已验证方案。[28]

如果以后要验证,怎样做才划算

推荐路线是“先证明机会存在,再决定要不要写集成”,不是先安装一个新控制器。以下均为候选方案,尚未执行:

  1. 脱敏只读审计:经授权选择典型任务,提取工具调用与回执,排除凭据、私人内容和敏感命令。先量化确定性短链是否足够常见。历史记录未必包含当时已明确授权的后续动作;事后从最终轨迹推断计划,只能算理想化上限,不能宣称可实际替换。
  2. 隔离对照:若有价值,在纯模拟工具和固定样本上比较原生执行、普通命令合并、带守卫的动作图;保持任务、模型、预算、工具、评分器一致,保留未命中和失败样本,避免为了提高复用数故意拆命令。仓库本身也将命令合并视为有效基线。[13]
  3. 先安全,后收益:故障注入至少覆盖错误或缺失回执、输出伪造与截断、重复执行、并发、取消、用户中途改意、超时、重连以及原生审批是否仍然生效。发生不确定时回到原生路径;任何涉及删除、发布、服务重启或其他高影响动作,不进入自动快速路径。
  4. 单独算全账:记录真实输入、缓存命中、输出、编写动作图、候选选择、失败重试、回退、人工确认、优化与验证成本,以及端到端时延和任务成功率。只有综合成本下降且质量、安全不退化,才讨论扩大;预先定义容许的质量误差和统计方法,不能事后看成绩改门槛。
  5. 回退方式:隔离实验全部停在临时环境;未来若探索插件,也应可一键停用并回到原生调用链,不能引入必须常驻的新服务。生产接入、花费真实模型费用与任何外部副作用,另行说明范围并取得授权。

最终判断

  • 能力吸收级别:原则可借鉴;整包引入不推荐;生产自动执行暂不通过。
  • 它最有价值的启发:不要只统计“快决策调用次数”,而应证明确实消除了原本会发生的慢调用,并把新增成本与失败算进去。[5]
  • 它最容易被误读的地方:88% 是特定模型、基准与整套配置的测试执行数字,不是对 Hermes 的节约承诺,更不是账单或系统性能保证。[13]
  • 当前状态:完成源码、论文、项目文档及本机代码的只读核对;未运行项目、未复现真实基准、未装插件、未修改生产配置。本文已作为调研记录归档发布。

参考来源

[5] https://arxiv.org/html/2610.32813v1

[10] https://github.com/YuhuaJiang2002/HarnessMM/blob/e77dfb5b768831be80c7a97855450a65404d01cb/README.md

[11] https://github.com/YuhuaJiang2002/HarnessMM/blob/e77dfb5b768831be80c7a97855450a65404d01cb/REPRODUCE.md

[12] https://github.com/YuhuaJiang2002/HarnessMM/blob/e77dfb5b768831be80c7a97855450a65404d01cb/docs/REPRODUCIBILITY.md

[13] https://github.com/YuhuaJiang2002/HarnessMM/blob/e77dfb5b768831be80c7a97855450a65404d01cb/docs/DEEPSEEK_REPRODUCTION.md

[14] https://github.com/YuhuaJiang2002/HarnessMM/blob/e77dfb5b768831be80c7a97855450a65404d01cb/docs/VISUAL_COMPARISON.md

[15] https://github.com/YuhuaJiang2002/HarnessMM/blob/e77dfb5b768831be80c7a97855450a65404d01cb/docs/INTEGRATION.md

[16] https://github.com/YuhuaJiang2002/HarnessMM/actions/runs/41609596994

[17] https://github.com/YuhuaJiang2002/HarnessMM/issues/1

[19] https://hermes-agent.nousresearch.com/docs/developer-guide/agent-loop

[21] https://github.com/YuhuaJiang2002/HarnessMM/blob/e77dfb5b768831be80c7a97855450a65404d01cb/integrations/deepseek_harness/sar_v2.mjs

[22] https://github.com/YuhuaJiang2002/HarnessMM/blob/e77dfb5b768831be80c7a97855450a65404d01cb/integrations/deepseek_harness/cot_jev.mjs

[23] https://github.com/YuhuaJiang2002/HarnessMM/blob/e77dfb5b768831be80c7a97855450a65404d01cb/reproduction/mbpp_sanitized/README.md

[24] https://api.github.com/repos/YuhuaJiang2002/HarnessMM

[25] https://github.com/YuhuaJiang2002/HarnessMM/blob/e77dfb5b768831be80c7a97855450a65404d01cb/reproduction/mbpp_sanitized/aggregate.json

[26] https://github.com/YuhuaJiang2002/HarnessMM/blob/e77dfb5b768831be80c7a97855450a65404d01cb/tests/sar_v2.test.mjs

[27] https://github.com/YuhuaJiang2002/HarnessMM/blob/e77dfb5b768831be80c7a97855450a65404d01cb/integrations/deepseek_harness/jev_v2.mjs

[28] https://hermes-agent.nousresearch.com/docs/developer-guide/middleware

[29] https://github.com/YuhuaJiang2002/HarnessMM/blob/e77dfb5b768831be80c7a97855450a65404d01cb/integrations/baseline_harness/README.md