- HTML: https://decision.ht1072.top/2026-11-04-deepseek-harness-vs-hermes-evaluation.html
- Local HTML:
[已移除本地路径] - Generated: 2026-11-04T19:18:44+08:00
DeepSeek Harness 与 Hermes 体系对比分析:定位差异、能耗机制与吸收边界
结论
DeepSeek Harness(dsh)与我们的 Hermes 不在同一生态位:它是「造 Agent 运行时的微内核工具箱」,面向想重组 Agent Loop、工具面与会话机制的开发者;Hermes 是 7×24 常驻、带分层记忆与知识治理的个人操作中枢。本轮证据不支持用 dsh 替换 Hermes 主控或并入常驻生产链,建议按 Watch + Partial Absorb 处理——架构纪律与能耗机制按层级吸收,运行时不接入,最值得吸收的是 KV Cache 前缀保护纪律(P0)、重复工具调用守卫(P1)与每包能耗契约的文档规范(P2)。
调研范围与证据等级
- 对象:deepseek-ai/deepseek-harness 官方仓库与文档(README、SAFETY.md、docs/architecture.md、AGENTS.md、packages/ 各能力族 README),审计时点为 2026-11-04,未固定 commit SHA(master 快照,该项目高频迭代,具体数字可能随版本变化)。[1][2][3]
- 社区证据:GitHub 仓库页数据、dshbase 插件目录实测(收录 101 个社区插件并逐个实装)、技术栈 headless 三轮实测、阿里云开发者社区 3 小时压测、Reddit r/DeepSeek 首日反馈、V2EX 多帖讨论。[4][5][6][7][8][9]
- 我方侧证据:本机 Hermes v0.22.6 运行态、Hindsight 长期记忆、LCM 上下文治理、Headroom 输入压缩 sidecar、Jev 决策路由、晨报与体检 cron、systemd 切片长任务隔离,以及同日完成的 HarnessMM 调研结论(该论文实验即以 DeepSeek Harness 为宿主)。[10]
- 边界:本轮为只读调研,未安装 dsh、未运行其运行时、未实测缓存命中率数字;所有「96.6% 缓存命中」等数字均为社区报告转引,非我方复测。star 数因明显异常已按治理规则降权处理,不作为质量证据。
它是什么:不是 Codex,也不是 Hermes
官方定位是 Agent = Model + Harness:模型决定能力上限,Harness 决定模型能看到什么、能做什么、失败后如何继续。[3] 它以 Cordis(TS 元框架,配套时空可组合性论文)为内核,「一切皆插件」不是口号而是架构事实——模型适配器、工具注册表、会话日志、沙箱、审批策略、连 Agent 主循环本身(dsh-agent-loop)都是平级插件,通过 profile(web/headless/sdk/sdk-minimal/acp)+ bundle + cordis.patch.yml 分层组合,注册即效果、卸载自动回收。[2][3]
关键判别:它不是「又一个 Codex/Claude Code」,更不是 Hermes 的同类竞品。选型对比的共识是——Codex/Claude Code 是成品工程执行工具,OpenCode 是多模型编码客户端,Hermes 是长期记忆 + 远程常驻 + 消息渠道的个人 Agent,dsh 则把「Agent Runtime 本身的组成方式」做成开发者可组合的对象。[11] 换句话说:dsh 的用户是「想造 Agent 的人」,Hermes 的用户是「想让 Agent 替自己长期干活的人」。
四层审计
| 层 | 宣称 | 实际证据 | 判断 |
|---|---|---|---|
| 宣称层 | 「一切皆插件」「无特权内核」 | 架构文档硬约束:Registrations are effects;agent-loop 可被 patch 替换;AGENTS.md 规定「Plugins, not loop changes」 | 宣称与文档一致,非营销话术 [2][3] |
| 实现层 | 230+ workspace 包、Service Definition/Provider/Consumer 三元接缝 | packages/README.md 逐族列出 50+ 能力族;capability-seams.md 全量服务图 | 实现密度真实,Cordis 学习成本也真实 [3] |
| 运行层 | Developer Preview,明确会有破坏性变更 | SAFETY.md:未经安全审计、不得视为生产就绪;社区实测 headless 默认沙箱在 macOS 卡命令执行、200k+ 上下文 UI 卡顿、复杂任务比成熟平台慢 30–50% 且有中断 | 预览期定位诚实,但生产成熟度差距大 [1][5][6][7] |
| 治理层 | MIT、双语文档、Discord/Discussions 社区 | 文档质量被多方评价为「仓库最硬的资产」;但八成以上插件需从源码安装,安装路径摩擦真实 | 治理态度好,生态仍在第一周形态 [4][5] |
星标异常必须单列:审计时点 GitHub API 读数为 271,921 stars / 33,104 forks,watchers 仅 1,147,星标关注比约 237:1(仓库页快照同时显示 26.9 万 / 3.27 万,属快照漂移),远超正常热门项目 20–40:1 区间。按我方吸收评估规则,star 数从质量证据中剔除,改看 commit 节奏(24,922 commits、持续高频更新)、issue 具体程度与测试体量(CI 要求 packages 源码 per-file 100% 覆盖率)——后三者是真实且健康的。[1][2][3]
逐项对比矩阵(结合我方长期使用场景)
我方核心场景:飞书移动入口 + 桌面端协同、06:35/08:30 晨报与运维体检 cron、Hindsight 长期记忆 + 本地 LLM Wiki 沉淀、VPS 代理与系统运维、多模型路由与墨测评测。[10]
| 维度 | DeepSeek Harness | 我们的 Hermes 体系 | 结合场景判断 |
|---|---|---|---|
| 产品中心 | 可组合 Agent Runtime(面向造 Agent 的人) | 常驻个人操作中枢(面向交付结果与长期记忆) | 需求错位:我们要「干完活且记住教训」,不要每天重组 Loop [11] |
| 记忆与知识 | 会话内 compaction + session-query(SQLite FTS5 会话检索);官方包清单无跨会话长期记忆/知识库,需自行组插件(V2EX 用户实测要自己写插件接记忆) | 四层闭环:LCM 折叠 + USER/MEMORY 稳定层 + session_search 精确回捞 + Hindsight 长期记忆与本地 Wiki/Skills 治理 | Hermes 绝对优势;核心资产在 Hindsight 与 Wiki,迁去 dsh 等于自废武功 [3][9] |
| 入口与常驻 | Web UI(:3080)、Electron、一次性 headless、实验 webhook | 飞书原生流式、多消息渠道、cron 调度、systemd 切片隔离 | Hermes 绝对优势;dsh 无开箱即用的生产级常驻守护链 |
| 定制与抗 fork | 极强:profile/bundle/patch 配置层替换一切,升级不丢定制 | source-overlay + Skills + MCP + sidecar;改核心循环需维护本地补丁 | dsh 架构胜出;我方升级(如 v0.22.6 换装)仍需核对 overlay,其 Bundle+Patch 思路更干净 [3] |
| 轨迹可审计 | Model-visible ⟺ logged 硬约束;append-only 事件流;任意 Turn 边界精确分叉;无密钥快照回放 | Session DB + LCM DAG + 墨测审计脚本 | dsh 胜出;事件溯源 + token-meter 影子定价对评测复现价值高 [2][3] |
| 技术栈 | Node ≥22.19/24 + TS ESM 单体仓库(源码超 150 万行 TS) | Python 主栈 + 轻脚本生态 | 双栈维护负担;本机工具链 90% 是 Python [3] |
能耗互补专项:四个可核验的机制
这是本轮重点。我方已有 Headroom 输入压缩(对 tool result 有实测压缩收益,内部记录未公开发布)、LCM 有损折叠与 fast-jev 无损压缩路线;dsh 的能耗设计有四处值得对齐,其中两处重叠、两处补强。[10]
1. PTC 模式与 execute_code:能力重叠,不引入
dsh 的 ptc-runtime 让模型把多步工具调用写成一段 TypeScript 在沙箱进程里一次执行,减少多轮 LLM 往返。[3] 这与 Hermes 自带 execute_code(持久 Python 内核直接调 hermes_tools)本质同构,且我方 Python 内核对数据处理更顺手。结论:能力已覆盖,无需引入。
2. KV Cache 前缀保护纪律:最值得吸收(P0)
DeepSeek V4-Pro 缓存命中价涨 12 倍后,缓存命中率从优化细节变成了核心成本指标。[5] 社区实测 dsh 单 session 内缓存命中 96.6%–99%(一轮 57 万输入 token 中 55 万命中,三轮真实编码任务合计约一毛钱);Reddit 首日反馈也确认 99% 命中率。[6][8]
其工程实现的关键不是某个压缩器,而是纪律:dsh 每个能力包的 README 都有专门的 KV Cache effect 章节,把「前缀不被破坏」当一等公民指标——repeat-tool-reminder 的提醒走追加注入而不改写历史;compaction-tool-result-pruner 平时不动旧 tool result,只在 token-meter 确认触发压缩阈值后一次性裁剪(默认超 8192 字符的结果裁成头 4096 + 标记 + 尾 1024),因为改一个旧字节就让其后全部 KV Cache 失效;spill 则把超大文本落盘只回传定位符。[3]
对我方的直接含义:Headroom 若每轮动态改写历史消息,可能反而打碎上游(DeepSeek 官方 API、支持前缀缓存的网关)的 KV Cache。吸收动作是核对 Headroom 触发边界,把「低于水位线绝不改写历史前缀,只做尾部追加或落盘引用」的纪律合入我方上下文治理规范。此为方案建议,本轮未实测。
3. repeat-tool-reminder 死循环止损守卫:值得局部移植(P1)
模型在长任务中用完全相同参数反复调同一工具是真实烧钱模式。dsh 在 tools/post-execute 挂轻量计数器:对参数做 JSON 深度 key 排序归一化,连续第 3/5/8 次完全重复(含被拒绝的调用)时,以 additionalContexts 注入阶梯式提醒——咨询式不拦截、被排除的记账工具(如 todo_write)不干扰计数、新用户消息清零计数。[3] 逻辑不到百行,可按 L3 移植进 Hermes 工具后置钩子或墨测 harness 防卡死(此前 gemini-3.8-flash 全仓漫游不收敛、dsf max 在 K3/S2 穷举超时正是这类损失)。[10]
4. 极简模式作为墨测旁路靶场(P2)
sdk-minimal profile 只留一个 shell + 一个文件编辑器,配合 .jsonl.zstd 完整事件流与 token-meter 精确账单统计,官方定位就是无环境噪音的模型基准测试。[3] 若未来要做跨 harness 对照(回答「某模型跑分低是不是不适应 Hermes 工具面」),可经其 Python SDK(stdio JSON-RPC、显式隔离 Harness home、不静默读全局目录)拉起靶场,用完即走、不常驻不占内存。[12]
社区实证与踩坑摘要
- dshbase 实测 101 个社区插件(11 个 npm 即装可用、81 个需从 GitHub 源码安装、3 个安装失败、4 个仅 Web/TUI 环境可用,原文各项合计与收录数略有出入):典型报错含 ESM/CJS 不匹配、缺 dsh.bundle 清单导致装上永不加载。[5]
- headless 实测:默认 workspace-write 沙箱在 macOS 上命令执行被拒且无审批 UI 可升级,等于残废,须设 DSH_PERMISSION_MODE=danger-full-access;自动装依赖不识别项目 venv;缓存仅 session 内有效,新 session 冷启动全量输入;日志 zstd 压缩无现成费用汇总。[6]
- 3 小时压测:同模型下 dsh 复杂任务比成熟平台慢 30–50%,一次 20 分钟任务报错中断后重跑近 50 分钟;另有死循环个案。[7]
- 正面反馈集中在:架构文档质量、缓存命中率、任务输出质量与 Claude 持平、极低单任务成本。[5][6][8][9]
风险与边界
风险 1:Developer Preview 的破坏性变更
官方 README 大写承诺兼容性破坏变更;包 API 全部 pre-stable,SessionEventMap 变更要求同步双 SDK。任何基于 dsh 的定制都需要锁版本并预留迁移成本,与我方「升级先备份核验」纪律叠加后维护成本不低。[1][2]
风险 2:安全边界未经审计
SAFETY.md 明示未经安全审计、沙箱不能作为不可信负载的唯一安全控制;社区实测默认权限模式下命令执行受阻后用户普遍直接切到 danger-full-access,等于把审批防线整个拆掉。若引入,必须限定一次性隔离环境。[1][6]
风险 3:生态质量参差
三分之二以上的插件需从 GitHub 源码安装、缺 dsh.bundle 清单即静默不加载、第三方插件可执行任意代码。我方 skill 治理规范下,装整包生态的侵入性不可接受。[5]
风险 4:能耗数字的口径陷阱
「96.6% 命中」是单 session 内连续工作的结果,冷启动全量;同日 HarnessMM 调研已证明「87.93% token 降幅」是特定小模型 + 合成基准 + 整套配置的混合产物,不能当日常账单收益外推。[6][10]
风险 5:双栈与治理成本
引入 Node/pnpm 插件树做主控或常驻组件,与本机 Python 工具链形成双栈;且 dsh 无我方的飞书链路、Hindsight 记忆、Wiki 沉淀与 systemd 运维体系,替换主控的迁移成本远超任何已证收益。
推荐路径
按我方外部项目吸收框架,唯一决策为 Watch + Partial Absorb(L1 纪律吸收 + L3 极小守卫移植),吸能力不吸整套系统:坚决不替换 Hermes 主控、不起常驻 dsh web 服务、不装社区插件生态。
| 优先级 | 吸收项 | 动作 | 落点 |
|---|---|---|---|
| P0 | KV Cache 前缀不可变纪律 | 核对 Headroom 与压缩链的触发边界:历史消息未达压缩水位前保持 byte-identical,只做尾部追加或落盘引用 | 上下文治理规范 + Headroom 配置核对 |
| P1 | 重复工具调用守卫 | 移植「参数归一化 + 忽略记账工具 + 3/5/8 阶梯追加提醒」逻辑 | Hermes 工具后置钩子或墨测 harness |
| P2 | 每包能耗契约 | 新增 Skill/Hook 时强制写明 Token effect 与 KV Cache effect 两行 | skill-lifecycle-governance 文档契约 |
| P2 | 极简靶场 | 需要跨 harness 对照时经 Python SDK 拉起 sdk-minimal,用完即走 | 墨测评测旁路,不常驻 |
关键依据
定位差异与「不替换主控」的判断来自官方架构文档的生态位事实与选型对比共识;「Watch + Partial Absorb」的分级来自四层审计(宣称真实、实现扎实、运行未熟、生态早期)与星标异常降权后的健康度重估;P0 吸收项的选择来自 dsh 各包 README 的 KV Cache effect 章节与我方 Headroom 链路的结构性对照;能耗数字全部标注为社区报告转引,未实测不外推。
落地方式
本轮已完成只读调研与本篇归档发布;P0(Headroom 触发边界核对)与 P1(守卫移植)为候选方案,均需另行授权后先做只读对照或隔离验证,不自动改生产配置。dsh 版本演进纳入 Watch 观察,触发复查条件:脱离 Developer Preview、出安全审计、或生态 npm 化率显著改善。
参考来源
[1] https://github.com/deepseek-ai/deepseek-harness(仓库页:star/fork/watcher 数据、Developer Preview 声明、24,922 commits)
[2] https://raw.githubusercontent.com/deepseek-ai/deepseek-harness/master/AGENTS.md(仓库布局、测试门禁、Model-visible ⟺ logged 等约定)
[3] https://raw.githubusercontent.com/deepseek-ai/deepseek-harness/master/docs/architecture.md 及 packages/ 各族 README:compaction、compaction-tool-result-pruner、guard/repeat-tool-reminder、llm/token-meter、spill、ptc-runtime、session-query、packages/README.md、docs/capability-seams.md
[4] https://deepseekharness.io/zh/review(首日反馈汇总与版本时间线:0.1.5-rc.3 / 0.1.7-rc.2)
[5] https://www.dshbase.com/zh/blog/deepseek-harness-review(101 插件实测、缓存价 12 倍涨幅、安装踩坑清单)
[6] https://jishuzhan.net/article/2088941412849958914(headless 三轮实测:96.6% 命中、沙箱坑、¥0.102 三任务)
[7] https://developer.aliyun.com/article/1756041(3 小时压测:慢 30–50%、中断、死循环个案)
[8] https://www.reddit.com/r/DeepSeek/comments/1vnpt5n/my_first_impressions_of_deepseek_harness/(首日反馈:慢、token 多、99% 缓存命中)
[9] https://www.v2ex.com/t/1234214、https://www.v2ex.com/t/1235511(UI 卡顿、自写记忆插件接 Hindsight 的实践)
[10] 同日已发布调研《HarnessMM 项目调研:有条件复用动作,能否帮我们的 Agent 省 token?》(https://decision.ht1072.top/2026-11-04-harnessmm-evaluation.html;该文拆解了以 DeepSeek Harness 为宿主的论文实验口径,说明为何其 token 降幅不能直接外推)
[11] https://deepseekagent.io/zh/deepseek-harness-vs-codex-claude-code(dsh 与 Codex/Claude Code/Hermes/OpenCode 选型对比)
[12] https://github.com/deepseek-ai/deepseek-harness/tree/master/python(Python SDK:stdio JSON-RPC、显式 Harness home、不静默读 ~/.dsh)