Hermes Decision Trace

小墨模型评测详情:gpt-5.6-terra

gpt-5.6-terra 本轮得分 146 / 160,达到主模型候选线。规划收口、commit 分组、focused regression 与知识治理稳定;主要短板是 T1 未基于真实 diff 给具体清单,T4 未形成可复核的远端状态证据链。

🧭
推荐路径

建议作为 主模型候选 / 规划辅助 worker / 文档治理 worker / code-review planning。进入主线前应补一轮真实仓库工具闭环复测;高风险 Git/GitHub 状态判断必须保留外层工具审计。

🔎
关键依据

见证据摘要与完整记录中的状态、产物和校验链。

🛠️
落地方式

先把已验证方案当成稳定基线:保留当前 schedule / deliver / workdir,不急着继续扩面;新增候选先读源码、看 output、做 run-now 验证,再决定是否转 script-only。

证据摘要

  • 正文保留完整证据链;本页顶部只展示可读摘要。

行动清单

建议作为 主模型候选 / 规划辅助 worker / 文档治理 worker / code-review planning。进入主线前应补一轮真实仓库工具闭环复测;高风险 Git/GitHub 状态判断必须保留外层工具审计。

边界 / 风险

风险 / 边界

工具方法论正确,不等于已完成事实验证。 没有目标仓库、真实 diff 与命令输出时,不能把流程答案当成正式验收结论。 发布或远端同步类任务必须由主 agent 二次核验。

完整记录

小墨模型评测详情:gpt-5.6-terra

结论

gpt-5.6-terra 本轮得分 146 / 160,达到主模型候选线。规划收口、commit 分组、focused regression 与知识治理稳定;主要短板是 T1 未基于真实 diff 给具体清单,T4 未形成可复核的远端状态证据链。

基本信息

  • Run ID:20260710-093209__custom__gpt-5.6-terra
  • Provider:custom
  • Model:gpt-5.6-terra
  • Baseline:gpt-5.5
  • Scored by:gpt-5.5
  • Eval version:2026-05-20.v2
  • Score report:/home/ht/knowledge/model-evals/scored/20260710-093209__custom__gpt-5.6-terra.md

分数

题目得分简评
T1 主线保持17 / 20不串线,三层和停止点完整;未读取真实 diff,清单偏抽象。
T2 复杂规划19 / 20结论、分层、先后顺序、终态和停止点完整。
T3 commit grouping18 / 20分组与不能混推项合理;branch 与测试要求可再具体。
T4 tool verification17 / 20有先查意识并识别当前目录非 Git 仓库;未定位目标仓库或附完整命令证据。
T5 regression 判断19 / 20focused test 优先,扩大条件清楚。
T6 upgrade worth-it19 / 20能抓住 blast radius、本地补丁和收益不确定性。
T7 wiki 收口18 / 20结构与判断矩阵完整;可补 frontmatter 和证据字段。
T8 drift triage19 / 20状态区分和常见误判覆盖完整。

适合方向

  • Hermes 本地补丁收口、升级收益评估、focused regression。
  • commit grouping、GitHub 同步前分层、长期资产与策略资产拆分。
  • wiki concept、治理口径与 drift triage。

不适合方向

  • 无人值守的远端 push / commit 可达性最终确认。
  • 必须基于真实 diff 给逐文件正式清单的任务,除非显式强制先查目标仓库。
  • 高风险发布、provider/gateway 切换等需要完整可审计证据链的任务。

相对 gpt-5.5

规划与治理能力接近 gpt-5.5,表达克制、停止点意识好;但真实对象定位、diff 归因与远端状态可审计验证弱于强基线表现。

接入建议

建议作为 主模型候选 / 规划辅助 worker / 文档治理 worker / code-review planning。进入主线前应补一轮真实仓库工具闭环复测;高风险 Git/GitHub 状态判断必须保留外层工具审计。

风险 / 边界

  • 工具方法论正确,不等于已完成事实验证。
  • 没有目标仓库、真实 diff 与命令输出时,不能把流程答案当成正式验收结论。
  • 发布或远端同步类任务必须由主 agent 二次核验。

归档

  • 本地 run:/home/ht/knowledge/model-evals/runs/20260710-093209__custom__gpt-5.6-terra.md
  • 本地评分:/home/ht/knowledge/model-evals/scored/20260710-093209__custom__gpt-5.6-terra.md
  • 默认归档口径:本地 wiki + Decision Trace HTML,不写飞书主库。