Hermes Decision Trace

小墨模型评测详情:gpt-5.6-sol

gpt-5.6-sol 本轮得分 157 / 160,明显超过当前 gpt-5.5 基线,属于强主模型候选。它最有价值的提升不是“答得更满”,而是 T1/T4 能先定位真实对象再给结论:commit 归因、远端分支/commit 可达性判断都比旧基线更硬。

🧭
推荐路径

建议纳入 主模型候选池,优先作为 小墨主线执行 / code-review planning / 文档治理 worker 使用。若作为默认主线模型,建议保留两条护栏:

🔎
关键依据

见证据摘要与完整记录中的状态、产物和校验链。

🛠️
落地方式

先把已验证方案当成稳定基线:保留当前 schedule / deliver / workdir,不急着继续扩面;新增候选先读源码、看 output、做 run-now 验证,再决定是否转 script-only。

证据摘要

  • 正文保留完整证据链;本页顶部只展示可读摘要。

行动清单

建议纳入 主模型候选池,优先作为 小墨主线执行 / code-review planning / 文档治理 worker 使用。若作为默认主线模型,建议保留两条护栏:
涉及仓库、远端、commit、push 状态时,必须验证真实目标仓库,不能用流程演示替代事实结论。
发给涛哥前做最终压缩,避免把过程说明塞进本应短交付的消息。

边界 / 风险

风险 / 边界

正文未抽取到明确风险;上线前仍需确认权限、回退路径与运行态影响。

完整记录

小墨模型评测详情:gpt-5.6-sol

结论

gpt-5.6-sol 本轮得分 157 / 160,明显超过当前 gpt-5.5 基线,属于强主模型候选。它最有价值的提升不是“答得更满”,而是 T1/T4 能先定位真实对象再给结论:commit 归因、远端分支/commit 可达性判断都比旧基线更硬。

基本信息

  • Run ID:20260710-085458__custom__gpt-5.6-sol
  • Provider:custom
  • Model:gpt-5.6-sol
  • Baseline:gpt-5.5
  • Scored by:gpt-5.5
  • Eval version:2026-05-20.v2
  • Score report:/home/ht/knowledge/model-evals/scored/20260710-085458__custom__gpt-5.6-sol.md

分数

题目得分简评
T1 主线保持20 / 20锚定 ca8f4abdb 三层拆分,不串线,并基于真实 search_router 对象收敛。
T2 复杂规划19 / 20先结论、分层、先推/后推/只记账和停止点完整;文本略长。
T3 commit grouping19 / 20分组合理,不能混推项明确,commit/branch 粒度可执行。
T4 tool verification20 / 20真实刷新远端、查同名 ref/upstream、逐 commit 查远端包含关系,闭环完整。
T5 regression 判断20 / 20focused regression 优先,扩大条件和成本意识准确。
T6 upgrade worth-it20 / 20结论稳,收益评估优先,推荐动作可落地。
T7 wiki 收口19 / 20concept 结构、真相源、矩阵和操作建议齐全;可再补 frontmatter/落点模板。
T8 drift triage20 / 20准确区分“已同步但漂移”和“从未同步”,误判提醒完整。

适合方向

  • 小墨主线执行与长会话收口。
  • Git/GitHub 同步判断、commit grouping、drift triage。
  • 升级收益评估、focused regression 策略、停止点设计。
  • wiki concept 与工程知识治理。

不适合方向

  • 极短即时卡片回复:默认会给完整说明,最终交付前最好再压缩。
  • 无工具、无目标对象、却要求直接断言外部事实的任务。
  • 高风险远端状态裁决仍要保留“真实工具验证”硬护栏。

相对 gpt-5.5

相对 gpt-5.5gpt-5.6-sol 在 live fact 类题目上提升明显。旧基线常见扣分点是 T4 只能停在“当前目录不是目标仓库”或临时 repo 演示;本轮直接产出真实仓库的混合 push 状态:同名远端分支不存在、无 upstream、最新 commit 未到远端、前一个 commit 已进入另一远端分支。

规划、回归、知识治理题也保持高分。主要可优化点是压缩最终表达,以及在 wiki 题里补更标准的 frontmatter/落点模板。

接入建议

建议纳入 主模型候选池,优先作为 小墨主线执行 / code-review planning / 文档治理 worker 使用。若作为默认主线模型,建议保留两条护栏:

  1. 涉及仓库、远端、commit、push 状态时,必须验证真实目标仓库,不能用流程演示替代事实结论。
  2. 发给涛哥前做最终压缩,避免把过程说明塞进本应短交付的消息。