小墨模型评测详情:gpt-5.6-sol
gpt-5.6-sol 本轮得分 157 / 160,明显超过当前 gpt-5.5 基线,属于强主模型候选。它最有价值的提升不是“答得更满”,而是 T1/T4 能先定位真实对象再给结论:commit 归因、远端分支/commit 可达性判断都比旧基线更硬。
建议纳入 主模型候选池,优先作为 小墨主线执行 / code-review planning / 文档治理 worker 使用。若作为默认主线模型,建议保留两条护栏:
见证据摘要与完整记录中的状态、产物和校验链。
先把已验证方案当成稳定基线:保留当前 schedule / deliver / workdir,不急着继续扩面;新增候选先读源码、看 output、做 run-now 验证,再决定是否转 script-only。
证据摘要
- 正文保留完整证据链;本页顶部只展示可读摘要。
行动清单
边界 / 风险
正文未抽取到明确风险;上线前仍需确认权限、回退路径与运行态影响。
完整记录
小墨模型评测详情:gpt-5.6-sol
结论
gpt-5.6-sol 本轮得分 157 / 160,明显超过当前 gpt-5.5 基线,属于强主模型候选。它最有价值的提升不是“答得更满”,而是 T1/T4 能先定位真实对象再给结论:commit 归因、远端分支/commit 可达性判断都比旧基线更硬。
基本信息
- Run ID:
20260710-085458__custom__gpt-5.6-sol - Provider:
custom - Model:
gpt-5.6-sol - Baseline:
gpt-5.5 - Scored by:
gpt-5.5 - Eval version:
2026-05-20.v2 - Score report:
/home/ht/knowledge/model-evals/scored/20260710-085458__custom__gpt-5.6-sol.md
分数
| 题目 | 得分 | 简评 |
|---|---|---|
| T1 主线保持 | 20 / 20 | 锚定 ca8f4abdb 三层拆分,不串线,并基于真实 search_router 对象收敛。 |
| T2 复杂规划 | 19 / 20 | 先结论、分层、先推/后推/只记账和停止点完整;文本略长。 |
| T3 commit grouping | 19 / 20 | 分组合理,不能混推项明确,commit/branch 粒度可执行。 |
| T4 tool verification | 20 / 20 | 真实刷新远端、查同名 ref/upstream、逐 commit 查远端包含关系,闭环完整。 |
| T5 regression 判断 | 20 / 20 | focused regression 优先,扩大条件和成本意识准确。 |
| T6 upgrade worth-it | 20 / 20 | 结论稳,收益评估优先,推荐动作可落地。 |
| T7 wiki 收口 | 19 / 20 | concept 结构、真相源、矩阵和操作建议齐全;可再补 frontmatter/落点模板。 |
| T8 drift triage | 20 / 20 | 准确区分“已同步但漂移”和“从未同步”,误判提醒完整。 |
适合方向
- 小墨主线执行与长会话收口。
- Git/GitHub 同步判断、commit grouping、drift triage。
- 升级收益评估、focused regression 策略、停止点设计。
- wiki concept 与工程知识治理。
不适合方向
- 极短即时卡片回复:默认会给完整说明,最终交付前最好再压缩。
- 无工具、无目标对象、却要求直接断言外部事实的任务。
- 高风险远端状态裁决仍要保留“真实工具验证”硬护栏。
相对 gpt-5.5
相对 gpt-5.5,gpt-5.6-sol 在 live fact 类题目上提升明显。旧基线常见扣分点是 T4 只能停在“当前目录不是目标仓库”或临时 repo 演示;本轮直接产出真实仓库的混合 push 状态:同名远端分支不存在、无 upstream、最新 commit 未到远端、前一个 commit 已进入另一远端分支。
规划、回归、知识治理题也保持高分。主要可优化点是压缩最终表达,以及在 wiki 题里补更标准的 frontmatter/落点模板。
接入建议
建议纳入 主模型候选池,优先作为 小墨主线执行 / code-review planning / 文档治理 worker 使用。若作为默认主线模型,建议保留两条护栏:
- 涉及仓库、远端、commit、push 状态时,必须验证真实目标仓库,不能用流程演示替代事实结论。
- 发给涛哥前做最终压缩,避免把过程说明塞进本应短交付的消息。