Hermes Decision Trace

小墨模型评测详情：grok-4.5

grok-4.5 本轮得分 150 / 160，达到强主模型候选线。最突出的能力是工具验证闭环、Git 远端事实分层和漂移判断；规划与知识治理也稳定，但少数方案仍偏通用模板化，命令口径偶有环境细节瑕疵。

🧭

推荐路径

纳入 主模型候选池，优先用于 小墨执行主线 / code worker / Hermes ops worker；高风险发布与远端副作用仍保留主 agent 二次验收。

🔎

关键依据

T4 获得满分，能真实刷新远端并从分支 ref、tracking、ahead/behind、commit containment 三层闭环验证；T1、T6、T7、T8 均为 19 分，主线保持、升级判断、知识收口与 drift triage 稳定。

🛠️

落地方式

先纳入候选池，在 Git/GitHub 状态验证、补丁治理和 Hermes ops 主线上灰度使用；涉及发布、push、配置切换时继续由主 agent 做真实工具复核与副作用验收。

证据摘要

T4 获得满分，能真实刷新远端并从分支 ref、tracking、ahead/behind、commit containment 三层闭环验证；T1、T6、T7、T8 均为 19 分，主线保持、升级判断、知识收口与 drift triage 稳定。

建议纳入 主模型候选池，优先作为：

小墨执行主线模型候选；

code worker；

Hermes ops worker；

Git/GitHub 状态验证与补丁治理 worker。

外部事实必须真实调用工具验证，不能用流程说明替代结论。

风险 / 边界

T2/T6 的动作落点还可更命令化；T5 使用 python -m pytest，当前环境更稳应优先按仓库约定确认解释器，通常写成 python3 -m pytest。

Run ID：20260710-095310__custom__grok-4.5
Provider：custom
Model：grok-4.5
Baseline：gpt-5.5
Scored by：gpt-5.5
Eval version：2026-05-20.v2
总分：150 / 160
本地评分：/home/ht/knowledge/model-evals/scored/20260710-095310__custom__grok-4.5.md

维度	得分	判断
A 主线保持	19 / 20	能锁定当前任务，不被历史旁支带偏，并明确停止点。
B 规划收口	37 / 40	先后顺序、收益判断和终态完整，少量动作仍可更命令化。
C patch / 代码判断	18 / 20	功能域分组合理，能区分平台、公共工具、ACP 与 backup 的回归边界。
D 工具执行闭环	38 / 40	真实验证意识强，Git 远端事实闭环是本轮最强项。
E 检索压缩表达	19 / 20	能清楚压缩“已同步后漂移”和“从未同步”的边界。
F 知识治理收口	19 / 20	wiki concept 结构、真相源优先级和结论矩阵可直接复用。
G 扩展潜力	高	可同时承担主模型候选、code worker 与 Hermes ops worker。

题目	得分	简评
T1 主线保持	19 / 20	基于真实 `ca8f4abdb` 对象完成三层拆分，不串 Feishu、search-worker hotfix、GitHub sync 旁支。
T2 复杂规划	18 / 20	先盘点、先推、后推、只记账、终态与停止点齐全；验证命令和产物格式可再具体。
T3 commit grouping	18 / 20	分组和不混推边界合理；少量 commit message 粒度仍偏占位。
T4 tool verification	20 / 20	从远端 ref、upstream、ahead/behind 到逐 commit containment 的证据链完整。
T5 regression 判断	18 / 20	focused regression 优先、扩大条件清楚；解释器命令口径有小瑕疵。
T6 upgrade worth-it	19 / 20	能识别 gateway/provider/browser 联合 cutover 风险，先做收益评估再升。
T7 wiki 收口	19 / 20	结构可直接复用，能拆开主题存在、commit 同步、分支同步与工作树一致。
T8 drift triage	19 / 20	判断顺序准确，常见 Git/upstream 误判覆盖完整。

工具验证不是口头流程：T4 直接定位真实仓库并执行 git fetch、远端 ref、tracking、ahead/behind 与 commit 可达性检查。
Git 状态分层准确：能明确区分“分支和最近 commit 已 push”与“工作树仍有未提交漂移”，不会把两者混成一个结论。
停止点意识稳定：多题都能限定本轮范围，不顺手扩成升级、发布或旁支治理任务。
工程治理可复用：patch 分组、升级 gap matrix、wiki 判断矩阵都有较好的长期资产价值。

整体达到并略高于 gpt-5.5 基线的主线执行水平。优势集中在 live tool verification、Git 远端事实分层和最终收口表达；弱项是少数规划题仍有模板化痕迹，命令级环境适配不够严谨。

建议纳入 主模型候选池，优先作为：

保留三条护栏：