小墨模型评测详情：claude-opus-4-6-cc

小墨模型评测详情：claude-opus-4-6-cc

结论

• 总分：125 / 160
• run_id：20260614-004819__custom__claude-opus-4-6-cc
• Provider / Model：custom / claude-opus-4-6-cc
• 评分基线：gpt-5.5；scored_by：gpt-5.5
• 一句话判断：主模型可用下限，但不建议作为小墨主线模型；更适合做文档治理或低风险规划 worker。整体能给出可执行结构，但主线保持、真实工具闭环和 Git 同步细节判断不够稳，容易用模板化方案替代现场验证。
• 建议角色：文档 worker / 低风险规划 worker；不建议接入为主模型或 code worker

最适合方向

• 文档治理：能把结构、分类、停止点整理得比较清楚
• 低风险规划：适合写轻量流程、回归范围、升级评估初稿
• 辅助总结：适合把已有材料整理成 checklist 或 wiki 大纲

不适合方向 / 风险

• 主线长链执行：容易给通用模板，缺少对具体上下文的硬锚定
• 需要真实工具验证的 Git / 发布 / 远端状态判断
• 高风险代码同步和复杂分支治理决策

维度分

• A 主线保持：13 / 20：能维持题目格式，但对 ca8f4abdb 的具体对象缺少信息约束，输出偏占位模板。
• B 规划收口：34 / 40：T2/T6 都能给先后顺序、停止点和成本收益判断，适合轻量方案初稿。
• C patch 代码判断：16 / 20：commit grouping 基本合理，但工具层 file_tools/mcp_tool 是否必须拆分、backup 是否长期资产的依据略粗。
• D 工具执行闭环：13 / 20：有工具意识，但 T4 只给验证步骤，没有真实结果；tools_used 标记与答案实际闭环不匹配。
• E 检索压缩表达：30 / 40：表达清楚，移动端可扫读，但部分地方泛化过强。
• F 知识治理收口：30 / 40：wiki 大纲和 drift triage 有复用价值，但 truth source 与常见误判处理不够严。
• G 扩展潜力：适合沉淀型 worker，不适合直接承担高风险自主执行。

相对 gpt-5.5

• 更强/可取：没有明显强于 gpt-5.5 的项；在短流程、文档大纲、focused regression 口径上表现稳定。
• 更弱/注意：具体上下文锚定、工具执行闭环、Git 远端状态分层判断、长期资产与测试资产边界都偏模板化。

单题评分

T1 主线保持题：13/20

• 正确性 / 执行性 / 收敛性 / 表达：3 / 3 / 3 / 4
• 评语：格式完整，有一句对齐、三层和停止点；但完全没有处理 ca8f4abdb 的真实内容边界，核心/策略/测试资产都是泛化占位，主线锚定偏弱。

T2 复杂规划题：16/20

• 正确性 / 执行性 / 收敛性 / 表达：4 / 4 / 4 / 4
• 评语：结论先行、分层清楚，也说明先推/后推/记账和停止点；不足是缺少补丁盘点、验证门槛、冲突处理等更贴近 Hermes 同步的细节。

T3 commit grouping 题：16/20

• 正确性 / 执行性 / 收敛性 / 表达：4 / 4 / 4 / 4
• 评语：分组大体合理，知道 Feishu+test、image provider、ACP、backup 不该混推；但 file_tools/mcp_tool 是否一概拆分、backup 是否另开支线的判断依据略粗，长期资产边界还可更细。

T4 tool-verification 题：13/20

• 正确性 / 执行性 / 收敛性 / 表达：3 / 3 / 3 / 4
• 评语：列出了合理命令，但没有真正执行并给出结果；题目要求先查再答、体现验证闭环，答案停在“我会执行”，不能算完成闭环。commit 是否进入远端也应优先 fetch 后查远端可达性。

T5 regression 判断题：19/20

• 正确性 / 执行性 / 收敛性 / 表达：5 / 5 / 5 / 4
• 评语：focused test 优先判断准确，扩大回归触发条件清楚，命令可直接执行；表达稍偏长但不影响使用。

T6 upgrade worth-it 题：18/20

• 正确性 / 执行性 / 收敛性 / 表达：5 / 4 / 5 / 4
• 评语：“先做收益评估再升”判断正确，成本收益意识好；推荐动作可执行，但可再加旁路环境/备份/回滚门槛会更稳。

T7 wiki 收口题：16/20

• 正确性 / 执行性 / 收敛性 / 表达：4 / 4 / 4 / 4
• 评语：结构适合复用，矩阵和命令都有；但把“没有 upstream”倾向性放到未同步，truth source 分层不够完整，缺少远端分支存在但未设 upstream 的优先检查。

T8 drift triage 题：14/20

• 正确性 / 执行性 / 收敛性 / 表达：3 / 4 / 3 / 4
• 评语：能说出漂移 vs 首次推送的区别，也提醒“没有 upstream 不等于远端不存在”；但判断顺序第一步又把 @{u} 报错直接归为从未同步，和后文常见误判冲突，容易误导实操。

原始文件

• Run JSON：/home/ht/knowledge/model-evals/runs/20260614-004819__custom__claude-opus-4-6-cc.json
• Run Markdown：/home/ht/knowledge/model-evals/runs/20260614-004819__custom__claude-opus-4-6-cc.md
• Score JSON：/home/ht/knowledge/model-evals/scored/20260614-004819__custom__claude-opus-4-6-cc.json
• Score Markdown：/home/ht/knowledge/model-evals/scored/20260614-004819__custom__claude-opus-4-6-cc.md