小墨模型评测详情：claude-opus-4-8
claude-opus-4-8 当前最好分 133/160，最新分 133/160，处于 B｜主线辅助/强 worker。建议角色：文档治理 worker / 规划收口 worker / 工程判断 worker；可作为主模型候选观察，但暂不建议独立承担高风险 live verification 主线。
claude-opus-4-8 当前最好分 133/160，最新分 133/160，处于 B｜主线辅助/强 worker。建议角色：文档治理 worker / 规划收口 worker / 工程判断 worker；可作为主模型候选观察，但暂不建议独立承担高风险 live verification 主线。
如果该模型继续测试，优先追加新的 scored run，不覆盖旧 run。
本页是小墨场景评测，不等同于通用 benchmark。
关键判断
| 判断项 | 摘要 |
|---|---|
| 推荐方案 | 文档治理 worker / 规划收口 worker / 工程判断 worker；可作为主模型候选观察，但暂不建议独立承担高风险 live verification 主线 |
| 关键依据 | 最新 run：20260529-094958__custom__claude-opus-4-8 |
| 落地方式 | 如果该模型继续测试，优先追加新的 scored run，不覆盖旧 run。 |
| 风险边界 | 本页是小墨场景评测，不等同于通用 benchmark。 |
证据摘要
- 最新 run：
20260529-094958__custom__claude-opus-4-8证据点 1 - 最新 score JSON：
/home/ht/knowledge/model-evals/scored/20260529-094958__custom__claude-opus-4-8.json证据点 2 - 最新 run JSON：
/home/ht/knowledge/model-evals/runs/20260529-094958__custom__claude-opus-4-8.json证据点 3 - 横向总览页：<https://decision.ht1072.top/2026-05-29-xiaomo-model-eval-cross-model-archive.html>证据点 4
行动清单
边界 / 风险
本页是小墨场景评测，不等同于通用 benchmark。
同名模型可能对应 provider alias 或后端版本漂移，结论需结合 run 时间线看。
对工具执行闭环要求高的任务，应优先看 T4 / live verification 表现。
完整记录
小墨模型评测详情：claude-opus-4-8
结论
claude-opus-4-8 当前最好分 133/160，最新分 133/160，处于 B｜主线辅助/强 worker。建议角色：文档治理 worker / 规划收口 worker / 工程判断 worker；可作为主模型候选观察，但暂不建议独立承担高风险 live verification 主线。
关键指标
- 模型：
claude-opus-4-8 - Provider：
custom - 横向排名：
#9 / 22 - 有效 run 数：
1 - 最好分：
133 / 160 - 最新分：
133 / 160 - 平均分：
133.0 - 梯队：B｜主线辅助/强 worker
- 建议角色：文档治理 worker / 规划收口 worker / 工程判断 worker；可作为主模型候选观察，但暂不建议独立承担高风险 live verification 主线
推荐使用方式
文档治理 worker / 规划收口 worker / 工程判断 worker；可作为主模型候选观察，但暂不建议独立承担高风险 live verification 主线
代表判断：整体可用，结构感、中文表达、工程判断和知识治理口径都比较稳，能承担小墨体系里的高质量规划、文档治理和大部分工程判断类 worker 任务。但 T4 的 live verification 没有形成完整闭环：它确实体现了先查再答意识，也记录了本地 git 检查，但在未完成远端联网核对前仍没有把“最近两个 commit 是否到远端”彻底判定清楚，因此不建议直接作为高风险执行链主模型。总体属于主模型可用边缘 / 高可用 worker，强项是收口表达和策略判断，短板是真正闭环验证的执行到底。
分数轨迹
20260529-094958__custom__claude-opus-4-8：133 / 160；scored_by=gpt-5.5；2026-05-29T01:49:58.535752+00:00
最新 run 逐题表现
| 题目 | 标题 | 分数 | 评语 |
|---|---|---|---|
| T1 | T1 | 15 | 首句明确把当前任务锚在 ca8f4abdb 三层拆分，并主动排除 Feishu/search-worker/GitHub sync 旁支，主线保持不错。扣分点是没有实际 diff，只能给通用归类口径；虽然最后说明了前提，但正式收口版的对象级颗粒度不足。 |
| T2 | T2 | 17 | 先结论、再分层，先推/后推/只记账和终态停止点都清楚，能直接作为轻量 runbook 使用。若再补上具体检查命令或账本落点会更强。 |
| T3 | T3 | 17 | 分组合理，能识别 Feishu 实现+测试、image_gen provider+插件绑定、tools 独立拆分、copilot ACP 支线和 backup 长期资产。也明确哪些不能混推，commit/branch 粒度建议可执行。 |
| T4 | T4 | 12 | 知道不能凭感觉，并体现了 terminal 验证意识；但它只完成本地 tracking / log / remote 信息确认，没有继续执行 ls-remote 或 fetch 后的远端包含性核对。因此对“最近两个 commit 是否到远端”的结论仍是倾向判断，不是完整验证闭环。 |
| T5 | T5 | 18 | focused regression 判断准确，先跑 tests/gateway/test_feishu.py 的理由充分，扩大回归条件也清楚。输出可直接执行。 |
| T6 | T6 | 18 | 结论直接选“先做收益评估再升”，依据围绕风险面、本地补丁成本和当前稳定性展开，推荐动作是定点收益评估+隔离演练，符合涛哥升级偏好。 |
| T7 | T7 | 18 | wiki concept 页结构完整，有背景、正交维度、判断矩阵、操作顺序和常见误判，真相源思维清楚，可复用性强。扣一点在没有补 frontmatter / canonical path 等落库细节。 |
| T8 | T8 | 18 | 能准确区分“已同步但漂移”和“从未同步”，判断顺序是先远端存在性再一致性，常见误判也抓得准。整体很适合进入操作手册。 |
维度表现
| 维度 | 结果 |
|---|---|
| A 主线保持 | 15 |
| B 规划收口 | 17 |
| C patch/代码判断 | 17 |
| D 工具执行闭环 | 12 |
| E 检索压缩表达 | 18 |
| F 知识治理收口 | 18 |
| G 扩展潜力 | 中上。适合做规划收口、文档治理、工程分组判断、回归策略判断和 wiki concept 产出；如果工具闭环能从“知道要查”提升到“必须查完再下最终结论”，可以进入主模型候选。 |
与更高分模型对比
- gpt-5.5：最好 156/160，最新 155/160
- gpt-5.4：最好 148/160，最新 148/160
- YT-claude-4.7：最好 148/160，最新 148/160
- gpt-5.4-2026-03-05：最好 147/160，最新 147/160
- gpt-5.4-mini：最好 134/160，最新 134/160
证据路径
- 最新 run：
20260529-094958__custom__claude-opus-4-8 - 最新 score JSON：
/home/ht/knowledge/model-evals/scored/20260529-094958__custom__claude-opus-4-8.json - 最新 run JSON：
/home/ht/knowledge/model-evals/runs/20260529-094958__custom__claude-opus-4-8.json - 横向总览页：<https://decision.ht1072.top/2026-05-29-xiaomo-model-eval-cross-model-archive.html>
下一步
- 如果该模型继续测试，优先追加新的 scored run，不覆盖旧 run。
- 新 run 完成后，刷新本详情页和横向总览页。
- 若用于生产路由，应另写模型路由决策页，避免把单次评测分数直接等同于配置变更。
风险与边界
- 本页是小墨场景评测，不等同于通用 benchmark。
- 同名模型可能对应 provider alias 或后端版本漂移，结论需结合 run 时间线看。
- 对工具执行闭环要求高的任务，应优先看 T4 / live verification 表现。