2026-05-29 · DECISION TRACE

小墨模型评测详情:YT-claude-4.6

保留方案、指标、验证、复盘和治理判断,让结论能够追溯。

2026-05-29记录日期
评测记录记录类型
10章节数

小墨模型评测详情:YT-claude-4.6

  • HTML: https://decision.ht1072.top/2026-05-29-xiaomo-model-eval-detail-yt-claude-4-6.html
  • Local HTML: [已移除本地路径]
  • Generated: 2026-05-29T18:22:39+08:00

小墨模型评测详情:YT-claude-4.6

结论

YT-claude-4.6 当前最好分 134/160,最新分 134/160,处于 B|主线辅助/强 worker。建议角色:文档治理 worker、research/planning worker,也可承担主线附近的规划/收口任务;暂不建议直接作为小墨唯一主模型。

关键指标

  • 模型:YT-claude-4.6
  • Provider:custom
  • 横向排名:#8 / 22
  • 有效 run 数:1
  • 最好分:134 / 160
  • 最新分:134 / 160
  • 平均分:134.0
  • 梯队:B|主线辅助/强 worker
  • 建议角色:文档治理 worker、research/planning worker,也可承担主线附近的规划/收口任务;暂不建议直接作为小墨唯一主模型

推荐使用方式

文档治理 worker、research/planning worker,也可承担主线附近的规划/收口任务;暂不建议直接作为小墨唯一主模型

代表判断:整体强可用,适合承担规划、治理、收口、wiki/concept 结构化整理这类主线附近任务;主线保持稳,停止点意识和风险判断都在线。相对 gpt-5.4 基线,短板主要不是判断错,而是少数题目略偏模板化保守,锋利度和现场裁剪感还差半档。

分数轨迹

  • 20260520-173042__custom__yt-claude-4.6:134 / 160;scored_by=gpt-5.4;2026-05-20T09:30:42.773164+00:00

最新 run 逐题表现

题目 标题 分数 评语
T1 T1 19 锚定任务准确,没有被旁支带偏,三层结构和停止点都完整。扣分点主要是表述略长。
T2 T2 18 结论先行、分层明确、先后顺序和停止点都有,方案可直接拿来用。问题不在方向,而在收束感还能再利一点。
T3 T3 16 分组基本合理,也知道哪些不能混推。但对 backup.py 和工具层的切分偏保守,现场 branch/commit 粒度还可以更锋利。
T4 T4 16 工具意识正确,明确先查再答,也给了验证闭环。短板是停留在验证方案层,没有进一步体现拿到真实仓库事实后的更紧凑答法。
T5 T5 17 focused regression 优先、扩大条件明确,边界判断稳。整体可用,但压缩度一般。
T6 T6 18 升级判断成熟,成本收益意识在线,也给了明确下一步,符合主线判断口径。
T7 T7 18 wiki concept 页结构可复用,分类口径和判断矩阵都比较稳,适合作为长期知识页骨架。
T8 T8 17 两类情况区分清楚,判断顺序和误判提醒都到位,适合作为稳定 triage 口径。

维度表现

维度 结果
A 主线保持 19
B 规划收口 18
C patch/代码判断 16
D 工具执行闭环 16
E 检索压缩表达 16
F 知识治理收口 18
G 扩展潜力 中上。适合做规划/治理/收口型主模型候选下的 worker,也适合文档治理 worker;若承担高压主线,需要再增强临场取舍的锋利度和更短的产品化表达。

与更高分模型对比

  • gpt-5.5:最好 156/160,最新 155/160
  • gpt-5.4:最好 148/160,最新 148/160
  • YT-claude-4.7:最好 148/160,最新 148/160
  • gpt-5.4-2026-03-05:最好 147/160,最新 147/160

证据路径

下一步

  1. 如果该模型继续测试,优先追加新的 scored run,不覆盖旧 run。
  2. 新 run 完成后,刷新本详情页和横向总览页。
  3. 若用于生产路由,应另写模型路由决策页,避免把单次评测分数直接等同于配置变更。

风险与边界

  • 本页是小墨场景评测,不等同于通用 benchmark。
  • 同名模型可能对应 provider alias 或后端版本漂移,结论需结合 run 时间线看。
  • 对工具执行闭环要求高的任务,应优先看 T4 / live verification 表现。