2026-05-29 · DECISION TRACE

小墨模型评测详情:deepseek-v4-pro

保留方案、指标、验证、复盘和治理判断,让结论能够追溯。

2026-05-29记录日期
评测记录记录类型
10章节数

小墨模型评测详情:deepseek-v4-pro

  • HTML: https://decision.ht1072.top/2026-05-29-xiaomo-model-eval-detail-deepseek-v4-pro.html
  • Local HTML: [已移除本地路径]
  • Generated: 2026-05-29T18:22:38+08:00

小墨模型评测详情:deepseek-v4-pro

结论

deepseek-v4-pro 当前最好分 125/160,最新分 125/160,处于 C|限定 worker。建议角色:文档 worker / research worker;主模型可用但不建议单独承担高风险长链执行。

关键指标

  • 模型:deepseek-v4-pro
  • Provider:deepseek
  • 横向排名:#17 / 22
  • 有效 run 数:1
  • 最好分:125 / 160
  • 最新分:125 / 160
  • 平均分:125.0
  • 梯队:C|限定 worker
  • 建议角色:文档 worker / research worker;主模型可用但不建议单独承担高风险长链执行

推荐使用方式

文档 worker / research worker;主模型可用但不建议单独承担高风险长链执行

代表判断:主模型可用,但有偏科;更适合结构化判断、收口整理与限定范围内的执行,不适合高不确定现场独立决策。

分数轨迹

  • 20260520-160632__deepseek__deepseek-v4-pro:125 / 160;scored_by=gpt-5.4;2026-05-20T08:06:32.280240+00:00

最新 run 逐题表现

题目 标题 分数 评语
T1 T1 15 任务锚定和三层结构到位,但在缺少 commit 实际内容时自行补全文件归属,证据边界偏松。
T2 T2 16 先结论后分层、先后顺序和停止点完整,轻量方案可直接拿来用。
T3 T3 16 分组合理,能识别不该混推项,并给出 commit/branch 粒度建议。
T4 T4 13 有真实工具闭环,这点加分;但把题目泛化验证直接落到当前本机非 git 路径,现场语境把握偏死。
T5 T5 17 focused regression 思路清楚,扩大回归条件也讲明了。
T6 T6 17 结论直接,成本收益意识到位,推荐动作可执行。
T7 T7 16 结构适合长期复用,分类口径和判断矩阵清楚。
T8 T8 15 能区分两类 drift,顺序清楚,也有常见误判提醒;再收紧一点会更好。

维度表现

维度 结果
A_主线保持 14
B_规划收口 16
C_patch代码判断 16
D_工具执行闭环 15
E_检索压缩表达 16
F_知识治理收口 16

与更高分模型对比

  • gpt-5.5:最好 156/160,最新 155/160
  • gpt-5.4:最好 148/160,最新 148/160
  • YT-claude-4.7:最好 148/160,最新 148/160
  • gpt-5.4-2026-03-05:最好 147/160,最新 147/160
  • gpt-5.4-mini:最好 134/160,最新 134/160

证据路径

下一步

  1. 如果该模型继续测试,优先追加新的 scored run,不覆盖旧 run。
  2. 新 run 完成后,刷新本详情页和横向总览页。
  3. 若用于生产路由,应另写模型路由决策页,避免把单次评测分数直接等同于配置变更。

风险与边界

  • 本页是小墨场景评测,不等同于通用 benchmark。
  • 同名模型可能对应 provider alias 或后端版本漂移,结论需结合 run 时间线看。
  • 对工具执行闭环要求高的任务,应优先看 T4 / live verification 表现。