Hermes Decision Trace

小墨模型评测详情:deepseek-v4-flash

deepseek-v4-flash 当前最好分 126/160,最新分 126/160,处于 C|限定 worker。建议角色:建议接入为 research worker / 文档治理 worker;不建议单独承担主模型。

HTML完整论证
Wiki可检索归档
Feishu短入口交付
🎯
核心结论

deepseek-v4-flash 当前最好分 126/160,最新分 126/160,处于 C|限定 worker。建议角色:建议接入为 research worker / 文档治理 worker;不建议单独承担主模型。

🧭
推荐路径

如果该模型继续测试,优先追加新的 scored run,不覆盖旧 run。

🛡️
关键边界

本页是小墨场景评测,不等同于通用 benchmark。

关键判断

判断项摘要
推荐方案建议接入为 research worker / 文档治理 worker;不建议单独承担主模型
关键依据最新 run:20260520-141936__deepseek__deepseek-v4-flash
落地方式如果该模型继续测试,优先追加新的 scored run,不覆盖旧 run。
风险边界本页是小墨场景评测,不等同于通用 benchmark。

证据摘要

  • 最新 run:20260520-141936__deepseek__deepseek-v4-flash证据点 1
  • 最新 score JSON:/home/ht/knowledge/model-evals/scored/20260520-141936__deepseek__deepseek-v4-flash.json证据点 2
  • 最新 run JSON:/home/ht/knowledge/model-evals/runs/20260520-141936__deepseek__deepseek-v4-flash.json证据点 3
  • 横向总览页:<https://decision.ht1072.top/2026-05-29-xiaomo-model-eval-cross-model-archive.html>证据点 4

行动清单

如果该模型继续测试,优先追加新的 scored run,不覆盖旧 run。
新 run 完成后,刷新本详情页和横向总览页。
若用于生产路由,应另写模型路由决策页,避免把单次评测分数直接等同于配置变更。

边界 / 风险

风险点

本页是小墨场景评测,不等同于通用 benchmark。

风险点

同名模型可能对应 provider alias 或后端版本漂移,结论需结合 run 时间线看。

风险点

对工具执行闭环要求高的任务,应优先看 T4 / live verification 表现。

完整记录

小墨模型评测详情:deepseek-v4-flash

结论

deepseek-v4-flash 当前最好分 126/160,最新分 126/160,处于 C|限定 worker。建议角色:建议接入为 research worker / 文档治理 worker;不建议单独承担主模型。

关键指标

  • 模型:deepseek-v4-flash
  • Provider:deepseek
  • 横向排名:#16 / 22
  • 有效 run 数:1
  • 最好分:126 / 160
  • 最新分:126 / 160
  • 平均分:126.0
  • 梯队:C|限定 worker
  • 建议角色:建议接入为 research worker / 文档治理 worker;不建议单独承担主模型

推荐使用方式

建议接入为 research worker / 文档治理 worker;不建议单独承担主模型

代表判断:主模型可用但有偏科,更适合 research worker / 文档治理 worker。

分数轨迹

  • 20260520-141936__deepseek__deepseek-v4-flash:126 / 160;scored_by=deepseek-v4-flash;2026-05-20T06:19:36.773146+00:00

最新 run 逐题表现

题目标题分数评语
T1T113有锚定、有三层、有停止点,但没有真正围绕给定 commit 做贴题拆分,偏模板化。
T2T216先结论再分层,先后顺序和停止点都清楚,可直接用。
T3T314分组数量够,不能混推也说到了,但部分分组依据偏泛,没有更细的长期资产/支线边界。
T4T416明确先查再答,还实际调用了 git;虽不在仓库内,但闭环意识是对的。
T5T517focused regression 优先,扩大条件也清楚,这题答得比较稳。
T6T616升级先做收益评估的结论合理,有成本收益意识,也给了推荐动作。
T7T716结构完整,可复用性不错;但真相源/证据源思维还能更强。
T8T818两类 drift 区分清楚,顺序明确,误判提醒也到位,是本轮最好的一题。

维度表现

维度结果
A_主线保持3
B_规划收口4
C_patch代码判断3
D_工具执行闭环4
E_检索压缩表达4
F_知识治理收口4

与更高分模型对比

  • gpt-5.5:最好 156/160,最新 155/160
  • gpt-5.4:最好 148/160,最新 148/160
  • YT-claude-4.7:最好 148/160,最新 148/160
  • gpt-5.4-2026-03-05:最好 147/160,最新 147/160
  • gpt-5.4-mini:最好 134/160,最新 134/160

证据路径

  • 最新 run:20260520-141936__deepseek__deepseek-v4-flash
  • 最新 score JSON:/home/ht/knowledge/model-evals/scored/20260520-141936__deepseek__deepseek-v4-flash.json
  • 最新 run JSON:/home/ht/knowledge/model-evals/runs/20260520-141936__deepseek__deepseek-v4-flash.json
  • 横向总览页:<https://decision.ht1072.top/2026-05-29-xiaomo-model-eval-cross-model-archive.html>

下一步

  1. 如果该模型继续测试,优先追加新的 scored run,不覆盖旧 run。
  2. 新 run 完成后,刷新本详情页和横向总览页。
  3. 若用于生产路由,应另写模型路由决策页,避免把单次评测分数直接等同于配置变更。

风险与边界

  • 本页是小墨场景评测,不等同于通用 benchmark。
  • 同名模型可能对应 provider alias 或后端版本漂移,结论需结合 run 时间线看。
  • 对工具执行闭环要求高的任务,应优先看 T4 / live verification 表现。