Hermes Decision Trace
小墨模型评测详情:deepseek-v4-flash
deepseek-v4-flash 当前最好分 126/160,最新分 126/160,处于 C|限定 worker。建议角色:建议接入为 research worker / 文档治理 worker;不建议单独承担主模型。
HTML完整论证
Wiki可检索归档
Feishu短入口交付
🎯
核心结论deepseek-v4-flash 当前最好分 126/160,最新分 126/160,处于 C|限定 worker。建议角色:建议接入为 research worker / 文档治理 worker;不建议单独承担主模型。
🧭
推荐路径如果该模型继续测试,优先追加新的 scored run,不覆盖旧 run。
🛡️
关键边界本页是小墨场景评测,不等同于通用 benchmark。
关键判断
| 判断项 | 摘要 |
|---|---|
| 推荐方案 | 建议接入为 research worker / 文档治理 worker;不建议单独承担主模型 |
| 关键依据 | 最新 run:20260520-141936__deepseek__deepseek-v4-flash |
| 落地方式 | 如果该模型继续测试,优先追加新的 scored run,不覆盖旧 run。 |
| 风险边界 | 本页是小墨场景评测,不等同于通用 benchmark。 |
证据摘要
- 最新 run:
20260520-141936__deepseek__deepseek-v4-flash证据点 1 - 最新 score JSON:
/home/ht/knowledge/model-evals/scored/20260520-141936__deepseek__deepseek-v4-flash.json证据点 2 - 最新 run JSON:
/home/ht/knowledge/model-evals/runs/20260520-141936__deepseek__deepseek-v4-flash.json证据点 3 - 横向总览页:<https://decision.ht1072.top/2026-05-29-xiaomo-model-eval-cross-model-archive.html>证据点 4
行动清单
如果该模型继续测试,优先追加新的 scored run,不覆盖旧 run。
新 run 完成后,刷新本详情页和横向总览页。
若用于生产路由,应另写模型路由决策页,避免把单次评测分数直接等同于配置变更。
边界 / 风险
风险点
本页是小墨场景评测,不等同于通用 benchmark。
风险点
同名模型可能对应 provider alias 或后端版本漂移,结论需结合 run 时间线看。
风险点
对工具执行闭环要求高的任务,应优先看 T4 / live verification 表现。
完整记录
小墨模型评测详情:deepseek-v4-flash
结论
deepseek-v4-flash 当前最好分 126/160,最新分 126/160,处于 C|限定 worker。建议角色:建议接入为 research worker / 文档治理 worker;不建议单独承担主模型。
关键指标
- 模型:
deepseek-v4-flash - Provider:
deepseek - 横向排名:
#16 / 22 - 有效 run 数:
1 - 最好分:
126 / 160 - 最新分:
126 / 160 - 平均分:
126.0 - 梯队:C|限定 worker
- 建议角色:建议接入为 research worker / 文档治理 worker;不建议单独承担主模型
推荐使用方式
建议接入为 research worker / 文档治理 worker;不建议单独承担主模型
代表判断:主模型可用但有偏科,更适合 research worker / 文档治理 worker。
分数轨迹
20260520-141936__deepseek__deepseek-v4-flash:126 / 160;scored_by=deepseek-v4-flash;2026-05-20T06:19:36.773146+00:00
最新 run 逐题表现
| 题目 | 标题 | 分数 | 评语 |
|---|---|---|---|
| T1 | T1 | 13 | 有锚定、有三层、有停止点,但没有真正围绕给定 commit 做贴题拆分,偏模板化。 |
| T2 | T2 | 16 | 先结论再分层,先后顺序和停止点都清楚,可直接用。 |
| T3 | T3 | 14 | 分组数量够,不能混推也说到了,但部分分组依据偏泛,没有更细的长期资产/支线边界。 |
| T4 | T4 | 16 | 明确先查再答,还实际调用了 git;虽不在仓库内,但闭环意识是对的。 |
| T5 | T5 | 17 | focused regression 优先,扩大条件也清楚,这题答得比较稳。 |
| T6 | T6 | 16 | 升级先做收益评估的结论合理,有成本收益意识,也给了推荐动作。 |
| T7 | T7 | 16 | 结构完整,可复用性不错;但真相源/证据源思维还能更强。 |
| T8 | T8 | 18 | 两类 drift 区分清楚,顺序明确,误判提醒也到位,是本轮最好的一题。 |
维度表现
| 维度 | 结果 |
|---|---|
| A_主线保持 | 3 |
| B_规划收口 | 4 |
| C_patch代码判断 | 3 |
| D_工具执行闭环 | 4 |
| E_检索压缩表达 | 4 |
| F_知识治理收口 | 4 |
与更高分模型对比
- gpt-5.5:最好 156/160,最新 155/160
- gpt-5.4:最好 148/160,最新 148/160
- YT-claude-4.7:最好 148/160,最新 148/160
- gpt-5.4-2026-03-05:最好 147/160,最新 147/160
- gpt-5.4-mini:最好 134/160,最新 134/160
证据路径
- 最新 run:
20260520-141936__deepseek__deepseek-v4-flash - 最新 score JSON:
/home/ht/knowledge/model-evals/scored/20260520-141936__deepseek__deepseek-v4-flash.json - 最新 run JSON:
/home/ht/knowledge/model-evals/runs/20260520-141936__deepseek__deepseek-v4-flash.json - 横向总览页:<https://decision.ht1072.top/2026-05-29-xiaomo-model-eval-cross-model-archive.html>
下一步
- 如果该模型继续测试,优先追加新的 scored run,不覆盖旧 run。
- 新 run 完成后,刷新本详情页和横向总览页。
- 若用于生产路由,应另写模型路由决策页,避免把单次评测分数直接等同于配置变更。
风险与边界
- 本页是小墨场景评测,不等同于通用 benchmark。
- 同名模型可能对应 provider alias 或后端版本漂移,结论需结合 run 时间线看。
- 对工具执行闭环要求高的任务,应优先看 T4 / live verification 表现。