小墨模型评测详情：gemini-3.5-flash
gemini-3.5-flash 当前最好分 114/160，最新分 114/160，处于 D｜轻量/不建议主线。建议角色：文档治理 worker / research-support worker / 轻量方案草稿 worker；不建议作为小墨主模型，也不建议独立承担高风险执行链。
gemini-3.5-flash 当前最好分 114/160，最新分 114/160，处于 D｜轻量/不建议主线。建议角色：文档治理 worker / research-support worker / 轻量方案草稿 worker；不建议作为小墨主模型，也不建议独立承担高风险执行链。
如果该模型继续测试，优先追加新的 scored run，不覆盖旧 run。
本页是小墨场景评测，不等同于通用 benchmark。
关键判断
| 判断项 | 摘要 |
|---|---|
| 推荐方案 | 文档治理 worker / research-support worker / 轻量方案草稿 worker；不建议作为小墨主模型，也不建议独立承担高风险执行链 |
| 关键依据 | 最新 run：20260521-111918__custom__gemini-3.5-flash |
| 落地方式 | 如果该模型继续测试，优先追加新的 scored run，不覆盖旧 run。 |
| 风险边界 | 本页是小墨场景评测，不等同于通用 benchmark。 |
证据摘要
- 最新 run：
20260521-111918__custom__gemini-3.5-flash证据点 1 - 最新 score JSON：
/home/ht/knowledge/model-evals/scored/20260521-111918__custom__gemini-3.5-flash.json证据点 2 - 最新 run JSON：
/home/ht/knowledge/model-evals/runs/20260521-111918__custom__gemini-3.5-flash.json证据点 3 - 横向总览页：<https://decision.ht1072.top/2026-05-29-xiaomo-model-eval-cross-model-archive.html>证据点 4
行动清单
边界 / 风险
本页是小墨场景评测，不等同于通用 benchmark。
同名模型可能对应 provider alias 或后端版本漂移，结论需结合 run 时间线看。
对工具执行闭环要求高的任务，应优先看 T4 / live verification 表现。
完整记录
小墨模型评测详情：gemini-3.5-flash
结论
gemini-3.5-flash 当前最好分 114/160，最新分 114/160，处于 D｜轻量/不建议主线。建议角色：文档治理 worker / research-support worker / 轻量方案草稿 worker；不建议作为小墨主模型，也不建议独立承担高风险执行链。
关键指标
- 模型：
gemini-3.5-flash - Provider：
custom - 横向排名：
#21 / 22 - 有效 run 数：
1 - 最好分：
114 / 160 - 最新分：
114 / 160 - 平均分：
114.0 - 梯队：D｜轻量/不建议主线
- 建议角色：文档治理 worker / research-support worker / 轻量方案草稿 worker；不建议作为小墨主模型，也不建议独立承担高风险执行链
推荐使用方式
文档治理 worker / research-support worker / 轻量方案草稿 worker；不建议作为小墨主模型，也不建议独立承担高风险执行链
代表判断：整体可用，但离小墨主线要求还有明显差距。优点是结构化意识稳定，很多题都能给出像样骨架；短板是现场约束感弱、事实克制不足、容易把题目要求替换成泛化模板，尤其在必须真实用工具闭环的题上没有真正落到现场验证。更适合做文档整理、通用方案初稿、轻量 research-support，不适合独立承担高风险长链主线执行。
分数轨迹
20260521-111918__custom__gemini-3.5-flash：114 / 160；scored_by=gpt-5.4；2026-05-21T03:19:18.987795+00:00
最新 run 逐题表现
| 题目 | 标题 | 分数 | 评语 |
|---|---|---|---|
| T1 | T1 | 13 | 有首句对齐、三层结构和停止点，形式上达标；但核心问题是没有贴着 ca8f4abdb 这个对象收口，而是替换成泛化的软件分层模板，主线保持明显偏弱。 |
| T2 | T2 | 14 | 先结论、再分层、再顺序，这个骨架是对的；但内容偏模板化，还补入了像 hermes-upgrade-runbook 这种未经题面提供的具体假设，收敛性和事实克制一般。 |
| T3 | T3 | 15 | 至少分成三组，也明确了不能混推，整体可用；问题是底层四个文件的再分组仍偏想当然，长期资产与独立支线的边界还不够收紧。 |
| T4 | T4 | 11 | 口头上知道要先查再答，也给了验证链思路；但这题的关键是“必须真查并形成闭环”，而本次作答没有把现场工具结果压成最终结论，基本停留在方法描述层，D 维明显失分。 |
| T5 | T5 | 16 | focused regression 优先、为什么先不跑大回归、何时扩大，都答到了，工程判断总体稳。主要扣分在于稍微偏解释型，不够再压一档。 |
| T6 | T6 | 15 | 方向大体对，成本收益意识也在线；但题目更优口径是“先做收益评估再升”，它直接落成“暂不升”，收口略显过硬，而且表达偏长。 |
| T7 | T7 | 15 | 有背景、分类口径、判断矩阵、操作建议，复用性还可以；但“GitHub 上是否存在该主题”和“当前工作树是否一致”两个维度没有完全拆开，概念页边界略糊。 |
| T8 | T8 | 15 | 两类情况的差异、判断顺序、误判提醒都给到了，整体可用；不过仍有一点冗长，且个别表述有轻微重复，压缩度弱于基线。 |
维度表现
| 维度 | 结果 |
|---|---|
| A 主线保持 | 13 |
| B 规划收口 | 14 |
| C patch/代码判断 | 15 |
| D 工具执行闭环 | 11 |
| E 检索压缩表达 | 15 |
| F 知识治理收口 | 15 |
| G 扩展潜力 | 中等。适合承担结构化整理、文档草稿、轻量策略归纳；若要进主线，必须显著加强现场锚定、工具闭环和对题目边界的服从度。 |
与更高分模型对比
- gpt-5.5：最好 156/160，最新 155/160
- gpt-5.4：最好 148/160，最新 148/160
- YT-claude-4.7：最好 148/160，最新 148/160
- gpt-5.4-2026-03-05：最好 147/160，最新 147/160
- gpt-5.4-mini：最好 134/160，最新 134/160
证据路径
- 最新 run：
20260521-111918__custom__gemini-3.5-flash - 最新 score JSON：
/home/ht/knowledge/model-evals/scored/20260521-111918__custom__gemini-3.5-flash.json - 最新 run JSON：
/home/ht/knowledge/model-evals/runs/20260521-111918__custom__gemini-3.5-flash.json - 横向总览页：<https://decision.ht1072.top/2026-05-29-xiaomo-model-eval-cross-model-archive.html>
下一步
- 如果该模型继续测试，优先追加新的 scored run，不覆盖旧 run。
- 新 run 完成后，刷新本详情页和横向总览页。
- 若用于生产路由，应另写模型路由决策页，避免把单次评测分数直接等同于配置变更。
风险与边界
- 本页是小墨场景评测，不等同于通用 benchmark。
- 同名模型可能对应 provider alias 或后端版本漂移，结论需结合 run 时间线看。
- 对工具执行闭环要求高的任务，应优先看 T4 / live verification 表现。