小墨模型评测详情:ali-qwen-3.6
ali-qwen-3.6 当前最好分 132/160,最新分 132/160,处于 B|主线辅助/强 worker。建议角色:文档治理 worker / planning worker / research-support worker;可在强约束下辅助主线,但不建议单独做小墨主模型。
ali-qwen-3.6 当前最好分 132/160,最新分 132/160,处于 B|主线辅助/强 worker。建议角色:文档治理 worker / planning worker / research-support worker;可在强约束下辅助主线,但不建议单独做小墨主模型。
如果该模型继续测试,优先追加新的 scored run,不覆盖旧 run。
本页是小墨场景评测,不等同于通用 benchmark。
关键判断
| 判断项 | 摘要 |
|---|---|
| 推荐方案 | 文档治理 worker / planning worker / research-support worker;可在强约束下辅助主线,但不建议单独做小墨主模型 |
| 关键依据 | 最新 run:20260520-164451__custom__ali-qwen-3.6 |
| 落地方式 | 如果该模型继续测试,优先追加新的 scored run,不覆盖旧 run。 |
| 风险边界 | 本页是小墨场景评测,不等同于通用 benchmark。 |
证据摘要
- 最新 run:
20260520-164451__custom__ali-qwen-3.6证据点 1 - 最新 score JSON:
/home/ht/knowledge/model-evals/scored/20260520-164451__custom__ali-qwen-3.6.json证据点 2 - 最新 run JSON:
/home/ht/knowledge/model-evals/runs/20260520-164451__custom__ali-qwen-3.6.json证据点 3 - 横向总览页:<https://decision.ht1072.top/2026-05-29-xiaomo-model-eval-cross-model-archive.html>证据点 4
行动清单
边界 / 风险
本页是小墨场景评测,不等同于通用 benchmark。
同名模型可能对应 provider alias 或后端版本漂移,结论需结合 run 时间线看。
对工具执行闭环要求高的任务,应优先看 T4 / live verification 表现。
完整记录
小墨模型评测详情:ali-qwen-3.6
结论
ali-qwen-3.6 当前最好分 132/160,最新分 132/160,处于 B|主线辅助/强 worker。建议角色:文档治理 worker / planning worker / research-support worker;可在强约束下辅助主线,但不建议单独做小墨主模型。
关键指标
- 模型:
ali-qwen-3.6 - Provider:
custom - 横向排名:
#10 / 22 - 有效 run 数:
1 - 最好分:
132 / 160 - 最新分:
132 / 160 - 平均分:
132.0 - 梯队:B|主线辅助/强 worker
- 建议角色:文档治理 worker / planning worker / research-support worker;可在强约束下辅助主线,但不建议单独做小墨主模型
推荐使用方式
文档治理 worker / planning worker / research-support worker;可在强约束下辅助主线,但不建议单独做小墨主模型
代表判断:整体可用,结构化表达、分层收口、停止点意识都比较稳,适合规划、治理、wiki/concept 类任务。但在信息不足时会补入较多具体化假设,导致部分答案看起来完整,实则与题目现场上下文未完全贴合;压缩度也弱于 gpt-5.4。更适合文档治理、planning、research-support,不建议独立承担高风险主线执行。
分数轨迹
20260520-164451__custom__ali-qwen-3.6:132 / 160;scored_by=gpt-5.4;2026-05-20T08:44:51.638849+00:00
最新 run 逐题表现
| 题目 | 标题 | 分数 | 评语 |
|---|---|---|---|
| T1 | T1 | 16 | 结构完整,也有停止点,但三层内容补入了较多具体系统部件,和题目给出的 commit 现场并未强绑定,事实克制不够。 |
| T2 | T2 | 16 | 先结论、再分层、再顺序、再停止点,骨架是对的;但出现了像 hermes upgrade-runbook audit 这类未经验证的具体动作,执行闭环还不够严。 |
| T3 | T3 | 16 | 分组基本合理,也知道哪些不能混推,但对依赖关系的判断略带想当然,commit/branch 粒度可以更收束。 |
| T4 | T4 | 17 | 工具意识是在线的,明确先查再答,也给了验证闭环。扣分点在于步骤略多,收束感和最小验证链还可以更狠。 |
| T5 | T5 | 17 | focused regression 优先、边界清楚、扩大条件也给到了,整体稳。主要问题仍是表达偏解释型,不够压缩。 |
| T6 | T6 | 17 | 结论明确,有成本收益意识,也有推荐动作,方向对。若能再少一点泛化表述,会更像高密度主模型输出。 |
| T7 | T7 | 16 | 结构可复用,分类口径和判断矩阵比较成型。但题目里的“主题存在性”与“工作树一致性”两个维度没有完全拉开,仍有一点合并过度。 |
| T8 | T8 | 17 | 两类情况区分清楚,判断顺序和误判提醒完整,适合作为稳定 triage 口径。还是老问题:能再压短一点会更好。 |
维度表现
| 维度 | 结果 |
|---|---|
| A 主线保持 | 17 |
| B 规划收口 | 17 |
| C patch/代码判断 | 16 |
| D 工具执行闭环 | 17 |
| E 检索压缩表达 | 15 |
| F 知识治理收口 | 17 |
| G 扩展潜力 | 中上。适合承担规划、治理、wiki/concept 收口与中等复杂度执行框架设计;若用于主线,需要更强的现场约束与更严格的事实校验。 |
与更高分模型对比
- gpt-5.5:最好 156/160,最新 155/160
- gpt-5.4:最好 148/160,最新 148/160
- YT-claude-4.7:最好 148/160,最新 148/160
- gpt-5.4-2026-03-05:最好 147/160,最新 147/160
- gpt-5.4-mini:最好 134/160,最新 134/160
证据路径
- 最新 run:
20260520-164451__custom__ali-qwen-3.6 - 最新 score JSON:
/home/ht/knowledge/model-evals/scored/20260520-164451__custom__ali-qwen-3.6.json - 最新 run JSON:
/home/ht/knowledge/model-evals/runs/20260520-164451__custom__ali-qwen-3.6.json - 横向总览页:<https://decision.ht1072.top/2026-05-29-xiaomo-model-eval-cross-model-archive.html>
下一步
- 如果该模型继续测试,优先追加新的 scored run,不覆盖旧 run。
- 新 run 完成后,刷新本详情页和横向总览页。
- 若用于生产路由,应另写模型路由决策页,避免把单次评测分数直接等同于配置变更。
风险与边界
- 本页是小墨场景评测,不等同于通用 benchmark。
- 同名模型可能对应 provider alias 或后端版本漂移,结论需结合 run 时间线看。
- 对工具执行闭环要求高的任务,应优先看 T4 / live verification 表现。