- HTML: https://decision.ht1072.top/2026-10-19-research-writing-model-selection-eval.html
- Local HTML:
[已移除本地路径] - Generated: 2026-10-19T18:00:00+08:00
深度调研写作与润色模型选型:四候选同题对比与定版
记录范围:
hermes-deep-researchskill 的旧默认写作模型(deepseek-v4-pro)与润色模型(kimi-k3)双双从 Axon 网关撤出(调用 422)→ 设计同题同冻结证据包的四候选对比评测 → 两轮裁判盲评 + 硬门槛 + 润色 A/B 两组对照 → 定版新默认并执行 skill 升级。 数据来源:全部来自本机评测产物(~/llm-wikis/research-reports/writing-model-bench-2026-10-19/),裁判gpt-6.1-sol与四候选零重叠。本文正文由新定版写作模型claude-opus-5-5撰写,主 agent 数字核对后入库。
结论
- 写作默认定版
claude-opus-5-5:四候选同题对比加权 7.00 第一(裁判 6.69 / 人评 7.31 / 合规 7.0),与claude-sonnet-5-5(6.93)同档,靠机制解释 8.0、标题质量 8.0 两个人评子项胜出;且它是唯一在两组润色 A/B 上都正收益的润色者,一专多能。 - 润色 pass 从默认链路改为条件触发:真实链路(润写作模型自己初稿)收益 +0.07~+0.20,属单 seed 噪声级;默认跳过,仅写作模型表达偏弱或初稿明显翻译腔时才跑。
gemini-3.8-flash双硬门槛出局:149 处用事实池内部编号代替引用合同编号(H2 引用体系失效),新增池外断言 RLVR/MMLU/Brier(H1);14 章里 9 章零合同引用。deepseek-flash虚构亲历不可作默认:把 dev.to 博主案例写成"笔者一手实测",域名失真;但速度最快(190.7s),输出 72% 是推理 token。- 评测本身的四个坑(比排名更值钱):裁判没给写作合同误判背景知识越界、字数 +1.8% 掩盖 91% 句子改写、A/B 源稿选错导致结论反转(+0.60 → +0.07)、程序校验保不住判断强度。
评测设计
冻结条件
复用 2026-09-29 的 Jev 深度调研:15 章骨架、40 余条事实池、29 条引用合同。四个候选各写一版完整正文。事实池是带编号的可用事实清单;引用合同规定正文只能用 [1]-[29] 指向来源,不能自造编号。9-29 当时产出的 astra 旧稿不参与排名,只作文本参照。
硬门槛(一票否决,不进加权)
- H1:引入事实池以外的断言并写成确定事实
- H2:引用体系失效
- 虚构亲历(把别人的案例写成"笔者实测")按最严重证据违规处理
盲评与预注册
裁判 gpt-6.1-sol 与候选零重叠,稿件匿名为 W1-W4。人工评审八维打分:证据纪律、机制解释、论证节奏、中文语感、结论质量、标题质量、跨章连贯、模板腔控制。评分维度、权重、硬门槛在看到任何稿件之前固定。
写作模型结果
| 模型 | 裁判分 | 人工分 | 合规分 | 加权 |
|---|---|---|---|---|
| claude-opus-5-5 | 6.69 | 7.31 | 7.0 | 7.00 |
| claude-sonnet-5-5 | 6.56 | 7.25 | 7.0 | 6.93 |
| deepseek-flash | 5.75 | 6.62 | 5.5 | 6.05 |
| gemini-3.8-flash | 5.19 | 5.31 | 1.5 | 4.50 |
裁判八维总分:Opus 53.5、Sonnet 52.5、deepseek-flash 46.0、Gemini 41.5(满分 80)。裁判与人工排序一致。
违规记录比分数更重要:
- Opus/Sonnet 各两处轻度越界(Opus 把本机规则写成一手指令、归因无来源;Sonnet 引池外 Molas 批评、扩写 CEO 判断),审稿可修。
- deepseek-flash 虚构亲历(jomatsu 的 Pi agent/SSH 案例写成"笔者一手实测")+ "另有 4 项 NO-GO" 无据 + 域名拆错(
jevai.org/net/info→jev.net、jev.info)。文字能力不差(机制解释 7.5),证据纪律 5.0 拖死。 - Gemini 双硬门槛:
[B5][C4]式编号 149 处、RLVR/MMLU/Brier 池外断言;合同引用全文仅 51 处(其他候选 173-199)。
文本指标:
| 模型 | 中文字数 | 数字密度 | 限定语 | 引用总数 |
|---|---|---|---|---|
| claude-opus-5-5 | 10446 | 49.2 | 27 | 173 |
| claude-sonnet-5-5 | 9287 | 63.3 | 27 | 199 |
| deepseek-flash | 10315 | 60.0 | 18 | 198 |
| gemini-3.8-flash | 14785 | 36.5 | 5 | 51 |
| astra(9-29 参照) | 12537 | 24.3 | 61 | 128 |
限定语少既可能是干脆,也可能是把推测写成定论——Gemini 属于后者。
运行开销:deepseek-flash 最快(190.7s,输出 41831 token 其中 72% 推理);Opus 312.9s;Opus 输入 token(100354)比 Sonnet(11131)高约 9 倍,但两者调用拆分口径未核对一致,不宜直接比成本。
润色 A/B:本次最重要的发现
程序校验(四候选全部通过标题/数字/引用一致性;Gemini 字数 +17.8%、新增 9 处套话,注水出局)之后是裁判盲比:
| 润色模型 | A 组(润 astra 旧稿) | B 组(润写作模型初稿) |
|---|---|---|
| claude-opus-5-5 | 3胜0平0负,Δ+0.60 | 2胜1平0负,Δ+0.07 |
| claude-sonnet-5-5 | 0胜2平1负,Δ-0.13 | 1胜2平0负,Δ+0.20 |
| deepseek-flash | 0胜3平0负,Δ0.00 | 未测 |
| gemini-3.8-flash | 1胜0平2负,Δ-1.27 | 未测 |
A 组里 Opus 润旧稿三战全胜,看起来润色很有价值。换 B 组(真实链路的输入)后收益降到 +0.07。落差的解释:astra 旧稿限定语 61 处、数字密度 24.3,给润色留了空间;新一代写作模型初稿本身干净,润色无处可改。只跑 A 组会得出"润色有明显价值"的错误结论。
评测的四个坑
- 裁判没拿写作合同,判得过严:第一轮把 Kahneman/Jevons/BERT 通行背景知识判成越界。补上合同重跑,越界判定才落到虚构亲历和池外数字上。教训:裁判的规则输入必须与写作者一致。
- 字数变化误导:Opus 润色字数只 +1.8%,逐句比对发现改写了 91% 的句子。字数稳定只说明没注水,不说明没改。
- A/B 源稿错配:测的是润旧稿,真实链路是润自稿。结论从 +0.60 反转到 +0.07。教训:A/B 源稿必须来自被评估链路的真实上游。
- 程序校验盲区:标题/数字/引用可校验,判断强度("可能导致"→"导致")校验不了。Opus 改了 91% 的句子,其中多少动了判断强度,程序给不出答案。
边界
单题(Jev 调研)、单 seed、润色每组仅 3 次对照。分数可排除明显不行者(Gemini、deepseek-flash 作默认),不能区分相近者(Opus vs Sonnet 的 0.07 无差别)。结论能否推广到其他主题未验证。
定版与执行
hermes-deep-research升 v1.4.0:写作默认claude-opus-5-5,润色改条件触发(默认跳过,触发时润色者优先 opus),merge_polish仅触发时使用。assemble.py回执修正:写作模型不再写死,从seg-log.jsonl的resolved_model读取或显式传参,两者都缺则拒绝出稿。- 改动前备份:
~/llm-wikis/research-reports/writing-model-bench-2026-10-19/skill-backup-20261019-171011/。 - 本文正文即新写作默认模型的首次实战产出。
Wiki 版本:~/llm-wikis/hermes-ops/concepts/research-writing-model-selection-2026-10-19.md