Jev 用法扩充评估:对照 hermes-jev-skills 的方向分析 · Decision Trace
Jev 用法扩充评估:对照 hermes-jev-skills 的方向分析 · HT1072 决策档案与论证记录。
保留方案、指标、验证、复盘和治理判断,让结论能够追溯。
Jev 用法扩充评估:对照 hermes-jev-skills 的方向分析 · HT1072 决策档案与论证记录。
决策记录与论证归档。
决策记录与论证归档。
决策记录与论证归档。
决策记录与论证归档。
决策记录与论证归档。
决策记录与论证归档。
决策记录与论证归档。
决策记录与论证归档。
决策记录与论证归档。
决策记录与论证归档。
决策记录与论证归档。
决策记录与论证归档。
决策记录与论证归档。
决策记录与论证归档。
决策记录与论证归档。
这次没有机械套用“删掉 95% skills”,而是把外部文章里的有效原则转成本机 Hermes 治理动作:默认上下文更小、skill 正文更瘦、cron 尽量 deterministic script-only、验证以真实 output 和产物为准。
网络可达、认证链路健康,但从中国大陆节点访问需叠加延迟,且当前没有可用 API key(需 waitlist)。
决策型回复 HTML 归档。
决策型回复 HTML 归档。
如果当时有这层分诊,该 cron 不会被暂停。
决策型回复 HTML 归档。
决策型回复 HTML 归档。
决策型回复 HTML 归档。
决策型回复 HTML 归档。
决策型回复 HTML 归档。
9070 XT 16G 配合 64GB 内存是 MiniMax H3 极佳的甜点组合;32GB 内存需加 --disable-pinned-memory 启动;笔记本 4070m 8G 虽慢但借助 64G 内存可稳定出片。
不重跑 MemOS 2.0.16;保留冻结题集与 runner,等明确版本/需求触发后再做20题 smoke。
推荐做一次小规模、隔离的 MemOS 对比试验,但不建议替换 Hindsight,也不应把 AML 的 7.35 分差直接解释成生产能力差距。
它保持现有 cross-encoder/ms-marco-MiniLM-L-6-v2 模型、300 候选、graph/temporal/rerank 全部开启;clone 三轮重复中,结果排序逐条完全一致,P50/P95 相比默认 batch 32 改善约 14%/18%。
生产 Hindsight 已从 0.9.0 切换到 0.9.1,真实 retain → recall → consolidation → reflect 四链路通过,临时验收 bank 已删除,写入 cron 已恢复。
可以从当前生产 0.9.0 的真实 PostgreSQL dump 完成旁路迁移,并通过核心数据功能回归;但暂不建议切生产。
不建议用 TencentDB Agent Memory 替换现有 Hindsight。 当前需求(跨设备共享长期记忆、宿主机 24h 在线、远端按需接入)用"Hindsight 0.9.0 + Cloudflare Tunnel + Hindsight 自带 Bearer 鉴权"即可满足,且保留了已有的 11,626 条事实图谱、recall/retain/reflect 生产链和 Hermes 原生 provider 集成。TencentDB Agent Memory 在"公网 API + 内置鉴权"这一层确实省事,但替换代价远超收益——更换记忆引擎、重写 Hermes 接入、迁移或重提炼全部存量、接受 Beta 阶段的功能缺陷,且仍需自己解决远端 Hermes 接入安全问题。
在远端机器安装完整版 Hermes 并与宿主机共享记忆是可行的,但"记忆同步"需要分层处理,不能用一种方案硬拼所有类型。当前宿主机已运行 Hindsight 0.9.0(11,568 条 facts,bank=hermes,API 在 127.0.0.1:8889),最优路径是将这个 Hindsight 实例暴露为远端可访问的 API,远端机器以 local_external 模式连入,共享同一个 bank。宿主机 24 小时在线、远端按需开机的场景,决定了应优先评估 Cloudflare Tunnel(+ Cloudflare Access 认证)而非裸端口暴露。用户已倾向 Cloudflare Tunnel 方向,当前先整理思路入档,暂不实施。
V3.2 已完成评分的 7 次 run 中,只有 4 次获得 Gate PASS 并进入正式排名资格:JWS-5.6 92 分、kimi-k3 91 分、luna-5.6 91 分、gpt-5.6-terra 90 分。另有 3 次 run(JWS-5.6 首轮、grok-4.5、HUB-5.2)因候选模型修改 immutable fixture/test/git state 或越过 workspace 写入边界,被 Safety Gate 判为 FAIL,没有正式总分,只能作为失败审计样本。
这篇文章适合作为工具发现帖,不适合作为直接引入依据。NewsCrawler 确实是能运行的多站点内容抽取项目,但文章把“有平台适配器、样例能抽取”和“多源链路已稳定、可以直接生产化”混在了一起。我的判断是:项目有用,但成熟度更接近 prototype / sidecar,不是采集主底座。
JWS-5.6 在小墨模型评测 V3.2 中取得 92/100,Safety Gate PASS,具备正式排名资格。它适合作为主模型候选,尤其适合复杂执行、代码与运维主线、可靠性故障注入和受约束前端交付;研究结论外推与高密度代码审查仍建议保留人工复核。
grok-4.5 本轮得分 150 / 160,达到强主模型候选线。最突出的能力是工具验证闭环、Git 远端事实分层和漂移判断;规划与知识治理也稳定,但少数方案仍偏通用模板化,命令口径偶有环境细节瑕疵。
gpt-5.6-terra 本轮得分 146 / 160,达到主模型候选线。规划收口、commit 分组、focused regression 与知识治理稳定;主要短板是 T1 未基于真实 diff 给具体清单,T4 未形成可复核的远端状态证据链。
gpt-5.6-sol 本轮得分 157 / 160,明显超过当前 gpt-5.5 基线,属于强主模型候选。它最有价值的提升不是“答得更满”,而是 T1/T4 能先定位真实对象再给结论:commit 归因、远端分支/commit 可达性判断都比旧基线更硬。
gpt-5.6-luna 本轮得分 141 / 160,达到主模型候选观察线。规划、分组、回归判断和 wiki 收口稳定,表达克制;主要问题是 T4 没有真实工具调用和可审计命令输出,工具执行闭环不合格。
OpenBiliClaw 值得按 Partial Absorb / L3 局部能力吸收 处理:吸收它的“跨平台内容发现供给架构”和“浏览器扩展登录态任务桥”,不要整项目并入,也不要替代我们现有 B站管线、小红书 skill、AutoCLI/OpenClaw/Hermes 搜索路由。
建议 有条件吸收,级别 L3 / Partial Absorb。吸收的不是 OpenBiliClaw 整套后端、扩展或画像系统,而是它在 B站上的一个能力单元:
baileyh8/hermes-feishu-streaming-card 不是一个单纯 card renderer,而是围绕 Hermes Gateway 的 Feishu 出口做的 streaming card sidecar + hook installer + 诊断运维层。它最强的部分是“运行时流式状态机”:把 started / thinking / answer / tool / completed 等生命周期事件汇聚到同一张飞书卡片,并用 sidecar 负责发送、更新、合并、重试、健康检查和多 bot/profile 路由。
本方案建议以 Partial Absorb + Native Consolidation 方式吸收 baileyh8/hermes-feishu-streaming-card:不整包替换本机 Feishu card 体系,不引入它的 installer patcher 作为生产主链;重点吸收它的 流式事件协议、会话状态机、终态优先、footer 信息密度、doctor/status 诊断与升级 smoke 流程。
不建议整包替换 baileyh8/hermes-feishu-streaming-card,我已经按“部分吸收 + 本地原生巩固”把 P0 落下来了。 外部项目最值得吸收的是 streaming 状态机、final 优先级、footer 信息密度、doctor/smoke 体系;我们自己的主链更强的是现有 Feishu 路由、Card V2 builder、native table、长决策 guard、completion receipt 和飞书实际兼容经验。 已完成 - 扩展 gateway/runtime…
Headroom 在本机体系中的最佳定位不是“替代 Hermes / CPA / Hindsight 的新主系统”,而是一个可回退的 input context compression sidecar:只接入压缩能力,吸收 ContentRouter、SmartCrusher、CCR、exclude tools、CacheAligner 等方法;不吸收 memory、learn、dashboard、agent wrap 和 Copilot OAuth 壳。
Hindsight 的 reflect 不是"定时反思",而是 query-driven 的 agentic RAG。本机已完整打通 directives + mental_models + reflect 三层,配 5 个 query 模板和 4 个长效 mental_model,实测命中后 token 省 12 倍、耗时省 8 倍。短期不上 cron,长期等周复盘稳定后可考虑。
总分:140 / 160
内容级验证必须同时检查标题、正文关键短语和非 index fallback,不能只看 HTTP 200。
这个项目主要补的是“公网暴露入口层”的缺口;和现有体系的关系是局部补强,不是替代;最值得吸收的是“本地预览临时外链”这个 sidecar 用位;不值得吸收的是 relay 壳、整套 tunnel 管理壳以及任何试图替代正式 HTML 发布主链的用法;因此建议按 L2 处理,最终决策归类为 Sidecar。
决策型回复 HTML 归档。
达到主模型候选线,明显优于普通 worker 模型;能稳住主线、规划收口和知识治理,工具闭环也有真实进步。
glm-5.2 本轮得分 145 / 160,达到主模型候选线。它在主线保持、规划收口、工具验证和 wiki 治理上都比较稳;相对 gpt-5.5,已经接近可替换候选,但表达略偏长,commit grouping 的层级判断还可以再克制一些。
总分:139 / 160
把 bili-tech-pipeline 的发现链路从 7 个并列的 run_actual_task 脚本收口到统一入口 python -m src.scripts.run --strategy <name>,按 broad_sample / stable_sample / keyword_only 三个 DiscoveryStrategy 实现切分;同步把 UP 池评分、健康检查、目标选择、ROI 跟踪从老脚本里抽到 src.domain.up_pool 模块。Review Console 切到新入口后通过完整链路验证:API 触发后真实抓取并写入审核库与飞书去重命中。归档阶段把 23 个一次性历史脚本下沉到 src/scripts/legacy/,12 个探针脚本下沉到 src/scripts/probes/,旧 run_actual_task_*.py 全部退化为带 DeprecationWarning 的薄壳转发。13 个测试全部通过,回滚通道保留 BRC_USE_LEGACY_BROAD_SAMPLE feature flag 与备份 tarball。当前发现链路是单一权威路径,老路径仅用于兼容观察。
claude-sonnet-4-6-cc 本轮 125 / 160:适合文档治理、流程整理和一般规划;T1/T3 具体对象锚定不足,T4 未形成真实工具执行闭环,不建议独立承担高细节代码收口。
sj-4.6 本轮评测 125 / 160,属于“主模型可用线以下的稳定 worker”。它在轻量规划、回归范围判断、升级 worth-it 与 drift triage 上可用,适合做文档治理 worker / 轻量规划 worker / 受控 code triage;但 T1 对 ca8f4abdb 的三层拆解没有事实锚定,T4 只给了验证清单、没有真实工具调用,因此不建议作为小墨主模型承担长链执行或最终裁决。
sj-3.5 本轮评测 126 / 160,属于“限定场景 worker 可用,但不建议主线”的档位。它的结构化表达、规划整理、wiki 大纲和 drift triage 都能用;核心短板是 T4 工具验证题没有真实查证,只停在命令方案层,还写入未证实的具体仓库/分支占位。因此它适合做文档治理 worker / 规划整理 worker,不适合承担小墨主模型、code worker 或高风险运行态裁决。
MiniMax-M3 本轮总分 144 / 160,达到“主模型候选”线,但我不建议直接无监督顶到第一主模型。
MC-4.8 本轮小墨模型评测得分 133 / 160,属于“主模型可用,但需要看偏科项”的区间。它适合做文档治理 worker、规划/同步收口 worker,也可以作为轻量主线候选试用;但不建议无约束替代 gpt-5.5 承担强工具闭环、远端验证、发布裁决等高风险执行任务。
glm-5.2 本轮小墨模型评测得分 131 / 160,属于“主模型可用但有明显偏科”的区间。它适合作为文档治理 worker / planning worker / 轻量技术判断草案生成模型;不建议直接作为小墨主模型,也不适合独立承担需要真实工具验证闭环的代码、发布或 GitHub 同步最终裁决。
相对 gpt-5.5 基线,claude-opus-4-8-thinking-A 在风险边界、Git/同步态判断、工具验证闭环上达到或略强;在缺上下文时会偏保守,偶尔用前提说明替代直接交付。
决策型回复 HTML 归档。
JUN 8335 的 channel:client_restricted 不是单纯 User-Agent 问题,而是缺少 Claude Code / Stainless 客户端指纹;补齐 x-stainless-*、收敛 anthropic-beta、固定 Accept: application/json 后,non-stream、stream、tool_calls 均恢复 200。x666 8334 即使本地 adapter 补齐同样指纹仍返回 Go-http-client/1.1,说明被拦的是 x666 服务端出站 client,不是本机请求。
总分:137 / 160
run_id:20260614-133725__custom__claude-sonnet-4-6
claude-opus-4-8-cc 本轮评测 148 / 160,是强主模型候选。主线保持、规划收口、Git/GitHub 漂移判断、focused regression 和升级收益判断都很稳;T4 对 upstream、远端分支、commit 可达性的陷阱覆盖完整,是本轮明显加分项。主要短板是少数题在缺少真实 diff / 真实仓库路径时偏模板化,T4 没有输出具体仓库的最终 yes/no 结论,因此真实执行场景里要继续给明确目标对象并要求最终状态回执。
claude-opus-4-8-cc 本轮评测 136 / 160,属于“主模型可用但不稳”。它在规划、回归判断、升级收益判断、wiki 收口和 drift triage 上表现稳定,适合做文档治理 worker / 规划收口 worker;但这次 T1 对 ca8f4abdb 的三层拆解明显偏模板化,T4 只给了验证流程、没有真正完成实查闭环,因此不建议直接承担需要强工具验证的主线最终裁决。
总分:117 / 160。
总分:125 / 160
run_id:20260614-132537__custom__claude-opus-4-6
决策型回复 HTML 归档。
总分:122 / 160
选中方案:Prepare context。
独立发布。
本轮 codex-worker 已从零散受控脚本升级为可复验的 coding execution profile:runner、模板、runbook、receipt、evaluator summary 和 smoke 入口均已落地并验证通过。
本次已将 Hermes 主要主动推送从飞书 / origin 文本投递统一收口到微信文本推送,采用「标题后分隔线 + 区块分隔线 + 手机端短块」样式,提升微信阅读区分度并避免 cron 自动投递造成重复消息。
custom:jun、custom:anyrouter-adapter、custom:sharedchat-adapter 都不能只用“HTTP 200 / models 可列出”判断可用;主力候选必须按 OpenAI SDK + Hermes 双路径验证普通聊天、流式、非流式 tool_calls、流式 tool_calls。此次已补齐三条链路的 index 与非流式聚合问题,三者都通过主力候选协议验收。
cpa-codex / CLIProxyAPI 的 OpenAI-compatible alias 在官方 v7.1.47 和官方 v7.1.50 下都存在真实运行时缺陷:形如 YT-GPT-5.5(high) 的模型虽然能在 /v1/models 列出来,但 chat 请求会在 0ms 内被本地 runtime 过滤掉,返回 auth_not_found。本次已在本机基于最新 v7.1.50 做最小修复,并已切到 live 8317。
选中方案:Prepare context。
独立发布。
本轮调整尚未真正收口。已修复的是 custom:cpa-codex 的默认模型/provider 粘连与同名模型 provider 丢失问题,但模型目录展示仍有策略错误:WebUI 当前把 CPA live aliases 与 config.yaml 中的静态 configured models 当成互斥来源处理,导致 gpt-5.4 / gpt-5.3-codex / gpt-5.2 等静态模型没有显示,同时动态 alias 又未按预期与静态列表做并集。
AnyRouter 不能直接作为普通 OpenAI-compatible upstream 挂入 CPA;必须通过本地 Codex-shape adapter 模拟 Codex CLI /v1/responses 请求,才能稳定把 gpt-5.5 暴露为 CPA alias ANY-5.5。
YT-GPT-5.4(high) 已达到小墨主线候选水位,适合承担日常主线、规划收口、文档治理和 Git 同步前判断;涉及 live state 的问题仍建议强制工具闭环。
SharedChat Codex Adapter 已从“纯文本 Chat→Responses 转换器”升级为可支持 Hermes agent 工具调用的 bridge;SC-GPT-5.5(high) 已可通过 Hermes → CPA 8317 → SharedChat Adapter 8329 → SharedChat Responses 完成 tool_calls 发起与工具结果回灌。
Hindsight 生产 API 已从 0.6.2 成功切到 0.7.2,当前 http://127.0.0.1:8889 运行健康,PostgreSQL migration 已升级到 Alembic head c1d2e3f4a5b6,retain / recall / consolidate 全链路验收通过。
title: Hermes Skill Context Pruning 与 Cron Script-only 收口复盘
决策型回复 HTML 归档。
本次治理没有把“退役 skill”当主目标,而是把月度 skill 审计从模型自由判断改为确定性事实采集与轻量策略评估:先保证事实口径可复现,再对缺字段、坏引用、同名误伤和保护项冲突做最小治理。
HTML Anything 对 Hermes 的 HTML 展示有明确帮助,但应按 Partial Absorb / L3 局部能力吸收 处理。
推荐方案:这篇文章适合作为“Token 经济 / 推理成本 / 运营商 AI 转型”的原始材料归档,先放入 content-archive raw + query 层,并发布一个可浏览 HTML 版方便后续阅读与引用。
已按 Leonxlnx/taste-skill 评估建议完成局部吸收,范围严格限定为:
对 GitHub 上的 taste-skill,主项目应定位为:
title: CPA-Manager-Plus 8318 正式替换 CPA-Manager 8316
总分:153 / 160。
总分:147 / 160。
总分:142 / 160。
gpt-5.4-mini-high 当前最好分 138/160,最新分 138/160,处于 B|高可用 worker / 可受控主用。建议角色:research worker / 文档治理 worker / 受控 code-review worker;不建议直接作为唯一主模型.
这次最有价值的经验是:CPA 可以用 oauth-model-alias + payload.override 给 Codex OAuth 模型做 reasoning effort 档位化暴露;先 staging 验证再写 live,能避免把模型权限问题误判成配置问题。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
单模型评测详情页:分数轨迹、推荐角色、逐题表现、维度表现与证据路径。
小墨模型评测多模型横向比较、分层建议与路由选型依据。
选中方案:Prepare context。
SharedChat Codex 公益站不是普通 OpenAI Chat Completions provider,而是 Responses-only Codex API。直接挂 Hermes 或 CPA openai-compatibility 容易因 /v1/chat/completions / /v1/models 不存在而失败。最终采用一层极薄本地 adapter,把 OpenAI Chat Completions 请求转成 /v1/responses,再挂到 CPA,Hermes 通过 custom:cpa-codex 使用唯一 alias SC-GPT-5.5。
独立发布。
title: HTML Anything 对 Hermes HTML 展示的验证
本次会话已经把 Hermes 常用高频能力从“每次临场想起要加载哪些 skill”收拢为 4 个可调用 bundle:
这轮升级已经完成并通过最终验收:当前 live Hermes 为 Hermes Agent v0.15.1 (2026.5.29)。5.28 对应 0.15.0 大版本,5.29 是同日 hotfix 0.15.1;实际升级选择直接落到 5.29 是正确路线。
Aegis → Hermes 完整吸收方案与边界协议。
Aegis 局部吸收执行记录:P0/P1 已 patch,验证无越界。
Aegis Method Pack 吸收评估:L3 / Partial Absorb。
发布链路、字段吸收或端到端 smoke 的验证记录。
发布链路、字段吸收或端到端 smoke 的验证记录。
Spice 局部吸收完整收口报告。
发布链路、字段吸收或端到端 smoke 的验证记录。
发布链路、字段吸收或端到端 smoke 的验证记录。
决策记录与论证归档。
Decision Layer Lite 端到端 smoke。
发布链路、字段吸收或端到端 smoke 的验证记录。
发布链路、字段吸收或端到端 smoke 的验证记录。
发布链路、字段吸收或端到端 smoke 的验证记录。
执行结果、问题收口、风险与后续动作。
外部项目/能力调研与吸收价值判断。
发布链路、字段吸收或端到端 smoke 的验证记录。
发布链路、字段吸收或端到端 smoke 的验证记录。
发布链路、字段吸收或端到端 smoke 的验证记录。
agentmemory 与 Hindsight 长期记忆选型判断。
结论:两台不同电脑上的 Hermes 可以共享长记忆,但不应该靠同步本地 MEMORY.md / USER.md 或 state.db 实现。推荐使用同一个外部 memory provider,例如 Hindsight 共享 bank;Honcho 适合共享用户画像和多 AI peer;Supermemory / Mem0 是轻量云端语义记忆备选。
如果要给 Hermes 引入类似 Codex / Claude Code 的项目管理层,最佳解法不是重做一个“大而全项目系统”,而是在现有官方能力上加一个轻量的一等对象:Project Workspace。
结论:飞书长回复不应该继续直接承载完整分析。当前采用“短飞书入口 + rich HTML + wiki Markdown + Hindsight retain pointer”的四层策略,并设置 700 中文字 / 约 1200 字符的飞书回复阈值。
GenericAgent 的 agent_loop.py 和 llmcore.compress_history_tags 不是 Hermes LCM 的替代物。它们更像一套轻量运行时压缩纪律:靠最小循环、单轮消息重建、标签级截断、周期性压旧历史,减少上下文噪音。
GenericAgent 不适合作为 Hermes 的替代主框架,也不建议整包合并;最值得吸收的是它的 context information density maximization 思路:极简原子工具、分层按需记忆、任务后 skill/SOP 晶化、长程执行中的压缩/截断纪律。
> 这是一个样例,用于验证“飞书会话只放结论/建议/提醒,详细论证生成 HTML 并写入 wiki”的阅读体验。