结论
本次审查修复了技能禁用、组合入口和治理脚本中的确定性错误,并补齐 Desktop 使用端证据;四技能精简与 L0 记忆调整没有上线,真实行为收益没有获得验证。最终保留已验证修复,暂停实验设施扩建,后续从正常任务中的具体失败出发做局部优化。
记录日期:2026-10-20。本文复盘一次本地 Hermes 上下文治理,不是跨版本性能评测,也不是完整系统安全认证。涉及安装版本和数量的描述均对应本次审查时点,不代表后续持续状态。
一、为什么开始:上下文越积越多,问题不一定是字数
审查起点是长期协作指令、技能和常驻记忆不断增长:哪些规则仍在发挥作用,哪些重复、失效或过时,怎样治理而不丢掉重要信息。目标同时包含可靠性和效率,不能只看文本是否变短。
范围分为四层:身份与协作约定、技能索引及按需加载正文、L0 常驻记忆、专题 Wiki 与历史检索。治理先核实真实加载机制,再决定改什么;默认只涉及当前 profile,不把备份、旁路安装或其他 profile 算成生产现状。
原先容易走向一个错误方向:看见技能目录很大,就把所有正文都当成每轮负担;看见版本描述陈旧,就把整个文档镜像认定为过期;看见加载次数很高,就把该技能判断为高价值。本次先推翻了这些假设。
二、先纠正判断:三项被证伪的假设
| 最初疑问 | 核查结果 | 对治理方向的影响 |
|---|---|---|
| 启用技能是否全部全文进入每轮上下文 | 系统先提供技能索引,正文通过 skill_view 按需加载 | 不按目录总字节数估算每轮成本;分别检查索引、触发和正文 |
| 官方文档镜像是否停在旧版本 | 镜像已覆盖本地目标版本 v0.22.2,本次同步记录为 185 页成功、无抓取失败;部分技能说明仍有旧文字 | 修正文档入口和陈旧说明,不无谓重建镜像;抓取完整仍不代表覆盖所有新增页面 |
| use_count 是否能证明任务收益 | skill_view 会计入使用遥测 | 加载次数只能证明被读取,不能证明解决了问题或值得常驻 |
这三项纠正避免了全库重写。真正值得优先修的是运行时没有兑现的规则,以及会让后续验收得出错误结论的工具。
三、实际落地:让本来想禁用的技能真正消失
最明确的缺陷出在禁用列表:部分条目使用 category/name 路径,而当前索引消费者以技能的规范名称匹配。配置可以成功保存,实际技能却仍进入提示词。
本次只修正了 12 个有证据的目标,未借机重写全部禁用项。经官方配置入口写入后,对比目标键与相邻配置,再检查实际 loader,而不是停在命令返回成功。
| 验收层 | 证据 | 能证明什么 |
|---|---|---|
| 文件与配置 | 只变更预期的 12 个名称,首批核对其余配置结构一致 | 修改范围受控 |
| 新加载链 | 技能索引由 117 项变为 105 项,12 个目标不再列出 | 名称修复被消费者执行 |
| Desktop 主会话 | 已存在的修复后新主会话实际持久化 105 项索引,12 个目标全部缺席;更早主会话保存 117 项并包含这些目标 | 修复已进入实际使用端,不只是独立 CLI 探针 |
Desktop 验收排除了带 parent 的委派子会话。原因是子会话也可能继承 desktop 来源标签,单看 source 字段容易混淆。这里读取的是实际会话保存的系统提示,没有另建模型测试回合;历史长会话也没有被强制改写。
另一项修复是组合入口:升级组合和复杂搜索组合替换了失联、归档成员。最后调用当前原生展开函数并指定 desktop 平台,升级组合完整加载 5 个成员,复杂搜索组合完整加载 9 个成员;另两个现有组合均为 4 个成员,四个入口都没有缺项。该证据覆盖原生展开,不等于客户端点击和模型执行过完整任务。
四、治理脚本与规则:先防止自动化制造错误
元数据规范化脚本原来会给缺失字段补上作者、许可证、生命周期和初始版本。形式上齐全,事实却可能是编造的。本次将这类信息改为报告后人工核实,不再凭模板推断;空的 related_skills 列表被接受,错误类型仍报错。对应元数据测试通过,审查当时检查的 122 份技能没有剩余元数据问题。这不代表内容、引用或安全性全部合格。
同时修正了现行配置路由和文档规则:旧技能里提到某工具,不能证明该工具还存在;工具发现与实现都无法找到的入口,不因审查意见要求就恢复。只读审计也不隐式构成写入许可,发现陈旧路径应先核实,再在已授权范围内最小修正。
安全和生命周期检查保持克制。一次社区技能扫描给出了危险等级并阻断,人工阅读未发现向第三方外传凭据的证据,因此保留阻断而不直接认定恶意。Curator 的原始 managed 记录数不等于实际审查目标;闲置时长也不等于技能无用。本次没有执行技能归档、清除或自动 pin。
五、候选精简:原文可回捞,但尚无行为收益
四份高频技能形成了独立候选:Hermes 使用入口、执行模式、搜索路由、决策归档。策略是主文只保留触发条件、最短流程、安全与验收,把教程、重复事故记录和细节移到可按需读取的 reference。
| 候选 | 原主文字符数 | 修订候选字符数 | 当前状态 |
|---|---|---|---|
| hermes-agent | 99,960 | 6,972 | 未安装 |
| xiaomo-execution-patterns | 26,316 | 10,894 | 未安装 |
| decision-trace-reply-pattern | 21,177 | 7,186 | 未安装 |
| search-routing-matrix | 41,364 | 10,118 | 未安装 |
| 合计 | 188,817 | 35,170 | 只说明主文规模变化 |
这些是字符数,不是 token 测量,更不是响应时间或费用节省比例。旧主文完整保留,并检查回捞链接和候选覆盖关系。候选是逐文件 overlay,不能整树替换,否则会丢掉既有支持资源。
独立复审抓到了 profile 存在与工具可用混淆、短描述截断、缺失模板、旧工具边界等问题。修订后的内容复核通过,但内容正确不等于模型会更好地使用它。最后核验四份生产主文仍逐字节匹配改前基线。
L0 也只形成候选:USER 为 1,580 个字符,MEMORY 正文为 1,720 个字符,后者文件连尾换行共 1,721 个字符。原文承接和回滚索引已核对,候选没有安装。本轮没有通过候选覆盖生产记忆;生产记忆可被其他正常任务更新,不能要求它永远等于早期备份。
六、回归工具返修:旧测试有能力把失败判成成功
准备验证候选时,发现原有 runner 的问题比预期多。若直接跑模型,可能得到看起来漂亮却不可信的 PASS。
| 失效模式 | 修复方式 |
|---|---|
| query 与 sessions export 使用不同 profile | profile 参数贯穿执行和取证 |
| 非零退出、缺会话、空导出仍可能进入断言 | 取证缺失立即判 error,不回退 stdout 凑答案 |
| 多轮只评最后一轮 | 真正 resume,并逐轮取证和最坏结果聚合 |
| 前轮工具和旧回复满足了本轮条件 | 校验导出前缀连续性,切出当轮新增消息 |
| 工具前的 commentary 被当最终答复 | 检查消息尾部、角色、工具调用和完成原因 |
| 工具名与技能名混在一桶 | 工具断言与 skill_view 参数分别匹配 |
| 默认执行且人工审查项被略过 | 默认 PLAN,不建运行目录;人工未审保持待审 |
runner 最终离线验收为 53 项测试通过,包含 runner、父侧门禁和元数据检查。另用已有会话验证真实 CLI 导出消费链,不新增模型请求。含 inactive、历史重写或运行中注入的会话不在当前认证范围内,保守拒绝而非猜测语义。
这部分的价值是提高后续判断可信度。它不能直接证明现行模型的日常回答质量提高。
七、隔离实验走通了夹具,也暴露了投入失衡
为避免把凭据交给可执行终端的测试 Agent,实验逐步增加了专用 HOME、只读运行时、独立网络空间、父侧请求 broker、预算预留和失败留证。两臂使用相同 SOUL 与 L0,唯一变量为四技能组合;评分依据只留父侧,不放入模型提示或沙箱。
这条链路确实发现并修复了真实问题:
- 通用“关闭插件”环境变量没有被当前实现消费,不能拿设置过变量当隔离证据。
- 备份只有部分主文,缺完整支持资源;两臂改用同一次冻结的支持文件,避免把夹具缺失当知识退化。
- SDK 会发送占位鉴权,broker 最初全部拒绝,导致真实 Agent 无法联通。
- shim 等待时间短于父侧请求时间,存在提前截断。
- 自动生成会话标题会额外请求,扰乱调用计数;按当前实现关闭,并用实际请求核对。
- 请求重序列化后的计费预留、全局与逐 case 限额、响应体上限、缺 usage 和 secret 回显,都需要独立的失败测试。
最终全套离线检查为 136 项通过,构成为 75 项回归与沙箱测试、58 项隔离入口与 broker 测试、3 项元数据测试。完整真实 AIAgent 配明确标注的 synthetic transport fixture 跑通:两臂各 2 次请求,原生文件工具写入正确字节,各保留 4 条会话记录并正确结束,执行前后生产保护文件未变。
这里的上游答案是人为构造的夹具。该结果只证明受控传输和工具循环可工作,不能用于评价模型质量,也不能据此认定候选优于基线。整个候选实验未向真实模型发出评测请求;这不表示本次审查对话、委派审查或文档写作没有模型成本。
八、为什么最终 BLOCKED:父侧预算不等于上游结算保证
最终独立审查给出分层结果:代码与隔离通过,凭据前置不满足,费用结算门槛阻塞。原门槛要求确认上游实际计费、网关重试、未知用量的最坏支出,以及可验证的金额约束。现行方案只有父侧按本地价格和请求字节估算的预扣账本,不能满足全部要求。
尤其需要记住:只比较已经记账费用的配额,不能覆盖在途请求和结算延迟;超时也不代表上游未生成或未计费。失败后不退款、缺 usage 熔断可以降低继续支出的风险,但不等于证明最终账单有绝对上限。
本次推进的错误是,后半程把“补齐隔离和通道”当成了主目标,并试图用预扣机制加结算免责代替原门槛。独立审查阻止了这种要求替换。父侧随后核对 25 项审查对象哈希,并验证 BLOCKED 文件确实无法放行入口,没有自签 PASS,也没有恢复真实模型运行。
九、成本反省:完成工程不等于完成优化
前半段投入修复了真实缺陷,应该保留。后半段形成了可复用测试资产,却没有交付最初要验证的行为收益,投入明显偏重。没有可靠的完整工时和账单汇总,本文不编造投入金额或净收益比。
根因不在“做测试”本身,而在顺序:费用约束能否满足、最小实验能否测出差异,本应更早完成可行性判断;每遇到一个阻塞就增加设施,容易使验证任务变成平台建设。已有工程投入也不是继续投入的理由。
更好的顺序是:定义一个可观察失败 → 选择最小改动 → 先确认预算与隔离可实现 → 用最小证据判断保留或撤回。若验证前提无法满足,停在候选就是合理交付,不需要证明之前的工程都白做了。
十、最终保留什么,暂停什么
| 对象 | 决定 | 理由 |
|---|---|---|
| 12 项禁用名、组合入口、元数据和路由修复 | 保留 | 已有配置、原生消费者与使用端证据 |
| runner 与离线夹具资产 | 保留,按需使用 | 提升取证可靠性,不自动扩面 |
| 四技能精简候选 | 暂停安装 | 缺真实行为收益证据 |
| L0 候选迁层 | 暂停 | 独立实验未做,不与四技能混合归因 |
| broker 与隔离 A/B | 暂停扩建与运行 | 费用门槛未满足,边际投入不划算 |
| 技能删除、归档、常驻服务重启 | 不执行 | 本次无此变更需求 |
最后核对 24 个 Hermes 定时任务、用户 crontab 和用户级 systemd 配置,没有发现实验入口引用,当时也没有实验进程运行。该结论只覆盖已查范围,不宣称全系统不存在未知自动化。没有需要停用的实验服务,因此没有执行停止或删除。
十一、可复用经验:把证据层次和停止条件写在前面
- 先查真实消费者。 文件存在、配置保存成功、HTTP 正常,都不能替代实际加载和任务链路。
- 索引、加载和收益分开。 目录规模、加载次数和主文字符数各有含义,不能互相代替。
- 保原文,再下沉。 先验证支持文件和回捞路径,明确 overlay 边界,再考虑缩短常驻正文。
- 先修测试的假阳性。 空证据、前轮记录和失败提示都可能伪装成成功;缺取证必须失败关闭。
- 隔离验证只证明其实际范围。 OS 探针、完整 Agent 夹具和真实模型行为是三种证据,不逐级自动放行。
- 独立审查也要逐条核实。 已归档工具不能为过审而恢复,子代理声称写了报告也必须检查实际文件。
- 原门槛不能靠换措辞满足。 上游结算保证和父侧预算控制是不同问题,BLOCKED 必须保留。
- 写清投入上限与停止线。 测试通过只能证明部分安全性,优化值得上线还要有实际收益。
- 只读证据优先复用。 已有 Desktop 主会话的真实提示可以补验修复,无须额外发模型请求。
- 阶段收口允许不完成原方案。 明确保留、暂停与未验证项,比一个混合总分更有用。
十二、下一步
确定性修复作为稳定基线保留。后续只在正常任务中记录具体失败:用户期望、实际动作及结果、造成的影响、期望最小动作和相关规则。没有真实失败就不制造样本,也不额外触发跑测。
有明确问题后,只改一处最小目标。保留要求是任务完成、重要知识可找回、安全条件不退化,并减少可核实的无效动作;出现知识丢失、新错误或安全退化就局部恢复,保护其他工作的并发改动。若重启正式 A/B,必须先重新解决费用证据并通过独立运行审查,不因保留了代码自动恢复。
十三、证据说明与公开边界
本文依据本次已落盘的阶段方案、P0 复审、候选映射与复核、runner 验收、离线集成报告、最终预检独立审查以及 Desktop 最终验证记录编写。数量来自相应阶段的验收时点,测试数不跨阶段相加,不把反复复跑算成更多覆盖。
内部 Wiki 保留完整证据索引与原文回捞入口。公开版不含本机绝对路径、内部服务地址与端口、凭据、会话标识或原始私密日志;也不公开生产配置备份。读者可复用方法和判断边界,不能据此推断其他版本的加载行为或系统安全状态。