Skip to content
This repository was archived by the owner on Sep 28, 2026. It is now read-only.

证:evidence-regression、release-observe 拆成四条实践加两条活动,flow 指向新名,评测齐(#122) - #128

Merged
Eridanus117 merged 1 commit into
mainfrom
Eridanus117/as122-split-evidence
Sep 19, 2026
Merged

Eridanus117 merged 1 commit into
mainfrom
Eridanus117/as122-split-evidence

Conversation

@Eridanus117

Copy link
Copy Markdown
Owner

做了什么

agent-system#122(第三批票 8「证」)。旧 workcoding 的 evidence-regression、release-observe 两条正文各拆成两条实践加一条活动:

  • plugins/practices 新增四条模型可拿的实践:golden-master(母版来源、两类比对、判 diff 归三类、三样进 PR)、record-replay(挑样本、规整规则、请主人否、改前录、回放)、feature-toggle(一个开关、回滚即关开关、验老路径 diff 为零、主人拨)、canary-release(三档、一句一观测加四个黄金信号、冒烟、每档主人定)。record-replay 与 canary-release 各带一份 references/ 例子。
  • plugins/flow-steps 新增两条规程:regression-evidence(改旧代码时才开的活动「证」:改前按 record-replay、改后按 golden-master、三样进 PR)、rollout-observe(第 8 阶段:feature-toggle 定回滚点、canary-release 定放量、门上那条消息、多数改动一句跳过)。正文只点名与完成判据,不内联实践做法;旧正文的路由边界表、自检、验证状态没有带过来。
  • flow:改旧代码时才开的活动那两句、第 8 阶段表格行、references/gate-message.md 例子里的旧名改指 regression-evidence、rollout-observe(表格行与例子超出「可选步那一句」,为了 flow 里不留旧名,请主人认)。
  • 版本:practices 0.1.0→0.1.1、flow-steps 0.1.1→0.1.2、flow 0.1.2→0.1.3,marketplace 同步;两份 profile manifest 各加六条;目录页重生成;两个 plugin.json 的描述改成不再列死条数。
  • 评测:13 个用例(practices 9、flow-steps 4)、基线与门评测结果、两份 evals README 各加一节。
  • 不动:plugins/workcoding 两条旧正文原样保留(归档在 票9 收口:归档 workcoding、删旧词别名、更新工作方法地图 #123);其余三票并行改的共享文件只加自己的条目。

为什么

agent-system#115(spec)实现决定 3、4、8:自建实践只写 Matt 没有的,实践与规程分层,骨架只必有两节。写法按 ADR-0006 与 skill-authoring 的 writing-rules;词汇按 plugins/CONTEXT.md。命名:实践用业界词的英文(golden master、record and replay、feature toggle、canary release),两条活动的名字不与旧名重复(测试守着跨 plugin 不重名),旧名留到 #123 归档时清。

怎么验证的

node plugins/tests/skills.test.ts
PASS: 13 个 Plugin、33 个 Skill,目录页一致,词汇表 26 条带英文与出处   exit 0
claude plugin validate plugins/practices    ✔ Validation passed   exit 0
claude plugin validate plugins/flow-steps   ✔ Validation passed   exit 0
claude plugin validate plugins/flow         ✔ Validation passed   exit 0
node plugins/scripts/skills-overview.ts --write   已生成   exit 0
grep -rl Morni plugins/*/evals/results --include=*.json   (无输出,已洗)

门评测(有 skill 组对对照组,每用例 3 次,裁判 sonnet;practices 被测默认模型,flow-steps 被测 sonnet;每个 plugin 每次命令 --max-cost-usd 20):

用例 有 skill 组 对照组 差值
golden-master-replay-test 1.0 0.33 +0.67
golden-master-post-change-capture 1.0 1.0 0(回归守卫)
golden-master-diff-triage 1.0 1.0 0(回归守卫)
record-replay-sample-plan 1.0 0 +1.0
record-replay-volatile-diff 1.0 1.0 0(回归守卫)
feature-toggle-rollback-plan 1.0 0 +1.0
feature-toggle-second-toggle 1.0 0 +1.0
canary-release-three-tiers 0.33 0 +0.33(裁判噪声,见 README)
canary-release-no-toggle-system 1.0 0 +1.0
regression-evidence-before-change 1.0 0 +1.0
regression-evidence-new-only 1.0 0.67 +0.33
rollout-observe-plan 0.67 0 +0.67(一次 sonnet 多问)
rollout-observe-skip 1.0 0 +1.0

practices 平均差值 +0.56,flow-steps +0.75。两条没到 1.0 的原因写在各自 README:canary-release-three-tiers 三条形状相同的回复被裁判分别判 3/3 FAIL、3/3 PASS、1/3 PASS;rollout-observe-plan 一次结尾问了三件事。按主人的定不为 1.0 硬线重跑。结果目录 results/2026-09-19-{baseline,gate}-as122/<skill>/ 与 -rerun{,2,3}/,都跑过 scrub-eval-results.ts。

审查(两轴):违例已修(薄的规程里重述实践的括号删掉、references 例子末尾孤立禁令句删掉、旧词「步」换掉、「档」「规整」「特征化测试」补英文与出处、golden master 出处改正、补主人定过的「纠偏留痕」);判断题留给主人:每条 llm grader 列多个可观测面(沿用 practices 既有做法)、grader 里「结尾只留一件事」算不算判消息形状、六条 description 偏长、golden-master 与 record-replay 的「不用」段各带一句备选。审查后的改动没有重跑评测,README 里写明了改了哪几处。

怎么回退

revert 本 PR:六条新 skill 目录、两份 manifest 与 marketplace 条目、目录页、flow 三处名字一起回到 5ec811e;plugins/workcoding 两条旧正文本 PR 没动,回退后路由仍指旧名。

🤖 Generated with Claude Code

…rd-replay、feature-toggle、canary-release 进 practices,regression-evidence、rollout-observe 进 flow-steps,flow 指向新名,评测齐(#122)

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants