[Tracking] SkillEval evolution: local evidence, PR review and optional LLM judge

当前状态与决策（2026-10-30，公开交付核对）

**进展：**工程产物路径与 #271 逐项反馈已交付；真实云端对照两组均 19/19，未观察到增益，不等于全范围验收。
**待决定：**语义 judge 的适用范围/校准、全库评估范围及仓库级分级/无环境准入仍未定；首个确定性任务不以 judge 为前置。
**下一步：**实施协调方汇总剩余 checklist 的证据与缺口，由 owner 逐项处置范围；本地迭代 agent 与真实 PR 合入判断不能由本次 generation-only 结果替代，Issue 保持 open。

已交付内容、原始证据与验证边界

软件路径已交付，不再处于 adapter 待实现阶段。 #258 已合入 1147c5bb41724826b64ad13cebc8a4dce5cc278b：复用 prepare → stage → 作者执行 → capture → report，冻结输入与可写产物分离、保留产物及作者日志、独立重验。首个任务已按契约冻结记录选定为 docs(casebook): three cases from a Qwen3.8 dedicated-engine campaign #90 来源的 CPU 响应分类重建 fixture，含 19 个公开行为检查；不是原服务或硬件 benchmark，不接管 docs(casebook): three cases from a Qwen3.8 dedicated-engine campaign #90。
跨平台字节一致性修复已交付。 #261 已合入 b3549ce1aea1556f76de1d2e14a4240474947b6b：stage 的 task.json / INSTRUCTIONS.txt 显式写 UTF-8/LF，避免平台默认 CRLF 导致未修改输入被误报。模拟换行回归测试不是原生 Windows 端到端或真实隔离认证。
独立验证主机资格已有一次实际云端记录。 #266 已合入 37166b6f7323c76a091e423a7163ac99c4ae01ac；手动 qualification run 41017219756 成功，正确产物通过 19/19，错误 starter 的 stream_error 检查为 false。资格 receipt artifact绑定该 revision；它只证明本次 hosted verifier/control 路径，不是模型两组执行或 skill 增益，也不泛化为任意本地主机已合格。
全云软件补充已交付。 #267 已合入 f93df0548a26714f6514337a8525c7c14108acad，提供 generation-only submit-source、历史 pair 费用归属包装、数据包导出及独立严格 replay；当前交付的 scoped review与软件检查仅支持该软件范围。后续实际 capture/replay 见下一条；这是受限源码生成而非迭代 coding-agent 实验。本地作者路径保持独立，不改写为 CI 结果导入。
首个受限云端产物对照已实际交付：两组均 19/19，未观察到增益。 generation run 各组一次请求；独立无模型凭据 replay 先通过同主机正/负控制，再在 bubblewrap 中验证两份保留产物。详见固定版本报告及证据。原 capture 的 INCONCLUSIVE / artifact_verification_deferred 保留，独立产物结论另记为 tie（19/19→19/19），不倒改执行事实。单个公开开发 fixture、固定顺序、无重复，仅支持该历史源码生成→隔离重放路径，不证明增量 skill 效果、本地迭代 agent 等价、硬件主张或历史 PR 可合。
总跟踪仍未完整验收，保持 open。 状态纠正记录说明 feat(skilleval): fixed manual historical cloud generation job #269 合入时的关闭不代表验收，现已恢复 open。本次产物与可读报告交付不自动完成全库评分、仓库级证据政策或未决 checklist；完整范围仍需逐项处置。
结果解释与下一步建议已交付。 #271 已合入：报告逐项展示改善、退化、仍失败、未变通过或无法比较，并给证据位置和最小检查建议；本地报告及云端 replay 共用该能力。限定范围 review通过。既有真实 19/19 tie 只做只读展示，没有重跑模型或把建议当根因。下一步仍是逐项处置下面的未决政策与全库评估范围，不自动扩大试验。
确定性首任务暂不以 judge 为前置条件；语义 judge 的 rubric/校准、全库评分及仓库级强制分级仍分别待后续决策，不因上述软件交付而默认完成。详见已合入流程及剩余事项。

以下保留原始设计、QA 和验收草案作为历史记录；其中“待选/待实现”等阶段性表述应结合本节及后续公开评论阅读。未勾选的组合验收项不因部分软件交付而自动完成。

目标与状态

本轮目标优先级：

让 SkillEval 为具体 skill/knowledge PR 的合入提供可核验依据。
后续再对仓内 skill/knowledge 做一轮评估打分，不把全库评分混入首轮实现。

这是本轮设计与改造的总跟踪，记录已讨论边界、QA 和待决定项。不是重开已验收的 #88，也不是宣布下面所有提议已实现。实施负责人、首个真实任务和具体 PR 切分待定。

已确定的边界

沿用现有版本绑定、成对比较、预算、留存和报告能力，不重写一个评估平台。
本地路径：PR 作者交给本地 agent 执行，作者在 PR 评论中提交结果及证据，reviewer 核验。 不为这条路径新增 CI 结果导入、远程 SSH 调度或状态机。现有云端评估路径保持独立。
不新建“结果翻译服务”。需要模型判断时，由 judge 直接输出结构化评价，报告展示它。
不为每条 skill 维护大题库。共享工程任务、环境、判据由 [Tracking] Minimal engineering benchmarks shared by Workbench, SkillEval and SearchSpace experiments #252 跟踪，范围包括算子精度/性能、通信、显存等 SearchSpace 需求，供 Workbench、SkillEval 和搜索实验复用。
程序测试、硬件实测、作者报告、LLM 意见、最终 review 是不同证据层次。不能用评论里的“通过”代替核验，也不能用 CI 绿灯推导实际效果。
讨论不阻止其他已满足条件的 PR 合入与完整交付 Issue 的验收；部分交付 tracker 不应顺便关闭。

当前实现，避免误解

核查基线 a8215b3：

环节	当前实现	本轮增量方向
任务选择	skill_eval_pr_cases.json：改动路径 → skill → cases/adapter，现有 3 个 skill 映射	保持小映射；作者/评审确认适用任务，LLM 可建议而不能自证全覆盖
执行	workflow：plan/execute/publish 均 Ubuntu Actions	真实工程任务增加本地入口；复用已有 agent 还是 adapter 待定
模型角色	anthropic_agent.py：full-context 模式读上下文并 submit_answer，没有 shell/GPU 工具	不能仅移动运行地点就宣称支持硬件实验；本地执行能力需实际接通
判分	skill_eval_verifier.py / skill_eval_diagnostic.py：Python expected()/verify()	保留硬检查；考虑可选独立 LLM judge 评价语义和失败变化
反馈	现有云端 retained report；#246/#247 改善解释性	本地输出统一报告，由作者评论提交，现有 PR review 作判断

架构图：职责与最小增量

实线表示消费/输出关系；“拟补”尚未实现。#252 是共享基础，不是本 Issue 的大题库子工程。

flowchart TB
  PR["Skill / knowledge PR"] --> MAP["已有路径映射 + 作者/评审核对"]
  MAP --> PLAN["固定任务、base/head、模型、环境、预算"]
  BENCH["#252 共享工程 benchmark<br/>任务 / 环境 / 判据"] --> PLAN
  BENCH --> WB["Workbench 候选测量"]
  PLAN --> CLOUD["已有云端文本任务路径"]
  PLAN --> LOCAL["拟补：作者本地评估入口<br/>已有 agent 或受限 adapter，待选"]
  CLOUD --> OLDREPORT["已有自动 PR 报告"]
  LOCAL --> PAIR["独立旧/新版本执行<br/>答案 / 补丁 / 日志 / 实测"]
  PAIR --> CHECK["程序检查与工程判据"]
  PAIR --> JUDGE["拟议：独立 LLM judge"]
  CHECK --> JUDGE
  CHECK --> REPORT["本地结构化结果 + 证据链接"]
  JUDGE --> REPORT
  REPORT --> COMMENT["作者提交 PR 评论"]
  COMMENT --> REVIEW["Reviewer 核验 / 补证 / 合入意见"]
  OLDREPORT --> REVIEW

时序图：本地路径，不回传 CI

sequenceDiagram
  participant A as PR 作者
  participant L as 本地 agent / 评估入口
  participant T as 任务环境与判据
  participant J as 可选独立 LLM judge
  participant P as PR 评论
  participant R as Reviewer
  A->>L: 固定 plan、base/head、任务与预算
  L->>T: 独立执行 baseline
  T-->>L: 产物、测试结果、原始测量
  L->>T: 相同条件执行 candidate
  T-->>L: 产物、测试结果、原始测量
  opt 任务需要语义评价
    L->>J: 两组结果、客观证据、固定 rubric
    J-->>L: 结论、理由、证据引用、局限
  end
  L-->>A: 结构化报告与原始证据
  A->>P: 发布评估评论，标明评估 head
  R->>P: 核验相关证据与既有 review
  alt 证据足以判断
    R->>P: 有范围的合入意见或阻塞意见
  else 证据不足 / head 已变化
    R->>P: 指明缺口或需要重评的 delta
  end

讨论 QA

Q1：识别靠什么？
目前是显式路径映射，不是智能分类服务。允许模型建议关联任务，但选择和覆盖范围必须可审查；未匹配不算通过。

Q2：planned 后作者贴给本地 agent？
可以。交付的是固定计划/命令与评估要求，不是一句“帮我评估”。结果由作者评论提交，无需新增 CI 往返。评估必须绑定实际 base/head。

Q3：现在不是 LLM 在评价吗？
当前模型可能在回答一道审计题，但 SkillEval 的最终题目得分由 Python verifier 计算。模型答题与模型作为 judge 是两种角色。

Q4：预期答案在哪？
普通题在 verifier 的 expected() 中由输入计算；#133 诊断题是有限状态决策规则。例如 receive=pending 对应 readiness、对应事件引用和 check_receive_completion。case JSON 提供观察值，不是独立答案文档。

Q5：verifier 有实际作用吗？
有：明确约束、数值、结构与测试可机械核验。但人工规则不是全部工程真理。#133 新答案改善诊断与下一步，却因额外引用仍严格失败，说明总布尔值会掩盖变化。保留分项证据，审查规则合理性；不能事后为正结果放宽判据。执行/依赖/超时/发布故障也必须与任务失败分开。

Q6：还要翻译结果？
不需要额外服务或额外一轮模型。judge 返回可展示的评价字段，报告直接使用。

Q7：没有 GPU/NPU 怎么办？
明确哪些主张未验证；不能用文本题或 CPU 测试替代硬件效果。何种 PR 可限定主张后合入、何种必须补实测，仍需按 PR 类别明确。

Q8：benchmark 是否只服务 skill？
不是。#252 是 Workbench / SkillEval / 搜索实验共用的工程基础；直接测试产物与归因 skill 效果不能混同。

LLM-as-a-judge：建议考虑，但不当硬件事实来源

这里把“模型评判”按 LLM-as-a-judge 讨论，具体模型/方案尚未选定。

适合：语义质量、可操作性、失败变化、适用边界，以及依据证据形成 review 建议。
输入：固定 rubric、两组输出/产物、程序检查、真实测量、证据引用。尽量隐藏作者/版本偏好，并用交换顺序的小样本检查位置偏差。
输出建议：verdict、reason、evidence_refs、limitations / missing_evidence；允许相当、证据不足和分歧，不强迫选赢家。
不能：伪造未运行的测试、覆盖硬约束失败、把更长的解释当效果提升，或凭一次判断自动批准/合并。
最小验证：用已知正确、已知错误及 knowledge: add bottleneck-driven mechanism decision cases #133 这类部分改善案例检查 judge 能否区分；无需先造复杂评分平台。选模型、校准样本、调用成本与门槛待定。

参考：NVIDIA SkillEvaluator / ACES、SkillsBench、#88 研究补充、MT-Bench / Chatbot Arena judge 研究、位置偏差研究。研究参考不等于已集成或已校准。

待决定与验收草案

按 PR 类别确定所需证据，以及无任务/无环境时的合入边界。
选首个真实工程 skill PR、已有任务/验证器和可用环境。
明确本地入口复用方式；固定两组条件与证据格式，不加 CI 导入路径。
决定哪些项目需要 judge、最小 rubric 和校准方式。
一个真实 PR 完成旧/新对照、证据评论和独立 review；能说明是否支持合入及局限。
用故意错误/缺证据/旧 head 等控制验证不会产生虚假通过。
再决定全库打分的后续范围，不能用一个案例完成整个第二目标。

以上为待收敛的验收草案，不把未决项伪装为既定实现承诺。当前授权为创建并整理本轮跟踪；不据此启动新硬件/付费实验或接管他人任务。#246 的真实报告验收与本轮更广目标分别记录。

待评审补充：第一版使用流程、最小改造与 PR 分级

本段补齐最新讨论，供设计 review。以下分级与执行选型仍是提案，尚未成为仓库强制门禁，也未授权启动新实验。 正文的架构图、时序图及 QA 仍适用。

作者侧使用流程

固定 PR base/head，选择相关任务、运行环境与预算。新增 skill 使用无/有该 skill 对照；更新 skill 使用旧/新版本对照。
本地 agent 在独立会话、相同任务与约束下完成两组执行，保存答案、代码/其他产物和测试/测量证据。不得复用另一组的解题结果污染对照。
将自动生成的简短报告及证据链接贴到 PR；reviewer 检查证据、已有意见和当前 head 后判断。本地路径不新增 CI 回传。

工具最小增量

**本地入口：**优先复用作者已有 agent，固定两组条件与证据记录；具体支持哪个 agent、命令接口与安全边界待选。当前 full-context API client 不具备 shell/硬件执行能力，不能仅移动到本地就算完成。
**判分：**可执行的正确性/数值约束用程序与实测；开放语义项可用独立 LLM judge。不要求每个任务都人工写唯一标准答案，但必须有可审查的任务目标与评分依据。judge 不能覆盖真实硬约束失败或制造未运行的证据。
**报告：**第一屏说明改善、退化、无变化或无法判断，给出原因和证据缺口；详情随后。复用现有报告结构，不新增翻译服务，也不为展示另加模型调用。参见前一条可读性 QA。

PR 分级提案

改动类别	建议最低验证	需要 review 的边界
排版、链接、出处修正，无行为含义改变	源码/出处核对及适用的软件检查	不能用文档改动名义绕过真实语义变化
新增或改变操作建议、适用条件、决策逻辑	至少一个相关任务的无/有或旧/新对照，并明确未覆盖部分	单案例不是全库能力证明；是否需要回归任务取决于受影响行为
声称提速、减少显存或解决硬件问题	对应环境中的正确性与目标指标实测	无实测不能按该效果主张验收；是否允许限定为未验证候选知识另行决定

请 review 的具体问题

采用上述按改动风险分级，还是要求所有新增/修改 skill 都有一次轻量 LLM 对照？纯格式改动是否豁免？
第一版复用哪种现有本地 agent？如何最少改动地固定两组环境、任务和预算？
哪些评价交给确定性验证器，哪些交给 judge？如何用少量已知错误/部分改善案例校准 judge？
缺任务、缺硬件或证据不充分时，何种内容可按明确的候选/未验证范围合入，何种必须补证？
选择哪个真实 PR 作为端到端验收案例？

首轮验收建议仍是一个真实 PR 走通评估、证据评论和独立 review，而非建设大题库或完成全库打分。共享工程 benchmark 继续由 #252 独立跟踪。

Design review of the current Issue body and first-version proposal, with main observed at 7d1d82f55cda89842bd23ee2da91b521ee60eb08. These are recommendations for an owner decision, not newly enacted gates or execution authorization.

I recommend the proposed risk-based evidence levels. Formatting/link/provenance-only corrections need appropriate source/software checks, without a mandatory paid LLM comparison. Changes to operating advice or decision logic need a relevant controlled task and explicit uncovered scope. Hardware-effect claims require matching measured evidence; maintainers may instead accept a clearly bounded source-derived candidate when its scope and limitations are agreed. Missing tasks or hardware never count as a pass.

For the first local delivery, select one existing agent entrypoint, one fixed task and a named acceptance owner. Reuse the current plan/result/report contracts and author-posted evidence route; keep the cloud route independent. Freeze independent baseline/candidate sessions, actual task/library/tool/environment versions and whole-workflow accounting, including preparation, selector/judge calls and retries. Record unenforced token/USD limits and unknown usage honestly; a wall-clock deadline does not establish an equal-token budget. Counterbalance run order when repetitions are used. Retain all failed or incomplete attempts.

Use deterministic checks and actual measurements for hard constraints. Keep the judge optional and limited to declared semantic criteria, with fixed rubric, blinded/order-swapped inputs where practical, and the proposed known-error/partial-improvement controls. Judge disagreement or missing evidence must stay visible; it must not override a failed hard constraint or supply an unrun measurement.

The first report should state improvement/regression/no-change/unknown, why, and what the evidence means for this PR before audit details. Keep task verdicts separate from execution, publication and integration states. Evidence may remain private if the reviewer has agreed readable access; an author's inaccessible local path or a declared hash alone is not independent verification.

Keep closed-unmerged #133 as a retained calibration/reporting example. Do not reopen or merge it merely to obtain a favorable result. The new end-to-end target is still an owner choice, and #252 remains the shared benchmark workstream. Implementation ownership, agent selection, target and any judge/resource budget remain pending; this review launches none of them.

设计评审补充：先打通工程产物验证，明确 skill 增益的归因边界

基于正文、第一版流程与分级提案及前一条 review，核查代码快照 7d1d82f55cda89842bd23ee2da91b521ee60eb08 后，补充以下建议。本评论用于设计决策；执行选型、目标 PR 和分级仍是建议，不据此新增强制门禁、分配任务或启动实验。

支持本地受控对照、作者提交证据、reviewer 核验的方向。首版应优先解决两个问题：对照究竟证明了什么，以及如何验证 agent 实际产出的代码/工程结果。 LLM judge 按需接入，不作为首次交付的前置依赖。

1. 对五个待评审问题的建议

问题	建议
分级还是所有改动都跑 LLM 对照？	按改动的语义与主张分级；格式修正和可直接核对的来源事实，不统一要求付费 A/B。
第一版本地 agent？	优先复用现有 CodexClient 与 prepare/execute/report 骨架，补工程任务 adapter 和实际执行边界。
verifier 与 judge 如何分工？	程序/实测检查具体约束；judge 只评价事先声明的语义维度，保留证据引用和未知项。
缺任务/硬件能否合入？	依据实际证据限定可接纳内容与主张；候选知识不因此获得硬件效果或 agent 增益认证。
首个真实 PR？	可考虑 #90 中服务错误处理的 CPU 切片，但仍需任务化、确认适用范围与验收负责人；不是已选定任务。

2. 评估对象要明确：内容正确、产物合格、skill 增益、PR 合入是四个问题

**知识是否正确：**一手源码/文档、事实核对，必要时实验。
**agent 产物是否合格：**测试、数值校验、性能测量。
**skill 是否有帮助：**固定条件下的无/有或旧/新对照。
**PR 是否可合：**结合证据、适用范围、回归风险、集成状态与 review。

#252 的任务/环境/判据负责测量产物；#253 的对照负责归因知识变更，二者继续共用任务事实。

首版建议固定任务代码、验证器、agent 配置、工具、环境和资源上限，只切换声明范围内的目标 skill bundle。如果同时换了任务、grader 或运行时，报告必须说明比较的是整组改动，不能单独归因于 skill。

现有 skill_eval_compare.py 已冻结同一套 exam，并提取两侧所选 bundle；新工程路径应保留这一设计。首轮可先验证“明确提供 skill 后是否有帮助”，把真实检索/路由效果作为另外的评估范围。

没有测出增益不自动意味着不能合入；一个 old-fail/new-pass 案例也不自动证明整个 PR 值得合入。 事实修正、收窄错误适用范围等变更可能在分数不变时仍有价值。任务、选择理由、预期行为变化与未覆盖范围应在看结果前确定；反复用于调整 skill 的案例标为开发案例，泛化主张再补独立案例。

3. 实现核查：已有本地骨架，缺的是工程任务契约

当前并非完全没有本地执行入口。skill_evaluation.py 已有 CodexClient；比较工具已有 prepare/execute/report、独立会话和证据留存。但需要处理三个具体限制：

整个 workspace 被当成不可变输入。 run_trial() 比较前后全部文件 hash，变化会产生 inputs_changed → INCONCLUSIVE。工程任务需要写代码、编译和生成日志，因此应区分冻结输入、允许修改的任务工作区、输出产物与独立验证条件，保留输入保护。
自定义 grader 尚无受信重判路径。 verify_retained_grader() 目前只信任两个内置 verifier；其他 grader 的 PASS/FAIL 会被标为 unverified_custom_grader。新增工程 adapter 必须同时定义对保留产物的可信验证/重放方式，不能直接信任 agent 写出的通过字段。
独立会话不等于读取隔离。 CodexClient 已关闭全局 skills/plugins/memory 等注入，但配置仍是 danger-full-access；plan 也明确写了 controlled exposure 不等于 OS read confinement。首版应说明实际隔离边界，不能仅凭新会话就声称看不到另一组结果或 oracle。

最小增量应是一个任务的执行与验证 adapter，加上可复核产物；无需另建计划平台或本地结果 CI 导入链路。

4. verifier 的严格失败，要与真实工程硬约束区分

“judge 不能覆盖真实硬约束失败”应保留，但不能把所有 Python 判据都默认当成工程真理：

判据类型	处理方式
数值正确性、非法状态复用等真实约束	不能由语言评价抵消
明确的输出/证据协议	按冻结规则检查，并审查协议本身是否必要合理
引用集合完全相等、单一预设诊断路径等代理规则	保留结果，同时审查其对工程能力的代表性

#133 的任务本来就要求只引用决定性事件，所以额外引用确实不符合冻结协议；不能因 candidate 的诊断改善就直接撤销失败。可以讨论的是该协议是否充分代表目标行为。参见 diagnostic prompt 与 verifier。

如果发现判据需要修改，应保留旧规则和结果、说明原因、版本化更新，并对旧新两组同时重评。judge 可解释改善、可操作性和证据边界；对测试已经能够明确判定的首个任务，可以暂不启用。

5. 风险分级补充：事实新增与操作建议变化分开

建议区分：

格式/链接修正：diff、链接和适用静态检查。
来源事实补充：一手出处、版本与适用边界核对。
操作步骤/决策逻辑变化：相关行为任务，按影响补必要的边界或回归案例。
硬件效果主张：匹配环境中的正确性与目标指标实测。

未验证候选知识可以按约定范围保存，但需核对其实际消费方式：如果 reader 会把它作为默认操作建议提供给 agent，仅有 not_run 标签可能不足以表达限制。先利用已有范围与呈现机制区分研究参考和已验证建议。

相同资源上限下的实际成本差异可以是结果；没有被执行器强制限制的 token/USD 上限不能写成已实现等预算。所有失败、重试与未知 usage 均应保留。agent 产物编译失败或在既定预算内未完成属于任务表现，不能统一按环境故障排除。

6. 首轮交付与验收建议

一个真实工程任务 + 一种已有 agent + 一份可独立核验的报告。

可考虑把 #90 的服务错误处理案例任务化：固定一份响应解析/服务封装代码，让两组 agent 修复错误流被当成成功的问题，保留补丁，再由独立测试检查错误路径与正常结束路径。该任务目前仍需定义；即使完成，也只支持该切片，不验证 #90 的 CUDA Graph、FP8 性能或整个 PR。

复用 #247 / #246 已验收的分项报告能力。第一屏回答：哪个行为改善/退化/不变、哪些条件仍未满足、覆盖 PR 的哪部分、还缺什么证据；随后给产物和复跑命令，预算/hash/环境细节放后面。无需新增翻译模型调用。

验收除正常链路外，应确认故意错误、缺证据、旧 head 不会被误报为通过。作者材料审查与独立复跑应分别标注。#133 继续保留作校准/报告案例。

流程交付成功，不要求候选获胜：能够如实报告无改善、退化或证据不足，也应算闭环成功。 这才会让 SkillEval 为后续保留、修改或放弃某条知识提供有效反馈。

回复建议：首版实施计划（待确定任务与执行负责人）

参考最新设计评审，建议把首版收敛为：一个真实工程任务 adapter + 独立产物验证 + 可读报告。LLM judge 不作为首版前置条件。

1. 先冻结一个任务，再实现最小闭环

选择一个已有工程问题，写清任务输入、预期行为变化、独立测试、允许修改的文件和未覆盖范围。固定 agent、工具、环境及验证器，两组只改变目标 skill bundle：新增用无/有对照，更新用旧/新对照。明确提供 skill 的效果与检索命中效果分开；后者由 #255 跟踪。

#90 的 CPU 服务错误处理切片可以作为候选，但尚未选定；即使采用，也不代表验证了其 CUDA Graph、FP8 或整个 PR。任务、实施者、验收负责人及可用执行环境确定后，再进入实施与实际评估。

2. 复用现有骨架，补齐三个边界

源码核查基于 7d1d82f55cda89842bd23ee2da91b521ee60eb08：

冻结输入与可写产物分开。 run_trial 目前比较整个 workspace 的前后 hash。保留输入防篡改检查，同时允许指定任务工作区产生补丁、构建文件和日志。
结果可独立重验。 retained grader 校验目前只信任两个内置 verifier。工程 adapter 同时提供固定版本的产物验证/重放入口，在独立验证条件下执行，不信任 agent 自报 PASS，也不能让 agent 修改验证器后自证成功。
明确实际隔离能力。 CodexClient 已有入口，但依赖外部 codex exec，且独立会话不等于 OS 读取隔离。实现前确认执行环境及两组结果/oracle 的访问边界；无法保证的部分如实记录。

继续使用 prepare/execute/report 与现有分项报告能力，不新增通用调度平台、大题库或“结果翻译”模型调用。

3. 作者侧流程保持简单

固定计划 → 本地执行两组 → 保存补丁/测试结果及复跑命令 → 作者贴 PR 评论 → reviewer 核验当前 head 和证据。

本地结果不新增 CI 回传链路。报告第一屏回答：改善/退化/不变/无法判断，覆盖 PR 哪部分，还有什么不满足；产物、复跑说明随后，环境/hash/预算放详情。明确区分作者报告、材料核查和独立复跑。

4. 首版验收

同一任务能够产生两组可追溯产物，并由独立测试验证。
故意错误、缺证据、冻结输入被改、旧 head 等情况不会被误报为当前通过。
编译失败或预算内未完成保留为任务表现；环境故障单独标注，不把所有失败都剔除。
资源约束记录实际是否强制执行；保留全部尝试、重试和未知 usage，不能把 wall-clock 相同写成等 token/USD。
如实报告无改善、退化或证据不足也可构成流程交付成功；不要求 candidate 获胜，更不自动批准目标 PR。

5. judge 与判据的后续位置

程序判据需区分真实工程约束、输出协议和代理指标。#133 的冻结失败保留；如调整引用或诊断判据，保留旧版本与原因，并对两组一起重评。首个任务若可由测试明确判断，暂不启用 judge；确需语义评价时，再补固定 rubric、校准样例与成本边界。

以上是对评审建议的实施计划回复，尚未把候选任务、分级或新执行范围变成仓库强制门禁，也未认领或启动实验。

@Dong1017

Follow-up review of the implementation-plan reply, including the preceding design review. Assessed main: ab03f3ffb8f2e5bc02c304828c5c41890eef673e; Reviewed discussion update: 2026-10-29T12:12:35Z. Source/document inspection only; no agent, model, benchmark or device execution.

The reply addresses the main conditions from my earlier review: one bounded task/adapter, fixed inputs with permitted artifact writes, independent artifact verification, explicit access and budget limits, and an optional later judge. It also correctly separates explicit skill exposure from retrieval effectiveness (#255), and allows a truthful negative/inconclusive result to complete the workflow without approving the evaluated PR.

I checked the cited implementation boundaries. A local CodexClient already exists; run_trial marks changed workspace hashes inconclusive; and retained grading trusts only the two known verifiers. The proposed adapter must address those relevant boundaries; moving the existing text-task flow to a local machine alone would not deliver the engineering-task path. The latest plan explicitly recognizes this. The intervening knowledge-library update leaves these execution/grading entrypoints unchanged.

No additional blocking design finding in the latest reply. Keep the remaining decision small: @Dong1017 should name the accountable implementer and acceptance owner, select one task, and freeze its starter code, allowed edits, independent tests, actual execution/access boundary and permitted resources before implementation. #90's CPU service-error slice remains a candidate, with its original PR ownership unchanged; it has not been selected or validated by this review.

For that bounded delivery, retain the proposed valid/wrong-artifact and missing-evidence/frozen-input/stale-version controls, with task failure distinguished from environment failure. Reuse the existing prepare/execute/report route and reviewer-readable evidence. The current status is scope/implementation decision pending, not an implemented adapter, accepted delivery, demonstrated skill benefit or authorization to run an experiment.

实施协调与优先级更新

本轮进入实施准备，按以下顺序推进，并与 #255 的 Indexer 工作并行：

先冻结一个真实工程任务及验证契约。 核对已有 PR/Issue 认领，选择可形成真实旧/新 skill 对照的最小任务，固定 starter code、允许改动、独立测试、版本、访问边界和资源约束。docs(casebook): three cases from a Qwen3.8 dedicated-engine campaign #90 仍是候选，不据此接管其原始贡献。
交付本地工程产物路径。 复用 prepare/execute/report，补冻结输入与可写工作区分离、可信产物重验和错误/缺证据/旧版本等控制；作者通过 PR 评论交付结果，不新增 CI 导入链路。
用真实执行证据完成端到端验收。 报告改善、退化或无法判断，区分软件交付、证据有效性和具体 PR 合入判断。真实执行必须先有可用环境、可核查的资源/费用边界，软件测试或固定输出演示不能替代模型对照。
逐项处置剩余待办。 首个任务用确定性测试即可判断时，judge 不阻塞首交付；是否需要语义 judge、rubric/校准以及全库评估的后续范围分别留下明确结论。延期项不能默认为完成，不能用首个案例关闭更广目标。

实施协调由本线程负责；工程实现和独立验收分开，避免与既有任务重复。首轮不引入大题库、通用调度平台、新模型服务或硬件实验，PR 风险分级先作为试点证据规则，不自动升级为全仓门禁。当前仍是任务/契约准备阶段，尚未声称 adapter 或真实对照已交付。

首个任务选择与实现前契约冻结

选择 #90 已记录的“HTTP 200 的错误流被当成成功”作为首个 CPU 工程切片。来源固定于案例文件，原 PR base=a1ee3266466194c16f4e2159ab845b758ed9561b、head=86f003364804d116b3202c4d807cc898a3a02ade。不修改或接管该 PR。

任务是依据真实问题重建的回归 fixture，不是原服务代码、SSE 字节解析器或 GPU 性能验证。它只要求修复一个对已解码响应帧的分类函数。初始实现错误地接受所有 HTTP 200；两组使用相同 starter，只改变固定的 skill 暴露。

唯一可修改文件：parser.py，UTF-8 源码≤64KiB；API 为 evaluate(status, frames, requested_tokens)，返回 success 与 reason。
HTTP 错误、流中错误、畸形帧、缺终止帧、token 数不匹配分别判定；正常 length 完成要求恰好达到请求数，正常 stop 允许提前结束。验证两个返回字段，不只信任布尔值。
任务、skill bundle、schema 和验证器冻结；其他文件修改/新增使试验无效。测试规则公开，不宣称隐藏考题或盲测。
验证器核验实际保留的 parser 字节与 hash，并独立重放；不接受 agent 自报 PASS。包含正确/错误产物、缺产物、冻结输入被改、旧 head 和隔离不可用控制。
沿用本地执行、作者贴证据评论、reviewer 核验流程；不新增 CI 回传，judge 暂非此确定性任务前置项。

实现基线：ab03f3ffb8f2e5bc02c304828c5c41890eef673e。
契约位置：tests/fixtures/skill_eval_engineering/contract.md，SHA-256 c4fb46e361c1e20432be42596f9a79df852c50f27a02a09df1daea66847a7b07。
Starter SHA-256：6d9d97fbf9b973c532447ad794a7a87c5c18a4d5d57979d91384f0861836b7c6。

**实际执行仍有明确前提：**不可信 Python 产物只允许在核验过的隔离环境重放，无隔离时返回 INCONCLUSIVE，不无保护回退。当前执行环境的 namespace 探针被拒绝，尚不具备此重放条件；真实 agent 对照还需冻结可用执行环境、访问边界、模型配置和可核查的全部费用。先推进 adapter 与软件控制测试，不能据此声称真实对照或 skill 增益已完成。

feat(skill-eval): add manual local artifact evaluation for #253 (#258)

feat(skilleval): add manual strict verifier qualification (#266)

公开价格证据刷新（非执行授权）

2026-10-30 06:42 UTC 核查 Yibuapi 官方公开 pricing API，pricing_version=a42d372ccf0b5dd13ecf71203521f9d2，并核对官方价格页面换算公式。对 claude-opus-5-5 的 PUBLIC DEFAULT 分组，公开报价为：

项目	USD / 百万 tokens
input	8
output	40
cache read	0.4
cache write	10

该公开 token 计费配置不另列 request fee（此公开计算取 0）。API 字段为 model_ratio=2、default group_ratio=2、completion_ratio=5、cache_ratio=0.05、create_cache_ratio=1.25。

**边界：**这只是指定时刻的公开 default 报价，不证明实际凭据所属分组、账号自定义费率或最终账单；同一模型另有公开启用且价格更高的分组。因此不能把这些数字直接当作任意凭据的可靠费用上界。它补充了 #215 的历史价格记录，不延长旧配置有效期，不证明剩余额度，也不构成费用授权、模型执行或实验验收。实际执行仍需重新核验有效价格/分组、完整历史费用与预留，并通过既有预算门槛。

feat(skilleval): add cloud generation and isolated replay path (#267)

{
  "schema_version": 1,
  "experiment_id": "issue253-generation-only-20261030",
  "repository_id": 1409534281,
  "issue": 253,
  "charge_pr": 267,
  "charge_head": "f77f73539d4a5dc781ab1a956d60c49565d676bc",
  "baseline": "a1ee3266466194c16f4e2159ab845b758ed9561b",
  "candidate": "86f003364804d116b3202c4d807cc898a3a02ade",
  "expires_at": 1793376000,
  "max_requests": 2,
  "currency": "USD",
  "amount": "20.34",
  "approval_evidence": "https://github.com/InferMatrixLab/InferRSI/pull/269",
  "effective_group_attestation": "Owner-attested existing credential uses default or the equal-price claude-code/claude-code-pro group; public ratios for these three groups are 2. This is not an independently verified account invoice. Stop if that attestation or applicable rates change.",
  "qualification_run": 41017219756,
  "qualification_head": "37166b6f7323c76a091e423a7163ac99c4ae01ac",
  "limits": {
    "repeats": 1,
    "max_task_calls": 2,
    "timeout_seconds": 180,
    "campaign_seconds": 600,
    "token_stop_new_trials": 200000
  },
  "skill": "inference-optimization-casebook",
  "skill_root": "src/inferrsi/data/skill_library/methods",
  "task_id": "serving-parser",
  "scope_note": "Issue-scoped prospective execution specification only. Execution remains contingent on a reviewed current-main implementation, successful isolated-host qualification, unchanged owner-attested effective rates, and durable PR/day budget admission. This does not establish efficacy, grant Issue closure, or authorize retries or expanded scope."
}

feat(skilleval): add issue-scoped manual historical generation (#269)

Status correction: this tracker was marked completed at the #269 merge timestamp, before the actual paired run and independent replay. That was not an evidence-backed acceptance of the full Issue scope. It has now been restored to open with owner confirmation. #269's negated closing-keyword wording could still create a GitHub closing link and should not be used as an acceptance record.

The subsequent real cloud pilot has generation run https://github.com/InferMatrixLab/InferRSI/actions/runs/41028614568 and independent secret-free replay https://github.com/InferMatrixLab/InferRSI/actions/runs/41029566717: both retained parsers passed 19/19, with positive and negative verifier controls. This is one bounded historical generation-only artifact tie, not demonstrated incremental skill benefit, local iterative-agent equivalence or full-corpus acceptance.

Durable report and evidence: https://github.com/InferMatrixLab/InferRSI/blob/2d078154c392ab5ba5ffdb3b1f6854eae649123d/artifacts/skill-eval-cloud/report.md . Remaining checklist dispositions are tracked separately.

[Tracking] SkillEval evolution: local evidence, PR review and optional LLM judge #253

Description

当前状态与决策（2026-10-30，公开交付核对）

目标与状态

已确定的边界

当前实现，避免误解

架构图：职责与最小增量

时序图：本地路径，不回传 CI

讨论 QA

LLM-as-a-judge：建议考虑，但不当硬件事实来源

待决定与验收草案

最新设计 review 入口

Activity

Dong1017 commented on Oct 29, 2026

QA 补充：报告信息齐全，但参与者仍读不懂

Dong1017 commented on Oct 29, 2026

待评审补充：第一版使用流程、最小改造与 PR 分级

作者侧使用流程

工具最小增量

PR 分级提案

请 review 的具体问题

Dong1017 commented on Oct 29, 2026

Dong1017 commented on Oct 29, 2026

设计评审补充：先打通工程产物验证，明确 skill 增益的归因边界

1. 对五个待评审问题的建议

2. 评估对象要明确：内容正确、产物合格、skill 增益、PR 合入是四个问题

3. 实现核查：已有本地骨架，缺的是工程任务契约

4. verifier 的严格失败，要与真实工程硬约束区分

5. 风险分级补充：事实新增与操作建议变化分开

6. 首轮交付与验收建议

Dong1017 commented on Oct 29, 2026

回复建议：首版实施计划（待确定任务与执行负责人）

1. 先冻结一个任务，再实现最小闭环

2. 复用现有骨架，补齐三个边界

3. 作者侧流程保持简单

4. 首版验收

5. judge 与判据的后续位置

Dong1017 commented on Oct 29, 2026

Dong1017 commented on Oct 29, 2026

实施协调与优先级更新

Dong1017 commented on Oct 29, 2026

首个任务选择与实现前契约冻结

Dong1017 commented on Oct 30, 2026

公开价格证据刷新（非执行授权）

Dong1017 commented on Oct 30, 2026

Dong1017 commented on Oct 30, 2026

Metadata

Metadata

Assignees

Labels

Type

Projects

Milestone

Relationships

Development

Issue actions