Skip to content

task: Dashboard 增强:每轮改动说明、动态 workflow 与耗时、测试进度 #345

Open

Description

@jiangkuaixue123

Current state: Dashboard 增强提案:保留精度/性能测试动态百分比进度条,并按用户 2026-11-05 的要求合并每轮服务的代码改动说明、全流程动态 workflow 与阶段/节点耗时展示。
Decision needed: 请维护者确认首批支持的测试执行器、进度单位及 workflow 事件接口,并指定负责人。
Next action: 实现负责人对接轮次/服务/代码变更与执行事件,落实以下三组展示和异常状态处理。

Goal and acceptance

用户需要在 dashboard 中直接理解“这一轮改了什么、优化了什么、整个优化走到哪里、各阶段花了多久、精度和性能测试完成了多少”。

1. 每轮服务的代码改动精要与优化点

对应用户截图中的“服务与已落盘波次”表格、红框标出的服务名称区域:

  • 每个服务行提供清晰的“本轮改动 / 优化说明”按钮、展开项或等效入口,可查看该轮代码改动精要与优化点。
  • 说明包含相对于对应 parent/baseline 的主要改动、涉及模块、优化目标及预期作用;有记录时链接到 commit/diff/patch 和验证结果。
  • 准确关联 campaign、run/iteration、candidate 与服务,避免不同轮次或 parent/candidate 的说明串用;服务停止或回收后仍可查看已保存的说明。
  • 区分优化意图与已验证收益;缺少说明、代码关联或结果时明确显示“未记录 / 不可用”,不根据服务名猜测或将叙述当作性能证据。

2. 全流程动态 workflow、阶段/节点耗时与当前位置

  • 展示整个优化历程的连贯 workflow,包含实际记录的阶段、节点、轮次及其先后/依赖关系;阶段可包括诊断、候选生成、代码修改、服务启动、精度验证、性能测试、结果分析与下一轮迭代,以真实流程为准。
  • 清晰突出当前所在阶段与正在执行的节点,区分未开始、排队、运行、完成、失败、取消、跳过及数据不可用;存在并发执行时展示全部活动节点。
  • 展示每个阶段、每个节点的耗时:完成节点展示实际耗时,运行节点展示动态已耗时;可查看开始/结束时间。明确阶段总耗时的统计口径,并发节点不得简单相加误作墙钟耗时。
  • 随执行事件自动更新节点、连线、状态与耗时,可回看历史轮次;重试、分支或回退保留历程,不覆盖为一次成功路径。
  • 节点可查看对应轮次/服务的改动说明及已有日志、报告或验证结果,实现 workflow 与服务表的关联导航。
  • 时间戳/事件缺失时显示未知或记录不完整;断连时显示最近更新时间/陈旧状态,不伪装成实时进度;刷新和重连后恢复正确历程,不重复节点。
  • 当前进度以实际阶段和节点状态表达,不以耗时推算虚假的整体完成百分比;离线报告展示采集时的 workflow 快照。

3. 精度测试与性能测试的独立动态进度条(保留原需求)

  • 在对应 run/iteration 中分别展示两类测试的进度条、百分比、已完成/总数量及当前状态。
  • 总量已知时按真实完成事件计算 completed / total × 100%,明确单位(样本、用例或 benchmark 配置);不混用单位或按时间模拟百分比。
  • 运行期间自动刷新,可观察中间进度;两个阶段独立更新。
  • 总量未知时显示不定进度及已完成数量;零任务、未运行、不适用分别展示,不误报 100%。
  • 区分排队、运行、完成、失败、取消及数据不可用;失败/取消不强制补齐 100%;断连保留最近进度并显示更新时间或陈旧状态。
  • 100% 仅表示测试工作量完成,测试 verdict 单独展示,保留 PASS / FAIL / INCONCLUSIVE 语义。
  • 重复/乱序事件、重试、并发测试、页面刷新和重新连接不重复计数、不混淆 run/iteration;总量动态变化说明口径。
  • 提供聚合测试和 dashboard 验证示例,覆盖正常递增、未知/零总量、失败/取消和断连恢复。

联合验收

  • 提供多轮优化示例,演示“从服务行查看本轮改动 → 在 workflow 定位对应节点 → 查看节点/阶段耗时 → 观察精度与性能测试进度 → 回看历史结果”。
  • 覆盖服务回收、缺失改动说明、缺失时间戳、并发/重试、失败/取消、重复/乱序事件和刷新/重连等场景,并提供测试与使用说明。

Scope and constraints

  • In scope: 每轮改动摘要及其关联入口、workflow 事件采集/聚合与只读展示、阶段/节点耗时、两类测试的动态进度、异常状态及历史兼容处理。
  • Out of scope: ETA 预测、修改测试阈值、新增调度或执行控制能力;不以生成的说明替代真实代码/验证证据。
  • Interfaces / limits: 对接 [Task] RSI Dashboard: Optimization Workflow Visualization and Trace Capture #314 的 dashboard 与只读观察接口;复用已有轮次、服务、trace 与生命周期数据,补充缺少的数据契约;离线报告展示快照,运行中观察视图动态更新;历史记录缺少字段时显示不可用。

Inputs and deliverables

Ownership and authorization

  • Proposed by / actual requester: 用户在 Codex 对话中提出,Codex 代为整理提交。
  • Status: Proposed
  • Accountable parent / implementer / goal-acceptance owner: TBD,由维护者指定。
  • Accepted decision or scoped delegation: 用户已授权创建需求 issue,并于 2026-11-05 明确授权将上述两项 dashboard 增强合并到 task: Dashboard 增强:每轮改动说明、动态 workflow 与耗时、测试进度 #345;未指定实现、合并或关闭权限。

Completion and closure

  • Who accepts completion and may close: 待指定的目标验收负责人。
  • Remaining uncertainty / next decision: 维护者确认首版范围、数据接口和负责人。

Activity

  1. added
    kind:taskBounded delivery task with a delegated slice
    area:workbenchCLI workbench: profile, A/B loop, quality gates, evidence reports
    area:usabilityUsability and collaboration: issue navigation, templates, readable reports
    status:proposedWaiting for the decision named in the status block
    on Nov 4, 2026
  2. changed the title [-]task: Dashboard 支持精度测试和性能测试的动态百分比进度条[/-] [+]task: Dashboard 增强:每轮改动说明、动态 workflow 与耗时、测试进度[/+] on Nov 5, 2026
  3. Dong1017 commented on Nov 5, 2026

    @Dong1017
    Collaborator

    增量方案评审(只读源码;需要维护者明确首版契约,不构成实现或验收授权)

    当前 #345 的「动态节点耗时 + 精度/性能百分比」有一个需要在 UI 开发前界定的数据来源缺口:main 的 runner.py:41–47、:158–186 只记录试验/验证开始及最终状态;阻塞中的 execute_checked() 没有逐用例 completed/total 事件,也没有对应节点的完整开始—结束配对。status.json 是覆盖式最新状态,不是历史事件账本。#319 尚为开放 PR,其 dashboard_live.py 轮询已有快照,无法自行补出执行器从未记录的进度。若首版直接画连续百分比或精确节点耗时,会把推断当作实测。

    建议最小化分两段验收:

    1. **先冻结一个可实际供数的执行器及事件契约。**至少区分 started/finished/failed/cancelled,并绑定 run/round/trial/attempt + 节点标识、时间、进度单位及 completed/total(当执行器能够报告时);重试与重连要能按稳定事件身份去重。不能报告样本进度的外部命令保留“不定进度/未知”,不要由耗时推百分比;未配对的节点时间不要伪装成精确耗时。
    2. **再接入 Add offline and live optimization workflow dashboard #319 的只读展示。**用同一个可回放的多轮事件样例检查:正常结束、半途失败/取消、断连恢复、重复/乱序与缺失事件时,历史节点、耗时和两类测试进度能正确降级;区分“事件记录完成”和测试结果 PASS/FAIL/INCONCLUSIVE。Add offline and live optimization workflow dashboard #319 合并/范围决定之前,不将其 PR 功能计为 main 已交付能力。

    **待原负责人取舍:**首版选哪个现有执行器真实产生完成计数?若暂无可供数的适配器,是否先交付“工作流快照 + 运行中节点 + 不定进度”,将逐样本百分比明确留到后续适配?这比先承诺所有执行器都有动态百分比更可验收。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    area:usabilityUsability and collaboration: issue navigation, templates, readable reportsarea:workbenchCLI workbench: profile, A/B loop, quality gates, evidence reportskind:taskBounded delivery task with a delegated slicestatus:proposedWaiting for the decision named in the status block

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions