Skip to content

step 输出载体持久化:persistent_step_buffers 应扩展到 reward/termination/transition 载体,消除 per-step clone 风暴 #2628

Open

Description

@TATP-233

背景

persistent_step_buffers(#2605)目前只持久化 obs 载体(原地更新 + published_buffer_depth 发布环)。step 的其余输出——reward、terminated/truncated、以及任务自带的 transition/info 快照——仍是每步新分配:下游要做 transition 物化时,只能对十几个张量逐个 detach().clone()(防覆写的必要拷贝),每步形成一小簇 copy kernel + 缓存分配器 churn。

更重要的是:固定地址是 CUDA graph 捕获的前提。compute 段若要图化(见 #2627),所有 step 输出载体都必须是持久缓冲;每步换地址的载体是图化的直接障碍。

请求

  1. 把 persistent_step_buffers 的持久化+发布环契约从 obs 扩展到 reward / terminated / truncated / info 常规键(或提供官方的"任务自定义持久载体"注册口,让 transition 快照之类的任务数据也能走同一发布环);
  2. 提供零拷贝 view 的 step 输出文档(消费者持引用跨步有效的语义已有 published_buffer_depth,补齐其余载体的说明);
  3. 若短期不做 A,至少文档标注哪些 step 输出是每步新分配,便于下游规避。

数据

Uni-SuperMimic collect 段(已全 term compile + masked/graph reset)仍为 launch-bound:per-step transition 物化贡献 ~15 个 copy/clone kernel × 2.5 步/迭代;相对 manager 编排是小头,但它是图化 compute 段的前置条件,与 #2627 配套。

环境

unilab 1.5.11;RTX 6000D 复现。相关:#2605、#2627。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions