Skip to content

Manager compute 段(step 内 obs/reward/termination/command 编排)在 launch-bound 场景下成为瓶颈:请求融合或整段 CUDA graph 化 #2627

Open

Description

@TATP-233

背景

下游 Uni-SuperMimic(boneseed+mjwarp,4096 envs,RTX 6000D)在完成 term 级优化后(全部 term sync-free 化 + torch.compile 各 obs/reward/termination 函数 + masked_autoreset + reset 段 graph),collect 段仍是瓶颈,而且形态非常明确:

  • term 函数已各自 torch.compile,整迭代 kernel 数从 33k 降到 18.5k(-44%),但 collect 段内 GPU 利用率仅 7%(段 wall 84ms/iter,GPU busy ~6ms);
  • nsys 显示段内大"空隙"与 ~5 万次 launch API 调用重叠——CPU 全部时间花在发射剩余小 kernel 上,即纯 launch-bound;
  • 剩余小 kernel 的主体不在 term 函数里,而在 manager 编排层:逐 term 的 Python 循环、group 打包/stack、中间张量、per-step clone。

也就是说:下游能做的(把 term 变纯、变可编译)都做完了,manager 层是最后一段够不着的地方。

请求(任一形态均可,可组合)

A. step compute 段 CUDA graph(首选):类似 #2605 对 reset 段的捕获,对不含 reset 分发与 transition 发布的 compute 段(obs manager compute + reward + termination + command update)提供固定形状捕获边界。

需要说明:ADR-0231 否决的是"整条 collector tick"(K=1,含 reset 分发、动态行压缩、transition 发布);compute 段不含这些障碍——形状固定、(term 全部 sync-free 化后)无 host 读、载体地址可持久化。#2605 已把 reset 段做成了,compute 段的前置条件其实是同一套。

B. Manager 侧融合:obs/reward/termination 的 group 计算提供单一可编译 callable(term 函数已是纯张量函数,是 manager 的循环/拼接层挡住了 fusion);至少把 group 打包(fused stack)和 per-term 中间张量消掉。

数据(可复现)

  • 配置:unilab 1.5.11 + unisim-core 2.7.2,masked_autoreset + persistent_step_buffers + autoreset_cuda_graph + term 级 compile,finite_validation_interval=32;
  • nsys 30 迭代稳态窗口:collect 段 span 2.515s / busy 0.180s(util 7.1%),窗口内 cudaLaunchKernel+cuLaunchKernel ≈ 5.2 万次;同窗 wm/policy 段利用率 90.7%/95.6%(对照:瓶颈不在训练侧);
  • 迭代吞吐 2.91 it/s;若 collect 段恢复到 ~90% 利用率,估算可到 ~3.5 it/s(+20%)。

环境

RTX 6000D / RTX 4090 均复现;torch 2.14.1+cu;nsys 2025.6.3 报告可提供。

Activity

  1. TATP-233 commented on Nov 19, 2026

    @TATP-233
    CollaboratorAuthor

    归因修正(补充实测)

    我们做了一组对照实验来定位剩余瓶颈,结论修正了本 issue 的原始归因,特此更新:

    实验:同一个训练配置(boneseed 库、4096 envs、masked+graph、term 已 compile)下,构造一个 direct 版 env——继承同一基类,但 step 计算完全绕开 manager 编排(termination/reward/command/obs 直接调同一批已编译的 term 函数),其余 TorchEnv.step/autoreset graph/reset 生命周期全部继承不变。固定动作跑 200 步稳态:

    路径 ms/step
    manager-based(现网) 30.5
    direct(绕开全部 manager 循环) 30.2(仅 -1%)
    direct + 每函数 torch.compile(mode="reduce-overhead") 62.2(2× 变慢)

    两点修正与推论:

    1. manager 的 Python 编排层本身不是瓶颈(我们 5 个 term 的循环开销 ≈1%)。剩余 launch 风暴来自:term 函数编译后仍生成的 kernel 数、物理求解、TorchEnv step 机制、载体拷贝——即"kernel 数 × launch 延迟"的地板。所以本 issue 的选项 B(仅融合 manager 循环/打包)预期收益很小;选项 A(整段捕获)仍是正确诉求,且更关键的是捕获边界的地址稳定性与输出生命周期归属——这正是我们 reduce-overhead 实验失败的原因:逐函数 cudagraph trees 因输入视图地址变化/代际纪律,反复重录,反而 2× 变慢。一个由 env 拥有的 compute 段捕获(配合 step 输出载体持久化:persistent_step_buffers 应扩展到 reward/termination/transition 载体,消除 per-step clone 风暴 #2628 的持久载体)才能把这件事做对。
    2. 顺带:两次独立运行同一路径,f 累计偏差 ~4.6e7(接触动力学混沌放大),所以 direct 与 manager 路径的数值发散(同量级)是固有非确定性,不是语义差异;per-step 计时不受影响(done 计数差 <0.5%)。
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions