## 背景 下游 Uni-SuperMimic(boneseed+mjwarp,4096 envs,RTX 6000D)在完成 term 级优化后(全部 term sync-free 化 + torch.compile 各 obs/reward/termination 函数 + masked_autoreset + reset 段 graph),collect 段仍是瓶颈,而且形态非常明确: - term 函数已各自 `torch.compile`,整迭代 kernel 数从 33k 降到 18.5k(-44%),但 **collect 段内 GPU 利用率仅 7%**(段 wall 84ms/iter,GPU busy ~6ms); - nsys 显示段内大"空隙"与 **~5 万次 launch API 调用重叠**——CPU 全部时间花在发射剩余小 kernel 上,即纯 launch-bound; - 剩余小 kernel 的主体不在 term 函数里,而在 **manager 编排层**:逐 term 的 Python 循环、group 打包/stack、中间张量、per-step clone。 也就是说:下游能做的(把 term 变纯、变可编译)都做完了,manager 层是最后一段够不着的地方。 ## 请求(任一形态均可,可组合) **A. step compute 段 CUDA graph(首选)**:类似 #2605 对 reset 段的捕获,对**不含 reset 分发与 transition 发布**的 compute 段(obs manager compute + reward + termination + command update)提供固定形状捕获边界。 需要说明:ADR-0231 否决的是"整条 collector tick"(K=1,含 reset 分发、动态行压缩、transition 发布);compute 段不含这些障碍——形状固定、(term 全部 sync-free 化后)无 host 读、载体地址可持久化。#2605 已把 reset 段做成了,compute 段的前置条件其实是同一套。 **B. Manager 侧融合**:obs/reward/termination 的 group 计算提供单一可编译 callable(term 函数已是纯张量函数,是 manager 的循环/拼接层挡住了 fusion);至少把 group 打包(fused stack)和 per-term 中间张量消掉。 ## 数据(可复现) - 配置:unilab 1.5.11 + unisim-core 2.7.2,`masked_autoreset` + `persistent_step_buffers` + `autoreset_cuda_graph` + term 级 compile,`finite_validation_interval=32`; - nsys 30 迭代稳态窗口:collect 段 span 2.515s / busy 0.180s(util 7.1%),窗口内 `cudaLaunchKernel`+`cuLaunchKernel` ≈ 5.2 万次;同窗 wm/policy 段利用率 90.7%/95.6%(对照:瓶颈不在训练侧); - 迭代吞吐 2.91 it/s;若 collect 段恢复到 ~90% 利用率,估算可到 ~3.5 it/s(+20%)。 ## 环境 RTX 6000D / RTX 4090 均复现;torch 2.14.1+cu;nsys 2025.6.3 报告可提供。
Activity
TATP-233 commentedon Nov 19, 2026
归因修正(补充实测)
我们做了一组对照实验来定位剩余瓶颈,结论修正了本 issue 的原始归因,特此更新:
实验:同一个训练配置(boneseed 库、4096 envs、masked+graph、term 已 compile)下,构造一个 direct 版 env——继承同一基类,但 step 计算完全绕开 manager 编排(termination/reward/command/obs 直接调同一批已编译的 term 函数),其余 TorchEnv.step/autoreset graph/reset 生命周期全部继承不变。固定动作跑 200 步稳态:
torch.compile(mode="reduce-overhead")两点修正与推论:
f累计偏差 ~4.6e7(接触动力学混沌放大),所以 direct 与 manager 路径的数值发散(同量级)是固有非确定性,不是语义差异;per-step 计时不受影响(done 计数差 <0.5%)。