Skip to content

添加面向新同学的 Daft 参数调优文档 - #20

Merged
FANNG1 merged 1 commit into
mainfrom
daft-tuning-doc
Jul 15, 2026
Merged

FANNG1 merged 1 commit into
mainfrom
daft-tuning-doc

Conversation

@FANNG1

@FANNG1 FANNG1 commented Jul 15, 2026

Copy link
Copy Markdown
Owner

背景

大规模在 Ray 上跑 analyze/ingest 时有不少参数可调(并行度、morsel、LLM 并发、S3、写出布局),但这些参数的含义和调整方向依赖对 Daft 执行模型的理解,对不熟悉 Daft 的同学门槛较高,容易调错方向(比如 MinIO 限流时反而去加重试)。

改动

新增 docs/daft-tuning.md,面向对 Daft 原理不太熟的同学:

  • 三分钟原理:只讲本项目用得到的四个概念(Runner / Partition / Morsel / Actor UDF),用直观类比解释,并关联到项目实际踩过的坑(manifest 太小导致并行度坍缩、胖行导致 OOM)。
  • 参数怎么生效:说明项目参数都经 configure_daft_runner() / daft_io_config() 接通,改 .env 重跑即可;新增 Daft 参数必须接线,否则是死配置。
  • 参数速查表:按并行度 → 内存 → LLM → S3 → 稳定性 → 写出 → 观测分组,每个参数给默认值、调整时机和方向性提醒(如 LLM 总并发 = 单任务并发 × 并行任务数,要按供应商限流预算)。
  • 按症状排查表:九种常见症状 → 原因 → 调整方向。
  • 推荐调优顺序和大规模跑的 .env 起点模板。

说明

文档描述的参数接通行为依赖 #18(configure_daft_runner 接通执行配置、ANALYZE_NUM_PARTITIONS 等),建议在 #18 之后合并。

验证

纯文档改动,无代码变更。

Beginner-friendly Chinese doc: explains the four Daft concepts that
matter here (runner, partition, morsel, actor UDF), how env knobs are
wired through configure_daft_runner, a parameter reference grouped by
concern, a symptom-based troubleshooting table, and a recommended
tuning order with a large-run .env starting point.
@FANNG1
FANNG1 merged commit 3828d1e into main Jul 15, 2026
1 check passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant