docs(tts): 补声音克隆内容侧噪声地板判据,勘误 emo_bias 立论并落档二轮选段勘探; - #1118
Merged
ThreeFish-AI merged 2 commits intoSep 2, 2026
Conversation
为「抑扬顿挫」备选音色做选段与向量 A/B 时核出三项与定档决策无关、但会误导后续工作的 问题,逐项落档(纯注释与文档,未改任何预设数值 ⇒ 已上线 8 集缓存零影响)。 1. emo_bias 立论勘误(tts.py sunny-pure 注释 + ADVANCED §3.2 告警块) 施加 bias 的 normalize_emo_vec(infer_v2_5.py:488)全仓唯一调用点是 webui.py:665; infer() 内对 emo_vector 的唯一变换是 :605-607 的 int(x*alpha*10000)/10000,无 bias 相乘。故本管线名义权重即实际权重。sunny-pure(路线图 #10)原注以「surprised 只兑付 69%、calm 56%」论证「配料维度不划算」,把 WebUI 语义套到了本管线的调用路径上,该 理由作废,本档退回纯 alpha 语义论证。反向证据:bias 表里被下调的恰是 surprised/calm, 说明上游认为二者在名义权重下偏强。另记 emo_num=[3,17,2,8,4,5,10,24]——happy 仅 3 个 原型(明快度天花板,加权重加不出来),surprised 有 10 个。 2. 新增 ADVANCED §6.6:内容侧噪声地板与三条判据设计教训 §6.4–6.5 只解决了耗时侧可测量性,内容侧一直缺地板值。实测固定 seed 后音频逐字节 可复现(热节流污染耗时不污染采样轨迹)⇒ 内容 A/B 免 75s 冷却,一轮 35 次合成从数 小时压到约 18 分钟;但换一条 take 的 |ΔIQR_rel| 中位达 10.4%,故韵律类参数的最小 可归因效应量约 21%。配套三条教训:主指标须无量纲(IQR_rel,否则「整体抬高」会假装 成「起伏变大」);身份护栏用中位而非逐句最大值(生产档自己就有单句冲到 186.9 Hz); n=7 下看符号一致性而非只看中位。 3. 新增 VOICE-CLONING §3.3b:第二轮选段勘探(含从未勘探的 me-full-*,663 s) 另立新表而不追加旧表——旧表质心列是路线图 #13 改「限带质心」前的尺子,混排即错。 me-1 @106S 的 IQR_rel 较成片在用段高 18%、静音占比高 0.08;新增两个「样本起伏高但 克隆起伏反而低」的反例,再次确认唯一有效判据是纯克隆小样;并指出旧表小样列自带约 ±10% take 噪声,行间小于 10% 的差异不可解读。 顺带修正 4 处过期档数(写死的「7 档」,实际已 9 档)——数量的事实源在代码,文档改为 不复制该数字。 🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist) Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>
同步样本命令、bias 语义、噪声阈值、章节编号与统计说明,避免误用并保持运行时行为不变。 🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist) Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
背景
核心变更
tts.pysunny-pure注释 + ADVANCED §3.2 告警块):施加 bias 的normalize_emo_vec(上游infer_v2_5.py:488)全仓唯一调用点是webui.py:665,infer()从不调它 ⇒ 本管线名义权重即实际权重。Feature/1.0.0 #10 原注以「surprised 只兑付 69%、calm 56%」论证砍配料维度,是把 WebUI 语义套到了本管线调用路径上,理由作废;反向证据:bias 表里被下调的恰是这两维,说明上游认为其在名义权重下偏强。顺带记入emo_num=[3,17,2,8,4,5,10,24]——happy 仅 3 个原型(明快度天花板),surprised 有 10 个。--seed后音频逐字节可复现(热节流污染耗时不污染采样轨迹)⇒ 内容 A/B 免 75 s 冷却;但换一条 take 的|ΔIQR_rel|中位达 10.4% ⇒ 韵律类参数最小可归因效应量 ≈ 21%。附三条判据设计教训:主指标须无量纲(IQR_rel);身份护栏用中位而非逐句最大值(生产档自身有单句 186.9 Hz);n=7 下看符号一致性(7/7 → p=0.008)而非只看中位。me-full-*(663 s)纳入同一把尺子,另立新表(旧表质心列是路线图 fix(CI): 修复 GitHub Actions 单元测试失败与 pnpm 迁移 (Vibe Kanban) #13 改「限带质心」前的尺子,混排即错)。me-1@106S 的 IQR_rel 较成片在用段 +18%、静音占比 +0.08;新增两个「样本起伏高但克隆起伏反而低」的反例;指出小样列自带 ±10% take 噪声、行间 <10% 差异不可解读。顺带修正 4 处过期档数(写死「7 档」、实际 9 档)——数量事实源在代码,文档不再复制该数字。风险与回滚
tts.py改动为纯注释(vec/alpha/df逐行核对无变动,不进缓存摘要);文档改动不影响任何执行路径。git revert单提交即可。验证证据
pipeline/tests/全量 261 通过(含缓存黄金哈希test_digest.py与test_production_presets_untouched——二者绿即证明存量预设与缓存零失效)。uv run后子项目卫生测试抓到过我误留的uv.lock并已清除(该测试自身即验证)。tts_sample.py单句路径(与成片同路径),未触碰任何剧集工程;git diff确认零episodes/改动。.temp/。影响范围
Next Best Action
.temp/voice-samples/blind/(7 句 × 2 档)择优后决定是否以「新增候选预设 +refs.toml追加me-1 @106s样本条目」落地抑扬顿挫备选档——客观结论为「+8.6% IQR_rel、7/7 方向一致、但幅度贴噪声地板(门为 20.9%),且三个候选均超 +4% 时长红线(顿挫需以时长为代价),最终取舍须由人耳裁决」。🤖 Generated with Claude Code