Skip to content

feat(core): 术语名→标准公式词表(named-formula 5/20 → 20/20) - #88

Merged
CacinieP merged 1 commit into
mainfrom
feat/named-formula-glossary
Nov 13, 2026
Merged

CacinieP merged 1 commit into
mainfrom
feat/named-formula-glossary

Conversation

@CacinieP

Copy link
Copy Markdown
Owner

named-formula 从 5/20 → 20/20,整批真实语料 31/52 → 47/52。核心判断:1B 模型"记不住定理"不是转写能力问题,这类答案固定且公开,应当查表。

实现

  • 新增 src/texada/core/glossary.py:24 条受控词表(格林/高斯/斯托克斯/贝叶斯/全概率/华里士/施密特/拉格朗日/罗尔/柯西/泰勒/洛必达/一阶线性 ODE/二阶常系数/中心极限/样本方差/欧拉/夹逼/路径无关/二项分布/分部积分/N-L/柯西不等式/秩不等式),每条带 id / names / latex / note / source。
  • 命中条件是严格相等:输入先做规范化(去括号括注、标点、请/帮我/输入/排版 前缀、的公式|定理|法则 后缀),必须与某个别名完全相等。因此 格林公式和斯托克斯公式的区别、泰勒展开式、求格林公式、格林公式(L 为逆时针闭曲线)(注:带括注会被剥掉 → 命中,符合"仅改名"的直觉)之外,带参数的语句仍走模型。
  • 接在既有快路径上,没有另开分支:DeterministicCandidateEngine._canonical_concept 在原有手写概念表之后兜底查词表,rule 仍是 nl_canonical_concept——所以 tests/test_agent_runtime.py::test_runtime_uses_zero_model_named_concept_fast_path 的契约不变。
  • /api/convert(router)在没有 context 时同样先查词表,返回 Source.TEMPLATE、tokens_used=0。
  • 每条 latex 都过 KaTeX 校验;校验不过自动回退模型路径(有测试覆盖)。扩展词表必须同时补 source。

实测(MiniCPM-V 4.7 1B)

真实语料(52 条) 修前 修后
合计 31/52(59.6%) 47/52(90.4%)
named-formula 5/20 20/20
common-mistake 4/7 5/7(矩阵乘积的秩不等式 进词表)
其余(no-solving / completion / lecture-sentence) — 不变
  • 52 条里 21 条零 token 直出;词表命中 p50 ≈ 12 ms,模型路径 ≈ 0.8 s。
  • 100 条 golden set 仍是 59/95(该集里只有 072 分部积分公式、092 贝叶斯公式 命中词表,且原本就通过),没有靠词表刷分。

度量诚实性

两个 runner 现在会把「确定性直出」与「模型结果」分开统计并单列:

- Served by deterministic rules (glossary/preset/transcription, no inference): 7 (002, 008, 054, 065, 072, 084, 092)

否则"查表得分"会被误读成"模型变强"。

验证

  • pytest -q → 2044 passed, 14 skipped(新增 tests/test_glossary.py 48 条)
  • ruff check src tests eval → All checks passed
  • 端到端手验:贝叶斯公式 / 格林公式 / 华里士公式 / 泰勒公式 走 agent 路径均为 rule=nl_canonical_concept, tokens=0, committed=True

边界(G-017)

只覆盖"输入即术语名":带参数的描述、复合句仍交给模型。词表是受控数据,不抓取、不推断。

closes #87

1B 模型回忆定理公式不可靠(答成别的定理 / 只吐 \text{...} / 给出定义),
而这类答案固定、公开、可枚举,应当查表而不是推理。

- 新增 core/glossary.py:24 条受控词表(id/names/latex/note/source),
  别名规范化(去括号、标点、请求前缀与'公式|定理|法则'后缀),
  只在输入**就是**术名时命中;每条 latex 必须通过 KaTeX 校验
- 词表接入既有确定性快路径:candidates._canonical_concept 兜底查表
  (rule 仍是 nl_canonical_concept,不新增分支、不破坏既有契约)
- router(/api/convert)在没有 context 时也先查词表,命中返回 Source.TEMPLATE
- 三个 runner 现在会区分'确定性直出'与'模型结果'并单列,避免把查表算成模型能力
- 实测:真实语料 31/52 → 47/52(named-formula 5/20 → 20/20,21 条零 token、
  词表命中 p50 12ms vs 模型 0.8s);golden 59/95 不变,其中 7 条为确定性直出
- 测试 +48:词表 latex 合法、别名唯一、20 条语料全命中、9 条误伤用例不命中、
  router/agent 命中不触发推理、校验失败自动回退

issue #87
@CacinieP
CacinieP merged commit e6653bc into main Nov 13, 2026
9 of 10 checks passed
@CacinieP
CacinieP deleted the feat/named-formula-glossary branch November 13, 2026 09:13
@CacinieP CacinieP mentioned this pull request Nov 13, 2026
CacinieP added a commit that referenced this pull request Nov 13, 2026
- 版本号同步(Cargo.lock 只改 texada-shell 条目;softbuffer 等第三方 crate 版本保持 0.4.8 不动)
- CHANGELOG 0.4.9 段 + docs/release-v0.4.9.md
- 内容即已合并的 #88(术语名词表,named-formula 5/20 → 20/20)
CacinieP added a commit that referenced this pull request Nov 13, 2026
- 版本号同步(Cargo.lock 只改 texada-shell 条目;softbuffer 等第三方 crate 版本保持 0.4.8 不动)
- CHANGELOG 0.4.9 段 + docs/release-v0.4.9.md
- 内容即已合并的 #88(术语名词表,named-formula 5/20 → 20/20)
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

[P2] feat(core): 术语名→标准公式的确定性词表(named-formula 5/20)

1 participant