Skip to content

feat(retrieval): 信源默认检索模式、问答按轮选择与探索页多模式对比 - #254

Closed
luoshuai990529 wants to merge 13 commits into
feat/sag2-retrieval-strategyfrom
feat/sag2-source-default-mode
Closed

luoshuai990529 wants to merge 13 commits into
feat/sag2-retrieval-strategyfrom
feat/sag2-source-default-mode

Conversation

@luoshuai990529

@luoshuai990529 luoshuai990529 commented Oct 24, 2026 •

Copy link
Copy Markdown
Collaborator

改动范围

信源默认检索模式

  • 创建或编辑信源时可选择默认检索模式(快速 / 精确 / JEV 精排 / SAG2 证据检索),每项附通俗说明、适用场景与付费标识;不可用的模式灰置并说明原因。
  • 选择 JEV 模式但尚未配置服务或 API Key 时,可在对话框内直接填写并测试连接,保存后再创建信源;缺 Key 时无法提交。
  • 信源卡片与详情页显示默认模式标签。
  • 后端新增 Source.default_search_strategy,检索模式按「本次显式选择 → Agent 人格 → 范围内信源的共同默认 → 全局默认」解析,结果 stats.strategy_origin 标明来源;不改变文档入库流程。

问答按轮选择检索模式

  • 输入框工具栏新增与探索页一致的模式控件,默认显示将实际使用的模式及其来源(人格默认 / 信源默认),用户选择后对本面板后续轮次生效。
  • /ask 新增可选 strategy,开始生成前校验模式可用;付费 JEV 模式缺 Key 时拒绝并在输入框上方给出设置入口。回答的活动时间线显示本轮模式与来源。

探索页多模式对比

  • 搜索栏新增「对比」开关:选择 2–3 种模式,同一问题并排检索;各列显示耗时、召回数、SAG2 的 JEV 用量,跨列共同命中的片段加标记,可选 LLM 评审。
  • 任一列可「按此模式检索」,固定该模式并回到普通搜索。复用现有 eval-compare 接口,未改动。

SAG2 只读引擎专用事件循环

  • zleap-sag2 构建内存语料时会同步阻塞事件循环;引擎的创建、扫描、检索与关闭改在专用线程的事件循环执行,API 循环只保留并发闸门、整次超时与取消。

文档

  • README / README-CN 的检索模式小节与 CHANGELOG Unreleased 同步。

影响功能范围

  • 未设置默认模式的既有信源、未在问答页选择模式的会话,行为与此前一致。
  • Dify 与 MCP 接口不新增参数;Dify 仍使用独立的 SAG_DIFY_SEARCH_STRATEGY。
  • 数据库:sources 表新增可空列 default_search_strategy,由现有幂等 ADD COLUMN 路径补列。

测试覆盖情况

  • 通过:pytest -q(apps/api,串行),1773 passed / 6 skipped。
  • 通过:ruff check sag_api tests scripts(apps/api)。
  • 通过:npm run typecheck、npx vitest run(109 files / 912 tests)、npm run lint、npm run i18n:check(apps/web)。
  • 未执行:浏览器内人工走查;真实 JEV 服务。
  • CI:待远程 CI 执行。

🤖 Generated with Claude Code

luoshuai990529 and others added 8 commits October 23, 2026 18:13
- 新增 `zleap-sag2==0.1.0` 依赖,重新生成 uv.lock;随之新增 `pyuca 1.2`,
  `tiktoken` 升至 0.14.0、`regex` 升至 2026.9.29
- 中文分词由 `jieba-py` 改为 `jieba==0.42.1`,与 zleap-sag2 共用同一包
- 桌面打包元数据同步收集 `jieba` 与 `zleap-sag2`

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
- 新增门面策略 `sag2`:由 `sag_api/sag/sag2_engine.py` 持有的只读
  zleap-sag2 引擎在 SQLite / PostgreSQL 关系库上直搜,一次请求覆盖
  全部已发布输入,保留引擎顺序与原始 JEV 分数,失败不回退 vector
- 引擎持有者按配置指纹懒建与重建,并提供全局并发上限、范围段落上限、
  整次超时与异常翻译;新增 `SAG_SAG2_*` 调优参数
- 能力 gate 收紧:`jev` 能力要求服务地址与 API Key(`jev_api_key_missing`),
  新增 `sag2_relational` 能力;`multi_jev` 同步受 Key 约束,
  JEV 连接测试无 Key 直接返回失败
- 以 `JEV_SCORED_STRATEGIES` 统一检索服务、搜索接口、Agent 工具与预算、
  Dify、MCP、人格校验和设置保存中的 JEV 模式判断
- 测试:新增 sag2 契约测试与基于真实 zleap-sag SQLite 库的离线集成测试,
  既有 JEV 测试补齐 API Key,免密网关用例改为按付费策略拒绝

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
- 检索模式列表新增 `sag2`,JEV 评分模式显示付费标识;旧后端未声明
  支持时按不可用处理
- 探索页灰置项因 JEV 未配置或缺 Key 时提供「去设置」入口,并定位到
  JEV 服务配置区
- 知识库设置中 API Key 改为选择 JEV 模式时必填,`multi_jev` 的
  特判统一为 JEV 评分模式;SAG2 关系库不支持时只读提示
- 检索状态栏显示 SAG2 的本次 JEV 评分用量;客户端超时策略覆盖两种
  JEV 模式
- 补充中英文文案与 vitest 用例

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
- README / README-CN 检索模式表新增 `sag2`,说明存储要求、与 JEV 精排
  的关系及付费 Key 要求
- CHANGELOG Unreleased 记录新模式、Key 要求与 jieba 依赖变更

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
- 保存设置时若改动 JEV 服务地址或 Key 后默认策略仍为 JEV 模式且连接不完整,
  拒绝保存并提示改模式或补填 Key,补上 API 直连可绕过前端校验的缺口
- `sag2` 与 `multi_jev` 共用 `sag/errors.py` 的 JEV 错误文案与默认错误码;
  JEV 408/429 归为暂时不可用,不再使用 sag2 专属的鉴权错误码
- 能力原因(`jev_*`、`sag2_relational_*`)下沉到 `sag2_engine.py` 并由
  `EngineManager` 与引擎配置装配共用;JEV 模式的准入等待预算收敛为
  `search_admission_timeout_seconds`
- SAG2 引擎持有者改为惰性重建:配置发布不打断在途检索,并发上限在线生效,
  关闭前等待在途检索结束;范围统计改为直接计数 `source_chunk`,
  不再依赖 zleap-sag2 私有模块
- 新增用例:准入超时、设置发布等待整次检索、惰性重建、在线调整并发上限、
  错误翻译与 `multi_jev` 一致、清 Key 后保留 JEV 默认策略被拒绝

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
- 知识库设置中「已保存 Key 是否适用于当前地址」只计算一次
- 检索状态栏仅在后端同时给出请求数与判定数时展示 JEV 用量,不再补零;
  数值解析函数按用途命名

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
- README / README-CN 说明连接用户需能创建并读写 `sag2_state`、
  `sag2_search_sessions` 两张辅助表并执行表锁,SAG 业务表保持只读
- 整次检索超时的说明区分设置发布期间的准入等待

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
- zleap-sag2 的 Unicode 排序在运行时读取 pyuca 的 allkeys-*.txt,
  PyInstaller 默认不收集数据文件,桌面包需显式加入

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
@luoshuai990529
luoshuai990529 force-pushed the feat/sag2-source-default-mode branch from 94b7a94 to 4322e05 Compare October 24, 2026 16:06
@luoshuai990529 luoshuai990529 changed the title feat(sources): 信源默认检索模式与创建流程内的 JEV 配置 feat(retrieval): 信源默认检索模式、问答按轮选择与探索页多模式对比 Oct 24, 2026
luoshuai990529 and others added 5 commits October 25, 2026 00:32
后端
- `Source` 新增 `default_search_strategy`(可空,跟随全局默认),创建 / 更新
  接口接受并返回;取值须为当前部署可用的模式,JEV 付费模式还需已保存
  API Key,拒绝时沿用能力原因码
- 新增 `resolve_search_strategy`:显式请求 → Agent 人格 → 范围内信源的共同
  默认 → 全局默认;检索服务、搜索接口、Agent 工具统一走该解析,结果
  `stats.strategy_origin` 标明来源
- `EngineManager.require_strategy_available` 供设置、人格、信源共用

前端
- 创建 / 编辑信源对话框新增「默认检索模式」选择器:首项「跟随全局默认」,
  各模式附通俗说明、适用场景与付费标识;因存储能力不可用的模式灰置
- 选择 JEV 模式但缺少服务或 Key 时就地展开 JEV 配置(预设服务商、Key、
  测试连接),保存后再创建或更新;缺 Key 时提交按钮禁用并说明
- 信源卡片与详情头部显示默认模式标签;搜索页在范围内信源默认一致且用户
  未手动选择时自动采用并标注「信源默认」
- JEV 预设与校验抽到 `lib/jev-config.ts`,设置页共用

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
后端
- `AskRequest` 新增可选 `strategy`,经 `AskPlan` 与工具上下文传入
  `search_context`,优先于 Agent 人格与信源默认
- `/ask` 在开始流式生成前校验该模式可用,付费 JEV 模式缺 Key 时返回 400,
  不落库用户消息;工具结果 `retrieval_stats.strategy_origin` 标明来源

前端
- 输入框工具栏在「联网」旁加入与探索页一致的模式控件,默认显示将实际
  使用的模式并标注来源(人格默认 / 信源默认),生成中禁用
- 用户选择后仅对本面板后续轮次生效;模式不可用被拒绝时在输入框上方
  内联提示并提供设置入口;活动时间线显示本轮模式来源

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
- zleap-sag2 构建内存语料时在事件循环线程同步分词、建倒排表,范围大时会
  阻塞 API 循环;`Sag2EngineHolder` 新增 `_EngineLoop`,引擎的创建、范围
  扫描、检索与关闭全部在专用线程的事件循环执行
- API 循环只保留并发闸门、整次超时与取消:超时会同步取消专用循环中的
  协程,`aclose` 等待在途检索后关闭引擎并停掉线程

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
- 搜索栏「对比」开关:开启后以 2–3 个模式芯片替代单模式控件,同一问题
  并发对比;可选 LLM 评审,范围沿用 @ 选择
- 分栏结果显示耗时、召回数、SAG2 的 JEV 用量与降级状态,跨列共同命中的
  片段加标记,失败列内联显示原因;下方列出两两评审结论
- 任一列可「按此模式检索」,固定该模式并回到普通搜索;关闭对比保留上次
  普通结果
- 对比列、片段行与评审列表抽为共享组件,信源页检索测试对话框改为复用

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
@luoshuai990529
luoshuai990529 force-pushed the feat/sag2-source-default-mode branch from 4322e05 to 1614e79 Compare October 24, 2026 16:32
@luoshuai990529
luoshuai990529 force-pushed the feat/sag2-retrieval-strategy branch from 92d6022 to 524ec57 Compare October 24, 2026 17:06
@luoshuai990529

Copy link
Copy Markdown
Collaborator Author

已整合进 #253,此 PR 关闭。

@luoshuai990529
luoshuai990529 deleted the feat/sag2-source-default-mode branch October 24, 2026 17:06
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant