Skip to content

About

面向大型图片数据湖的桌面工作环境,基于 Rust、Tauri 与 React,支持工作集管理、元数据排名及美学评审。

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

Dataset Studio

面向大型图片数据湖的桌面工作环境。项目持续保存来源引用、选择、工作集与处理成果,各工具围绕项目中的数据工作。

当前版本:0.9.1,接入排名工作集的评分显示、双向浏览与 Danbooru ID 起点,继续使用开发模式。已有排名工作集默认沿用保存时的顺序,可切换主排名、补救排名、升序或降序;输入帖子 ID 可从该图片在排名中的位置继续查看。使用方法与验证记录见排名浏览验收。

视觉图谱可按特征模型进入持续空间,自动消费已发布向量的增量,保留未变化对象的位置;新增分布积累后可重新拟合。当前布局与历史版本分别保留,选区编辑和新布局切换不会被后台更新打断。公开链路和浏览稳定性已完成阶段验证,共享相似图候选、保留策略及数千万容量仍在建设中;详见持续空间和推进计划。

“设置 → API 与模型”提供供应商连接、远端模型获取、独立模型参数和命名参数预设。基础层接入 OpenAI Chat Completions / Responses、OpenRouter 和 Gemini 原生协议,支持完整响应、流式事件与取消;API Key 在 Windows 上通过当前用户 DPAPI 加密保存。“设置 → System Prompt”管理可复用的系统指令预设,任务按次选择,User Prompt 由每次任务传入;调用检查支持预设选择和不联网的请求预览。见架构决策、System Prompt 预设和模块接入说明。

“美学排序”可从固定工作集冻结候选和模型配置,按 Rating 独立评审并持久保存梯队与顶级提名。前端已接入连续排名浏览、大图缩放与切换、侧栏保护复核、已发布快照对照、离线计算及工作集派生。已接入可查看的基础预检、异常候选处置及离线实验变体批量配置;已接入有容量上限的按轮次动态采样与追加评审;真实质量校准仍待开展,见 ADR 0032。见工作台设计和后端与 SDK 接入说明。

对象条目旁的“⋯”提供快捷操作,右侧相邻的“属性 / 管理”标签提供名称、备注、来源与引用关系、文件位置和删除入口。相关行为见对象管理验收。

Ctrl+Z 撤销图片选择,Ctrl+Y 或 Ctrl+Shift+Z 重做。“设置 → 编辑与撤销”可调整历史上限,默认 50 步,可设 0–200 步;输入框仍使用原生文本撤销。工作集、成果和任务记录支持查找与整理,工具可复用历史参数或保存项目内命名预设。

“计算工具 → Danbooru 元数据排名”使用所选数据湖、查询结果、工作集或选择,固定元数据后计算 MetaRecall v1。参数配置、结果榜单、统计诊断和单图评分依据已经接入;排名可按精确名额筛选并保存为工作集,支持取消、重试和离线恢复已准备输入。详情见实施与验证。

清单与确定性标量算子通过同一注册协议执行,项目成果可分页查看、参与查询和再次消费。工具与查询草稿、查看范围和布局可恢复,正常切换和关闭等待保存。读取服务协调交互和后台工作,提供共享取消、按包偏移批读及 SSD 持久缩略图缓存。

来源浏览与筛选读取数据湖当前 ONLINE 索引,固定查询继续使用保留版本。项目结果按长期、临时或仅本次会话管理;顶部“设置”提供容量、缓存管理和查询内存选项,可查看所有项目的查询、固定输入引用和排名索引,并按项调整保留或清理。旧应用侧分级基础缓存已退出来源读取路径,已有缓存仍可计量和清理,见当前来源边界及固定查询与缓存明细。

“工具 → 数据湖”支持从空目录创建 Danbooru、Yandere、Gelbooru、Pixiv、Pinterest 数据湖并加入项目。Booru 可以按 ID 或标签组合采集,复用相容的近期查询覆盖,并在独立的帖子元数据目录中选择尚未下载图片的条目。API 抓取、图片编码、断点恢复及归档发布由内置的 services/lake-worker 维护,无需 Danbooru-Store 源码或已有发行归档。操作见从零建湖与按需采集,保存策略与运行环境见数据湖更新服务。

Pixiv 使用独立多媒体湖,已接入作者/作品采集、范围内标签筛选、增量复查、周期计划、账号设置和任务工作台。近期详情与完整媒体清单可以复用于后续补图;作者目录、作品元数据和媒体下载分别保留进度。使用方法和公开样本边界见来源采集接入。

Pinterest 已接入匿名 Pin、图版/分区、推荐、Pin/图版搜索与 Ideas 主题,支持静态原图、预算接续、历史复用和周期复查。原文件哈希、各次观察和来源关系分别保留;视频、复杂故事等未支持媒体记录缺口。使用方法见 Pinterest 接入设计,验证范围见 第二至四批验收。

Pinterest 后续已修复慢请求、固定资源超限、失败暂存回收、分区覆盖与重建校验问题,见生产审查修复。当前归档仍按单任务封包;大规模灌入前需要完成有界物理组批及目标容量盘持续验证。

启动

Linux x86_64 原生桌面的源码安装、字体与密钥环依赖见 Linux 开发运行。Linux 默认编译 Debug 引擎,不制作发行包;可从空目录创建新数据湖。

在 Windows 上双击仓库根目录的 启动开发版.bat。

Linux 在仓库目录运行 bash ./启动开发版.sh,自动检查 pnpm 依赖、准备 DuckDB 并启动原生开发窗口;使用 bash ./启动开发版.sh --web 启动浏览器开发环境。系统依赖与首次 Python 环境配置见上方 Linux 说明。

脚本会检查锁文件、依赖与固定版本的元数据运行库,增量编译优化后的 Release 计算引擎,启动前端开发服务和 Tauri 桌面窗口。前端仍然热更新,桌面宿主仍使用开发构建。再次启动时会复用已有开发环境,并重新打开或激活桌面窗口。已有后台时,启动控制台结束后桌面窗口仍保持运行。

启动诊断保存在 .local/logs/startup-dev-日期时间-进程ID.log,每次启动独立保存,避免开发窗口持续运行时锁住下一次启动的日志。依赖和运行库检查也使用同次启动的文件后缀;复用后台时的桌面进程输出保存在 .local/logs/desktop-startup.log。控制台会显示日志位置;启动失败保留错误退出码并暂停,方便查看原因。

命令行完整入口:

Set-Location '<你的仓库目录>\Dataset_Studio'
pwsh -File tooling/start-dev.ps1

只启动浏览器开发环境时,可运行 启动开发版.bat --web。Windows 启动包装器回归检查使用 pnpm test:launcher。

需要调试未优化的引擎时,在新的开发环境启动时传入 --engine-profile=debug,或设置 STUDIO_ENGINE_PROFILE=debug;默认是 release。命令行选项优先于环境变量。运行缓存以实际 EXE 的 SHA-256 标识,.local/dev/development-build.json 记录构建类型和实例。已有开发环境会被复用,因此切换类型前需结束原开发协调进程。

  • 修改前端和 CSS:Vite 热更新。
  • 修改 crates 下的 Rust 或 services/lake-worker 下的运行源码:自动增量编译、重新生成契约、重启开发引擎。已确认的任务检查点保留,界面重新连接。
  • 修改桌面宿主:Tauri 开发工具负责重建窗口。
  • 关闭窗口会释放项目视图并结束当前桌面开发控制台;引擎独立运行,后台工作完成后释放项目锁。
  • 停止开发引擎:在仓库目录运行 pnpm engine:stop。已固定输入的任务按检查点恢复,运行中断的查询结果需要重新计算。
  • 仅用浏览器调试:pnpm dev:web,入口为 http://127.0.0.1:1420。
  • 已准备依赖时可直接运行 pnpm dev;首次使用 Danbooru 元数据前运行 pwsh -File tooling/setup-duckdb.ps1。

需要 PowerShell 7、Node.js 22.12 或更新版本、pnpm 10.30.3、Rust 1.94 或更新版本、Visual Studio C++ 工具链与 WebView2。脚本只调整子进程的 MSVC 编译环境。

运行集成测试和使用 Python 夹具的界面验证时,还需要可通过 python 命令调用的 Python 3.11 x64。本机使用 3.11.9;CI 显式选择 3.11 x64。原有浏览夹具使用 Python 标准库和 DuckDB DLL;数据湖更新及其测试还需运行 pwsh -File tooling/setup-lake-worker.ps1 -Dev 安装项目内声明的 Python 依赖。开发与验证入口见 tooling 导航。

首次使用

  1. 新建项目,或打开包含 project.json 的项目目录。
  2. 在“工具 → 数据湖 → 创建 / 登记数据湖”创建空湖并加入当前项目,或登记已有湖;随后按 ID、标签或 Pixiv 作者/作品开始采集。也可直接添加已转换的数据湖,填写 SSD 索引目录和图片湖目录。内置参考资料用于验证基础功能。
  3. 在项目中浏览、查看单图、选择对象、保存工作集。选择属于项目,在切换来源和重开项目后保留。
  4. 点击图片后,右侧属性面板的“元数据”可切换来源记录与历史观察、查看标签及来源尺寸,按需读取原始 JSON。滚动面板查看完整内容;记录切换不改变项目选择。
  5. “查询”面板按字段能力设置条件、观察规则和身份排序,保存定义并在后台构建结果。可查看结果、全选并排除个别对象,或对工作集和结果范围进行集合操作。
  6. “计算工具”可使用数据湖、工作集、查询结果或项目选择。清单与标量任务固定成员、所需字段和参数,任务面板提供取消、失败后的显式重试及成果入口。
  7. “项目成果”查看类型、覆盖范围和来源依据,也可继续计算或把标量列用于查询。释放前检查持久引用。
  8. 对象旁的“⋯”或右侧“管理”可修改名称备注、查看具体引用关系、取消数据湖关联、删除工作集与计算成果。需要先处理的引用会提供跳转入口。任务可归档、恢复,已结束且成果已释放的任务可清理。
  9. 顶部“设置”调整撤销步数、缓存与查询工作内存;“缓存管理”预建 G/S/Q/E、调整查询类别、固定或清理结果。各工具可独立使用。

本机 Danbooru 路径示例(换机后请在应用中关联实际目录):

SSD 在线索引:F:\Dataset\Danbooru
图片湖:  E:\AI\AI_Dataset\Danbooru

数据湖按只读方式接入。当前浏览单位是 catalog.sqlite 中去重后的存储对象,使用 SHA-256 身份与包偏移定位图片;没有把历史观察条数或当前帖子数显示成图片总数。

相同内容可以关联多条来源记录和多次观察,检查面板保留这些区别。来源尺寸来自所选观察,实际存储尺寸尚未检查时显示未知。同条目的其他历史观察可能对应不同图片内容。

Yandere/Gelbooru 使用相同的读取协议与独立的库身份。元数据中的完整标签可直接创建查询草稿;包含特殊空白的标签使用双引号及 JSON 转义输入。首次浏览时按需准备应用派生索引,后续复用。Danbooru 元数据排名仍要求其专属来源投影;接入范围与实测数据见多站点验收。

数据与缓存

  • .local/dev/registry.sqlite:开发环境的项目注册表与本机数据源位置。
  • .local/dev/projects/:默认新建项目的位置;也可以在新建时选择其他父目录。
  • 项目内的 project.json、project.sqlite、members.sqlite、artifacts 与 .staging 分别保存身份、控制状态、封存成员、正式成果与恢复暂存。evaluation.sqlite 独立保存付费评审证据。成员、控制库和评审证据都属于项目恢复所需数据,不能当作普通缓存单独丢弃。
  • 显式打开旧项目时,数据库 v1–v12 按顺序升级至 v13;升级前的一致备份保存在项目内 .backups/v*-to-v13-*,包含 WAL 中已提交的数据,保留以前的迁移账本。清单 format_version 仍为 1。关闭项目的缓存维护也可在取得项目锁后升级支持的 v6–v12。升级备份是该升级步骤的保护,不能代替整个项目的一致备份;完整备份应停止项目写入并保留上述数据库、成果和恢复暂存,不仅复制主数据库而遗漏 WAL。
  • 注册表单独使用模式 v4,旧注册表备份位于应用数据目录的 .backups/registry-v*-to-v4-*;升级保留已有项目登记、数据湖位置、偏好和 LLM 配置,新增独立 System Prompt 预设表。最近项目列表不隐式打开或升级项目。
  • 查询定义、结果材料、选择基底与排除项、范围依据保存在项目数据库。结果释放前检查引用,已固定的工作集和任务不会随重新查询而变化。
  • 工具草稿和项目会话保存在项目数据库;布局偏好保存在应用注册表。未知草稿版本保留原文,并发冲突需明确选择重新载入或保留本地。
  • 对象名称备注和选择历史保存在项目数据库。项目重命名更新显示名,project.json 保留创建时名称;固定输入和成果文件不随名称编辑重写。撤销历史会保护恢复选择所需的结果材料,可在设置中清空;升级前的选择保持,历史从之后的新操作开始。
  • .local/dev/preview-cache/:独立的可重建缩略图及索引,默认配额 2 GiB。清理不进入项目成果和备份。缓存设置与未完成清理意图独立保存,缓存索引损坏后可继续恢复。
  • .local/dev/rating-cache/ 与 browse-index/:同一数据湖共享的分级基础候选、常用标签及浏览排序索引。Rating/Tag 组合在相应缓存内筛选,来源库保持只读,基础缓存按来源水位更新。
  • 总缓存默认 64 GiB,可配置至 1024 GiB;初始长期预算 48 GiB、临时 8 GiB,并保留原缩略图预算。长期默认不按时间过期,临时默认最后使用后 24 小时清理,或选择仅本次项目会话。调整类别不复制成员;固定、正在查看和项目引用保护优先于普通清理,因此实际占用可能暂时超过预算。
  • .local/engine-binaries/:开发引擎的可重建二进制快照,避免运行中的 EXE 阻止增量链接。
  • .local/logs/:构建、检查和临时命令日志;启动依赖检查写入其中的 startup-install-日期时间-进程ID.log。
  • .local/test-runs/:自动测试及一次性验证的隔离运行目录。阶段结束时一次性清理本轮夹具与缓存,只将必要报告或失败日志保留到 .local/reports/。
  • 数据湖解释器故障和搬盘恢复见运行环境与位置迁移协议。设置 → 数据湖 API 可更换解释器;受更新服务管理的湖须先准备迁移,再搬动文件并验证新位置,统一切换所有项目与更新器。
  • .local/dev/engine.log:与开发运行环境一起保存的引擎日志。

根目录仅保留工程入口、说明及工具所需配置。首次搭建留下的散落日志已归档至 .local/logs/root-archive-*,后续检查输出也统一放入日志目录。

.local/dev 包含实际项目数据,不是一个整体可丢弃的构建缓存。Git 忽略项目数据、设计参考、依赖、日志与二进制。

项目保存逻辑数据湖引用,本机位置留在应用注册表中。项目移动后可以重新打开;换到另一台机器时,需要重新关联本机数据湖位置。任务计划使用项目内相对路径,并校验固定输入内容。

数据湖行的关联按钮可更换本机位置。新位置必须仍为同一个逻辑数据湖;修改会影响当前应用登记的所有相关项目,界面会说明该共享范围。

数据湖行“⋯ → 取消关联”只作用于当前项目。已有工作集、选择和成果保留;未关联期间停止从该来源读图及元数据。展开“已取消关联的数据湖”可以恢复,重新加入同一数据湖也可恢复。

可在启动前设置进程环境变量 STUDIO_CACHE_DIR 指定 SSD 缩略图目录,或为独立引擎传入 --cache-dir。目标必须是空目录或已有的 Dataset Studio 缓存目录;配额在“设置 → 缓存与存储”中调整。磁盘命中仍检查项目来源权限,离线命中保留上次验证时间并标记状态。

开发与检查

日常开发按改动范围选择最小检查集,相关检查通过后停止。下面是可选入口,不是每次都要执行的连续步骤;纯文档、文案或简单样式修改不运行后端测试。首次环境准备使用上面的开发启动器。

pnpm check
pnpm test:rust -p studio-storage query_cache::publication
pnpm test:lake tests/test_png_compat.py -k metadata_crc
pnpm test:integration ranking-browse

pnpm check 仅检查类型、Lint/导入边界及 Rust 格式,不编译引擎或运行后端测试;更小的修改可只检查相关文件。公共 DTO/路由变更才需要 pnpm contracts。集成入口按指定套件准备一次引擎,无参数会提示选择套件;名称见 pnpm test:integration --list,--dry-run 只显示执行范围。Python 入口支持 pytest 文件、节点和 -k 过滤。

完整验收使用 pnpm check:full 和 pnpm test:integration:all,保留在 CI 或确有跨模块风险的阶段执行。完整集成包含千万行容量专项;单独验证该边界用 pnpm test:capacity。普通美学恢复测试不生成千万行夹具。失败修复后优先重跑受影响用例,未改动且已通过的检查不重复执行。详细选择规则见 AGENTS.md 和工具导航。

pnpm build 只构建前端资产,按打包、资源或依赖变更的需要执行;日常小修改不额外构建 Release 或安装包。

Windows 原生剪贴板验收为 pnpm test:clipboard,要求已开启系统剪贴板历史。它使用独立 WebView2 窗口复制测试文字,并核对当前剪贴板和 Win+V 历史;不连接项目或使用日常 WebView 配置。结果写入 .local/test-runs/clipboard-*,不纳入默认测试以免普通检查改动系统剪贴板。

接口以 Rust DTO 和 Utoipa 定义为准。生成的 OpenAPI 和 TypeScript 类型纳入 Git,CI 重新生成后检查漂移。前端功能通过 SDK 调用引擎,原生目录选择由应用层注入。

测试覆盖旧项目升级、只读元数据、范围与结果、算子注册和固定字段、成果发布恢复、草稿冲突、读取公平性和取消、持久缓存与引用隔离。集成入口可选择 28 组独立引擎脚本,覆盖增量查询、分层预算、每日分级更新、真实 SDK 会话重连、MetaRecall 排名、有界范围排序、对象管理、撤销和排名起点浏览。夹具默认使用 Debug;确需验证优化产物时可用 STUDIO_ENGINE_PROFILE=release。界面检查按受影响功能选择 node tooling/smoke-ranking-ui.mjs、node tooling/smoke-management-ui.mjs 或 node tooling/smoke-ranking-browse-ui.mjs 等入口,使用独立引擎与无头 Edge 上下文;真实有界元数据检查为 tooling/verify-ranking.mjs。可选的原生设置窗口检查为 node tooling/smoke-settings-ui.mjs,先关闭现有开发窗口与前端服务;它只使用独立的合成图片与项目。

真实数据湖可使用 node tooling/verify-metadata.mjs --index-root <索引根目录> --media-root <图片湖根目录> --asset <SHA256> 做有界验证,最多传入 8 个 --asset。脚本使用隔离运行目录与真实引擎 API,报告写入 .local/test-runs/metadata-verification-*。

查询路径的指定样本检查使用 node tooling/verify-scopes.mjs --index-root <索引根目录> --media-root <图片湖根目录> --asset-id <SHA256> --post-id <帖子ID>,先记录同一编译器的查询计划,再通过引擎执行两条身份受限的查询,报告写入 .local/test-runs/scope-verification-*。示例检查要求该对象是 WebP,且关联帖子有来源宽高均不小于 1000 的观察;它不是通用数据质量断言。

读取检查使用 node tooling/verify-reads.mjs --index-root <索引根目录> --media-root <图片湖根目录> --asset <SHA256> --max-source-bytes 2097152,最多八个显式对象;在读图前核对总预算,并比较冷应用缓存、暖缓存和引擎重启。报告位于 .local/test-runs/read-verification-*。

文档与工具入口:

  • 文档导航:当前接入说明、架构决策、实施计划、公式原稿与历史验收。
  • 开发与验证工具:环境要求、常用命令、测试夹具与本机证据归档。

当前边界

任意元数据公式和通用模型打标尚未接入。美学评审与离线统计后端已实现,真实质量校准和第二阶段界面待完成。

结果每页最多 128 项,界面可选 12/48/96 项。单项选择修改每次最多 1000 项;全选结果通过后端引用完成,不枚举全部 ID。查询协议最多 8 个来源、12 个联合条件,界面当前支持单湖编辑。每个引擎同时运行一个结果构建和一个算子执行器。预览单图及单批编码输入上限均为 64 MiB,每批最多 16 项,另有解码及队列预算。

标量成果采用有模式的 JSONL 加 SQLite 整数投影。MetaRecall 使用独立的固定输入表、浮点评分与排名表和摘要文件,提供多列分页及工作集转换;任意宽表算子、向量成果尚未接入。正常关闭等待已接受的草稿保存;强制终止或页面突然重载仅保证此前已落盘的编辑。运行时第三方插件和完整模型环境继续按实际工具需求扩展。

算子成果保存在项目 artifacts 目录中,美学证据和统计快照保存在 evaluation.sqlite。界面另存下载目前限制为 64 MiB,较大成果直接使用项目内的原文件,以控制前端内存。

已经验证本机真实 Danbooru 的只读分页、包偏移读取、内容校验、预览及大规模分级查询,也验证了较大合成目录上的结果和范围操作。各验收报告标明构建类型、查询条件和缓存边界,不代表全条件或长时间运行压测。

DuckDB 1.5.4 已通过应用自身的原生运行库接入元数据检查。每次读取分别建立 SQLite / DuckDB 只读事务并核对版本,不提供跨库原子历史快照。元数据默认 20 条来源记录、10 次观察分页;原始 JSON 查看上限为 128 KiB。源忙碌、离线和版本变化会明确提示。

查询结果保留生成时的定义与版本。来源变化后需要重新计算才能直接使用查询范围,已经固定到工作集、选择和任务的成员不变。查询工作内存默认 12 GiB,可在设置中调整为 1–64 GiB;默认原生查询分配 10 GiB、结果整理最多 2 GiB。原生溢写和结果暂存各有 8 GiB 磁盘预算。预算与取消使用协作中断,不是整个进程的内存或响应时间硬上限。

审美评审传输与恢复的最新规则见 ADR 0031:新阶段请求体默认 32 MiB、可配置至 48 MiB;支持图片读取预检、原始回执、本地重解析、未发送批次重组和项目恢复包。验证范围见 2026-09-23 记录。真实模型审美校准仍待开展。

About

面向大型图片数据湖的桌面工作环境,基于 Rust、Tauri 与 React,支持工作集管理、元数据排名及美学评审。

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages