基于阿里 IMS 云剪辑的智能混剪 Agent 系统,支持自定义模板、服务端文本切片、素材召回、Agent 自动编写编排与自动编写 Remotion 特效等功能。
Read CONTRIBUTE.md for development setup, validation commands, Conventional Commit messages, and pull request requirements. Use English for commit messages and pull requests.
IntelligentMixVideo is licensed under the GNU Affero General Public License,
version 3 only (AGPL-3.0-only). See LICENSE.md for the full terms.
client/:Rust + Tauri 2 + React + TypeScript 桌面客户端,使用 Tailwind CSS 4 和 shadcn/ui。server/:Python + FastAPI + MySQL 服务端,提供模板持久化 API、文案切片接口,以及首页和用户路由示例。
安装 Python 3.12+、uv 和 MySQL,启动 MySQL 并按 服务端说明 填写 server/.env,然后执行以下命令;后端启动时会自动创建缺失的数据库:
cd server
uv run server默认监听 http://127.0.0.1:8000,API 文档位于 http://127.0.0.1:8000/docs。
仓库根目录使用 uv run --project server server。模板 API 统一使用 /template 前缀,POST 通过可选 template_id 区分创建和完整更新;详情见 server/README.md。
服务端在项目配置中将官方 PyPI 设为默认依赖索引,与 server/uv.lock 的来源保持一致,避免本机默认镜像同步滞后导致版本无法解析。
POST /segmentations 将文案与单音轨 Fun-ASR 原始结果切为带时间和关键词的片段;输入必须恰好包含一个 transcripts 元素,词时间使用 begin_time/end_time 毫秒,不接受顶层 sentences 或仅有旧 *_ms 时间字段的输入。模型配置使用 server/.env.example 中的 IMV_ 变量;从仓库根目录启动且需要该配置时使用 uv run --project server --env-file server/.env server。请求与处理约束见 server/README.md。
ASR 转写另提供独立 Python 函数与命令行入口,读取北京地域的 DASHSCOPE_API_KEY,尚未注册 HTTP 路由;用法见 ASR 音频转写。
安装 Bun(版本以 client/package.json 的 packageManager 字段为准)、Rust stable,以及 Tauri 2 平台依赖。
CI 使用同一 Bun 版本。client/bunfig.toml 配置构建脚本使用 Bun 运行。
Windows 需要 Visual Studio C++ Build Tools 和 WebView2;macOS 需要 Xcode Command Line Tools。
Visual Studio Installer 中需启用“使用 C++ 的桌面开发”,包含 MSVC 和 Windows SDK;
Windows ARM64 主机还需 ARM64 C++ 构建工具。
若报错出现 link: extra operand,说明误用了 Cygwin 的 link.exe,
请确认 C++ 工具链安装完整,并在匹配架构的 Visual Studio Developer PowerShell 中运行。
cd client
bun install --frozen-lockfile
bun run tauri dev首页提供模板创建、选择、完整编辑、保存、重命名、另存为和删除,切换前保护未保存修改。
模板功能本次以 bun run dev 启动后在 http://localhost:1420 使用,预览沿用阿里云 SDK 5.2.2。
示例视频可在 client/.env 中通过 VITE_PREVIEW_VIDEO_URL 配置,修改后重启前端;详见 客户端说明。
客户端 API 地址通过 client/.env 中的 VITE_API_URL 配置,未配置或留空时默认 http://localhost:8000。
端口冲突时可按服务端说明改为 8010,并同步设置 VITE_API_URL=http://localhost:8010。模板库共享,不迁移旧项目数据。
客户端按页面、业务组件、基础 UI 和共享工具分层;结构见 client/README.md,
最小改动与源码注释要求见 AGENTS.md。
# 运行客户端核心测试(不需要后端或 SDK)
bun run test
# 编译前端(包含 TypeScript 检查)
bun run build
# 编译桌面程序和安装包
bun run tauri build本地安装包输出到 client/src-tauri/target/release/bundle/。
.github/workflows/client-build.yml 参考 DropOut 的平台矩阵、缓存及产物上传配置。
push / PR 统一由 validation.yml 按改动范围调度,避免每次提交重复生成安装包。
| 事件 | 检查与构建 |
|---|---|
| 开发分支 push | 按改动检查;同一提交已有 PR 时跳过重复任务 |
| PR | 前端核心测试与构建、服务端 pytest / 包构建按需执行;涉及 Rust/Tauri、客户端依赖或 CI 时做四平台原生编译检查,不打包 |
| 默认分支 push | 按需验证集成结果;客户端或 CI 改动生成四平台安装包 |
| 正式 tag | 完整四平台打包、附件校验及 Release 发布 |
| 手动运行 | Validate project 执行全部检查;Build client 生成全部安装包 |
纯前端改动不跑 Rust 矩阵,纯服务端改动不构建客户端,纯文档 PR 由 pre-commit.ci 检查。
PR 的统一结果是 CI result,分支保护建议同时要求该检查和 pre-commit.ci;不建议要求会按路径跳过的单个平台 job。
cargo check 验证原生代码与依赖的编译,不替代完整链接、安装器构建和安装验证。
| 平台 | 架构 | 安装包 |
|---|---|---|
| Windows | x64 | NSIS exe、MSI |
| Linux | x64 | deb、AppImage |
| macOS | Apple Silicon、Intel | dmg |
从 Actions 对应运行的 Artifacts 下载产物,保留 14 天。CI 使用依赖锁文件,不需要额外配置发布密钥。 当前安装包未配置代码签名或 macOS 公证;正式分发时需另行配置。
涉及 CI、原生代码或客户端依赖时,验证流程运行 actionlint、CI 调度与发布回归测试,
并在临时副本中验证版本注入和锁文件。服务端改动运行 pytest 和 uv build --project server。
同一分支的新提交会取消旧检查;PR 与 push 使用独立并发组,避免相互取消。
根目录的 .pre-commit-config.yaml 为 pre-commit.ci 提供基础检查:空白和文件末尾、
YAML / JSON / TOML 与 Python 语法、合并冲突、文件名大小写冲突和私钥检测。
TypeScript 配置允许注释,由客户端 CI 中的 TypeScript 检查验证。
机器人修复和依赖更新的提交信息遵循 Conventional Commits。
本地安装 uv 后,在仓库根目录执行:
uvx pre-commit run --all-files
# 可选:安装本地 Git 提交钩子
uvx pre-commit installBun / Rust 构建和发布脚本验证仍由 GitHub Actions 执行。
.github/workflows/release.yml 在推送 vX.Y.Z 格式的正式版本 tag 时触发。
流程会先校验 tag 格式,再复用客户端 CI 构建 Windows x64、Linux x64、
macOS ARM64 / Intel 安装包;所有构建成功后才创建 GitHub Release。
安装包和 CHANGELOG.md 都会作为 Release 附件上传,Release 正文使用自动生成的变更记录。
正式版本由 tag 唯一决定,无需手动修改版本文件。 各平台 CI 会将 v0.2.0
解析为 0.2.0,自动写入构建工作区中的 package.json、tauri.conf.json、
Cargo.toml 及 Cargo.lock 的客户端包版本,保留已锁定的依赖版本,然后校验并构建。
bun.lock 不记录根项目版本,发布时保持不变,并通过冻结锁文件安装验证。
这些版本修改不提交回仓库;本地开发继续使用源码中的开发版本,只有 CHANGELOG 会回写。
例如发布 0.2.0(先提交源码,并确保发布工作流已包含在该提交中):
git tag -a v0.2.0 -m "Release v0.2.0"
git push origin v0.2.0日志使用与 HydroRoll 示例
相同的 requarks/changelog-action,按 Conventional Commits 分类生成。
比较范围为前一个祖先版本 tag 到当前 tag;首次发布以仓库最初提交为基线,不包含最初的引导提交。
发布成功后,机器人用 docs: update CHANGELOG.md for vX.Y.Z [skip ci]
提交到仓库的默认分支,不移动 tag,也不把默认分支源码混入安装包。
无需额外发布密钥,使用内置 GITHUB_TOKEN;仓库策略必须允许该 job 的 contents: write
权限及机器人向默认分支提交。若默认分支保护规则禁止此类提交,需允许机器人写入后重跑失败的 job。
发布先创建或更新草稿,校验六个安装包与 CHANGELOG.md 全部上传完成后才公开。
失败时可在 Actions 中重跑;草稿可继续上传,已公开 Release 的附件和正文保持不变,日志回写可单独补齐。
不同 tag 独立运行,避免互相取消等待中的发布。日志回写每次获取最新默认分支,
仅合并当前版本条目,按版本号降序排列;遇到并发提交最多尝试五次,不强制推送,也不重复插入已有版本。
目前只接受正式版本(不含 -beta / -rc),且版本须满足 Windows MSI 的数值限制。
正式构建仍使用上述未签名安装包配置,代码签名和 macOS 公证需另行接入。
Linux AppImage 启用 bundle.linux.appimage.bundleMediaFramework,Ubuntu 构建环境显式安装
gstreamer1.0-plugins-base 与 gstreamer1.0-plugins-good。打包后运行
bash .github/scripts/check-appimage-media.sh <AppImage路径>,解包检查 appsrc/appsink
与 autoaudiosink 所属插件实际存在;检查失败不上传安装包。
该检查验证插件打包,不保证 NVIDIA/EGL 渲染兼容或视频播放成功。