企业级AI大模型统一管理平台 - Enterprise AI Gateway Platform
AI Platform Cursor 是一个基于LiteeLM构建的企业级AI大模型统一管理平台,为企业提供100+AI模型的统一接口、用户管理、成本控制和监控告警功能。
- 🤖 多模型支持: 统一管理100+AI大模型(OpenAI、Anthropic、Google、AWS等)
- 👥 企业级用户管理: 多租户架构,支持组织/部门/项目三级管理
- 🔐 权限控制: 基于RBAC的6级权限体系
- 💰 成本控制: 多层级预算管理和实时成本跟踪
- 📊 监控告警: Prometheus + Grafana 专业监控
- 🎯 负载均衡: 智能路由和故障转移
- 🖥️ 管理控制台: 现代化React前端界面
┌─────────────┐ ┌─────────────┐ ┌─────────────┐
│ 前端UI │───▶│ API网关 │───▶│ LiteeLM │
│ React + │ │ FastAPI + │ │ 代理服务 │
│ Ant Design │ │ 认证授权 │ │ │
└─────────────┘ └─────────────┘ └─────────────┘
│ │
▼ ▼
┌─────────────┐ ┌─────────────┐
│ 数据存储 │ │ AI模型提供商 │
│ PostgreSQL │ │ OpenAI/Claude│
│ + Redis │ │ Gemini/etc. │
└─────────────┘ └─────────────┘
- Docker & Docker Compose
- 8GB+ 可用内存
- 10GB+ 可用磁盘空间
# 1. 克隆仓库
git clone https://github.com/yourusername/AI-Platform-Cursor.git
cd AI-Platform-Cursor
# 2. 启动服务
chmod +x scripts/deploy.sh
./scripts/deploy.sh# 1. 复制环境配置
cp env.example .env
# 2. 编辑配置文件(可选)
vim .env
# 3. 启动所有服务
docker-compose up -d
# 4. 查看服务状态
docker-compose ps| 服务 | 地址 | 说明 |
|---|---|---|
| 🖥️ 前端UI控制台 | http://localhost:3000 | 管理控制台 |
| 🔧 API服务 | http://localhost:8000 | RESTful API |
| 📚 API文档 | http://localhost:8000/docs | Swagger文档 |
| ❤️ 健康检查 | http://localhost:8000/health | 服务状态 |
| 📊 Prometheus | http://localhost:9090 | 监控指标 |
| 📈 Grafana | http://localhost:3001 | 可视化仪表板 |
- Grafana: admin / admin
- FastAPI: 高性能Web框架
- LiteeLM: AI模型统一接口
- PostgreSQL: 主数据库
- Redis: 缓存和会话存储
- SQLAlchemy: ORM框架
- React 18: 现代化前端框架
- Ant Design: 企业级UI组件库
- Axios: HTTP客户端
- Prometheus: 指标收集
- Grafana: 数据可视化
- Docker: 容器化部署
- Docker Compose: 服务编排
- Nginx: 反向代理
- GitHub Actions: CI/CD(规划中)
AI-Platform-Cursor/
├── backend/ # 后端API服务
│ ├── app/ # 应用代码
│ │ ├── api/ # API路由
│ │ ├── core/ # 核心模块
│ │ ├── models.py # 数据模型
│ │ └── main.py # 应用入口
│ ├── Dockerfile # 后端镜像
│ └── requirements.txt # Python依赖
├── frontend/ # 前端React应用
│ ├── src/ # 源代码
│ ├── public/ # 静态资源
│ ├── Dockerfile # 前端镜像
│ └── package.json # Node依赖
├── config/ # 配置文件
│ ├── litellm-config.yaml # LiteeLM配置
│ ├── prometheus.yml # 监控配置
│ └── nginx/ # Nginx配置
├── scripts/ # 部署脚本
│ └── deploy.sh # 一键部署
├── docs/ # 文档
├── docker-compose.yml # 服务编排
├── env.example # 环境变量模板
└── README.md # 项目文档
主要配置项:
# 数据库配置
POSTGRES_PASSWORD=your_secure_password
REDIS_PASSWORD=your_redis_password
# JWT配置
JWT_SECRET_KEY=your_super_secret_jwt_key
# LiteeLM配置
LITELLM_MASTER_KEY=your_litellm_master_key
# AI模型API密钥
OPENAI_API_KEY=your_openai_key
ANTHROPIC_API_KEY=your_anthropic_key
GOOGLE_API_KEY=your_google_key在 config/litellm-config.yaml 中配置支持的AI模型:
model_list:
# OpenAI模型
- model_name: gpt-4
litellm_params:
model: gpt-4
api_key: ${OPENAI_API_KEY}
# Anthropic模型
- model_name: claude-3-sonnet
litellm_params:
model: anthropic/claude-3-sonnet-20240229
api_key: ${ANTHROPIC_API_KEY}# 获取访问令牌
curl -X POST "http://localhost:8000/api/v1/auth/token" \
-H "Content-Type: application/json" \
-d '{"username": "admin", "password": "password"}'# 调用GPT-4
curl -X POST "http://localhost:8000/api/v1/chat/completions" \
-H "Authorization: Bearer YOUR_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-4",
"messages": [{"role": "user", "content": "Hello!"}]
}'import requests
# 配置
BASE_URL = "http://localhost:8000"
API_KEY = "your_api_key"
# 调用AI模型
response = requests.post(
f"{BASE_URL}/api/v1/chat/completions",
headers={"Authorization": f"Bearer {API_KEY}"},
json={
"model": "gpt-4",
"messages": [{"role": "user", "content": "Hello AI!"}]
}
)
print(response.json())- API请求数量和延迟
- 模型调用统计
- 系统资源使用
- 错误率监控
- 系统总览
- API性能监控
- 成本分析
- 用户活跃度
- JWT令牌认证
- API密钥管理
- RBAC权限控制
- 数据加密传输
- SQL注入防护
- CORS安全策略
- Redis缓存策略
- 数据库连接池
- 异步请求处理
- 负载均衡
- 健康检查机制
- v1.1: Kubernetes部署支持
- v1.2: 多语言SDK支持
- v1.3: 高级监控告警
- v1.4: AI模型微调支持
- v1.5: 企业级SSO集成
欢迎贡献代码!请遵循以下步骤:
- Fork 本仓库
- 创建特性分支 (
git checkout -b feature/AmazingFeature) - 提交更改 (
git commit -m 'Add some AmazingFeature') - 推送到分支 (
git push origin feature/AmazingFeature) - 开启 Pull Request
本项目采用 MIT 许可证 - 查看 LICENSE 文件了解详情。
- 项目维护者: @yourusername
- 邮箱: your.email@domain.com
⭐ 如果这个项目对您有帮助,请给我们一个星标!