Skip to content

About

企业级AI大模型统一管理平台 - Enterprise AI Gateway Platform

Resources

Stars

1 star

Watchers

0 watching

Forks

Latest commit

 

History

1 Commit

Folders and files

Repository files navigation

AI Platform Cursor 🚀

企业级AI大模型统一管理平台 - Enterprise AI Gateway Platform

License: MIT Docker LiteeLM

📋 项目简介

AI Platform Cursor 是一个基于LiteeLM构建的企业级AI大模型统一管理平台,为企业提供100+AI模型的统一接口、用户管理、成本控制和监控告警功能。

✨ 核心特性

  • 🤖 多模型支持: 统一管理100+AI大模型(OpenAI、Anthropic、Google、AWS等)
  • 👥 企业级用户管理: 多租户架构,支持组织/部门/项目三级管理
  • 🔐 权限控制: 基于RBAC的6级权限体系
  • 💰 成本控制: 多层级预算管理和实时成本跟踪
  • 📊 监控告警: Prometheus + Grafana 专业监控
  • 🎯 负载均衡: 智能路由和故障转移
  • 🖥️ 管理控制台: 现代化React前端界面

🏗️ 系统架构

┌─────────────┐    ┌─────────────┐    ┌─────────────┐
│   前端UI    │───▶│   API网关   │───▶│  LiteeLM   │
│  React +    │    │  FastAPI +  │    │   代理服务  │
│  Ant Design │    │  认证授权   │    │             │
└─────────────┘    └─────────────┘    └─────────────┘
                           │                   │
                           ▼                   ▼
                   ┌─────────────┐    ┌─────────────┐
                   │   数据存储   │    │  AI模型提供商 │
                   │ PostgreSQL  │    │ OpenAI/Claude│
                   │   + Redis   │    │ Gemini/etc. │
                   └─────────────┘    └─────────────┘

🚀 快速开始

前置要求

  • Docker & Docker Compose
  • 8GB+ 可用内存
  • 10GB+ 可用磁盘空间

一键部署

# 1. 克隆仓库
git clone https://github.com/yourusername/AI-Platform-Cursor.git
cd AI-Platform-Cursor

# 2. 启动服务
chmod +x scripts/deploy.sh
./scripts/deploy.sh

手动部署

# 1. 复制环境配置
cp env.example .env

# 2. 编辑配置文件(可选)
vim .env

# 3. 启动所有服务
docker-compose up -d

# 4. 查看服务状态
docker-compose ps

🌐 服务访问

服务 地址 说明
🖥️ 前端UI控制台 http://localhost:3000 管理控制台
🔧 API服务 http://localhost:8000 RESTful API
📚 API文档 http://localhost:8000/docs Swagger文档
❤️ 健康检查 http://localhost:8000/health 服务状态
📊 Prometheus http://localhost:9090 监控指标
📈 Grafana http://localhost:3001 可视化仪表板

默认登录信息

  • Grafana: admin / admin

🛠️ 技术栈

后端

  • FastAPI: 高性能Web框架
  • LiteeLM: AI模型统一接口
  • PostgreSQL: 主数据库
  • Redis: 缓存和会话存储
  • SQLAlchemy: ORM框架

前端

  • React 18: 现代化前端框架
  • Ant Design: 企业级UI组件库
  • Axios: HTTP客户端

监控

  • Prometheus: 指标收集
  • Grafana: 数据可视化
  • Docker: 容器化部署

DevOps

  • Docker Compose: 服务编排
  • Nginx: 反向代理
  • GitHub Actions: CI/CD(规划中)

📁 项目结构

AI-Platform-Cursor/
├── backend/                 # 后端API服务
│   ├── app/                # 应用代码
│   │   ├── api/           # API路由
│   │   ├── core/          # 核心模块
│   │   ├── models.py      # 数据模型
│   │   └── main.py        # 应用入口
│   ├── Dockerfile         # 后端镜像
│   └── requirements.txt   # Python依赖
├── frontend/               # 前端React应用
│   ├── src/               # 源代码
│   ├── public/            # 静态资源
│   ├── Dockerfile         # 前端镜像
│   └── package.json       # Node依赖
├── config/                 # 配置文件
│   ├── litellm-config.yaml # LiteeLM配置
│   ├── prometheus.yml      # 监控配置
│   └── nginx/             # Nginx配置
├── scripts/                # 部署脚本
│   └── deploy.sh          # 一键部署
├── docs/                   # 文档
├── docker-compose.yml      # 服务编排
├── env.example            # 环境变量模板
└── README.md              # 项目文档

⚙️ 配置说明

环境变量

主要配置项:

# 数据库配置
POSTGRES_PASSWORD=your_secure_password
REDIS_PASSWORD=your_redis_password

# JWT配置
JWT_SECRET_KEY=your_super_secret_jwt_key

# LiteeLM配置
LITELLM_MASTER_KEY=your_litellm_master_key

# AI模型API密钥
OPENAI_API_KEY=your_openai_key
ANTHROPIC_API_KEY=your_anthropic_key
GOOGLE_API_KEY=your_google_key

LiteeLM模型配置

在 config/litellm-config.yaml 中配置支持的AI模型:

model_list:
  # OpenAI模型
  - model_name: gpt-4
    litellm_params:
      model: gpt-4
      api_key: ${OPENAI_API_KEY}
  
  # Anthropic模型
  - model_name: claude-3-sonnet
    litellm_params:
      model: anthropic/claude-3-sonnet-20240229
      api_key: ${ANTHROPIC_API_KEY}

🔧 API使用示例

认证

# 获取访问令牌
curl -X POST "http://localhost:8000/api/v1/auth/token" \
  -H "Content-Type: application/json" \
  -d '{"username": "admin", "password": "password"}'

模型调用

# 调用GPT-4
curl -X POST "http://localhost:8000/api/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Python SDK示例

import requests

# 配置
BASE_URL = "http://localhost:8000"
API_KEY = "your_api_key"

# 调用AI模型
response = requests.post(
    f"{BASE_URL}/api/v1/chat/completions",
    headers={"Authorization": f"Bearer {API_KEY}"},
    json={
        "model": "gpt-4",
        "messages": [{"role": "user", "content": "Hello AI!"}]
    }
)

print(response.json())

📊 监控和告警

Prometheus指标

  • API请求数量和延迟
  • 模型调用统计
  • 系统资源使用
  • 错误率监控

Grafana仪表板

  • 系统总览
  • API性能监控
  • 成本分析
  • 用户活跃度

🔒 安全特性

  • JWT令牌认证
  • API密钥管理
  • RBAC权限控制
  • 数据加密传输
  • SQL注入防护
  • CORS安全策略

📈 性能优化

  • Redis缓存策略
  • 数据库连接池
  • 异步请求处理
  • 负载均衡
  • 健康检查机制

🛣️ 开发路线图

  • v1.1: Kubernetes部署支持
  • v1.2: 多语言SDK支持
  • v1.3: 高级监控告警
  • v1.4: AI模型微调支持
  • v1.5: 企业级SSO集成

🤝 贡献指南

欢迎贡献代码!请遵循以下步骤:

  1. Fork 本仓库
  2. 创建特性分支 (git checkout -b feature/AmazingFeature)
  3. 提交更改 (git commit -m 'Add some AmazingFeature')
  4. 推送到分支 (git push origin feature/AmazingFeature)
  5. 开启 Pull Request

📝 许可证

本项目采用 MIT 许可证 - 查看 LICENSE 文件了解详情。

🆘 支持

📞 联系我们


⭐ 如果这个项目对您有帮助,请给我们一个星标!

About

企业级AI大模型统一管理平台 - Enterprise AI Gateway Platform

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages