110 lines
3.5 KiB
Markdown
110 lines
3.5 KiB
Markdown
# 卡若AI API 接口排队与故障切换规则
|
||
|
||
## 1. 本机已识别的 AI 接口配置入口
|
||
|
||
- 网关代码入口：`运营中枢/scripts/karuo_ai_gateway/main.py`
|
||
- 网关说明文档：`运营中枢/scripts/karuo_ai_gateway/README.md`
|
||
- 网关配置样例：`运营中枢/scripts/karuo_ai_gateway/config/gateway.example.yaml`
|
||
- API Key 本地填写文件：`运营中枢/scripts/karuo_ai_gateway/.env.api_keys.local`
|
||
|
||
当前支持的接口变量（不含明文密钥）：
|
||
|
||
- 单接口：`OPENAI_API_BASE` / `OPENAI_API_KEY` / `OPENAI_MODEL`
|
||
- 队列接口：`OPENAI_API_BASES` / `OPENAI_API_KEYS` / `OPENAI_MODELS`
|
||
- 告警邮箱：`ALERT_EMAIL_TO` / `SMTP_HOST` / `SMTP_PORT` / `SMTP_USER` / `SMTP_PASS`
|
||
|
||
---
|
||
|
||
## 2. 规则目标
|
||
|
||
1. 任一接口超时或异常，自动切换到下一个接口。
|
||
2. 只要队列中有一个接口可用，必须返回正常回复。
|
||
3. 全部接口不可用时，自动发邮件到 `zhiqun@qq.com`，并返回降级回复，不能空响应。
|
||
|
||
---
|
||
|
||
## 3. 可直接使用的配置模板
|
||
|
||
```bash
|
||
# 1) 接口队列（按顺序）
|
||
export OPENAI_API_BASES="https://api.openai.com/v1,https://openrouter.ai/api/v1,https://your-backup-api/v1"
|
||
|
||
# 2) 对应密钥（顺序与上面一致；可先只填一个，会回退到 OPENAI_API_KEY）
|
||
export OPENAI_API_KEYS="sk-main,sk-backup,sk-third"
|
||
|
||
# 3) 对应模型（可选，不填则回退 OPENAI_MODEL）
|
||
export OPENAI_MODELS="gpt-4o-mini,openai/gpt-4o-mini,gpt-4o-mini"
|
||
|
||
# 4) 单接口兜底（建议保留）
|
||
export OPENAI_API_BASE="https://api.openai.com/v1"
|
||
export OPENAI_API_KEY="sk-main"
|
||
export OPENAI_MODEL="gpt-4o-mini"
|
||
|
||
# 5) 全挂告警邮件
|
||
export ALERT_EMAIL_TO="zhiqun@qq.com"
|
||
export SMTP_HOST="smtp.qq.com"
|
||
export SMTP_PORT="465"
|
||
export SMTP_USER="zhiqun@qq.com"
|
||
export SMTP_PASS="你的QQ邮箱授权码"
|
||
```
|
||
|
||
如需直接本地填写，优先编辑：
|
||
|
||
`/Users/karuo/Documents/个人/卡若AI/运营中枢/scripts/karuo_ai_gateway/.env.api_keys.local`
|
||
|
||
---
|
||
|
||
## 4. 执行逻辑（网关内置）
|
||
|
||
1. 读取 `OPENAI_API_BASES` 队列。
|
||
2. 按顺序逐个请求上游接口。
|
||
3. 某个接口成功（HTTP 200）即返回结果，不再继续重试后续接口。
|
||
4. 失败（超时/异常/非 200）则自动切到下一接口。
|
||
5. 若全部失败：
|
||
- 发送告警邮件（默认带 300 秒冷却，避免刷屏）；
|
||
- 返回可读降级回复，保证前端有响应。
|
||
|
||
---
|
||
|
||
## 5. 验证清单
|
||
|
||
1. 停掉第一个接口或改错第一个 key，确认仍能正常回复（证明切换生效）。
|
||
2. 同时让全部接口不可用，确认收到 `zhiqun@qq.com` 告警。
|
||
3. 查看网关响应：不应出现空白回复或长时间卡死。
|
||
|
||
---
|
||
|
||
## 6. 本机全量模式（不走 NAS / 不走服务器）
|
||
|
||
### 6.1 域名映射到本机
|
||
|
||
在本机 `/etc/hosts` 增加一行（默认用本机回环地址）：
|
||
|
||
```text
|
||
127.0.0.1 kr-ai.quwanzhi.com
|
||
```
|
||
|
||
> 如你要改成其他本机网卡地址（例如你说的 `121.0.0.1`），把 `127.0.0.1` 替换成对应地址即可。
|
||
|
||
### 6.2 启动本机网关
|
||
|
||
```bash
|
||
cd /Users/karuo/Documents/个人/卡若AI/运营中枢/scripts/karuo_ai_gateway
|
||
cp .env.api_keys.local .env
|
||
set -a; source .env; set +a
|
||
.venv/bin/python -m uvicorn main:app --host 127.0.0.1 --port 18080
|
||
```
|
||
|
||
### 6.3 本机调用地址
|
||
|
||
- 健康检查：`http://127.0.0.1:18080/v1/health`
|
||
- 对话接口：`http://127.0.0.1:18080/v1/chat/completions`
|
||
- 域名模式：`http://kr-ai.quwanzhi.com:18080/v1/chat/completions`
|
||
|
||
### 6.4 Cursor 配置
|
||
|
||
- Override OpenAI Base URL：`http://kr-ai.quwanzhi.com:18080`
|
||
- OpenAI API Key：`karuo-stable-20260225`
|
||
- Model：`karuo-ai`
|
||
|