🧠 Issue 笔记:LLM API 转发与适配方案调研
🔹 模型路由与兼容层
多模型请求的路由与转发工具,用于统一管理不同模型接口。
可在多后端模型间灵活切换,适合构建多模型协作或冗余系统。
统一封装主流大模型 API(如 OpenAI、Anthropic、Gemini 等),
屏蔽各平台 API 差异,提供统一调用接口,方便上层业务接入。
基于 LiteLLM 扩展,增加国内模型(智谱、百度、阿里、讯飞等)的兼容支持。
适合需要同时接入国际与国内模型的多源系统。
🔹 LLM API 转发层
提供统一的多模型 API 转发与代理服务。
支持多种模型后端与自定义转发策略,用于构建灵活的中间层。
兼容 OpenAI 标准接口的转发系统。
可代理请求至多个模型后端,是目前应用最广泛的 LLM 中转层方案之一。
在 one-api 基础上扩展,
提供更灵活的模型分发、负载管理和权限控制功能,
适用于多模型混合部署场景。
🧠 Issue 笔记:LLM API 转发与适配方案调研
🔹 模型路由与兼容层
Claude Code Router
LiteLLM
UnionLLM
🔹 LLM API 转发层
new-api
one-api
one-hub