Skip to content

AI 基建 #3

@mimo-x

Description

@mimo-x

🧠 Issue 笔记:LLM API 转发与适配方案调研

🔹 模型路由与兼容层

Claude Code Router

多模型请求的路由与转发工具,用于统一管理不同模型接口。
可在多后端模型间灵活切换,适合构建多模型协作或冗余系统。


LiteLLM

统一封装主流大模型 API(如 OpenAI、Anthropic、Gemini 等),
屏蔽各平台 API 差异,提供统一调用接口,方便上层业务接入。


UnionLLM

基于 LiteLLM 扩展,增加国内模型(智谱、百度、阿里、讯飞等)的兼容支持。
适合需要同时接入国际与国内模型的多源系统。


🔹 LLM API 转发层

new-api

提供统一的多模型 API 转发与代理服务。
支持多种模型后端与自定义转发策略,用于构建灵活的中间层。


one-api

兼容 OpenAI 标准接口的转发系统。
可代理请求至多个模型后端,是目前应用最广泛的 LLM 中转层方案之一。


one-hub

one-api 基础上扩展,
提供更灵活的模型分发、负载管理和权限控制功能,
适用于多模型混合部署场景。


Metadata

Metadata

Assignees

No one assigned

    Labels

    AIAI 相关内容tool

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions