AI-Gateway：一款整合了OpenAI、Anthropic、LLama2等大语言模型的统一AP...

关于AI-Gateway

AI-Gateway是一款针对大语言模型的统一API接口，该接口可以用在应用程序和托管的大语言模型（LLM）之间，该工具可以允许我们通过一个统一的API接口将API请求转发给OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等大语言模型。

功能特性

> 1、功能非常快，体积非常小；
>
> 2、跨多模型和提供商实现负载均衡；
>
> 3、支持回退以确保应用程序保持弹性；
>
> 4、默认配置下，支持自动重试；
>
> 5、可根据需要安装中间件；
>
> 6、支持多种大语言模型；

支持的SDK


编程语言	支持的SDK
Node.js / JS / TS	Portkey SDK OpenAI SDK LangchainJS LlamaIndex.TS
Python	Portkey SDK OpenAI SDK Langchain LlamaIndex
Go	go-openai
Java	openai-java
Rust	async-openai
Ruby	ruby-openai

工具安装&部署

本地部署

如果你熟悉Node.js和npx的话，可以直接在本地安装和部署你自己的AI-Gateway：

npx @portkey-ai/gateway

安装完成后，就可以打开浏览器并访问下列地址使用AI-Gateway了：

http://localhost:8787

Cloudflare Worker部署

使用下列命令将该项目源码克隆至本地：

git clone https://github.com/portkey-ai/gateway

然后安装NPM依赖：

cd gateway

npm i

使用wrangler部署即可：

npm run deploy

Node.js部署

使用下列命令将该项目源码克隆至本地：

git clone https://github.com/portkey-ai/gateway

然后安装NPM依赖：

cd gateway

npm i

npm run build

然后运行Node服务器：

node build/start-server.js

Docker部署

广大研究人员也可以直接使用Docker来运行AI-Gateway：

docker run -d -p 8787:8787 portkeyai/gateway:latest

Docker-Compose部署

使用下列命令下载Compose文件：

wget "https://raw.githubusercontent.com/Portkey-AI/gateway/main/docker-compose.yaml"

然后运行Docker-Compose即可：

docker compose up -d

服务当前会运行并监听8787端口。

AI-Gateway配置

AI-Gateway支持通过自定义配置来实现多功能路由策略，例如回退、负载均衡和自动重连等。

我们可以通过x-portkey-config Header在调用OpenAI时应用下列配置信息：

// 使用OpenAI JS SDK时

const client = new OpenAI({

&nbsp;&nbsp;baseURL: "http://127.0.0.1:8787", // The gateway URL

&nbsp;&nbsp;defaultHeaders: {

&nbsp;&nbsp;&nbsp;&nbsp;'x-portkey-config': {.. your config here ..},

&nbsp;&nbsp;}

});

下面给出的样例配置会在回退至Gemini Pro之前尝试向OpenAI发送5次请求：

{

&nbsp;&nbsp;"retry": { "count": 5 },

&nbsp;&nbsp;"strategy": { "mode": "fallback" },

&nbsp;&nbsp;"targets": [{

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"provider": "openai",

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"api_key": "sk-***"

&nbsp;&nbsp;&nbsp;&nbsp;},{

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"provider": "google",

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"api_key": "gt5***",

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"override_params": {"model": "gemini-pro"}

&nbsp;&nbsp;}]

}

下面的配置将启动负载均衡功能：

{

&nbsp;&nbsp;"strategy": { "mode": "loadbalance" },

&nbsp;&nbsp;"targets": [{

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"provider": "openai",

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"api_key": "sk-***",

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"weight": "0.5"

&nbsp;&nbsp;&nbsp;&nbsp;},{

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"provider": "openai",

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"api_key": "sk-***",

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"weight": "0.5"

&nbsp;&nbsp;&nbsp;&nbsp;}

&nbsp;&nbsp;]

}

工具使用

下面的例子中，我们将通过AI-Gateway尝试向OpenAI发送一个Chat completions调用：

curl '127.0.0.1:8787/v1/chat/completions' \

&nbsp;&nbsp;-H 'x-portkey-provider: openai' \

&nbsp;&nbsp;-H "Authorization: Bearer $OPENAI_KEY" \

&nbsp;&nbsp;-H 'Content-Type: application/json' \

&nbsp;&nbsp;-d '{"messages": [{"role": "user","content": "Say this is test."}], "max_tokens": 20, "model": "gpt-4"}'

许可证协议

本项目的开发与发布遵循 MIT 开源许可证协议。

项目地址

AI-Gateway：【 GitHub传送门】

参考资料

[https://portkey.ai/features/ai-gateway](https://portkey.ai/features/ai-gateway)

[https://hub.docker.com/r/portkeyai/gateway](https://hub.docker.com/r/portkeyai/gateway)