LiteLLM Proxy

使用带有Flowise的LiteLLM Proxy可以：

  • 对Azure OpenAI/LLM端点进行负载均衡

  • 调用OpenAI格式的100多个大型语言模型（LLM）

  • 使用虚拟密钥来设置预算、费率限制并跟踪使用情况

如何将LiteLLM Proxy与Flowise结合使用

步骤1：在LiteLLM的config.yaml文件中定义您的LLM模型

LiteLLM需要一个包含所有已定义模型的配置文件——我们将此文件命名为litellm_config.yaml

有关如何设置litellm配置的详细文档 - 请点击此处


/// 译文内容：
---
根据上面的信息，执行如下指令：
你是个专业的翻译，负责把英语内容翻译成中文内容，请帮我翻译一下原文内容
模型列表：
  - 模型名称：GPT-4
    litellm_params：
      模型：azure/chatgpt-v-2
      api_base: https://openai-gpt-4-test-v-1.openai.azure.com/
      api_version: "2023-05-15"
      api_key：
  - 模型名称：GPT-4
    litellm_params：
      模型：azure/gpt-4
      api_key：
      api_base: https://openai-gpt-4-test-v-2.openai.azure.com/
  - 模型名称：GPT-4
    litellm_params：
      模型：azure/gpt-4
      api_key：
      api_base: https://openai-gpt-4-test-v-2.openai.azure.com/

步骤2. 启动litellm代理


/// 译文内容：
---
根据上面的信息，执行如下指令：
您想翻译的文本可能是错误或缺失的，请检查输入
docker run \
    -v $(pwd)/litellm_config.yaml:/app/config.yaml \
    -p 4000:4000 \
    ghcr.io/berriai/litellm:main-latest \
    --config /app/config.yaml --detailed_debug

成功后，代理将在http://localhost:4000/上开始运行

步骤3：在Flowise中使用LiteLLM代理

在Flowise中，指定标准OpenAI节点（而非Azure OpenAI节点）——这适用于聊天模型、嵌入、大型语言模型（LLM）——所有内容

  • 将BasePath设置为LiteLLM代理URL（本地运行时为http://localhost:4000）

  • 设置以下请求头：Authorization: Bearer <your-litellm-master-key>

PreviousZep Collection - CloudNextLlamaIndex

Last updated