ChatLocalAI

LocalAI设置

LocalAI是一个即插即用的REST API替代品，它与OpenAI API规范兼容，可用于本地推理。它允许您使用消费级硬件在本地或本地部署环境中运行大型语言模型（LLM）（且不仅限于此），支持与ggml格式兼容的多个模型系列。

要在Flowise中使用ChatLocalAI，请按照以下步骤操作：

  1. Bash脚本 使用Git克隆https://github.com/go-skynet/LocalAI

  2. cd LocalAI

  3. Bash脚本

    将你的模型复制到 models/ 目录下

    将 your-model.bin 文件复制到 models/ 目录中

例如：

从gpt4all.io下载其中一个模型

# 将gpt4all-j下载到models/目录下
使用wget命令从https://gpt4all.io下载ggml-gpt4all-j.bin模型文件，并将其保存到models/ggml-gpt4all-j目录中

在 /models 文件夹中，你应该能看到下载的模型：

请参阅此处以获取支持模型的列表。

  1. Bash脚本 docker compose up -d --pull always

  2. 现在，API可以在localhost:8080上访问

# 测试API
使用curl命令访问http://localhost:8080/v1/models
# {"object":"list","data":[{"id":"ggml-gpt4all-j.bin","object":"model"}]}

Flowise设置

将一个新的ChatLocalAI组件拖放到画布上：

填写以下字段：

  • 基础路径：LocalAI的基础URL，例如http://localhost:8080/v1

  • 模型名称：您想要使用的模型。请注意，该模型必须位于LocalAI目录的/models文件夹中。例如：ggml-gpt4all-j.bin

{% 提示 style="信息" %}

如果你同时在Docker上运行Flowise和LocalAI，你可能需要将基础路径更改为http://host.docker.internal:8080/v1。对于基于Linux的系统，由于host.docker.internal不可用，应使用默认的docker网关：http://172.17.0.1:8080/v1

就是这样！如需更多信息，请参阅LocalAI文档。

观看如何在Flowise上使用LocalAI

PreviousChatHuggingFaceNextChatMistralAI

Last updated