LocalAI Embeddings

LocalAI设置

LocalAI是一个即插即用的REST API替代品，它与OpenAI API规范兼容，可用于本地推理。它允许您使用消费级硬件在本地或本地部署环境中运行大型语言模型（LLM）（且不仅限于此），支持与ggml格式兼容的多个模型系列。

要在Flowise中使用LocalAI Embeddings，请按照以下步骤操作：

  1. 使用Git克隆 https://github.com/go-skynet/LocalAI
  2. cd LocalAI

  3. LocalAI提供了一个API端点来下载/安装模型。在本例中，我们将使用BERT嵌入模型：

  1. 在 /models 文件夹中，你应该能看到下载的模型：

  1. 现在，您可以测试嵌入向量了：

使用curl命令访问http://localhost:8080/v1/embeddings接口，并设置请求头Content-Type为application/json，同时传递以下JSON数据：{
    "input": "测试",，
    “模型”：“text-embedding-ada-002”
  }'

  1. 回复应如下：

Flowise设置

将一个新的LocalAIEmbeddings组件拖放到画布上：

填写以下字段：

  • 基础路径：LocalAI的基础URL，例如http://localhost:8080/v1

  • 模型名称：您想要使用的模型。请注意，该模型必须位于LocalAI目录的/models文件夹中。例如：text-embedding-ada-002

就是这样！如需更多信息，请参阅LocalAI文档（https://localai.io/models/index.html#embeddings-bert）。

PreviousHuggingFace Inference EmbeddingsNextMistralAI Embeddings

Last updated