NVIDIA NIM

本地

关于使用Flowise运行NIM的重要提示

如果现有的NIM实例已在运行（例如，通过NVIDIA的ChatRTX），则通过Flowise启动另一个实例时如果不检查现有端点，可能会导致冲突。当在同一NIM上执行多个podman run命令时，会出现此问题，从而导致失败。

如需支持，请参考：

先决条件

  1. 使用WSL2在本地设置NVIDIA NIM。

Flowise

  1. 聊天模型 > 拖动 Chat NVIDIA NIM 节点 > 点击 本地设置 NIM。

  1. 如果已安装NIM，请点击下一步。否则，请点击下载以启动安装程序。

  1. 选择一个模型图像进行下载。

  1. 选择完毕后，点击下一步继续下载。

  1. 下载图片 – 下载时长取决于网速。

  1. 了解更多关于放宽内存限制的信息。 主机端口是容器映射到本地机器的端口。

  1. 正在启动容器...

注意：如果您已经有一个运行所选模型的容器，Flowise会询问您是否要重用正在运行的容器。您可以选择重用正在运行的容器，或者启动一个具有不同端口的新容器。

  1. 保存聊天流程

  2. 🎉 瞧！ 您的 Chat NVIDIA NIM 节点现在可以在 Flowise 中使用了！

云服务

先决条件

  1. 登录或注册NVIDIA。

  2. 在顶部导航栏中，点击“NIM”：

  1. 搜索您想要使用的模型。为了在本地下载，我们将使用Docker：

  1. 按照Docker设置的说明进行操作。您必须先获取一个API Key才能拉取Docker镜像：

Flowise

  1. 聊天模型 > 拖动 Chat NVIDIA NIM 节点

  1. 如果您使用的是NVIDIA托管的端点，则必须拥有您的API密钥。连接凭据 > 点击新建。但是，如果您使用的是本地设置，则此步骤为可选。

  1. 输入模型名称，瞧🎉，您的Chat NVIDIA NIM节点现在可以在Flowise中使用啦！

资源

PreviousAzure ChatOpenAINextChatCometAPI

Last updated