跳到主要内容

将 NVIDIA NIM 与 Langflow 集成

在安装了 Windows Subsystem for Linux 2 (WSL2) 的 RTX Windows 系统上，将 Langflow 与 NVIDIA NIM 连接。

NVIDIA NIM (NVIDIA Inference Microservices) 提供容器，用于自托管 GPU 加速的推理微服务。 在本示例中，您将在安装了 WSL2 的 RTX Windows 系统上，将 Langflow 中的语言模型组件连接到已部署的 mistral-nemo-12b-instruct NIM。

有关 NVIDIA NIM 的更多信息，请参阅 NVIDIA 文档。

先决条件​

  • 已安装 NVIDIA NIM WSL2

  • 根据模型说明部署的 NIM 容器

    不同模型的先决条件各不相同。 例如，要部署 mistral-nemo-12b-instruct NIM，请按照您 模型部署概述 中 Windows on RTX AI PCs (Beta) 的说明进行操作。

  • Windows 11 build 23H2 或更高版本

  • 至少 12 GB 内存

在工作流中使用 NVIDIA NIM​

要将已部署的 NIM 连接到 Langflow，请将 NVIDIA 语言模型组件添加到工作流中：

  1. 基于 Basic Prompting 模板创建工作流。
  2. 将 OpenAI 模型组件替换为 NVIDIA 组件。
  3. 在 NVIDIA 组件的 Base URL 字段中，添加您的 NIM 可访问的 URL。如果您按照模型的 部署说明 进行操作，该值为 http://localhost:8000/v1。
  4. 在 NVIDIA 组件的 NVIDIA API Key 字段中，添加您的 NVIDIA API 密钥。
  5. 从 Model Name 字段中选择您的模型。
  6. 打开 Playground 并与您的 NIM 模型聊天。
Search