跳到主要内容

Ollama

Bundles 包含支持与 Langflow 特定第三方集成的自定义组件。

本文档描述了 Ollama 包中可用的组件。

有关 Ollama 组件使用的 Ollama 功能和特性的更多信息,请参阅 Ollama 文档

Ollama 文本生成

此组件使用 Ollama 的语言模型 生成文本。

要在流程中使用 Ollama 组件,请将 Langflow 连接到您本地运行的 Ollama 服务器并选择一个模型:

  1. Ollama 组件添加到您的流程中。

  2. Base URL 字段中,输入您本地运行的 Ollama 服务器的地址。

    此值在 Ollama 中设置为 OLLAMA_HOST 环境变量。 默认基础 URL 是 http://127.0.0.1:11434

  3. 连接建立后,在 Model Name 字段中选择一个模型,例如 llama3.2:latest

    要刷新服务器的模型列表,请点击 Refresh

  4. 可选:要配置其他参数,如温度或最大令牌数,请在 组件的标题菜单 中点击 Controls

  5. 根据您希望如何使用模型,将 Ollama 组件连接到流程中的其他组件。

    语言模型组件可以输出 Model Response (Message) 或 Language Model (LanguageModel)。当您希望将 Ollama 模型用作另一个 LLM 驱动组件(如 AgentSmart Function 组件)的 LLM 时,请使用 Language Model 输出。有关更多信息,请参阅 Language Model 组件

    在以下示例中,流程使用 LanguageModel 输出将 Ollama 模型用作 Agent 组件 的 LLM。

    在代理流程中用作 LLM 的 Ollama 组件

Ollama 嵌入

Ollama Embeddings 组件使用 Ollama 嵌入模型 生成嵌入。

要在流程中使用此组件,请将 Langflow 连接到您本地运行的 Ollama 服务器并选择一个嵌入模型:

  1. Ollama Embeddings 组件添加到您的流程中。

  2. Ollama Base URL 字段中,输入您本地运行的 Ollama 服务器的地址。

    此值在 Ollama 中设置为 OLLAMA_HOST 环境变量。 默认基础 URL 是 http://127.0.0.1:11434

  3. 连接建立后,在 Ollama Model 字段中选择一个模型,例如 all-minilm:latest

    要刷新服务器的模型列表,请点击 Refresh

  4. 可选:要配置其他参数,如温度或最大令牌数,请在 组件的标题菜单 中点击 Controls。 可用参数取决于所选的模型。

  5. Ollama Embeddings 组件连接到流程中的其他组件。 有关在流程中使用嵌入模型组件的更多信息,请参阅 Embedding Model 组件

    此示例连接 Ollama Embeddings 组件为从 PDF 文件中提取的文本块生成嵌入,然后将嵌入和块存储在 Chroma DB 向量存储中。

    在嵌入生成流程中的 Ollama Embeddings 组件

Search