Ollama
Bundles 包含支持与 Langflow 特定第三方集成的自定义组件。
本文档描述了 Ollama 包中可用的组件。
有关 Ollama 组件使用的 Ollama 功能和特性的更多信息,请参阅 Ollama 文档。
Ollama 文本生成
此组件使用 Ollama 的语言模型 生成文本。
要在流程中使用 Ollama 组件,请将 Langflow 连接到您本地运行的 Ollama 服务器并选择一个模型:
-
将 Ollama 组件添加到您的流程中。
-
在 Base URL 字段中,输入您本地运行的 Ollama 服务器的地址。
此值在 Ollama 中设置为
OLLAMA_HOST
环境变量。 默认基础 URL 是http://127.0.0.1:11434
。 -
连接建立后,在 Model Name 字段中选择一个模型,例如
llama3.2:latest
。要刷新服务器的模型列表,请点击 Refresh。
-
可选:要配置其他参数,如温度或最大令牌数,请在 组件的标题菜单 中点击 Controls。
-
根据您希望如何使用模型,将 Ollama 组件连接到流程中 的其他组件。
语言模型组件可以输出 Model Response (
Message
) 或 Language Model (LanguageModel
)。当您希望将 Ollama 模型用作另一个 LLM 驱动组件(如 Agent 或 Smart Function 组件)的 LLM 时,请使用 Language Model 输出。有关更多信息,请参阅 Language Model 组件。在以下示例中,流程使用
LanguageModel
输出将 Ollama 模型用作 Agent 组件 的 LLM。
Ollama 嵌入
Ollama Embeddings 组件使用 Ollama 嵌入模型 生成嵌入。
要在流程中使用此组件,请将 Langflow 连接到您本地运行的 Ollama 服务器并选择一个嵌入模型:
-
将 Ollama Embeddings 组件添加到您的流程中。
-
在 Ollama Base URL 字段中,输入您本地运行的 Ollama 服务器的地址。
此值在 Ollama 中设置为
OLLAMA_HOST
环境变量。 默认基础 URL 是http://127.0.0.1:11434
。 -
连接建立后,在 Ollama Model 字段中选择一个模型,例如
all-minilm:latest
。要刷新服务器的模型列表,请点击 Refresh。
-
可选:要配置其他参数,如温度或最大令牌数,请在 组件的标题菜单 中点击 Controls。 可用参数取决于所选的模型。
-
将 Ollama Embeddings 组件连接到流程中的其他组件。 有关在流程中使用嵌入模型组件的更多信息,请参阅 Embedding Model 组件。
此示例连接 Ollama Embeddings 组件为从 PDF 文件中提取的文本块生成嵌入,然后将嵌入和块存储在 Chroma DB 向量存储中。