Hugging Face
Bundles 包含支持与 Langflow 特定第三方集成的自定义组件。
Hugging Face 包中的组件需要访问 Hugging Face API。
有关 Hugging Face 组件使用的 Hugging Face 功能和特性的更多信息，请参阅 Hugging Face 文档。
Hugging Face 文本生成
Hugging Face 组件通过向 Hugging Face API 发送请求，使用指 定模型生成文本，这是 Hugging Face 上托管的模型的托管推理 API。
需要身份验证。
该组件可以输出 模型响应 (Message) 或 语言模型 (LanguageModel)。
具体来说，语言模型 输出是根据组件参数配置的 HuggingFaceHub 实例。
当您想将 Hugging Face 模型用作其他 LLM 驱动组件（如 Agent 或 Smart Function 组件）的 LLM 时，请使用 语言模型 输出。
有关更多信息，请参阅 语言模型 组件。
Hugging Face 文本生成参数
在可视化编辑器中，部分参数默认情况下是隐藏的。 您可以通过组件的头部菜单中的 控件 来修改所有参数。
| Name | Type | Description |
|---|---|---|
| model_id | String | 输入参数。来自 Hugging Face Hub 的模型 ID。例如，"gpt2"、"facebook/bart-large"。 |
| huggingfacehub_api_token | SecretString | 输入参数。您的 Hugging Face API 令牌，用于身份验证。 |
| temperature | Float | 输入参数。控制输出中的随机性。范围：[0.0, 1.0]。默认值：0.7。 |
| max_new_tokens | Integer | 输入参数。要生成的最大令牌数。默认值：512。 |
| top_p | Float | 输入参数。核心采样参数。范围：[0.0, 1.0]。默认值：0.95。 |
| top_k | Integer | 输入参数。Top-k 采样参数。默认值：50。 |
| model_kwargs | Dictionary | 输入参数。传递给模型的其他关键字参数。 |
Hugging Face 嵌入推理
使用 Hugging Face 嵌入推理 组件通过 Hugging Face 的托管模型或您自己本地托管的模型创建嵌入。
该组件使用 Hugging Face 推理 API 模型 生成嵌入。 使用本地模型时不需要身份验证。
有关在流程中使用嵌入模型组件的更多信息，请参阅 嵌入模型 组件 和 使用本地 Hugging Face 嵌入模型。
Hugging Face 嵌入推理参数
| Name | Display Name | Info |
|---|---|---|
| api_key | API Key | 输入参数。您的 Hugging Face API 令牌，用于访问 Hugging Face 推理 API（如果需要）。本地推理模型不需要 API 密钥。 |
| api_url | API URL | 输入参数。Hugging Face 推理 API 的 URL。 |
| model_name | Model Name | 输入参数。用于嵌入的模型名称。 |
使用本地 Hugging Face 嵌入模型
要将本地 Hugging Face 模型连接到 Hugging Face 嵌入推理 组件并在流程中使用它，请按照以下步骤操作：
-
对于此示例，从 Vector Store RAG 模板创建一个流程。
-
将两个 OpenAI Embeddings 组件替换为 Hugging Face 嵌入推理 组件。
确保将每个 Embeddings Inference 组件的 Embedding Model 端口重新连接到其对应的 Astra DB 向量存储组件。
-
配置 Astra DB 向量存储组件以连接到您的 Astra 组织，或将两个 Astra DB 向量存储组 件替换为其他 Vector Store 组件。
-
将每个 Hugging Face 嵌入推理 组件连接到您的本地推理模型：
- 推理端点：输入您的本地推理模型的 URL。
- API 密钥：本地推理可以为空。
- 模型名称：如果未自动检测到，请输入您的本地推理模型的名称。
-
要测试流程，点击 Playground，然后输入一些文本来生成嵌入。
