跳到主要内容

Arize

Arize 是一个基于 OpenTelemetry 和 OpenInference 构建的工具，用于监控和优化 LLM 应用程序。

要启用 Arize 追踪，请在您的 Langflow 部署中设置所需的 Arize 环境变量。 Arize 会自动开始监控和收集您 LLM 应用程序的遥测数据。

提示

有关集成 Langflow 和 Arize 的说明，也可以在 Arize 文档中找到：

前提条件​

连接 Arize 到 Langflow​

  1. 在您的 Arize 仪表板 中，Replicate您的 Space ID 和 API Key (Ingestion Service Account Key)。

  2. 在您的 Langflow 应用程序的根目录中，编辑现有的 Langflow .env 文件或创建一个新文件。

  3. 添加 ARIZE_SPACE_ID 和 ARIZE_API_KEY 环境变量：


    _10
    ARIZE_SPACE_ID=SPACE_ID
    _10
    ARIZE_API_KEY=API_KEY

    将 SPACE_ID 和 API_KEY 替换为您从 Arize 平台Replicate的值。

    如果您使用的是标准 Arize 平台，则无需指定 Arize 项目名称。

  4. 使用您的 .env 文件启动您的 Langflow 应用程序：


    _10
    uv run langflow run --env-file .env

运行流程并在 Arize 中查看指标​

  1. 在 Langflow 中，运行一个包含 Agent 或 Language Model 组件的流程。 您必须与流程聊天或触发 LLM 以生成供 Arize 追踪的流量。

    例如，您可以使用 Simple Agent 模板创建一个流程，将您的 OpenAI API key 添加到 Agent 组件中，然后点击 Playground 与流程聊天并生成流量。

  2. 在 Arize 中，打开您的项目仪表板，然后等待 Arize 处理数据。 这可能需要几分钟时间。

  3. 要查看您流程的指标，请转到 LLM Tracing 选项卡。

    每个 Langflow 执行都会在 Arize 中生成两个追踪：

    • AgentExecutor 追踪是 LangChain 的 AgentExecutor 的 Arize 追踪。
    • UUID 追踪是 Langflow 组件的追踪。

  4. 要查看追踪，请转到 Traces 选项卡。

    追踪 是请求的完整旅程，由多个 跨度 组成。

  5. 要查看跨度，请转到 Spans 选项卡。

    跨度 是追踪中的单个操作。 例如，跨度 可以是对 OpenAI 的单个 API 调用，或对自定义工具的单个函数调用。

    有关 Arize 中追踪指标的信息，请参阅 Arize LLM 追踪文档。

  6. 要将跨度添加到 数据集，请点击 Add to Dataset。

    LLM Tracing 选项卡上的所有指标都可以添加到数据集中。

  7. 要查看数据集，请点击 Datasets 选项卡，然后选择您的数据集。

Search