跳至主要內容

Confident AI Exporter

Confident AI 是一個 LLM Observability 與評估平台，協助團隊在開發與正式環境中建立可靠的 AI 應用程式。

@mastra/deepeval 套件會將 Mastra Trace 傳送至 Confident AI，你可以在該平台針對 Trace 執行指標，並持續追蹤品質。這套機制建構於平台背後的開放原始碼評估 SDK DeepEval 之上。

安裝
「安裝」的直接連結

npm install @mastra/deepeval@latest

設定
「設定」的直接連結

必要條件
「必要條件」的直接連結

  1. Confident AI 帳號：前往 confident-ai.com 註冊
  2. API Key：在 Confident AI 專案設定中產生
  3. 環境變數：設定你的憑證：
.env
CONFIDENT_API_KEY=confident_proj_xxxxxxxxxxxxx

# Optional
CONFIDENT_TRACE_ENVIRONMENT=production  # Defaults to "development"

零設定
「零設定」的直接連結

設定環境變數後，即可使用不帶任何設定的 Exporter：

src/mastra/index.ts
import { Mastra } from '@mastra/core'
import { Observability } from '@mastra/observability'
import { DeepEvalExporter } from '@mastra/deepeval'

export const mastra = new Mastra({
  observability: new Observability({
    configs: {
      deepeval: {
        serviceName: 'my-service',
        exporters: [new DeepEvalExporter()],
      },
    },
  }),
})

明確設定
「明確設定」的直接連結

你也可以直接傳入憑證（優先於環境變數）：

src/mastra/index.ts
import { Mastra } from '@mastra/core'
import { Observability } from '@mastra/observability'
import { DeepEvalExporter } from '@mastra/deepeval'

export const mastra = new Mastra({
  observability: new Observability({
    configs: {
      deepeval: {
        serviceName: 'my-service',
        exporters: [
          new DeepEvalExporter({
            apiKey: process.env.CONFIDENT_API_KEY,
            environment: 'production',
          }),
        ],
      },
    },
  }),
})

指標集合
「指標集合」的直接連結

Confident AI 會使用專案中定義的指標集合評估傳入的 Trace。你可以在 Trace 層級或依 span 類型附加指標集合。Trace 層級指標會針對整個 Trace 執行，而依類型設定的指標則會針對相符的 span 執行。

src/mastra/index.ts
new DeepEvalExporter({
  metricCollection: 'trace-metrics', // trace-level
  llmMetricCollection: 'llm-metrics', // applied to LLM spans
  agentMetricCollection: 'agent-metrics', // applied to agent spans
  toolMetricCollectionMap: {
    search: 'search-tool-metrics', // applied to the "search" tool
  },
})

完整設定
「完整設定」的直接連結

new DeepEvalExporter({
  apiKey: process.env.CONFIDENT_API_KEY,
  environment: 'production', // Default: "development"
  name: 'my-trace', // Default: the Mastra serviceName
  tags: ['production'],
  metadata: { team: 'growth' },
})

Span 類型對應
「Span 類型對應」的直接連結

Mastra span 對應至 Confident AI 中顯示的下列 span 類型：

Mastra span 類型Confident AI span 類型
AGENT_RUN, WORKFLOW_RUNAGENT
MODEL_GENERATIONLLM
TOOL_CALL, MCP_TOOL_CALL, PROVIDER_TOOL_CALL, CLIENT_TOOL_CALLTOOL
RAG_EMBEDDING, RAG_VECTOR_OPERATIONRETRIEVER
所有其他匯出的 span 類型CUSTOM
On this page