자신감 있는 AI 수출업체

자신감 있는 AI팀이 개발과 프로덕션 모두에서 신뢰할 수 있는 AI 애플리케이션을 구축할 수 있는 LLM 관찰 및 평가 플랫폼입니다.

@mastra/deepeval 패키지는 Mastra Trace를 Confident AI로 전송하여 지표를 실행하고 시간에 따른 품질을 추적할 수 있게 합니다. 이 패키지는 플랫폼 기반의 오픈 소스 평가 SDK인 DeepEval을 토대로 합니다.

설치

npm

npm install @mastra/deepeval@latest

pnpm

pnpm add @mastra/deepeval@latest

Yarn

yarn add @mastra/deepeval@latest

Bun

bun add @mastra/deepeval@latest

구성

전제조건

1. 자신감 있는 AI 계정: 가입하세요confident-ai.com
2. API 키: Confident AI 프로젝트 설정에서 생성하세요.
3. 환경변수: 자격 증명을 설정합니다.

.env

CONFIDENT_API_KEY=confident_proj_xxxxxxxxxxxxx

# Optional
CONFIDENT_TRACE_ENVIRONMENT=production  # Defaults to "development"

제로 구성 설정

환경 변수가 설정된 경우 구성 없이 내보내기를 사용합니다.

src/mastra/index.ts

import { Mastra } from '@mastra/core'
import { Observability } from '@mastra/observability'
import { DeepEvalExporter } from '@mastra/deepeval'

export const mastra = new Mastra({
  observability: new Observability({
    configs: {
      deepeval: {
        serviceName: 'my-service',
        exporters: [new DeepEvalExporter()],
      },
    },
  }),
})

명시적 구성

자격 증명을 직접 전달할 수도 있습니다(환경 변수보다 우선 적용됨).

src/mastra/index.ts

import { Mastra } from '@mastra/core'
import { Observability } from '@mastra/observability'
import { DeepEvalExporter } from '@mastra/deepeval'

export const mastra = new Mastra({
  observability: new Observability({
    configs: {
      deepeval: {
        serviceName: 'my-service',
        exporters: [
          new DeepEvalExporter({
            apiKey: process.env.CONFIDENT_API_KEY,
            environment: 'production',
          }),
        ],
      },
    },
  }),
})

측정항목 컬렉션

Confident AI는 프로젝트에 정의된 지표 컬렉션과 비교하여 수신 추적을 평가합니다. 추적 수준 또는 범위 유형별로 연결합니다. 추적 수준 측정항목은 전체 추적에 대해 실행되고 유형별 측정항목은 일치하는 범위에 대해 실행됩니다.

src/mastra/index.ts

new DeepEvalExporter({
  metricCollection: 'trace-metrics', // trace-level
  llmMetricCollection: 'llm-metrics', // applied to LLM spans
  agentMetricCollection: 'agent-metrics', // applied to agent spans
  toolMetricCollectionMap: {
    search: 'search-tool-metrics', // applied to the "search" tool
  },
})

완전한 구성

new DeepEvalExporter({
  apiKey: process.env.CONFIDENT_API_KEY,
  environment: 'production', // Default: "development"
  name: 'my-trace', // Default: the Mastra serviceName
  tags: ['production'],
  metadata: { team: 'growth' },
})

스팬 유형 매핑

Mastra는 Confident AI에 표시된 범위 유형에 매핑됩니다.

마스트라 스팬 유형	자신 있는 AI 스팬 유형
AGENT_RUN, WORKFLOW_RUN	AGENT
MODEL_GENERATION	LLM
TOOL_CALL, MCP_TOOL_CALL, PROVIDER_TOOL_CALL, CLIENT_TOOL_CALL	TOOL
RAG_EMBEDDING, RAG_VECTOR_OPERATION	RETRIEVER
내보낸 기타 모든 범위 유형	CUSTOM

관련된

• 추적 개요
• DeepEvalExporter 참조
• 자신감 있는 AI 문서