Exporter Confident AI

Confident AI est une plateforme d’observabilité et d’évaluation des LLM qui permet aux équipes de créer des applications d’IA fiables, en développement comme en production.

Le package @mastra/deepeval envoie vos traces Mastra à Confident AI, où vous pouvez leur appliquer des métriques et suivre leur qualité au fil du temps. Il repose sur DeepEval, le SDK d’évaluation open source qui sous-tend la plateforme.

Installation

npm

npm install @mastra/deepeval@latest

pnpm

pnpm add @mastra/deepeval@latest

Yarn

yarn add @mastra/deepeval@latest

Bun

bun add @mastra/deepeval@latest

Configuration

Prérequis

1. Compte Confident AI : inscrivez-vous sur confident-ai.com
2. Clé API : générez-en une dans les paramètres de votre projet Confident AI
3. Variables d’environnement : définissez vos identifiants :

.env

CONFIDENT_API_KEY=confident_proj_xxxxxxxxxxxxx

# Optional
CONFIDENT_TRACE_ENVIRONMENT=production  # Defaults to "development"

Configuration automatique

Une fois les variables d’environnement définies, utilisez l’exporter sans configuration :

src/mastra/index.ts

import { Mastra } from '@mastra/core'
import { Observability } from '@mastra/observability'
import { DeepEvalExporter } from '@mastra/deepeval'

export const mastra = new Mastra({
  observability: new Observability({
    configs: {
      deepeval: {
        serviceName: 'my-service',
        exporters: [new DeepEvalExporter()],
      },
    },
  }),
})

Configuration explicite

Vous pouvez également transmettre les identifiants directement ; ils prévalent sur les variables d’environnement :

src/mastra/index.ts

import { Mastra } from '@mastra/core'
import { Observability } from '@mastra/observability'
import { DeepEvalExporter } from '@mastra/deepeval'

export const mastra = new Mastra({
  observability: new Observability({
    configs: {
      deepeval: {
        serviceName: 'my-service',
        exporters: [
          new DeepEvalExporter({
            apiKey: process.env.CONFIDENT_API_KEY,
            environment: 'production',
          }),
        ],
      },
    },
  }),
})

Collections de métriques

Confident AI évalue les traces entrantes au moyen des collections de métriques définies dans votre projet. Associez-les au niveau de la trace ou par type de span. Les métriques au niveau de la trace s’appliquent à l’ensemble de celle-ci, tandis que les métriques par type s’appliquent aux spans correspondants.

src/mastra/index.ts

new DeepEvalExporter({
  metricCollection: 'trace-metrics', // trace-level
  llmMetricCollection: 'llm-metrics', // applied to LLM spans
  agentMetricCollection: 'agent-metrics', // applied to agent spans
  toolMetricCollectionMap: {
    search: 'search-tool-metrics', // applied to the "search" tool
  },
})

Configuration complète

new DeepEvalExporter({
  apiKey: process.env.CONFIDENT_API_KEY,
  environment: 'production', // Default: "development"
  name: 'my-trace', // Default: the Mastra serviceName
  tags: ['production'],
  metadata: { team: 'growth' },
})

Correspondance des types de span

Les spans Mastra correspondent aux types de span affichés dans Confident AI :

Type de span Mastra	Type de span Confident AI
AGENT_RUN, WORKFLOW_RUN	AGENT
MODEL_GENERATION	LLM
TOOL_CALL, MCP_TOOL_CALL, PROVIDER_TOOL_CALL, CLIENT_TOOL_CALL	TOOL
RAG_EMBEDDING, RAG_VECTOR_OPERATION	RETRIEVER
Tous les autres types de span exportés	CUSTOM

Pages connexes

• Présentation du tracing
• Référence de DeepEvalExporter
• Documentation Confident AI