DeepEvalExporter

Envoie les données de Tracing à Confident AI à des fins d’évaluation et d’observabilité. Cette classe est exportée par @mastra/deepeval, qui repose sur le SDK DeepEval.

Consultez la page consacrée à l’exportateur Confident AI pour en savoir plus sur sa configuration et son utilisation.

Constructeur

new DeepEvalExporter(config?: DeepEvalExporterConfig)

DeepEvalExporterConfig

interface DeepEvalExporterConfig extends BaseExporterConfig {
  apiKey?: string
  environment?: string
  name?: string
  tags?: string[]
  metadata?: Record<string, any>
  threadId?: string
  userId?: string
  testCaseId?: string
  turnId?: string
  metricCollection?: string
  traceMetricCollection?: string
  llmMetricCollection?: string
  agentMetricCollection?: string
  toolMetricCollectionMap?: Record<string, string>
  prompt?: Prompt
  debug?: boolean
  traceCaptureSink?: (trace: Trace) => void
}

Étend BaseExporterConfig, qui comprend :

• logger?: IMastraLogger - Instance du logger
• logLevel?: LogLevel | 'debug' | 'info' | 'warn' | 'error' - Niveau de log (valeur par défaut : INFO)

apiKey?:

string

Clé d’API Confident AI. Utilise par défaut la variable d’environnement CONFIDENT_API_KEY. L’exportateur se désactive lorsqu’aucune clé n’est trouvée.

environment?:

string

Environnement de la Trace. Utilise par défaut CONFIDENT_TRACE_ENVIRONMENT, puis 'development'.

name?:

string

Nom de Trace appliqué à chaque Trace. Utilise par défaut le serviceName de Mastra.

tags?:

string[]

Tags appliqués à chaque Trace.

metadata?:

Record<string, any>

Métadonnées appliquées à chaque Trace.

threadId?:

string

ID de fil appliqué à chaque Trace. Un threadId présent dans les métadonnées du span racine le remplace pour la requête concernée.

userId?:

string

ID utilisateur appliqué à chaque Trace. Un userId présent dans les métadonnées du span racine le remplace pour la requête concernée.

testCaseId?:

string

ID du cas de test appliqué à chaque Trace. Un testCaseId présent dans les métadonnées du span racine le remplace pour la requête concernée.

turnId?:

string

ID de tour appliqué à chaque Trace. Un turnId présent dans les métadonnées du span racine le remplace pour la requête concernée.

metricCollection?:

string

Collection de métriques au niveau de la Trace.

traceMetricCollection?:

string

Collection de métriques au niveau de la Trace. Prioritaire sur metricCollection.

llmMetricCollection?:

string

Collection de métriques appliquée aux spans de LLM.

agentMetricCollection?:

string

Collection de métriques appliquée aux spans d’Agent.

toolMetricCollectionMap?:

Record<string, string>

Collection de métriques appliquée pour chaque nom de Tool.

prompt?:

Prompt

Association au prompt géré par Confident AI, jointe aux spans de LLM.

debug?:

boolean

Consigne dans la console la configuration de l’exportateur et les erreurs d’exportation.

traceCaptureSink?:

(trace: Trace) => void

Reçoit localement les Traces terminées au lieu de les envoyer à Confident AI. À utiliser pour l’évaluation hors ligne.

logLevel?:

'debug' | 'info' | 'warn' | 'error'

Niveau du logger (valeur par défaut : 'info')

Méthodes

exportTracingEvent

async exportTracingEvent(event: TracingEvent): Promise<void>

Exporte un événement de tracing vers Confident AI. Construit l’arborescence de la Trace à partir du flux de spans Mastra, puis envoie la Trace lorsque le span racine se termine.

flush

async flush(): Promise<void>

Attend la fin de tous les envois de Traces en cours sans arrêter l’exportateur.

shutdown

async shutdown(): Promise<void>

Finalise toutes les Traces ouvertes et envoie les publications en attente.

Utilisation

Sans configuration (avec des variables d’environnement)

import { DeepEvalExporter } from '@mastra/deepeval'

// Reads from CONFIDENT_API_KEY, CONFIDENT_TRACE_ENVIRONMENT
const exporter = new DeepEvalExporter()

Configuration explicite

import { DeepEvalExporter } from '@mastra/deepeval'

const exporter = new DeepEvalExporter({
  apiKey: process.env.CONFIDENT_API_KEY,
  environment: 'production',
})

Correspondance des types de spans

Type de span Mastra	Type de span Confident AI
AGENT_RUN, WORKFLOW_RUN	AGENT
MODEL_GENERATION	LLM
TOOL_CALL, MCP_TOOL_CALL, PROVIDER_TOOL_CALL, CLIENT_TOOL_CALL	TOOL
RAG_EMBEDDING, RAG_VECTOR_OPERATION	RETRIEVER
Tous les autres types de spans exportés	CUSTOM

Les spans d’événement, par exemple MODEL_CHUNK, sont abandonnés.