DatasetsManager.compareExperiments()

Ajouté dans : @mastra/core@1.4.0

Compare au moins deux expériences et produit des comparaisons par élément et par Scorer. Nécessite au moins deux ID d’expérience.

Exemple d’utilisation

import { Mastra } from '@mastra/core'

const mastra = new Mastra({/* storage config */})

const comparison = await mastra.datasets.compareExperiments({
  experimentIds: ['exp-baseline', 'exp-new'],
  baselineId: 'exp-baseline',
})

console.log(`Baseline: ${comparison.baselineId}`)

for (const item of comparison.items) {
  console.log(`Item ${item.itemId}:`)
  console.log(`  Input: ${JSON.stringify(item.input)}`)

  for (const [expId, result] of Object.entries(item.results)) {
    if (result) {
      console.log(
        `  ${expId}: output=${JSON.stringify(result.output)}, scores=${JSON.stringify(result.scores)}`,
      )
    }
  }
}

Paramètres

experimentIds:

string[]

Tableau des ID d’expérience à comparer. Doit en contenir au moins 2.

baselineId?:

string

ID de l’expérience de référence. Correspond par défaut au premier ID de experimentIds.

Valeur renvoyée

Lève une MastraError si moins de 2 ID d’expérience sont fournis.

result:

Promise<object>

Résultats de la comparaison.

object

baselineId:

string

ID de l’expérience de référence utilisée pour la comparaison.

items:

Array<object>

Données de comparaison par élément.

object

itemId:

string

ID de l’élément du dataset.

input:

unknown | null

Données d’entrée de l’élément.

groundTruth:

unknown | null

Vérité terrain de l’élément.

results:

Record<string, { output: unknown; scores: Record<string, number | null> } | null>

Résultats indexés par ID d’expérience. Chaque entrée contient la sortie et les résultats des Scorers pour cette expérience.

Voir aussi

• dataset.startExperiment()
• dataset.listExperiments()