メインコンテンツへ移動

DatasetsManager.compareExperiments()

追加バージョン： @mastra/core@1.4.0

2つ以上の Experiment を比較し、項目別および Scorer 別の比較結果を生成します。2つ以上の Experiment ID が必要です。

使用例
使用例への直接リンク

import { Mastra } from '@mastra/core'

const mastra = new Mastra({/* storage config */})

const comparison = await mastra.datasets.compareExperiments({
  experimentIds: ['exp-baseline', 'exp-new'],
  baselineId: 'exp-baseline',
})

console.log(`Baseline: ${comparison.baselineId}`)

for (const item of comparison.items) {
  console.log(`Item ${item.itemId}:`)
  console.log(`  Input: ${JSON.stringify(item.input)}`)

  for (const [expId, result] of Object.entries(item.results)) {
    if (result) {
      console.log(
        `  ${expId}: output=${JSON.stringify(result.output)}, scores=${JSON.stringify(result.scores)}`,
      )
    }
  }
}

パラメータ
パラメータへの直接リンク

experimentIds:

string[]
比較する Experiment ID の配列。2つ以上必要です。

baselineId?:

string
ベースライン Experiment の ID。デフォルトは experimentIds の最初の ID です。

戻り値
戻り値への直接リンク

指定した Experiment ID が2つ未満の場合は MastraError をスローします。

result:

Promise<object>
比較結果。
object

baselineId:

string
比較に使用するベースライン Experiment の ID。

items:

Array<object>
項目別の比較データ。
object

itemId:

string
データセット項目の ID。

input:

unknown | null
項目の入力データ。

groundTruth:

unknown | null
項目の正解データ。

results:

Record<string, { output: unknown; scores: Record<string, number | null> } | null>
Experiment ID をキーとする結果。各エントリには、その Experiment の出力と Scorer の結果が含まれます。
On this page