DatasetsManager.compareExperiments()

추가된 항목: @mastra/core@1.4.0

두 개 이상의 실험을 비교하여 항목별 및 득점자별 비교를 생성합니다. 실험 ID가 2개 이상 필요합니다.

사용예

import { Mastra } from '@mastra/core'

const mastra = new Mastra({/* storage config */})

const comparison = await mastra.datasets.compareExperiments({
  experimentIds: ['exp-baseline', 'exp-new'],
  baselineId: 'exp-baseline',
})

console.log(`Baseline: ${comparison.baselineId}`)

for (const item of comparison.items) {
  console.log(`Item ${item.itemId}:`)
  console.log(`  Input: ${JSON.stringify(item.input)}`)

  for (const [expId, result] of Object.entries(item.results)) {
    if (result) {
      console.log(
        `  ${expId}: output=${JSON.stringify(result.output)}, scores=${JSON.stringify(result.scores)}`,
      )
    }
  }
}

매개변수

experimentIds:

string[]

비교할 실험 ID의 배열입니다. 최소 2개를 포함해야 합니다.

baselineId?:

string

기준 실험의 ID입니다. 기본값은 experimentIds의 첫 번째 ID입니다.

보고

제공된 실험 ID가 2개 미만이면 MastraError가 발생합니다.

result:

Promise<object>

비교 결과입니다.

object

baselineId:

string

비교에 사용된 기준 실험의 ID입니다.

items:

Array<object>

항목별 비교 데이터입니다.

object

itemId:

string

데이터 세트 항목의 ID입니다.

input:

unknown | null

항목의 입력 데이터입니다.

groundTruth:

unknown | null

항목의 정답 데이터입니다.

results:

Record<string, { output: unknown; scores: Record<string, number | null> } | null>

실험 ID를 키로 사용하는 결과입니다. 각 항목에는 해당 실험의 출력과 채점 결과가 포함됩니다.

관련된

• 데이터세트.시작실험()
• 데이터세트.목록실험()