득점자

파일 기반 Agent가 검색합니다.scorers그로부터scorers/예배 규칙서. 파일 기반 규칙을 보려면 이 페이지를 사용하십시오. 내장 채점기, 맞춤 채점기, 샘플링에 대해서는 채점기 가이드를 사용하세요.

scorers/ 아래의 각 파일은 하나의 채점자를 기본 내보내기하며, 파일 이름이 키가 됩니다. 기본 내보내기는 MastraScorer 또는 { scorer, sampling } 항목입니다.

빠른 시작

Agent의 scorers/ 디렉터리에 파일을 배치하여 채점자를 추가하세요. 이 예에서는 사용자 지정 채점자를 사용합니다.

src/mastra/agents/weather/scorers/relevance.ts

import { createScorer } from '@mastra/core/evals'

export default createScorer({
  id: 'relevance',
  description: 'Scores how relevant the response is',
}).generateScore(() => 1)

채점자는 config.scorers에 추가한 것과 동일하게 weather Agent에 relevance 키로 등록됩니다.

견본 추출

채점자의 실행 빈도를 제어하려면 채점자 자체 대신 { scorer, sampling } 항목을 기본 내보내기하세요.

src/mastra/agents/weather/scorers/relevance.ts

import { createScorer } from '@mastra/core/evals'

const relevance = createScorer({
  id: 'relevance',
  description: 'Scores how relevant the response is',
}).generateScore(() => 1)

export default {
  scorer: relevance,
  sampling: { type: 'ratio', rate: 0.5 },
}

구성 우선순위

검색된 채점자는 config.ts에 정의된 채점자와 병합됩니다. 키가 충돌하면 경고와 함께 config.scorers가 우선합니다. config.scorers가 함수이면 함수형 채점자를 정적으로 병합할 수 없으므로 검색된 채점자가 경고와 함께 무시됩니다. 키가 충돌할 때 우선순위는 다음과 같습니다.

1. 함수 가치config.scorers
2. 기록적인 가치config.scorers
3. 다음 위치에서 발견된 파일scorers/

충돌하지 않는 발견된 득점자는 보존됩니다.

전체 채점자 인터페이스는 createScorer()를 확인하세요.