> Discover all available pages from the documentation index: https://mastra.zisheng.pro/zh-HK/llms.txt

# 完整度評分器

`createCompletenessScorer()` 函數會評估 LLM 輸出對輸入中關鍵元素的涵蓋程度。它會分析名詞、動詞、主題及詞語，以判斷涵蓋情況，並提供詳細的完整度分數。

## 參數

`createCompletenessScorer()` 函數不接受任何選項。

此函數會傳回 MastraScorer 類別的實例。有關 `.run()` 方法及其輸入／輸出的詳情，請參閱 [MastraScorer 參考](https://mastra.zisheng.pro/zh-HK/reference/evals/mastra-scorer)。

## `.run()` 傳回值

**runId** (`string`): 執行的 ID（選填）。

**preprocessStepResult** (`object`): 包含已擷取元素及涵蓋詳情的物件：{ inputElements: string\[], outputElements: string\[], missingElements: string\[], elementCounts: { input: number, output: number } }

**score** (`number`): 完整度分數（0 至 1），表示輸出涵蓋輸入元素的比例。

`.run()` 方法會傳回以下結構的結果：

```typescript
{
  runId: string,
  extractStepResult: {
    inputElements: string[],
    outputElements: string[],
    missingElements: string[],
    elementCounts: { input: number, output: number }
  },
  score: number
}
```

## 元素擷取詳情

評分器會擷取並分析多種類型的元素：

- 名詞：關鍵物件、概念及實體
- 動詞：動作及狀態（轉換為不定式）
- 主題：主要題目及核心內容
- 詞語：個別具實質意義的字詞

擷取流程包括：

- 將文字標準化（移除變音符號並轉換為小寫）
- 拆分 camelCase 詞語
- 處理詞語邊界
- 特別處理短詞（3 個字元或以下）
- 移除重複元素

### `extractStepResult`

你可從 `.run()` 方法取得包含以下屬性的 `extractStepResult` 物件：

- **inputElements**：在輸入中找到的關鍵元素（例如名詞、動詞、主題、詞語）。
- **outputElements**：在輸出中找到的關鍵元素。
- **missingElements**：未有在輸出中找到的輸入元素。
- **elementCounts**：輸入及輸出中的元素數目。

## 評分詳情

評分器透過分析語言元素的涵蓋情況來評估完整度。

### 評分流程

1. 擷取關鍵元素：

   - 名詞及具名實體
   - 動作動詞
   - 特定主題的詞語
   - 標準化詞形

2. 計算輸入元素的涵蓋情況：

   - 短詞（≤3 個字元）須完全相符
   - 較長詞語須有顯著重疊（>60%）

最終分數：`(covered_elements / total_input_elements) * scale`

### 分數解讀

完整度分數介乎 0 至 1：

- **1.0**：詳盡回應查詢的所有方面，並提供充分細節。
- **0.7 至 0.9**：涵蓋大部分重要方面並提供充足細節，只有少量缺漏。
- **0.4 至 0.6**：回應部分重點，但遺漏重要方面或細節不足。
- **0.1 至 0.3**：只局部回應查詢，並有大量缺漏。
- **0.0**：未能回應查詢，或提供不相關的資料。

## 範例

針對不同複雜程度的查詢，評估 Agent 回應的完整度：

```typescript
import { runEvals } from '@mastra/core/evals'
import { createCompletenessScorer } from '@mastra/evals/scorers/prebuilt'
import { myAgent } from './agent'

const scorer = createCompletenessScorer()

const result = await runEvals({
  data: [
    {
      input:
        'Explain the process of photosynthesis, including the inputs, outputs, and stages involved.',
    },
    {
      input: 'What are the benefits and drawbacks of remote work for both employees and employers?',
    },
    {
      input:
        'Compare renewable and non-renewable energy sources in terms of cost, environmental impact, and sustainability.',
    },
  ],
  scorers: [scorer],
  target: myAgent,
  onItemComplete: ({ scorerResults }) => {
    console.log({
      score: scorerResults[scorer.id].score,
    })
  },
})

console.log(result.scores)
```

有關 `runEvals` 的詳情，請參閱 [runEvals 參考](https://mastra.zisheng.pro/zh-HK/reference/evals/run-evals)。

如要將此評分器加入 Agent，請參閱[評分器概覽](https://mastra.zisheng.pro/zh-HK/docs/evals/overview)指南。

## 相關內容

- [答案相關性評分器](https://mastra.zisheng.pro/zh-HK/reference/evals/answer-relevancy)
- [內容相似度評分器](https://mastra.zisheng.pro/zh-HK/reference/evals/content-similarity)
- [文字差異評分器](https://mastra.zisheng.pro/zh-HK/reference/evals/textual-difference)
- [關鍵字涵蓋度評分器](https://mastra.zisheng.pro/zh-HK/reference/evals/keyword-coverage)