UnicodeNormalizer

UnicodeNormalizer は、メッセージを言語モデルへ送信する前に Unicode テキストを正規化し、一貫した形式に整えて問題を起こす可能性のある文字を除去する input processor です。Unicode 表現を処理して制御文字を除去し、空白の形式も統一します。

使用例

import { UnicodeNormalizer } from '@mastra/core/processors'

const processor = new UnicodeNormalizer({
  stripControlChars: true,
  collapseWhitespace: true,
})

コンストラクターパラメーター

options?:

Options

Unicode テキストを正規化するための設定オプション

Options

stripControlChars?:

boolean

制御文字を除去するかどうか。有効にすると、 、 、 以外の制御文字を除去します

preserveEmojis?:

boolean

絵文字を保持するかどうか。無効にすると、制御文字を含む絵文字が除去される場合があります

collapseWhitespace?:

boolean

連続する空白をまとめるかどうか。有効にすると、複数のスペース、タブ、改行をそれぞれ1つにまとめます

trim?:

boolean

先頭と末尾の空白を除去するかどうか

戻り値

id:

string

'unicode-normalizer' に設定された processor の識別子

name?:

string

任意の processor 表示名

processInput:

(args: { messages: MastraDBMessage[]; abort: (reason?: string) => never }) => MastraDBMessage[]

入力メッセージを処理して Unicode テキストを正規化します

詳細な使用例

src/mastra/agents/normalized-agent.ts

import { Agent } from '@mastra/core/agent'
import { UnicodeNormalizer } from '@mastra/core/processors'

export const agent = new Agent({
  id: 'normalized-agent',
  name: 'normalized-agent',
  instructions: 'You are a helpful assistant',
  model: 'openai/gpt-5.6-sol',
  inputProcessors: [
    new UnicodeNormalizer({
      stripControlChars: true,
      preserveEmojis: true,
      collapseWhitespace: true,
      trim: true,
    }),
  ],
})

関連情報

• Guardrails