UnicodeNormalizer

UnicodeNormalizer est un Processor d’entrée qui normalise le texte Unicode afin d’uniformiser sa mise en forme et de supprimer les caractères potentiellement problématiques avant l’envoi des messages au modèle de langage. Ce Processor traite les représentations Unicode et supprime les caractères de contrôle. Il normalise également la mise en forme des espaces blancs.

Exemple d’utilisation

import { UnicodeNormalizer } from '@mastra/core/processors'

const processor = new UnicodeNormalizer({
  stripControlChars: true,
  collapseWhitespace: true,
})

Paramètres du constructeur

options?:

Options

Options de configuration de la normalisation du texte Unicode

Options

stripControlChars?:

boolean

Indique s’il faut supprimer les caractères de contrôle. Lorsque cette option est activée, supprime les caractères de contrôle à l’exception de , ,

preserveEmojis?:

boolean

Indique s’il faut conserver les emojis. Lorsque cette option est désactivée, les emojis peuvent être supprimés s’ils contiennent des caractères de contrôle

collapseWhitespace?:

boolean

Indique s’il faut regrouper les espaces blancs consécutifs. Lorsque cette option est activée, les suites d’espaces, de tabulations ou de sauts de ligne sont réduites à une seule occurrence

trim?:

boolean

Indique s’il faut supprimer les espaces blancs en début et en fin de texte

Valeur renvoyée

id:

string

Identifiant du Processor défini sur 'unicode-normalizer'

name?:

string

Nom d’affichage facultatif du Processor

processInput:

(args: { messages: MastraDBMessage[]; abort: (reason?: string) => never }) => MastraDBMessage[]

Traite les messages d’entrée pour normaliser le texte Unicode

Exemple d’utilisation étendu

src/mastra/agents/normalized-agent.ts

import { Agent } from '@mastra/core/agent'
import { UnicodeNormalizer } from '@mastra/core/processors'

export const agent = new Agent({
  id: 'normalized-agent',
  name: 'normalized-agent',
  instructions: 'You are a helpful assistant',
  model: 'openai/gpt-5.6-sol',
  inputProcessors: [
    new UnicodeNormalizer({
      stripControlChars: true,
      preserveEmojis: true,
      collapseWhitespace: true,
      trim: true,
    }),
  ],
})

Voir aussi

• Guardrails