以 Processor 建立 Guardrail
正在載入內容……
主題樂園 Agent 已經可以使用 Tool、保留情境,並規劃實際的樂園行程。當這類系統真正交到用戶手上,安全便成為實際需要考慮的問題。用戶不一定會按照你的預期使用系統,有些人甚至會主動嘗試操控或 jailbreak Agent。
在本課中,你會使用兩個 Processor 加入輸入階段的 guardrail:PromptInjectionDetector 會在模型看到訊息之前,攔截 prompt injection、jailbreak 嘗試和覆寫系統的操作;ModerationProcessor 則會在輸入階段篩查訊息是否包含仇恨和騷擾內容。
兩個 Processor 都只在輸入階段運作,並會在調用 LLM 之前執行。你自訂的 Processor 亦可加入同一條 pipeline。當訊息在輸入階段被封鎖,系統便不會調用 LLM,而該請求的任何內容也不會寫入 Memory。
「請求無法通過輸入 Processor,模型自然不會偏離原本任務。」
— Guil Hernandez
程式碼:
相關 Mastra 文件:
提出問題:
追蹤 Mastra: