使用 Processors 設定防護機制
正在載入內容……
Theme Park Agent 能使用 Tool、保留 context,並規劃一整天的實際樂園行程。當這類 Agent 真正提供給使用者使用時,安全性就會成為實務上的重要考量。使用者不一定會按照你的預期行事,其中有些人甚至會主動嘗試操控 Agent 或對它進行 jailbreak。
在本課程中,你會使用兩個 Processor 加入 input 階段的 guardrail:PromptInjectionDetector 會在 model 看到訊息之前,攔截 prompt injection、jailbreak 嘗試與覆寫 system 的操作;ModerationProcessor 則會在 input 階段篩選傳入訊息中的仇恨與騷擾內容。
這兩個 Processor 都只在 input 階段運作,並於呼叫 LLM 之前執行。你自行新增的 Processor 也會加入同一個 pipeline。當訊息在 input 階段遭到封鎖時,系統不會呼叫 LLM,該 request 的任何內容也都不會寫入 Memory。
「由於 request 無法通過 input Processor,model 根本不會偏離原本的任務。」
— Guil Hernandez
程式碼:
相關 Mastra 文件:
提出問題:
關注 Mastra: