프로세서가 포함된 가드레일
Loading content...
테마파크 Agent는 Tool을 사용하고, 상황을 파악하고, 실제 테마파크 일정을 계획할 수 있습니다. 이와 같은 일이 실제 사용자 앞에 나타나면 안전이 실질적인 관심사가 됩니다. 사용자는 항상 예상한 대로 행동하지 않으며 일부는 적극적으로 Agent를 조작하거나 탈옥하려고 시도합니다.
이 레슨에서는 Model이 메시지를 보기 전에 즉각적인 삽입, 탈옥 시도, 시스템 재정의 시도를 차단하는 PromptInjectionDetector 프로세서와 입력 단계에서 증오심과 괴롭힘이 있는지 수신 메시지를 차단하는 ModerationProcessor 프로세서를 사용하여 입력 단계 가드레일을 추가합니다.
두 프로세서 모두 입력 단계에서만 작동하며 LLM이 호출되기 전에 실행됩니다. 동일한 파이프라인에 자체 프로세서 슬롯을 추가합니다. 메시지가 입력 단계에서 차단되면 LLM이 호출되지 않으며 해당 요청의 어떤 것도 Memory에 기록되지 않습니다.
"요청이 입력 프로세서를 통해 이루어지지 않기 때문에 Model이 작업에서 벗어나지 않습니다."
— 길 에르난데스
Code:
관련 Mastra 문서:
질문하세요:
Discord — 다른 학습자 및 Mastra 팀과 대화하기
LinkedIn의 Guil - Guil에게 직접 질문하기 마스트라를 팔로우하세요:
X — 업데이트를 보려면 Mastra를 팔로우하세요.
YouTube — 더 많은 튜토리얼 보기
LinkedIn — 업데이트를 팔로우하세요