跳至主要內容

Gateway Provider

Gateway Provider 匯集多個模型 Provider,並加入快取、速率限制、分析及自動容錯轉移等功能。當你需要可觀測性、成本管理或簡化多 Provider 存取時,可使用 Gateway。

自訂 Gateway
自訂 Gateway 的直接連結

你可以為私有 LLM 部署或專用 Provider 整合建立自訂 Gateway。實作詳情請參閱自訂 Gateway

內置 Gateway
內置 Gateway 的直接連結