跳到主要内容

Nvidia 标志Nvidia

通过 Mastra 的模型路由器访问 98 个 Nvidia 模型。系统会自动使用 NVIDIA_API_KEY 环境变量完成身份验证。

更多信息请参阅Nvidia 文档。

.env
NVIDIA_API_KEY=your-api-key
src/mastra/agents/my-agent.ts
import { Agent } from '@mastra/core/agent'

const agent = new Agent({
  id: 'my-agent',
  name: 'My Agent',
  instructions: 'You are a helpful assistant',
  model: 'nvidia/abacusai/dracarys-llama-3.1-70b-instruct',
})

// Generate a response
const response = await agent.generate('Hello!')

// Stream a response
const stream = await agent.stream('Tell me a story')
for await (const chunk of stream) {
  console.log(chunk)
}
信息

Mastra 使用兼容 OpenAI 的 /chat/completions endpoint。部分 Provider 特有功能可能不可用，详情请参阅Nvidia 文档。

模型
模型的直接链接

ModelContextToolsReasoningImageAudioVideoInput $/1MOutput $/1M
nvidia/abacusai/dracarys-llama-3.1-70b-instruct128K——
nvidia/baai/bge-m38K——
nvidia/black-forest-labs/flux_1-kontext-dev41K——
nvidia/black-forest-labs/flux_1-schnell77——
nvidia/black-forest-labs/flux_2-klein-4b41K——
nvidia/black-forest-labs/flux.1-dev4K——
nvidia/bytedance/seed-oss-36b-instruct262K——
nvidia/deepseek-ai/deepseek-v4-flash1.0M$0.14$0.28
nvidia/deepseek-ai/deepseek-v4-pro1.0M$0.43$0.87
nvidia/google/gemma-2-2b-it128K——
nvidia/google/gemma-3-12b-it131K——
nvidia/google/gemma-3-4b-it131K——
nvidia/google/gemma-3n-e2b-it128K——
nvidia/google/gemma-3n-e4b-it128K——
nvidia/google/gemma-4-31b-it256K——
nvidia/google/google-paligemma128K——
nvidia/meta/esm2-650m128K——
nvidia/meta/esmfold128K——
nvidia/meta/llama-3.1-70b-instruct128K——
nvidia/meta/llama-3.1-8b-instruct16K——
nvidia/meta/llama-3.2-11b-vision-instruct128K——
nvidia/meta/llama-3.2-1b-instruct128K——
nvidia/meta/llama-3.2-3b-instruct33K——
nvidia/meta/llama-3.2-90b-vision-instruct128K——
nvidia/meta/llama-3.3-70b-instruct128K——
nvidia/meta/llama-4-maverick-17b-128e-instruct128K——
nvidia/meta/llama-guard-4-12b128K——
nvidia/microsoft/phi-4-mini-instruct131K——
nvidia/microsoft/phi-4-multimodal-instruct128K——
nvidia/minimaxai/minimax-m2.7205K——
nvidia/minimaxai/minimax-m31.0M——
nvidia/mistralai/magistral-small-250633K——
nvidia/mistralai/ministral-14b-instruct-2512262K——
nvidia/mistralai/mistral-7b-instruct-v0.366K——
nvidia/mistralai/mistral-large-3-675b-instruct-2512262K——
nvidia/mistralai/mistral-medium-3-instruct131K——
nvidia/mistralai/mistral-medium-3.5-128b262K——
nvidia/mistralai/mistral-nemotron128K——
nvidia/mistralai/mistral-small-4-119b-2603128K——
nvidia/mistralai/mixtral-8x22b-instruct66K——
nvidia/mistralai/mixtral-8x7b-instruct33K——
nvidia/nvidia/active-speaker-detection———
nvidia/nvidia/bevformer128K——
nvidia/nvidia/cosmos-predict1-5b———
nvidia/nvidia/cosmos-reason2-8b131K——
nvidia/nvidia/cosmos-transfer1-7b———
nvidia/nvidia/cosmos-transfer2_5-2b———
nvidia/nvidia/gliner-pii128K——
nvidia/nvidia/llama-3_2-nemoretriever-300m-embed-v133K——
nvidia/nvidia/llama-3.1-nemotron-70b-instruct128K——
nvidia/nvidia/llama-3.1-nemotron-nano-8b-v1131K——
nvidia/nvidia/llama-3.1-nemotron-nano-vl-8b-v133K——
nvidia/nvidia/llama-3.1-nemotron-safety-guard-8b-v3128K——
nvidia/nvidia/llama-3.1-nemotron-ultra-253b-v1128K——
nvidia/nvidia/llama-3.3-nemotron-super-49b-v1131K——
nvidia/nvidia/llama-3.3-nemotron-super-49b-v1.5131K——
nvidia/nvidia/llama-nemotron-embed-vl-1b-v233K——
nvidia/nvidia/llama-nemotron-rerank-vl-1b-v2128K——
nvidia/nvidia/magpie-tts-zeroshot———
nvidia/nvidia/nemotron-3-content-safety128K——
nvidia/nvidia/nemotron-3-nano-30b-a3b131K——
nvidia/nvidia/nemotron-3-nano-omni-30b-a3b-reasoning256K——
nvidia/nvidia/nemotron-3-super-120b-a12b262K$0.20$0.80
nvidia/nvidia/nemotron-3-ultra-550b-a55b1.0M$0.50$3
nvidia/nvidia/nemotron-content-safety-reasoning-4b128K——
nvidia/nvidia/nemotron-mini-4b-instruct128K——
nvidia/nvidia/nemotron-nano-12b-v2-vl128K——
nvidia/nvidia/nemotron-voicechat128K——
nvidia/nvidia/nv-embed-v133K——
nvidia/nvidia/nv-embedcode-7b-v133K——
nvidia/nvidia/nvidia-nemotron-nano-9b-v2131K——
nvidia/nvidia/rerank-qa-mistral-4b128K——
nvidia/nvidia/riva-translate-4b-instruct-v1.1128K——
nvidia/nvidia/sparsedrive128K——
nvidia/nvidia/streampetr128K——
nvidia/nvidia/studiovoice128K——
nvidia/nvidia/synthetic-video-detector———
nvidia/nvidia/usdcode128K——
nvidia/nvidia/usdvalidate———
nvidia/openai/gpt-oss-120b128K——
nvidia/openai/gpt-oss-20b131K——
nvidia/openai/whisper-large-v3———
nvidia/poolside/laguna-xs-2.1262K——
nvidia/qwen/qwen-image———
nvidia/qwen/qwen-image-edit———
nvidia/qwen/qwen2.5-coder-32b-instruct128K——
nvidia/qwen/qwen3-coder-480b-a35b-instruct262K——
nvidia/qwen/qwen3-next-80b-a3b-instruct262K——
nvidia/qwen/qwen3.5-122b-a10b262K——
nvidia/qwen/qwen3.5-397b-a17b262K——
nvidia/sarvamai/sarvam-m128K——
nvidia/stepfun-ai/step-3.5-flash256K——
nvidia/stepfun-ai/step-3.7-flash256K——
nvidia/thinkingmachines/inkling1.0M——
nvidia/upstage/solar-10.7b-instruct128K——
nvidia/z-ai/glm-5.21.0M——
96 available models

高级配置
高级配置的直接链接

自定义请求头
自定义请求头的直接链接

src/mastra/agents/my-agent.ts
const agent = new Agent({
  id: 'custom-agent',
  name: 'custom-agent',
  model: {
    url: 'https://integrate.api.nvidia.com/v1',
    id: 'nvidia/abacusai/dracarys-llama-3.1-70b-instruct',
    apiKey: process.env.NVIDIA_API_KEY,
    headers: {
      'X-Custom-Header': 'value',
    },
  },
})

动态选择模型
动态选择模型的直接链接

src/mastra/agents/my-agent.ts
const agent = new Agent({
  id: 'dynamic-agent',
  name: 'Dynamic Agent',
  model: ({ requestContext }) => {
    const useAdvanced = requestContext.task === 'complex'
    return useAdvanced ? 'nvidia/z-ai/glm-5.2' : 'nvidia/abacusai/dracarys-llama-3.1-70b-instruct'
  },
})
On this page