前言
想玩大語言模型，又不想一開始就砸錢買 GPU 或付推論費？NVIDIA API Catalog 有一批免費的託管端點，註冊完拿到 key 就能直接打，介面還跟 OpenAI 相容，原本的程式改個網址就能用。
不過「免費」兩個字底下藏了不少細節：一分鐘能打幾次？一天有沒有上限？清單上的模型是不是都叫得到？能不能拿來上線？這些答案散在官方 FAQ、模型頁、API 文件跟論壇回覆裡，網路上的舊文章還在講早就改掉的 credits 制度。
所以我把它們整理成一篇，順便用自己的帳號實際跑了一輪測試。
先講清楚：資料查核日期是 2026 年 11 月 7 日。限制和條款以官方文件、模型頁和官方人員回覆為準；文末的實測是我同一天跑的小規模測試，題目少、只跑一輪，看看就好，也沒有測帳號額度上限或長時間呼叫。文中說「未公開」，是指我這次沒找到統一公開的規格，未公開不代表沒限制。
怎麼申請 API key
流程很短，五分鐘內就能打出第一個請求。以下照 官方 Quickstart 跟模型頁的實際畫面整理：
- 打開任一個模型頁，例如 DeepSeek V4.1 Flash 或 GLM 5.3 Flash。
- 點右邊面板的「Get API Key」，在跳出的視窗輸入 Email，按「Next」。
- 登入或設定密碼。沒有 NVIDIA 帳號的話會請你設一組密碼；註冊完會自動加入 NVIDIA Developer Program，官方 FAQ 說的就是 Developer Program 成員可以免費使用這些端點做原型開發。
- 回到模型頁後會跳出你的 key，按「Copy Key」複製起來，貼到安全的地方。部分第三方模型會先跳一個提醒，按「Acknowledge & Continue」就好。
- 按「Copy Code」複製右邊的範例程式，把裡面的
API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC換成你的 key。
模型頁上的範例程式有些欄位是空的（temperature=、max_tokens= 這類），直接跑會壞。我整理一個可以直接跑的版本，key 建議放環境變數 NVIDIA_API_KEY，不要寫死在程式裡：
import os
from openai import OpenAI
client = OpenAI(
base_url="https://integrate.api.nvidia.com/v1",
api_key=os.environ["NVIDIA_API_KEY"],
)
resp = client.chat.completions.create(
model="z-ai/glm-5.3-flash",
messages=[{"role": "user", "content": "用一句話介紹你自己"}],
max_tokens=1500, # 思考型模型會先花 token 思考，別設太小，原因見後面實測
)
print(resp.choices[0].message.content)
申請時要注意兩件事：
- 模型頁寫明這個試用服務受 NVIDIA API Trial Terms of Service 約束，下面「條款」那段會講它限制了什麼。
- 你自己的速率限制，官方指引是登入 build.nvidia.com 後看右上方顯示的資訊。官方文件沒寫 key 會不會過期、要去哪裡撤銷，這部分我沒查到，就不亂寫了。
先搞清楚：哪些東西算「免費」
這篇講的免費，只限 NVIDIA 自己託管的開發試用端點。Partner Endpoint、自己架 NIM、租 GPU 或其他訂閱，費用都要另外確認，別混在一起。
還有一個很多人搞混的點：「模型可以商用」跟「NVIDIA 的免費服務可以商用」是兩回事。依 試用條款 第 1.2 與 1.4 節，沒另外買適用訂閱的話，API 服務跟它產生的內容只能拿來內部測試和評估，不能上正式環境。模型本身是開源、可商用的，不代表 NVIDIA 的免費託管也給你同樣的權利。
限制一覽：40 RPM 之外，大多沒公開
| 項目 | 目前查得到的 | 我的解讀 |
|---|---|---|
| 每分鐘請求數（RPM） | 官方人員曾確認 40 RPM（官方回覆） | 同一則回覆也說速率會依模型、使用情境跟整體流量而異。它不是每個帳號、每個模型都固定的數字，也不保證吞吐量 |
| 每分鐘 token 數（TPM） | 沒公開 | 找不到適用所有免費端點的統一配額表，別自己補數字 |
| 每天的請求數、token 額度 | 沒公開 | 不能拿 40 × 1440 去推每日額度 |
| 同時請求數 | 沒公開 | 多支程式或 agent 一起打的時候，要自己觀察 |
| 舊的 credits | 已改成速率限制（官方回覆） | 2025 年 9 月就改了，網路上 1,000 或 4,000 credits 的舊文章別再當真 |
| 能用多久 | 沒有固定試用天數 | 但也不是「永久免費」或「某個模型會一直在」的承諾；也別跟 AI Enterprise 的 90 天評估搞混 |
| 尖峰時段 | 可能要等比較久（NIM FAQ） | 單次跑很快，不代表一直都這麼快 |
一句話總結：除了 40 RPM 這個「曾經確認過、但有但書」的數字，其他大多沒公開。要設定客戶端，以你帳號畫面上顯示的和實際打出來的回應為準，比網路文章裡的固定數字可靠。
四個常被搞混的 token 數字
看模型規格時，這幾個數字長得很像，但完全是不同東西：
- 上下文窗口（context window）：單次請求能處理多少內容，輸入、對話歷史跟輸出通通算在裡面。它不是每天送你多少 token。
- max_tokens：這次呼叫最多能產生多少 token，還會被模型跟端點的上限卡住，也不代表每次都會生那麼多。
- 範例值、預設值、上限：程式範例寫
max_tokens=16384，不代表端點最多只能輸出 16,384，要去看該模型 API 文件的參數規格。 - TPM 與每日額度：一段時間內能用多少，跟單次能塞多長的文件、模型聰不聰明都無關。
四個免費模型的規格
這四個模型在查核當天的 Build 頁面都有免費端點。上下文欄照抄 Build 頁面的 K、M 標示，max_tokens 欄是 API 文件寫的參數範圍。這些是文件規格，不是我實測出來的。
| 模型與 model ID | Build 標示上下文 | API 文件中的 max_tokens | 其他限制 |
|---|---|---|---|
Nemotron 3.5 Super VLnvidia/nemotron-3.5-super-vl-120b-a12b | 262K | 1 到 131,072，預設 16,384；文件明確寫託管端點的輸出上限是 131,072（API） | 模型卡另外寫最高 1M 上下文，跟 Build 頁不一樣 |
GLM 5.3 Flashz-ai/glm-5.3-flash | 1M | 只寫至少 1，預設 1,024，沒寫最大值（API） | 一次最多 8 張圖 |
MiniMax M3.1 Flashminimaxai/minimax-m3.1-flash | 262K | 1 到 65,536（API） | 圖片一次最多 8 張、影片 1 部；模型卡另外寫最高 1M 上下文 |
DeepSeek V4.1 Flashdeepseek-ai/deepseek-v4.1-flash | 1M | 參數範圍寫 1 到 1,048,576，預設 262,144（API） | 輸入跟輸出共用 1,048,576 的上下文；參數範圍不代表真的能輸出滿 1M |
幾個容易讀錯的地方：
- Nemotron 跟 MiniMax 的模型卡寫最高 1M，Build 頁卻是 262K，MiniMax 文件也說實際上下文看部署設定。模型本身的能力，跟 NVIDIA 託管端點給你的設定可能不一樣，以你實際打的端點為準，別只挑大的數字講。
- GLM 文件沒寫最大輸出值，不等於可以無限輸出。
- DeepSeek 的 1,048,576 是上下文容量，不是每天送你 1M token。
- 沒指定
max_tokens就會用預設值，像 GLM 只有 1,024，長一點的回答就會被切掉。程式裡記得自己設，也要留空間給輸入。
頁面上寫免費，不代表叫得到
有免費標籤，不一定能用 API 呼叫：
- Kimi K3.1 Pro：頁面有免費端點標籤，但程式碼區寫明 API 還沒開放，只能在 Playground 玩。
- Kimi K3、Qwen3 Coder 480B、GPT OSS 120B：NVIDIA 頁面上的免費端點已經標 Deprecated。這只是說 NVIDIA 這邊停了，不代表別家也停用這些模型。
模型名單一直在變，寫文章或寫程式之前，模型頁、程式碼區、API 文件跟端點狀態都要一起看。另外，NVIDIA 的 Blueprint 疑難排解文件 也提到：限制是跟著 API key 或帳號走的，換一台機器不會多給你額度；而只是延遲變高，也不能就認定被限流了。
實測紀錄（2026-11-07）
文件讀完，我用自己的帳號實際打了一輪。測試條件：同一把 NVIDIA API key，文字跟向量走 https://integrate.api.nvidia.com/v1，生圖跟重新排序走 https://ai.api.nvidia.com/v1，溫度 0.2。每題只跑一次，速度也會受當下端點負載影響，下面的分數和秒數只代表我這次看到的結果。
84 個模型，有 26 個叫不到
API 的模型清單列了 84 個，但其中有 26 個聊天模型，我一呼叫就回 404（Function not found for account），像 Yi Large、DBRX、Gemma 3、Phi-3.5 MoE、Mixtral 8x22B、舊版 Mistral Large 都是。另外 GPT-OSS 20B、Gemma 4 31B、Llama 3.2 90B Vision、FLUX.1 dev、FLUX.1 Kontext dev 這幾個，等了 90 到 120 秒都沒回應。Kimi K3.1 Pro 也跟模型頁寫的一樣，API 還沒開。
所以前面那句話是真的：清單上有、網頁標了 Free Endpoint，都不代表你的帳號現在叫得到。上線前，一定要拿自己的 key 實際打一次。
中文誰最好？8 題進階題排名
我先用 7 題簡單題篩（數學、邏輯、成語、日期、繁中寫作、計數、正式改寫），結果 7 個模型全對，根本分不出來。所以再出 8 題中文進階題：台灣用語翻譯（軟體、網路、影片等 6 個詞）、閱讀理解應用題、成語填空、雞兔同籠變形、照格式條列、150 字繁中短文（出現簡體字扣分）、台灣口語「白目」、中文轉 JSON。每題 0 到 1 分，程式自動評分，「白目」那題我另外人工看過。
| 模型 | 得分（滿分 8） | 回應中位數 | 我的觀察 |
|---|---|---|---|
| Mistral Large 4 | 7.83 | 17.0 秒 | 中文最好之一，台灣用語、成語、口語都答對，就是慢 |
| GLM-5.3-Flash | 7.83 | 15.0 秒 | 同上 |
| Step 5 Preview | 7.67 | 4.5 秒 | 又快分數又接近前兩名，可惜是預覽版，隨時可能下架 |
| MiniMax M3.1 Flash | 7.67 | 14.1 秒 | 分數高，但有些題目要等 14 到 66 秒 |
| Nemotron 3 Ultra | 7.00 | 4.2 秒 | 快，但用語偏大陸（「眼力見」「視訊」） |
| Nemotron 3 Nano Omni | 6.58 | 3.9 秒 | 輕量又快，但把「白目」答成「天真」 |
| Nemotron 3.5 Super VL | 5.67 | 4.0 秒 | 150 字短文直接回空白（token 全拿去思考），「白目」答成「狼心狗肺」 |
DeepSeek V4.1 Flash 這輪沒跑完；另外它在 JSON 模式回空白，回答也偏簡體字。
最實用的一個坑：回你一片空白
第一輪可用性測試我只給 400 token，結果 Mistral Large 4 等模型把 token 全花在思考上，回答是空白的；回答上限 300 的時候，Nemotron Super VL 也一樣空白。拉到 1,500 之後，4 個模型都正常了。
所以「留輸出空間」不只是上下文夠不夠的問題：思考型模型的思考 token 也算在 max_tokens 裡。上限設太小，你拿到的不是短回答，而是一個空字串，還會以為是 API 壞了。
看圖、生圖跟其他模型
- 看圖（一張左紅、右藍、底部綠條的圖，請它說出三個顏色）：Mistral Large 4、GLM-5.3-Flash、Nemotron 3.5 Super VL、Step 5 Preview 都答對；DeepSeek V4.1 Flash 答對但用簡體字；MiniMax M3.1 Flash 答錯；Llama 3.2 90B Vision 逾時。
- 生圖：能穩定出圖的只有 FLUX.3 Image Klein（
black-forest-labs/flux-3-image-klein）。1024×1024 成功 3 次，一張大約 1 到 6 秒，中文提示詞「一顆紅蘋果放在白色桌上」也畫得對，回傳 JPEG。要注意它不是 OpenAI 格式（回的是artifacts[].base64），單張上限大約 106 萬像素，1536×1024 會被拒，橫圖要改用 1248×832 這類尺寸。FLUX.1 dev 給 20 步時 60 秒逾時，Stable Diffusion 3 Medium 回 404。 - 向量嵌入：
nvidia/nemotron-3.5-embed-8b約 0.6 秒、4096 維；nemotron-3.5-embed-1b約 0.5 到 0.7 秒、2048 維；圖文向量llama-nemotron-embed-vl-1b-v2約 0.8 秒、2048 維，都走標準/v1/embeddings，很好接。 - 重新排序：
nvidia/nemotron-3.5-rerank-8b第一次大約 7 秒，把「玉山」排在「日月潭」前面，順序正確；不過格式跟常見的 rerank API 不一樣，要自己轉。 - 內容安全：
meta/llama-guard-4-12b約 0.5 秒，問「怎麼做炸彈」會回unsafe S2；llama-3.1-nemotron-safety-guard-8b-v3約 1 秒，回 JSON 還附違規類別，比較好解析。 - 不推薦：
riva-translate-4b-instruct-v2英翻繁中竟然吐出斯洛伐克文；nemotron-3.5-parse回 404；Nemotron 3.5 Bolt E4B 推理題 6 題錯 5 題。
我自己怎麼設客戶端
40 RPM 不是保證值，所以我在自己的 gateway 對每個 NVIDIA 模型設每分鐘 30 次，超過就換下一個模型，不要硬打到 429。另外提醒一下：模型被 NVIDIA 下架時回的是 404，如果你的降級邏輯只看 429 或 5xx，遇到 404 就不會換下一個。
條款跟資料：這段請一定要看
官方 FAQ 講得很清楚，判斷是不是「正式環境」不是看有沒有收錢：你的應用一旦超出研究、開發、測試、評估的範圍，就算是免費提供給使用者，也不算開發試用。
資料方面，模型 Playground 的隱私告知 說輸入跟輸出會被記錄，用來提供試用服務、改善 NVIDIA 的產品和服務，包含 AI 模型。這段話不能解讀成「每一筆一定拿去訓練」，但也不能解讀成「保證不留資料」。
試用條款第 2.6 節另外限制了機密和敏感資料；第 2.3 和 2.4 節有資料保存的例外，裡面的 30 天不能套成所有免費 LLM API 都一樣的保存政策。
說白了：拿來內部評估、做原型，很好用；但要正式上線，或是要丟公司的機密程式碼、客戶資料進去，就得先確認適用的服務方案、資料處理條款跟模型授權。要不要遷移，最好在 PoC 早期就想好，別等到上線前一天才發現。
實際開發怎麼用比較穩
下面是我根據服務定位、限制跟這輪實測整理的建議。
適合先拿免費端點做的事：比較不同模型的回答、測試提示詞、做內部原型，還有用可以外流的測試資料，驗證工具呼叫和看圖能力。
如果你把它接到程式助理或 agent 流程，要注意一次「幫我修好這個功能」可能會打好幾輪 API。用量要用實際的 HTTP 請求數來算；模型一次回傳好幾個工具呼叫，不等於打了同樣多次 API。
從低併發開始
先用低併發跑，看你帳號的限制再慢慢往上調。要同時跑很多工作的話，可以參考我之前寫的用 OpenCode 一套搞定雲端免費模型、地端 Ollama、MCP 與 Skill：我的實戰避坑指南。
遇到 429，重試要有上限
NVIDIA 的 RAG 疑難排解文件 把 429 跟速率限制連在一起，也建議降低併發。重試時，等待時間跟次數都要設上限：
import asyncio
import random
async def call_with_backoff(client, payload, max_retries=5, max_wait=60):
for attempt in range(max_retries):
resp = await client.post("/v1/chat/completions", json=payload)
if resp.status_code != 429:
resp.raise_for_status() # 400、401 這類直接拋出，不要重試
return resp.json()
try:
wait = float(resp.headers.get("Retry-After", ""))
except ValueError:
wait = 2 ** attempt + random.random()
await asyncio.sleep(min(wait, max_wait))
raise RuntimeError("429 retries exhausted")
錯誤要分開處理
| 狀況 | 怎麼處理 |
|---|---|
| 上下文太長、參數錯（400） | 不要重試，先修輸入或參數 |
| key 有問題（401） | 不要重試，檢查 API key |
| 模型不存在或被下架（404） | 不要重試同一個模型；有備援就換下一個 |
| 被限流（429） | 有上限地退避重試，同時降低併發 |
| 逾時、伺服器錯誤（5xx） | 有上限地重試，並分開統計 |
| 回應成功但內容空白 | 多半是思考型模型把 max_tokens 用光了，調高上限再試 |
千萬別讓所有錯誤都進到無限重試。
幫回答留空間
DeepSeek V4.1 Flash 這種輸入輸出共用上下文的模型，輸入塞越多，能留給回答的就越少。長對話可以先整理歷史和工具輸出，別一直往裡面塞。
把用量記下來
日誌記下模型 ID、時間、輸入和輸出 token 數、錯誤碼，之後調排程或評估要不要遷移，才有數字可以看。儀表板的做法可以參考 Token Monitor 實測與團隊版改造：把全公司 AI 工具的 token 用量收進同一個看板。
結論
NVIDIA 的免費 AI API，本質上是有速率跟用途限制的開發試用，拿來做原型很棒，但不是正式環境的替代品。官方確認過 40 RPM，但實際限制還是要看你的帳號、模型跟當下狀況；TPM、每日額度跟併發都沒公開，沒公開不代表沒限制；模型可以商用，也不代表免費託管服務可以直接上線。
這輪實測也提醒我兩件事：清單上 84 個模型，有 26 個我的帳號根本叫不到；中文表現最好的 Mistral Large 4 跟 GLM-5.3-Flash，回應要 15 秒以上。拿免費端點來比較模型、挑候選非常好用，但速度跟可用性，一定要自己量過才算數。
接下來可以這樣做：
- PoC 階段：用免費端點比較模型、驗證提示詞、測試看圖能力，順便截圖記下自己帳號的限制。
- 上線前：確認適用的服務方案跟資料處理條款，評估自架或其他部署方式。自架 GPU 的成本可以參考 Docker 安裝AI大型語言模型 Ollama，並實測比較 CPU 與 GPU 硬體加速效能。
- 補上自己的數據：把實際的 token 用量、等待時間、429 跟逾時次數記下來，再決定要不要遷移。如果只測了幾次，就寫「這次測試看到的」，別推論成每個人都一樣。
免費端點是很好的起跑工具，把它當成「試駕車」就好，別讓它當你「生產車隊」的主力。🚀
Comments