前言

想玩大語言模型，又不想一開始就砸錢買 GPU 或付推論費？NVIDIA API Catalog 有一批免費的託管端點，註冊完拿到 key 就能直接打，介面還跟 OpenAI 相容，原本的程式改個網址就能用。

不過「免費」兩個字底下藏了不少細節：一分鐘能打幾次？一天有沒有上限？清單上的模型是不是都叫得到？能不能拿來上線？這些答案散在官方 FAQ、模型頁、API 文件跟論壇回覆裡，網路上的舊文章還在講早就改掉的 credits 制度。

所以我把它們整理成一篇，順便用自己的帳號實際跑了一輪測試。

先講清楚：資料查核日期是 2026 年 11 月 7 日。限制和條款以官方文件、模型頁和官方人員回覆為準；文末的實測是我同一天跑的小規模測試，題目少、只跑一輪，看看就好，也沒有測帳號額度上限或長時間呼叫。文中說「未公開」，是指我這次沒找到統一公開的規格，未公開不代表沒限制。

怎麼申請 API key

流程很短，五分鐘內就能打出第一個請求。以下照 官方 Quickstart 跟模型頁的實際畫面整理：

1. 打開任一個模型頁，例如 DeepSeek V4.1 Flash 或 GLM 5.3 Flash。
2. 點右邊面板的「Get API Key」，在跳出的視窗輸入 Email，按「Next」。
3. 登入或設定密碼。沒有 NVIDIA 帳號的話會請你設一組密碼；註冊完會自動加入 NVIDIA Developer Program，官方 FAQ 說的就是 Developer Program 成員可以免費使用這些端點做原型開發。
4. 回到模型頁後會跳出你的 key，按「Copy Key」複製起來，貼到安全的地方。部分第三方模型會先跳一個提醒，按「Acknowledge & Continue」就好。
5. 按「Copy Code」複製右邊的範例程式，把裡面的 API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC 換成你的 key。

模型頁上的範例程式有些欄位是空的（temperature=、max_tokens= 這類），直接跑會壞。我整理一個可以直接跑的版本，key 建議放環境變數 NVIDIA_API_KEY，不要寫死在程式裡：

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://integrate.api.nvidia.com/v1",
    api_key=os.environ["NVIDIA_API_KEY"],
)

resp = client.chat.completions.create(
    model="z-ai/glm-5.3-flash",
    messages=[{"role": "user", "content": "用一句話介紹你自己"}],
    max_tokens=1500,  # 思考型模型會先花 token 思考，別設太小，原因見後面實測
)
print(resp.choices[0].message.content)

申請時要注意兩件事：

• 模型頁寫明這個試用服務受 NVIDIA API Trial Terms of Service 約束，下面「條款」那段會講它限制了什麼。
• 你自己的速率限制，官方指引是登入 build.nvidia.com 後看右上方顯示的資訊。官方文件沒寫 key 會不會過期、要去哪裡撤銷，這部分我沒查到，就不亂寫了。

先搞清楚：哪些東西算「免費」

這篇講的免費，只限 NVIDIA 自己託管的開發試用端點。Partner Endpoint、自己架 NIM、租 GPU 或其他訂閱，費用都要另外確認，別混在一起。

還有一個很多人搞混的點：「模型可以商用」跟「NVIDIA 的免費服務可以商用」是兩回事。依 試用條款 第 1.2 與 1.4 節，沒另外買適用訂閱的話，API 服務跟它產生的內容只能拿來內部測試和評估，不能上正式環境。模型本身是開源、可商用的，不代表 NVIDIA 的免費託管也給你同樣的權利。

限制一覽：40 RPM 之外，大多沒公開

一句話總結：除了 40 RPM 這個「曾經確認過、但有但書」的數字，其他大多沒公開。要設定客戶端，以你帳號畫面上顯示的和實際打出來的回應為準，比網路文章裡的固定數字可靠。

四個常被搞混的 token 數字

看模型規格時，這幾個數字長得很像，但完全是不同東西：

1. 上下文窗口（context window）：單次請求能處理多少內容，輸入、對話歷史跟輸出通通算在裡面。它不是每天送你多少 token。
2. max_tokens：這次呼叫最多能產生多少 token，還會被模型跟端點的上限卡住，也不代表每次都會生那麼多。
3. 範例值、預設值、上限：程式範例寫 max_tokens=16384，不代表端點最多只能輸出 16,384，要去看該模型 API 文件的參數規格。
4. TPM 與每日額度：一段時間內能用多少，跟單次能塞多長的文件、模型聰不聰明都無關。

四個免費模型的規格

這四個模型在查核當天的 Build 頁面都有免費端點。上下文欄照抄 Build 頁面的 K、M 標示，max_tokens 欄是 API 文件寫的參數範圍。這些是文件規格，不是我實測出來的。

幾個容易讀錯的地方：

• Nemotron 跟 MiniMax 的模型卡寫最高 1M，Build 頁卻是 262K，MiniMax 文件也說實際上下文看部署設定。模型本身的能力，跟 NVIDIA 託管端點給你的設定可能不一樣，以你實際打的端點為準，別只挑大的數字講。
• GLM 文件沒寫最大輸出值，不等於可以無限輸出。
• DeepSeek 的 1,048,576 是上下文容量，不是每天送你 1M token。
• 沒指定 max_tokens 就會用預設值，像 GLM 只有 1,024，長一點的回答就會被切掉。程式裡記得自己設，也要留空間給輸入。

頁面上寫免費，不代表叫得到

有免費標籤，不一定能用 API 呼叫：

• Kimi K3.1 Pro：頁面有免費端點標籤，但程式碼區寫明 API 還沒開放，只能在 Playground 玩。
• Kimi K3、Qwen3 Coder 480B、GPT OSS 120B：NVIDIA 頁面上的免費端點已經標 Deprecated。這只是說 NVIDIA 這邊停了，不代表別家也停用這些模型。

模型名單一直在變，寫文章或寫程式之前，模型頁、程式碼區、API 文件跟端點狀態都要一起看。另外，NVIDIA 的 Blueprint 疑難排解文件 也提到：限制是跟著 API key 或帳號走的，換一台機器不會多給你額度；而只是延遲變高，也不能就認定被限流了。

實測紀錄（2026-11-07）

文件讀完，我用自己的帳號實際打了一輪。測試條件：同一把 NVIDIA API key，文字跟向量走 https://integrate.api.nvidia.com/v1，生圖跟重新排序走 https://ai.api.nvidia.com/v1，溫度 0.2。每題只跑一次，速度也會受當下端點負載影響，下面的分數和秒數只代表我這次看到的結果。

84 個模型，有 26 個叫不到

API 的模型清單列了 84 個，但其中有 26 個聊天模型，我一呼叫就回 404（Function not found for account），像 Yi Large、DBRX、Gemma 3、Phi-3.5 MoE、Mixtral 8x22B、舊版 Mistral Large 都是。另外 GPT-OSS 20B、Gemma 4 31B、Llama 3.2 90B Vision、FLUX.1 dev、FLUX.1 Kontext dev 這幾個，等了 90 到 120 秒都沒回應。Kimi K3.1 Pro 也跟模型頁寫的一樣，API 還沒開。

所以前面那句話是真的：清單上有、網頁標了 Free Endpoint，都不代表你的帳號現在叫得到。上線前，一定要拿自己的 key 實際打一次。

中文誰最好？8 題進階題排名

我先用 7 題簡單題篩（數學、邏輯、成語、日期、繁中寫作、計數、正式改寫），結果 7 個模型全對，根本分不出來。所以再出 8 題中文進階題：台灣用語翻譯（軟體、網路、影片等 6 個詞）、閱讀理解應用題、成語填空、雞兔同籠變形、照格式條列、150 字繁中短文（出現簡體字扣分）、台灣口語「白目」、中文轉 JSON。每題 0 到 1 分，程式自動評分，「白目」那題我另外人工看過。

DeepSeek V4.1 Flash 這輪沒跑完；另外它在 JSON 模式回空白，回答也偏簡體字。

最實用的一個坑：回你一片空白

第一輪可用性測試我只給 400 token，結果 Mistral Large 4 等模型把 token 全花在思考上，回答是空白的；回答上限 300 的時候，Nemotron Super VL 也一樣空白。拉到 1,500 之後，4 個模型都正常了。

所以「留輸出空間」不只是上下文夠不夠的問題：思考型模型的思考 token 也算在 max_tokens 裡。上限設太小，你拿到的不是短回答，而是一個空字串，還會以為是 API 壞了。

看圖、生圖跟其他模型

• 看圖（一張左紅、右藍、底部綠條的圖，請它說出三個顏色）：Mistral Large 4、GLM-5.3-Flash、Nemotron 3.5 Super VL、Step 5 Preview 都答對；DeepSeek V4.1 Flash 答對但用簡體字；MiniMax M3.1 Flash 答錯；Llama 3.2 90B Vision 逾時。
• 生圖：能穩定出圖的只有 FLUX.3 Image Klein（black-forest-labs/flux-3-image-klein）。1024×1024 成功 3 次，一張大約 1 到 6 秒，中文提示詞「一顆紅蘋果放在白色桌上」也畫得對，回傳 JPEG。要注意它不是 OpenAI 格式（回的是 artifacts[].base64），單張上限大約 106 萬像素，1536×1024 會被拒，橫圖要改用 1248×832 這類尺寸。FLUX.1 dev 給 20 步時 60 秒逾時，Stable Diffusion 3 Medium 回 404。
• 向量嵌入：nvidia/nemotron-3.5-embed-8b 約 0.6 秒、4096 維；nemotron-3.5-embed-1b 約 0.5 到 0.7 秒、2048 維；圖文向量 llama-nemotron-embed-vl-1b-v2 約 0.8 秒、2048 維，都走標準 /v1/embeddings，很好接。
• 重新排序：nvidia/nemotron-3.5-rerank-8b 第一次大約 7 秒，把「玉山」排在「日月潭」前面，順序正確；不過格式跟常見的 rerank API 不一樣，要自己轉。
• 內容安全：meta/llama-guard-4-12b 約 0.5 秒，問「怎麼做炸彈」會回 unsafe S2；llama-3.1-nemotron-safety-guard-8b-v3 約 1 秒，回 JSON 還附違規類別，比較好解析。
• 不推薦：riva-translate-4b-instruct-v2 英翻繁中竟然吐出斯洛伐克文；nemotron-3.5-parse 回 404；Nemotron 3.5 Bolt E4B 推理題 6 題錯 5 題。

我自己怎麼設客戶端

40 RPM 不是保證值，所以我在自己的 gateway 對每個 NVIDIA 模型設每分鐘 30 次，超過就換下一個模型，不要硬打到 429。另外提醒一下：模型被 NVIDIA 下架時回的是 404，如果你的降級邏輯只看 429 或 5xx，遇到 404 就不會換下一個。

條款跟資料：這段請一定要看

官方 FAQ 講得很清楚，判斷是不是「正式環境」不是看有沒有收錢：你的應用一旦超出研究、開發、測試、評估的範圍，就算是免費提供給使用者，也不算開發試用。

資料方面，模型 Playground 的隱私告知 說輸入跟輸出會被記錄，用來提供試用服務、改善 NVIDIA 的產品和服務，包含 AI 模型。這段話不能解讀成「每一筆一定拿去訓練」，但也不能解讀成「保證不留資料」。

試用條款第 2.6 節另外限制了機密和敏感資料；第 2.3 和 2.4 節有資料保存的例外，裡面的 30 天不能套成所有免費 LLM API 都一樣的保存政策。

說白了：拿來內部評估、做原型，很好用；但要正式上線，或是要丟公司的機密程式碼、客戶資料進去，就得先確認適用的服務方案、資料處理條款跟模型授權。要不要遷移，最好在 PoC 早期就想好，別等到上線前一天才發現。

實際開發怎麼用比較穩

下面是我根據服務定位、限制跟這輪實測整理的建議。

適合先拿免費端點做的事：比較不同模型的回答、測試提示詞、做內部原型，還有用可以外流的測試資料，驗證工具呼叫和看圖能力。

如果你把它接到程式助理或 agent 流程，要注意一次「幫我修好這個功能」可能會打好幾輪 API。用量要用實際的 HTTP 請求數來算；模型一次回傳好幾個工具呼叫，不等於打了同樣多次 API。

從低併發開始

先用低併發跑，看你帳號的限制再慢慢往上調。要同時跑很多工作的話，可以參考我之前寫的用 OpenCode 一套搞定雲端免費模型、地端 Ollama、MCP 與 Skill：我的實戰避坑指南。

遇到 429，重試要有上限

NVIDIA 的 RAG 疑難排解文件 把 429 跟速率限制連在一起，也建議降低併發。重試時，等待時間跟次數都要設上限：

import asyncio
import random

async def call_with_backoff(client, payload, max_retries=5, max_wait=60):
    for attempt in range(max_retries):
        resp = await client.post("/v1/chat/completions", json=payload)
        if resp.status_code != 429:
            resp.raise_for_status()  # 400、401 這類直接拋出，不要重試
            return resp.json()
        try:
            wait = float(resp.headers.get("Retry-After", ""))
        except ValueError:
            wait = 2 ** attempt + random.random()
        await asyncio.sleep(min(wait, max_wait))
    raise RuntimeError("429 retries exhausted")

錯誤要分開處理

千萬別讓所有錯誤都進到無限重試。

幫回答留空間

DeepSeek V4.1 Flash 這種輸入輸出共用上下文的模型，輸入塞越多，能留給回答的就越少。長對話可以先整理歷史和工具輸出，別一直往裡面塞。

把用量記下來

日誌記下模型 ID、時間、輸入和輸出 token 數、錯誤碼，之後調排程或評估要不要遷移，才有數字可以看。儀表板的做法可以參考 Token Monitor 實測與團隊版改造：把全公司 AI 工具的 token 用量收進同一個看板。

結論

NVIDIA 的免費 AI API，本質上是有速率跟用途限制的開發試用，拿來做原型很棒，但不是正式環境的替代品。官方確認過 40 RPM，但實際限制還是要看你的帳號、模型跟當下狀況；TPM、每日額度跟併發都沒公開，沒公開不代表沒限制；模型可以商用，也不代表免費託管服務可以直接上線。

這輪實測也提醒我兩件事：清單上 84 個模型，有 26 個我的帳號根本叫不到；中文表現最好的 Mistral Large 4 跟 GLM-5.3-Flash，回應要 15 秒以上。拿免費端點來比較模型、挑候選非常好用，但速度跟可用性，一定要自己量過才算數。

接下來可以這樣做：

1. PoC 階段：用免費端點比較模型、驗證提示詞、測試看圖能力，順便截圖記下自己帳號的限制。
2. 上線前：確認適用的服務方案跟資料處理條款，評估自架或其他部署方式。自架 GPU 的成本可以參考 Docker 安裝AI大型語言模型 Ollama，並實測比較 CPU 與 GPU 硬體加速效能。
3. 補上自己的數據：把實際的 token 用量、等待時間、429 跟逾時次數記下來，再決定要不要遷移。如果只測了幾次，就寫「這次測試看到的」，別推論成每個人都一樣。

免費端點是很好的起跑工具，把它當成「試駕車」就好，別讓它當你「生產車隊」的主力。🚀