常見 grok API 錯誤

將基礎模型與 API 包裝層混淆

我們的 API 並非包裝其他公司的模型；它是一個獨立的開權重模型，針對減少拒絕進行了調整。許多開發者認為，由於 API 端點看起來像 OpenAI 的，底層模型的行為也完全相同。這是錯誤的。我們託管的模型擁有自己的權重和訓練數據，針對直接回答而非企業安全的中立性進行了優化。當您發送請求時，您是在與我們特定的推理層進行交互，而非較大供應商伺服器的代理。這種區別對於延遲和行為至關重要。我們的端點在專用基礎設施上運行，確保一致的效能，沒有共享公共 API 的變異性。請始終檢查由返回的模型 ID /v1/models 用於確認您連線至正確服務的端點。誤認模型可能會導致對功能的不正確假設。我們的模型設計為無限制，意味著它會回答標準模型可能會迴避的問題。對於需要原始資料的開發者而言，這是功能而非缺陷。

主要差異

• 基礎模型： 運行在我們伺服器上的權重。
• API 封裝： 處理您請求的 HTTP 層。

預期來自無審查變體的 GPT-4 級推理能力。

無審查模型優先考慮直接性而非細緻的推理，這可能會導致在複雜任務中出現幻覺。開發者通常期望與高階商業模型相同的邏輯深度，但為了減少拒絕而做出的權衡通常是更不嚴格的事實查證。我們的模型在創意和直接任務方面非常強大，但在多步數學證明方面可能會遇到困難。如果準確性至關重要，請始終使用次要檢查器驗證關鍵輸出。該模型擅長生成不帶說教內容的內容，這非常適合 NSFW 或爭議性主題。然而，它並未擁有最大商業模型相同的訓練數據。請將其用於產量和語調，而非科學精度。

何時使用它

• 內容生成
• 具有個性的聊天機器人
• 從文字中擷取資料

忽略上下文窗口限制

我們的 API 支援 100,000 個 token 的上下文視窗，但這是輸入與輸出的總和，而不僅是輸入。開發人員常忽略對話歷史會不斷增長，最終達到限制並截斷較舊的訊息。如果您傳送 90,000 個 token 的提示，剩餘給回應的 token 僅有 10,000 個。這可能會意外截斷長篇內容。請務必追蹤每次請求的 token 使用量。模型不會因上下文長度而拒絕請求，但會回傳較少的資訊。

最佳實踐

• 輸入 token + 輸出 token 的總和。
• 為系統訊息保留緩衝區。
• 定期修剪歷史記錄。

假設所有 '無審查' 模型能力相當

並非所有 uncensored 模型都一樣；有些優先考慮創意，而有些則優先考慮原始數據。我們的模型經過調整，以平衡直接性與連貫性，避免某些較小的 uncensored 模型產生的胡言亂語。評估替代方案時，請查看所使用的具體微調數據。有些模型在 Reddit 帖子上訓練，而其他則使用學術論文。我們的模型針對通用 uncensored 互動進行了優化。

比較

忽略串流中輸出 token 的成本

串流回應會為送出的每個 token 計費，包括包含使用量資料的最後一個區塊。開發人員有時誤以為只計費輸入，但輸出 token 通常更昂貴。我們的定價為每百萬輸出 token $0.50，高於輸入 token。如果您生成長回應，成本會飆升。請務必監控 usage field in the final chunk. This is crucial for budgeting in high-volume applications.

成本分解

• 輸入：每 1M token $0.15
• 輸出：每 1M 個 token $0.50

混淆本地推理成本與 API 定價

在本地運行模型需要硬體、電力和維護，對於偶爾使用的情況，這可能比 API 更昂貴。我們的 API 消除了對 GPU 的需求，使其對於間歇性爆發使用具有成本效益。然而，對於高吞吐量、持續的工作負載，本地推理可能更便宜。在做出承諾之前，請評估您的使用模式。我們的 API 採用加密預付費，因此沒有閒置成本。這對於具有變量流量的項目非常理想。

本地 vs API

• 本地： 高前期成本，低邊際成本。
• API： 低前期成本，邊際成本可變。

未針對無審查模型測試函數呼叫

函式呼叫需要嚴格的 JSON 格式，uncensored 模型並不總是保證這一點。我們的模型支援函式呼叫，但您必須使用 response_format. 即便如此，仍可能發生驗證錯誤。請務必將您的函數呼叫包裹在 try-catch 區塊中，並在失敗時重試。模型可能會添加額外文字或遺漏引號。

程式範例

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.grokapipricing.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

預期嚴格符合 JSON 格式但無額外格式化

無審查模型設計為具有對話性，這可能會導致 JSON 響應中包含對話填充詞。即使在 JSON 模式下，模型也可能添加註釋或額外空白。請始終嚴格解析響應並忽略意外字段。我們的 API 支援 response_format: {"type": "json_object"} 以提高合規性。然而，沒有模型是完美的。

提示

• 使用正則表達式提取 JSON 區塊。
• 使用結構描述程式庫進行驗證。

忽略批量生成期間的速率限制

我們的 API 每金鑰每分鐘允許 300 次請求，但突發流量仍可能觸發限制。如果您同時發送 300 次請求，可能會超過 8 個請求的併發限制。請相應地規劃批量作業。使用佇列系統來管理併發性。我們的 API 旨在提供穩定且可靠的吞吐量。

Limits

• 300 RPM
• 8 Concurrent