常见的 grok api 错误

将基础模型与 API 包装器混淆

我们的 API 不是包装其他公司模型的包装器；它是一个独立的开放权重模型，针对减少拒绝进行了调整。许多开发人员假设，因为 API 端点看起来像 OpenAI 的，底层模型的行为也完全相同。这是不正确的。我们托管的模型拥有自己的权重和训练数据，针对直接回答而非企业安全的中立性进行了优化。当您发送请求时，您是在与我们的特定推理层交互，而不是代理到更大供应商的服务器。这种区别对延迟和行为很重要。我们的端点运行在专用基础设施上，确保一致的性能，没有共享公共 API 的变异性。始终检查由 /v1/models 用于确认您正在访问正确服务的端点。错误识别模型可能导致对功能的不正确假设。我们的模型在设计上就是无限制的，这意味着它会回答标准模型可能会回避的问题。对于需要原始数据的开发人员来说，这是一个特性，而不是缺陷。

关键区别

• 基础模型： 运行在我们服务器上的权重。
• API 封装： 处理您请求的 HTTP 层。

预期无审查变体具备 GPT-4 级别的推理能力

无审查模型优先考虑直接性而非细微推理，这可能导致在复杂任务中出现幻觉。开发者通常期望与高端商业模型具有相同的逻辑深度，但减少拒绝的权衡通常是更不严格的事实核查。我们的模型在创意和直接任务方面非常强大，但在多步数学证明方面可能会遇到困难。如果准确性至关重要，请始终使用次要检查器验证关键输出。该模型擅长生成不加道德评判的内容，非常适合 NSFW 或争议性话题。然而，它没有与最大商业模型相同的训练数据。将其用于量和语气，而非科学精度。

何时使用它

• 内容生成
• 具有个性的 Chatbots
• 从文本中提取数据

忽略上下文窗口限制

我们的 API 支持 100,000 个 token 的上下文窗口，但这是输入和输出的总和，而不仅仅是输入。开发人员常常忘记考虑对话历史的增长，这最终会触及限制并截断较早的消息。如果你发送一个 90,000 token 的提示，你只剩下 10,000 个 token 用于响应。这可能会意外地截断长篇内容。始终跟踪每个请求的 token 使用情况。模型不会因上下文长度而拒绝请求，但会以较少的信息响应。

最佳实践

• 输入令牌 + 输出令牌。
• 为系统消息保留缓冲区。
• 定期修剪历史记录。

假设所有“无审查”模型能力相当

并非所有无审查模型都相同；一些优先考虑创意，而另一些优先考虑原始数据。我们的模型针对直接性和连贯性的平衡进行了调整，避免了一些较小无审查模型产生的胡言乱语。评估替代方案时，请查看所使用的特定微调数据。一些模型在 Reddit 线程上训练，而另一些则使用学术论文。我们的模型针对通用无审查交互进行了优化。

对比

忽略流式传输中输出令牌的成本

流式响应会对发送的每个 Token 收费，包括包含使用数据的最后一个数据块。开发人员有时认为只有输入会被计费，但输出 Token 通常更昂贵。我们的定价为每百万输出 Token 0.50 美元，高于输入 Token。如果您生成长响应，成本会激增。请始终监控 usage field in the final chunk. This is crucial for budgeting in high-volume applications.

成本分解

• 输入：$0.15 / 1M token
• 输出：$0.50 / 1M token

将本地推理成本与 API 定价混淆

在本地运行模型需要硬件、电力和维护，对于偶尔使用的情况，这比 API 更昂贵。我们的 API 消除了对 GPU 的需求，使其对于间歇性爆发式使用具有成本效益。然而，对于高吞吐量、持续的工作负载，本地推理可能更便宜。在承诺之前评估你的使用模式。我们的 API 使用加密货币预付费，因此没有闲置成本。这对于具有可变流量的项目非常理想。

本地与 API

• 本地： 高前期成本，低边际成本。
• API： 低前期成本，可变边际成本。

未使用无审查模型测试函数调用

函数调用需要严格的 JSON 格式，uncensored 模型并不总能保证这一点。我们的模型支持函数调用，但您必须使用 response_format. 即便如此，仍可能出现验证错误。始终将函数调用包裹在 try-catch 块中，并在失败时重试。模型可能会添加额外文本或遗漏引号。

代码示例

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.grokapipricing.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

预期严格的 JSON 合规性，无格式要求

无限制模型旨在进行对话，这可能导致 JSON 响应中出现对话填充词。即使在 JSON 模式下，模型仍可能添加注释或多余的空格。请始终严格解析响应并忽略意外字段。我们的 API 支持 response_format: {"type": "json_object"} 提高合规性。然而，没有模型是完美的。

提示

• 使用正则表达式提取 JSON 块。
• 使用架构库进行验证。

批量生成期间忽略速率限制

我们的 API 每个密钥每分钟允许 300 次请求，但突发流量仍可能触发限制。如果您同时发送 300 次请求，可能会超过 8 个请求的并发限制。请相应地规划批量作业。使用队列系统管理并发。我们的 API 旨在提供稳定、可靠的吞吐量。

限制

• 300 RPM
• 8 Concurrent