一般的なgrok APIのミス

ベースモデルとAPIラッパーの混同

当社のAPIは他社のモデルをラップしたものではなく、拒否を少なくするためにチューニングされた独立したオープンウェイトモデルです。多くの開発者は、APIエンドポイントがOpenAIのように見えるため、基盤となるモデルも同じように動作すると誤解しています。これは誤りです。当社がホストするモデルは独自の重みとトレーニングデータを持っており、企業の安全な中立性よりも直接的な回答に最適化されています。リクエストを送信すると、あなたはより大きなベンダーのサーバーへのプロキシではなく、当社の特定の推論レイヤと対話しています。この区別はレイテンシと動作において重要です。当社のエンドポイントは専用インフラ上で実行されており、共有公開APIの可変性なしで一貫したパフォーマンスを保証します。返されるモデルIDを常に確認してください。 /v1/models 正しいサービスにアクセスしていることを確認するためのエンドポイント。モデルを誤識別すると、機能に関する誤った推測を招く可能性があります。当社のモデルは設計上uncensoredであり、標準的なモデルが避けがちな質問にも回答します。これは、生データが必要な開発者にとって機能であり、バグではありません。

主な違い

• ベースモデル: 当社のサーバーで実行されている重みパラメータ。
• APIラッパー： リクエストを処理するHTTPレイヤー。

Uncensored版からGPT-4レベルの推論を期待します

アンサニモデルは、ニュアンスのある推論よりも直接的さを優先するため、複雑なタスクでハルシネーションを引き起こす可能性があります。開発者は、プレミアム商業モデルと同じ論理的深さを期待することが多いですが、拒否が少ないことの見返りとして、厳密な事実検証がしばしば不足します。当社のモデルはクリエイティブおよび直接的なタスクに対して非常に有能力ですが、多段階の数学的証明では困難をきたす可能性があります。精度が最重要である場合は、重要な出力をセカンダリチェッカーで常に検証してください。このモデルは、道徳的な言及なしでコンテンツを生成することに優れており、NSFWや論争的なトピックに完璧です。ただし、最大規模の商業モデルと同じトレーニングデータを持っているわけではありません。科学の正確性のためではなく、ボリュームとトーンのために使用してください。

いつそれを使うべきか

• コンテンツ生成
• Chatbots with personality
• テキストからのデータ抽出

長時間の会話におけるコンテキストウィンドウ制限の無視

当社のAPIは100,000トークンのコンテキストウィンドウをサポートしていますが、これは入力と出力の合計であり、入力のみではありません。開発者は会話の履歴が増加するにつれて最終的に制限に達し、古いメッセージが切り捨てられることを考慮することを忘れることがよくあります。90,000トークンのプロンプトを送信する場合、応答には10,000トークンしか残りません。これにより、長文コンテンツが予期せず切り捨てられる可能性があります。リクエストごとのトークン使用量を常に追跡してください。モデルはコンテキストの長さのためにリクエストを拒否しませんが、より少ない情報で応答します。

Best practice

• 入力トークン + 出力トークンを合計します。
• システムメッセージ用のバッファを確保してください。
• 履歴を定期的にトリムしてください。

すべての「uncensored」モデルが同等の能力を持つと想定する

すべてのアンセンサードモデルが同等に作られているわけではありません。一部のモデルは創造性を優先し、他のモデルは生データを優先します。当社のモデルは、直接的さと一貫性のバランスを取るために調整されており、一部の小規模なアンセンサードモデルが生み出すノイズを避けます。代替案を評価する際は、使用された特定のファインチューニングデータを確認してください。一部のモデルはRedditスレッドでトレーニングされますが、他のモデルは学術論文を使用します。当社のモデルは汎用アンセンサード対話用に最適化されています。

比較

ストリーミングにおける出力トークンのコストを見逃す

ストリーミングレスポンスは、最終チャンクの使用データを含む、送信されるすべてのトークンに対して課金されます。開発者は入力のみが請求されると誤解することがありますが、出力トークンはしばしば入力よりも高価です。当社の価格設定は、出力トークン100万トークンあたり$0.50で、入力トークンよりも高くなっています。長いレスポンスを生成すると、コストが跳ね上がります。常に監視してください usage 最終チャンク内のフィールド。これは、大量のアプリケーションにおける予算管理にとって重要です。

コスト内訳

• 入力：1Mトークンあたり$0.15
• 出力：1Mトークンあたり$0.50

ローカル推論コストとAPI価格を混同

ローカルでモデルを実行するには、ハードウェア、電力、メンテナンスが必要であり、偶発的な使用の場合、APIよりも高価になる可能性があります。当社のAPIはGPUを不要にするため、断続的なバーストにはコスト効果が高いです。ただし、高スループットの継続的なワークロードの場合、ローカル推論の方が安くなる可能性があります。コミットする前に使用パターンを評価してください。当社のAPIは暗号通貨で前払い制なので、アイドルコストはありません。これは可変トラフィックのプロジェクトに最適です。

ローカル vs API

• ローカル： 高い初期費用、低い限界費用。
• API： 低い初期費用、変動する限界費用。

フィルタなしモデルでの関数呼び出しのテストを行っていない

関数呼び出しには厳格なJSONフォーマットが必要であり、uncensoredモデルはそれを常に保証するわけではありません。当社のモデルは関数呼び出しをサポートしていますが、 response_format. その場合でも、バリデーションエラーが発生する可能性があります。関数呼び出しは常にtry-catchブロックでラップし、失敗時に再試行してください。モデルは余分なテキストを追加したり、引用符を見逃したりする場合があります。

コード例

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.grokapipricing.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

フォーマットなしの厳密なJSON準拠を期待します

Uncensoredモデルは会話型に設計されているため、JSONレスポンスに会話的なフィラーが含まれる場合があります。JSONモードでも、モデルはコメントや余分な空白を追加することがあります。常にレスポンスを厳密に解析し、予期しないフィールドは無視してください。当APIは response_format: {"type": "json_object"} 準拠性を向上させます。ただし、どのモデルも完璧ではありません。

ヒント

• 正規表現を使用してJSONブロックを抽出します。
• スキーマライブラリで検証します。

一括生成時のレート制限の無視

当社のAPIは、キーごとに1分あたり300リクエストをサポートしますが、バーストが発生すると制限に達する可能性があります。300リクエストを同時に送信すると、8リクエストの並列制限を超える可能性があります。バッチジョブを適切に計画してください。キューシステムを使用して並列処理を管理してください。当社のAPIは、安定した信頼性の高いスループットのために設計されています。

制限

• 300 RPM
• 8 Concurrent