Kesalahan umum api grok

Membuat Kebingungan antara model dasar dengan wrapper API

API kami bukan pembungkus di sekitar model perusahaan lain; ini adalah model open-weight yang berbeda yang disesuaikan untuk lebih sedikit penolakan. Banyak pengembang mengasumsikan bahwa karena endpoint API terlihat seperti OpenAI, model dasarnya berperilaku identik. Ini salah. Model yang kami host memiliki bobot dan data pelatihan sendiri, yang dioptimalkan untuk jawaban langsung daripada netralitas yang aman secara korporat. Ketika Anda mengirim permintaan, Anda berinteraksi dengan lapisan inferensi khusus kami, bukan proxy ke server vendor yang lebih besar. Perbedaan ini penting untuk latensi dan perilaku. Endpoint kami berjalan di infrastruktur khusus, memastikan kinerja konsisten tanpa variabilitas API publik bersama. Selalu periksa ID model yang dikembalikan oleh /v1/models endpoint untuk mengonfirmasi bahwa Anda sedang menghubungi layanan yang benar. Mengidentifikasi model secara keliru dapat menyebabkan asumsi yang salah tentang kemampuan. Model kami dirancang tanpa sensor, artinya akan menjawab pertanyaan yang mungkin dihindari oleh model standar. Ini adalah fitur, bukan bug, bagi pengembang yang membutuhkan data mentah.

Perbedaan utama

• Model Dasar: Bobot yang berjalan di server kami.
• Wrapper API: Lapisan HTTP yang menangani permintaan Anda.

Mengharapkan penalaran tingkat GPT-4 dari varian tanpa sensor

Model tanpa sensor mengutamakan langsungness daripada penalaran bernuansa, yang dapat menyebabkan halusinasi dalam tugas kompleks. Pengembang sering mengharapkan kedalaman logis yang sama seperti model komersial premium, tetapi pertukaran untuk lebih sedikit penolakan sering kali berarti pemeriksaan fakta yang kurang ketat. Model kami sangat mampu untuk tugas kreatif dan langsung, tetapi mungkin kesulitan dengan bukti matematika multi-langkah. Selalu validasi output kritis dengan pemeriksa sekunder jika akurasi sangat penting. Model ini unggul dalam menghasilkan konten tanpa moralisasi, yang sempurna untuk topik NSFW atau kontroversial. Namun, model ini tidak memiliki data pelatihan yang sama dengan model komersial terbesar. Gunakan untuk volume dan nada, bukan untuk presisi ilmiah.

Kapan Menggunakannya

• Generasi konten
• Chatbot dengan kepribadian
• Ekstraksi data dari teks

Mengabaikan batas jendela konteks dalam percakapan panjang

API kami mendukung jendela konteks 100.000 token, namun ini adalah jumlah dari input dan output, bukan hanya input. Pengembang sering lupa memperhitungkan riwayat percakapan yang terus bertambah, yang akhirnya mencapai batas dan memangkas pesan-pesan lama. Jika Anda mengirim prompt 90.000 token, Anda hanya memiliki sisa 10.000 token untuk respons. Hal ini dapat memotong konten panjang secara tak terduga. Selalu lacak penggunaan token Anda per permintaan. Model tidak akan menolak permintaan karena panjang konteks, tetapi akan merespons dengan informasi yang lebih sedikit.

Praktik terbaik

• Jumlahkan token input + token output.
• Pertahankan buffer untuk pesan sistem.
• Potong riwayat secara teratur.

Mengasumsikan semua model 'uncensored' memiliki kemampuan yang sama

Tidak semua model uncensored dibuat setara; beberapa mengutamakan kreativitas sementara yang lain mengutamakan data mentah. Model kami disesuaikan untuk keseimbangan antara keterusterangan dan koherensi, menghindari gibberis yang dihasilkan oleh beberapa model uncensored yang lebih kecil. Saat mengevaluasi alternatif, lihat data fine-tuning spesifik yang digunakan. Beberapa model dilatih pada thread Reddit, sementara yang lain menggunakan makalah akademik. Model kami dioptimalkan untuk interaksi uncensored tujuan umum.

Perbandingan

Mengabaikan biaya token output dalam streaming

Respons streaming membebankan biaya untuk setiap token yang dikirim, termasuk potongan terakhir dengan data penggunaan. Pengembang kadang mengasumsikan bahwa hanya input yang ditagih, tetapi token output sering kali lebih mahal. Harga kami adalah $0.50 per juta token output, yang lebih tinggi daripada token input. Jika Anda menghasilkan respons panjang, biayanya melonjak. Selalu pantau usage field in the final chunk. This is crucial for budgeting in high-volume applications.

Rincian biaya

• Input: $0,15 / 1M token
• Keluaran: $0,50 / 1M token

Mencampur biaya inferensi lokal dengan harga API

Menjalankan model secara lokal membutuhkan perangkat keras, listrik, dan pemeliharaan, yang bisa lebih mahal daripada API untuk penggunaan sesekali. API kami menghilangkan kebutuhan akan GPU, menjadikannya hemat biaya untuk lonjakan sporadis. Namun, untuk beban kerja throughput tinggi yang berkelanjutan, inferensi lokal mungkin lebih murah. Evaluasi pola penggunaan Anda sebelum berkomitmen. API kami pra-dibayar dengan crypto, jadi tidak ada biaya idle. Ini ideal untuk proyek dengan lalu lintas variabel.

Lokal vs API

• Lokal: Biaya di muka tinggi, biaya marjinal rendah.
• API: Biaya awal rendah, biaya marjinal variabel.

Tidak menguji pemanggilan fungsi dengan model tanpa sensor

Pemanggilan fungsi memerlukan format JSON yang ketat, yang tidak selalu dijamin oleh model uncensored. Model kami mendukung pemanggilan fungsi, tetapi Anda harus memaksakan mode JSON menggunakan response_format. Bahkan demikian, kesalahan validasi dapat terjadi. Selalu bungkus panggilan fungsi Anda dalam blok try-catch dan coba lagi saat gagal. Model mungkin menambahkan teks tambahan atau melewatkan tanda kutip.

Contoh kode

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.grokapipricing.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Mengharapkan kepatuhan JSON ketat tanpa pemformatan

Model tanpa sensor dirancang untuk bersifat konversasional, yang dapat menyebabkan pengisi percakapan dalam respons JSON. Bahkan dengan mode JSON, model mungkin menambahkan komentar atau spasi ekstra. Selalu parse respons secara ketat dan abaikan bidang yang tidak terduga. API kami mendukung response_format: {"type": "json_object"} untuk meningkatkan kepatuhan. Namun, tidak ada model yang sempurna.

Tip

• Gunakan regex untuk mengekstrak blok JSON.
• Validkan dengan pustaka skema.

Mengabaikan batas laju selama generasi massal

API kami mengizinkan 300 permintaan per menit per kunci, tetapi lonjakan tetap dapat memicu batas. Jika Anda mengirim 300 permintaan secara bersamaan, Anda mungkin melebihi batas permintaan bersamaan sebesar 8 permintaan. Rencanakan pekerjaan massal Anda dengan tepat. Gunakan sistem antrian untuk mengelola konkurensi. API kami dirancang untuk throughput yang stabil dan andal.

Batas

• 300 RPM
• 8 Konkuren