Kesilapan API grok biasa

Membingungkan model asas dengan pembungkus API

API kami bukan pembungkus di sekitar model syarikat lain; ia adalah model berat terbuka yang berasingan yang disesuaikan untuk lebih sedikit penolakan. Ramai pembangun menganggap bahawa kerana hujung titik API kelihatan seperti OpenAI, model asas berkelakuan sama. Ini tidak betul. Model yang kami hoskan mempunyai berat dan data latihan sendiri, dioptimumkan untuk jawapan langsung berneutraliti selamat korporat. Apabila anda menghantar permintaan, anda berinteraksi dengan lapisan inferens khusus kami, bukan proksi ke pelayan vendor yang lebih besar. Perbezaan ini penting untuk latensi dan tingkah laku. Hujung titik kami berjalan pada infrastruktur khusus, memastikan prestasi konsisten tanpa variasi API awam berkongsi. Sentiasa semak ID model yang dipulihkan oleh /v1/models endpoint untuk mengesahkan anda sedang menghubungi perkhidmatan yang betul. Mengenal pasti model secara salah boleh menyebabkan anda membuat andaian yang salah mengenai keupayaan. Model kami direka tanpa sensor, bermakna ia akan menjawab soalan yang mungkin dielakkan oleh model standard. Ini adalah ciri, bukan pepijat, untuk pembangun yang memerlukan data mentah.

Perbezaan utama

• Model Asas: Berat yang berjalan di pelayan kami.
• Pembungkus API: Lapisan HTTP yang mengendalikan permintaan anda.

Menjangkakan penalaran tahap GPT-4 dari varian tanpa sensor

Model tanpa sensor mengutamakan ketegasan berbanding penalaran bernuansa, yang boleh membawa kepada halusinasi dalam tugas kompleks. Pembangun sering mengharapkan kedalaman logik yang sama seperti model komersial premium, tetapi pertukaran untuk kurang penolakan sering bermaksud pemeriksaan fakta yang kurang ketat. Model kami sangat berkebolehan untuk tugas kreatif dan langsung, tetapi ia mungkin menghadapi kesulitan dengan bukti matematik berbilang langkah. Sentiasa sahkan output kritikal dengan pemeriksa sekunder jika ketepatan adalah yang utama. Model ini cemerlang dalam menjana kandungan tanpa moralisasi, yang sempurna untuk topik NSFW atau kontroversi. Walau bagaimanapun, ia tidak mempunyai data latihan yang sama seperti model komersial terbesar. Gunakan ia untuk isipadu dan nada, bukan untuk ketepatan saintifik.

Bila Menggunakannya

• Penjanaan kandungan
• Chatbots with personality
• Pengekstrakan data daripada teks

Mengabaikan had tingkap konteks dalam perbualan panjang

API kami menyokong tetingkap konteks 100,000 token, tetapi ini adalah jumlah input dan output, bukan hanya input. Pembangun sering lupa mengambil kira sejarah percakapan yang semakin membesar, yang akhirnya mencapai had dan memendekkan mesej lama. Jika anda menghantar prompt 90,000 token, anda hanya mempunyai 10,000 token baki untuk respons. Ini boleh memutuskan kandungan bentuk panjang secara tidak dijangka. Sentiasa jejak penggunaan token anda per permintaan. Model tidak akan menolak permintaan kerana panjang konteks, tetapi ia akan memberikan maklumat yang kurang.

Amalan terbaik

• Jumlahkan token input + token output.
• Kekalkan penimbal untuk mesej sistem.
• Potong sejarah secara berkala.

Mengandaikan semua model 'uncensored' mempunyai keupayaan yang sama

Tidak semua model uncensored diciptakan sama; sesetengah mengutamakan kreativiti manakala yang lain mengutamakan data mentah. Model kami telah ditala untuk keseimbangan antara ketegasan dan koherensi, mengelakkan gibberis yang dihasilkan oleh sesetengah model uncensored yang lebih kecil. Apabila menilai alternatif, lihat data penalaan halus khusus yang digunakan. Sesetengah model dilatih pada helaian Reddit, manakala yang lain menggunakan kertas akademik. Model kami dioptimumkan untuk interaksi uncensored tujuan umum.

Perbandingan

Melangkau kos token output dalam streaming

Respons penstriman mengenakan caj untuk setiap token yang dihantar, termasuk bahagian akhir dengan data penggunaan. Pembangun kadang-kadang mengandaikan bahawa hanya input yang dibayar, tetapi token output sering lebih mahal. Harga kami ialah $0.50 per sejuta token output, yang lebih tinggi daripada token input. Jika anda menjana respons yang panjang, kos melonjak. Sentiasa pantau usage field in the final chunk. This is crucial for budgeting in high-volume applications.

Pecahan kos

• Input: $0.15 / 1M token
• Output: $0.50 / 1M token

Bilangan kos inferens tempatan dengan harga API

Menjalankan model secara tempatan memerlukan perkakasan, elektrik, dan penyelenggaraan, yang mungkin lebih mahal daripada API untuk penggunaan sesekali. API kami menghilangkan keperluan untuk GPU, menjadikannya berkos efektif untuk letupan sporadis. Walau bagaimanapun, untuk beban kerja berterusan beroutputan tinggi, inferens tempatan mungkin lebih murah. Nilai corak penggunaan anda sebelum membuat komitmen. API kami prabayar dengan crypto, jadi tiada kos rehat. Ini sesuai untuk projek dengan trafik berubah-ubah.

Tempatan vs API

• Tempatan: Kos awal tinggi, kos marginal rendah.
• API: Kos awal rendah, kos marginal berubah-ubah.

Tidak menguji panggilan fungsi dengan model tanpa penapis

Pemanggilan fungsi memerlukan format JSON yang ketat, yang tidak selalu dijamin oleh model tanpa sensor. Model kami menyokong pemanggilan fungsi, tetapi anda mesti memaksakan mod JSON menggunakan response_format. Walaupun begitu, ralat pengesahan boleh berlaku. Sentiasa bungkus panggilan fungsi anda dalam blok try-catch dan cuba semula pada kegagalan. Model mungkin menambah teks tambahan atau terlepas tanda petik.

Contoh kod

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.grokapipricing.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Menjangkakan pematuhan JSON yang ketat tanpa pemformatan

Model tanpa sensor direka untuk bersifat perbualan, yang boleh menyebabkan pengisian perbualan dalam respons JSON. Walaupun dalam mod JSON, model mungkin menambah komen atau ruang putih tambahan. Sentiasa huraikan respons dengan ketat dan abaikan medan yang tidak dijangka. API kami menyokong response_format: {"type": "json_object"} untuk meningkatkan pematuhan. Walau bagaimanapun, tiada model yang sempurna.

Petua

• Gunakan regex untuk mengekstrak blok JSON.
• Sahkan dengan pustaka skema.

Mengabaikan had kadar semasa penjanaan pukal

API kami membenarkan 300 permintaan setiap minit per kunci, tetapi lonjakan masih boleh mencetuskan had. Jika anda menghantar 300 permintaan serentak, anda mungkin melebihi had serentak sebanyak 8 permintaan. Rancang pekerjaan pukal anda dengan sewajarnya. Gunakan sistem giliran untuk menguruskan serentak. API kami direka untuk kelajuan aliran yang stabil dan boleh dipercayai.

Had

• 300 RPM
• 8 Serentak