Vanliga grok api-fel

Förväxla basmodellen med API-omslaget

Vårt API är inte ett skal runt ett annat företags modell; det är en distinkt modell med öppna vikter, finjusterad för färre avslag. Många utvecklare antar att eftersom API-slutpunkten ser ut som OpenAI:s, så beter sig underliggande modell identiskt. Detta är fel. Modellen vi värdhar har sina egna vikter och träningsdata, optimerad för direkta svar snarare än företagsneutralitet. När du skickar en begäran interagerar du med vårt specifika inferenslager, inte en proxy till en större leverantörs server. Denna distans är viktig för latens och beteende. Vår slutpunkt körs på dedikerad infrastruktur, vilket säkerställer konsekvent prestanda utan variabiliteten hos delade offentliga API:er. Kontrollera alltid modell-ID:t som returneras av /v1/models slutpunkt för att bekräfta att du träffar rätt tjänst. Att identifiera modellen felaktigt kan leda till felaktiga antaganden om kapacitet. Vår modell är obegränsad av design, vilket innebär att den kommer att svara på frågor som standardmodeller kanske undviker. Detta är en funktion, inte en bugg, för utvecklare som behöver rådata.

Viktig skillnad

• Bas modell: Vikten som körs på våra servrar.
• API-wrapper: HTTP-lagret som hanterar dina förfrågningar.

Förväntad GPT-4-nivås resonemang från obegränsade varianter

Oucensurerade modeller prioriterar direktness framför nyanserat resonemang, vilket kan leda till hallucinationer i komplexa uppgifter. Utvecklare förväntar sig ofta samma logiska djup som premiumkommersiella modeller, men avvägningen för färre vägran är ofta mindre rigorös faktakontroll. Vår modell är mycket kapabel för kreativa och direkta uppgifter, men den kan ha svårt med flerstegsmatematiska bevis. Validera alltid kritiska svar med en sekundär kontroll om noggrannhet är avgörande. Modellen utmärker sig vid att generera innehåll utan moraliserande, vilket är perfekt för NSFW eller kontroversiella ämnen. Den har dock inte samma träningsdata som de största kommersiella modellerna. Använd den för volym och ton, inte för vetenskaplig precision.

När du ska använda det

• Innehållsgenerering
• Chatbots with personality
• Dataextraktion från text

Att ignorera kontextfönstrets gränser under långa samtal

Vårt API stöder ett kontextfönster på 100,000 tokens, men detta är summan av indata och utdata, inte bara indata. Utvecklare glömmer ofta att ta hänsyn till den växande konversationshistoriken, vilket till slut når gränsen och klipper av äldre meddelanden. Om du skickar en prompt på 90,000 tokens har du bara 10,000 tokens kvar för svaret. Detta kan oväntat klippa av längre innehåll. Håll alltid koll på din tokenanvändning per begäran. Modellen vägrar inte en begäran på grund av kontextlängden, men den svarar med mindre information.

Bästa praxis

• Summera indata-tokens + utdata-tokens.
• Behåll en buffert för systemmeddelanden.
• Rensa historiken regelbundet.

Anta att alla 'obegränsade' modeller är lika kapabla

Inte alla uncensored-modeller är lika; vissa prioriterar kreativitet medan andra prioriterar rådata. Vår modell är finjusterad för en balans av riktighet och koherens, vilket undviker nonsens som vissa mindre uncensored-modeller producerar. När du utvärderar alternativ, titta på den specifika finjusteringsdata som används. Vissa modeller är tränade på Reddit-trådar, medan andra använder akademiska papper. Vår modell är optimerad för allmän användning av uncensored-interaktion.

Jämförelse

Att förbise kostnaden för output-tokens i streaming

Streaming-responser debiterar för varje token som skickas, inklusive den sista chunken med användningsdata. Utvecklare antar ibland att bara inmatningen debiteras, men output-tokens är ofta dyrare. Vår prissättning är $0.50 per miljon output-tokens, vilket är högre än input-tokens. Om du genererar ett långt svar skruvas kostnaden upp. Övervaka alltid usage field in the final chunk. This is crucial for budgeting in high-volume applications.

Kostnadsuppdelning

• Inmatning: $0,15 / 1M tokens
• Utdata: $0,50 / 1M token

Blandar ihop kostnader för lokal inferens med API-prissättning

Att köra en modell lokalt kräver hårdvara, el och underhåll, vilket kan vara dyrare än ett API för tillfällig användning. Vårt API eliminerar behovet av GPU:er, vilket gör det kostnadseffektivt för sporadiska burst. För hög genomströmning och kontinuerliga arbetsbelastningar kan dock lokal inferens vara billigare. Utvärdera dina användningsmönster innan du binder dig. Vårt API är förbetalt med krypto, så det finns ingen stillastående kostnad. Detta är idealiskt för projekt med varierande trafik.

Lokal mot API

• Lokal: Hög engångskostnad, låg marginal kostnad.
• API: Låg engångskostnad, variabel marginal kostnad.

Inte testar funktionssamtal med osensurerade modeller

Funktionssamling kräver strikt JSON-formatering, vilket obegränsade modeller inte alltid garanterar. Vår modell stöder funktionssamling, men du måste tvinga fram JSON-läge med response_format. Även då kan valideringsfel uppstå. Vika alltid dina funktionsanrop i en try-catch-block och försök igen vid misslyckande. Modellen kan lägga till extra text eller missa citattecken.

Kodexempel

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.grokapipricing.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Förväntar sig strikt JSON-kompatibilitet utan formatering

Modeller utan censur är utformade för att vara konverserande, vilket kan leda till konverserande fyllnadsord i JSON-svar. Även med JSON-läget kan modellen lägga till kommentarer eller extra mellanrum. Parsa alltid svaret strikt och ignorera oväntade fält. Vårt API stöder response_format: {"type": "json_object"} att förbättra efterlevnad. Ingen modell är dock perfekt.

Tips

• Använd regex för att extrahera JSON-block.
• Validera med ett schemabibliotek.

Att ignorera hastighetsbegränsningar under bulkgenerering

Vårt API tillåter 300 anrop per minut per nyckel, men burstar kan fortfarande utlösa gränser. Om du skickar 300 anrop samtidigt kan du överskrida gränsen för 8 samtidiga anrop. Planera dina batchjobb därefter. Använd ett kösystem för att hantera konkurrens. Vårt API är designat för stadig, pålitlig genomströmning.

Begränsningar

• 300 RPM
• 8 samtidiga