Běžné chyby grok api

Zaměňování základního modelu s obalem API

Naše API není obálka kolem modelu jiné firmy; je to odlišný model s otevřenými váhamy vyladěný pro menší počet odmítnutí. Mnoho vývojářů předpokládá, že protože endpoint API vypadá jako OpenAI, základní model se chová identicky. To není pravda. Model, který hostujeme, má vlastní váhy a tréninková data, optimalizovaná pro přímé odpovědi spíše než korporátní neutrálnost. Když odešlete požadavek, interagujete s naší specifickou inference vrstvou, nikoliv proxy na server většího dodavatele. Tento rozdíl je důležitý pro latenci a chování. Naše endpoint běží na vyhrazené infrastrukci, což zajišťuje konzistentní výkon bez variability sdílených veřejných API. Vždy zkontrolujte ID modelu vrácené /v1/models endpoint pro potvrzení, že oslovujete správnou službu. Nesprávná identifikace modelu může vést k nesprávným předpokladům o jeho schopnostech. Náš model je od základu uncensored, což znamená, že odpoví na otázky, které by standardní modely mohly obejít. Je to funkce, nikoliv chyba, pro vývojáře, kteří potřebují surová data.

Klíčový rozdíl

• Základní model: Váhy běžící na našich serverech.
• Obálka API: Vrstva HTTP zpracovávající vaše požadavky.

Očekává se úroveň reasoningu GPT-4 od variant bez filtrů

Nekorigované modely upřednostňují přímost před jemným uvažováním, což může vést k halucinacím ve složitých úlohách. Vývojáři často očekávají stejnou logickou hloubku jako u prémiových komerčních modelů, ale kompromis za méně odmítnutí je často méně přísná kontrola faktů. Náš model je velmi schopný pro kreativní a přímé úlohy, ale může mít potíže s více kroky matematických důkazů. Vždy ověřte kritické výstupy sekundárním kontrolerem, pokud je přesnost klíčová. Model vyniká při generování obsahu bez moralizování, což je perfektní pro NSFW nebo kontroverzní témata. Nemá však stejná trénovací data jako největší komerční modely. Použijte jej pro objem a tón, nikoli pro vědeckou přesnost.

Kdy to použít

• Generování obsahu
• Chatboty s osobností
• Extrahování dat z textu

Ignorování limitů kontextového okna v dlouhých konverzacích

Naše API podporuje kontextové okno o velikosti 100,000 tokenů, ale jedná se o součet vstupních a výstupních tokenů, nikoliv pouze o vstup. Vývojáři často zapomínají zohledňovat narůstající historii konverzace, která nakonec dosáhne limitu a ořízne starší zprávy. Pokud odešlete podnět o 90,000 tocnech, zbývá vám již pouze 10,000 tokenů pro odpověď. To může vést k neočekávanému oříznutí dlouhého obsahu. Vždy sledujte spotřebu tokenů u každého požadavku. Model neodepře požadavek kvůli délce kontextu, ale odpoví méně podrobně.

Nejlepší postup

• Sečti vstupní tokeny + výstupní tokeny.
• Udržujte buffer pro systémové zprávy.
• Pravidelně omezujte historii.

Předpokládaje, že všechny modely 'uncensored' mají stejnou výkonnost

Ne všechny bezcenzurní modely jsou si rovny; některé upřednostňují kreativitu, jiné čirá data. Náš model je vyladěný pro rovnováhu mezi přímostí a soudržností, vyhýbá se nesmyslům, které produkují některé menší bezcenzurní modely. Při hodnocení alternativ se podívejte na konkrétní data použitá pro jemné ladění. Některé modely jsou trénovány na vláknech z Redditu, jiné na akademických článcích. Náš model je optimalizován pro bezcenzurní interakce obecného účelu.

Srovnání

Přehlédnutí nákladů na output tokeny ve streamingu

Streamované odpovědi účtují za každý odeslaný token, včetně posledního bloku s údaji o využití. Vývojáři někdy předpokládají, že se účtuje pouze vstup, ale tokeny výstupu jsou často dražší. Naše cena je $0.50 za milion tokenů výstupu, což je vyšší než u tokenů vstupu. Pokud vygenerujete dlouhou odpověď, náklady prudce vzrostou. Vždy monitorujte usage pole v posledním chunku. To je zásadní pro rozpočtování ve vysokozátěžových aplikacích.

Rozklad nákladů

• Vstup: $0,15 / 1M tokenů
• Výstup: $0,50 / 1M tokenů

Záměna nákladů na lokální inferenci s cenami API

Lokální spuštění modelu vyžaduje hardware, elektřinu a údržbu, což může být dražší než API pro příležitostné použití. Naše API eliminuje potřebu GPU, což činí náklady efektivními pro sporadické špičky. Pro vysoce propustné, nepřetržité pracovní zátěže však může být lokální inference levnější. Hodnoťte své vzorce používání před závazkem. Naše API je předplacená kryptoměnami, takže nemá žádné náklady na nečinnost. To je ideální pro projekty s proměnlivým provozem.

Lokální vs API

• Lokální: Vysoká počáteční cena, nízká marginální cena.
• API: Nízké počáteční náklady, proměnné marginální náklady.

Neprovádění testování volání funkcí s neomezenými modely

Volání funkcí vyžaduje přísné formátování JSON, což uncensored modely vždy nezaručují. Náš model podporuje volání funkcí, ale musíte vynutit režim JSON pomocí response_format. I tak mohou nastat chyby validace. Vždy obalte volání funkcí blokem try-catch a v případě selhání zkuste akci opakovat. Model může přidat další text nebo vynechat uvozovky.

Ukázkový kód

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.grokapipricing.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Očekává se přísné dodržování JSON bez formátování

Modely bez omezení jsou navrženy tak, aby byly konverzační, což může vést k konverzačním plýtvacím slovům v odpovědích JSON. I v režimu JSON může model přidávat komentáře nebo nadbytečnou mezeru. Vždy odpověď přísně parsovejte a ignorujte neočekávaná pole. Naše API podporuje response_format: {"type": "json_object"} pro zlepšení souladu. Žádný model však není dokonalý.

Tip

• Použijte regulární výrazy k extrakci bloků JSON.
• Ověřte pomocí knihovny schémat.

Ignorování limitů rychlosti při hromadné generaci

Naše API umožňuje 300 požadavků za minutu na klíč, ale záblesky mohou stále spustit limity. Pokud odešlete 300 požadavků najednou, můžete překročit limit souběžnosti 8 požadavků. Plánujte své hromadné úlohy příslušně. Použijte systém fronty pro řízení souběžnosti. Naše API je navrženo pro stabilní a spolehlivý průtok.

Limity

• 300 RPM
• 8 souběžných