Yleisiä grok API -virheitä

Confusing the base model with the API wrapper

API-mme ei ole kääre toisen yrityksen mallin ympärille; se on erillinen, avoin painotus -malli, joka on hienosäädetty vähäisempien kieltojen varmistamiseksi. Monet kehittäjät olettavat, että koska API-päätepiste näyttää OpenAI:n kaltaiselta, taustalla oleva malli käyttäytyy täsmälleen samoin. Tämä on virheellinen. Isännöimämme mallilla on omat painotuksensa ja koulutusdata, optimoitu suoraviivaisiin vastauksiin suhteessa yrityksen turvalliseen neutraaliuteen. Kun lähetät pyynnön, vuorovaikutuksessa on nimenomaan oma päättelykerroksesi, ei proxy suuremman toimittajan palvelimelle. Tämä ero on merkittävä viiveen ja käyttäytymisen kannalta. Päätepisteksemme toimii omassa infrastruktuurissa, mikä varmistaa johdonmukaisen suorituskyvyn ilman julkisten pilvipalveluiden vaihtelua. Tarkista aina palautettu mallin tunnus. /v1/models päätepiste varmistaaksesi, että kohdistat pyynnön oikealle palvelulle. Mallin virheellinen tunnistaminen voi johtaa virheellisiin oletuksiin kyvyistä. Mallimme on suunniteltu olemaan uncensored, mikä tarkoittaa, että se vastaa kysymyksiin, joita standardimallit voivat välttää. Tämä on ominaisuus, ei virhe, kehittäjille, jotka tarvitsevat raakaa dataa.

Avainero

• Perusmalli: Palvelimillamme toimivat painot.
• API-kääntäjä: HTTP-kerros, joka käsittelee pyyntöjäsi.

Odotetaan GPT-4:n tason päättelykykyä sulkemattomista versioista.

Epäsuodatetut mallit priorisoivat suoraa luonnetta hienovaraisemman päättelyn sijaan, mikä voi johtaa harhoihin monimutkaisissa tehtävissä. Kehittäjät odottavat usein samanlaista loogista syvyyttä kuin premium-kaupallisissa malleissa, mutta vähäisempien hylkäysten kompromissi on usein vähemmän tiukka faktantarkistus. Mallimme on erittäin kyvykäs luoviin ja suoriin tehtäviin, mutta se voi jäädä vajaalle monivaiheisissa matemaattisissa todistuksissa. Tarkista aina kriittiset tulokset toisella tarkistajalla, jos tarkkuus on ensisijaista. Malli menestyy sisällöntuotannossa ilman moraalia, mikä on täydellistä NSFW-sisällölle tai kiistanalaisille aiheille. Siinä ei kuitenkaan ole samaa koulutusdataa kuin suurimmissa kaupallisissa malleissa. Käytä sitä tilavuuteen ja sävyyn, ei tieteelliseen tarkkuuteen.

Milloin käyttää sitä

• Sisällöntuotanto
• Luonteeltaan chatbotit
• Datan erottaminen tekstistä

Kontekstuikkon rajojen huomioimattomuus pitkissä keskusteluissa

API-tukemme tukee 100 000 merkin kontekstiikkunaa, mutta tämä on syötteen ja tuloksen summa, ei vain syötteen. Kehittäjät unohtavat usein huomioida keskustelun kasvavan historian, joka täyttää lopulta rajan ja katkaisee vanhemmat viestit. Jos lähetät 90 000 merkin pyynnön, sinulla on vain 10 000 merkkiä jäljellä vastaukselle. Tämä voi katkaista pitkän sisällön odottamattomasti. Seuraa aina merkkimäärän käyttöä pyyntöä kohden. Malli ei hylkää pyyntöä kontekstin pituuden vuoksi, mutta se vastaa vähemmän informaatiolla.

Paras käytäntö

• Laske syöte-tokenit + tulostokenit.
• Pidä varajärjestelmä järjestelmäviestejä varten.
• Tyhjennä historiaa säännöllisesti.

Olettaen, että kaikki 'rajoittamattomat' mallit ovat yhtä kyvykkäitä

Kaikki sisällöttömät mallit eivät ole samanarvoisia; jotkut priorisoivat luovuutta, toiset raakaa dataa. Mallimme on säädetty tasapainottamaan suoraviivaisuutta ja johdonmukaisuutta, välttäen sekoilun, jonka jotkut pienemmät sisällöttömät mallit tuottavat. Arvioitaessa vaihtoehtoja, katso käytettyä spesifistä hienosäätödataa. Jotkut mallit on koulutettu Reddit-säikeillä, toiset taas akateemisilla artikkeleilla. Mallimme on optimoitu yleiskäyttöiseen sisällöttömään vuorovaikutukseen.

Vertailu

Streamauksen output-tokenien kustannusten huomioimatta jättäminen

Virtaavat vastaukset laskuttavat jokaista lähetettyä tokenia, mukaan lukien viimeinen palikka, joka sisältää käyttötilastot. Kehittäjät olettavat joskus, että vain syöte laskutetaan, mutta tulostokenit ovat usein kalliimpia. Hintamme on $0.50 miljoonaa tulostokenia kohden, mikä on kalliimpaa kuin syötetokenit. Jos tuotat pitkän vastauksen, kustannukset nousevat. Seuraa aina usage kenttä viimeisessä lohkossa. Tämä on kriittistä budjetoinnissa suurten määrien sovelluksissa.

Kustannuserittely

• Syöte: $0,15 / 1M tunniste
• Lähtö: 0,50 $ / 1M tokenttia

Sekottaa paikallisen inferenssikustannukset API-hintoihin

Mallin paikallinen käyttö vaatii laitteita, sähköä ja ylläpitoa, mikä voi olla kalliimpaa kuin API satunnaiseen käyttöön. API:si poistaa GPU-tarpeen, mikä tekee siitä kustannustehokkaan satunnaisiin piikkeihin. Korkean läpäisykyvyn jatkuvissa kuormituksissa paikallinen päättely voi kuitenkin olla edullisempaa. Arvioi käyttökuviot ennen sitoutumista. API:si on esimaksullinen kryptolla, joten siinä ei ole seisomiskustannuksia. Tämä on ihanteellinen projekteille, joissa on vaihteleva liikenne.

Paikallinen vs API

• Paikallinen: Korkea etumaksukustannus, alhainen marginaalikustannus.
• API: Alhainen kiinteä kustannus, muuttuva rajakustannus.

Ei testata funktiokutsuja rajoittamattomilla malleilla

Toimintojen kutsuminen vaatii tiukan JSON-muotoilun, jota uncensored-mallit eivät aina taata. Mallimme tukee toimintojen kutsumista, mutta sinun on pakotettava JSON-tila käyttämällä response_format. Tarkistusvirheitä voi silti tapahtua. Kääri aina funktiokutsut try-catch-lohkoon ja yritä uudelleen epäonnistumisen sattuessa. Malli voi lisätä ylimääräistä tekstiä tai jättää lainausmerkit pois.

Koodiesimerkki

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.grokapipricing.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Odotetaan tiukkaa JSON-yhteensopivuutta ilman muotoilua

Epäsuodatetut mallit on suunniteltu olemaan keskustelukykyisiä, mikä voi johtaa keskustelulliseen täyteaineeseen JSON-vastauksissa. Vaikka käytössä on JSON-tila, malli voi lisätä kommentteja tai ylimääräistä välilyöntiä. Parsedi aina vastaus tiukasti ja jätä huomiotta odottamattomat kentät. API-tukemme response_format: {"type": "json_object"} parantamaan noudattamista. Kukaan malli ei kuitenkaan ole täydellinen.

Vinkki

• Käytä regexiä JSON-lohkojen poimintaan.
• Varmista skeemakirjastolla.

Rate limitien huomioimattomuus massageneroinnin aikana

APIemme sallii 300 pyyntöä minuutissa avainta kohden, mutta piikit voivat silti laukaista rajat. Jos lähetät 300 pyyntöä samanaikaisesti, voit ylittää 8 pyynnin samanaikaisuusrajan. Suunnittele massatyösi sen mukaisesti. Käytä jonotusjärjestelmää samanaikaisuuden hallintaan. APIemme on suunniteltu vakaaseen ja luotettavaan suorituskykyyn.

Rajoitukset

• 300 RPM
• 8 Concurrent