Поширені помилки grok api

Плутанина між базовою моделлю та оболонкою API

Наш API не є оболонкою навколо моделі іншої компанії; це окрема модель з відкритими вагами, налаштована на меншу кількість відмов. Багато розробників припускають, що оскільки кінцева точка API виглядає як у OpenAI, то й основна модель поводиться ідентично. Це не так. Модель, яку ми розміщуємо, має власні ваги та дані для навчання, оптимізовані для прямих відповідей, а не корпоративного нейтралітету. Коли ви надсилаєте запит, ви взаємодієте з нашим конкретним шаром інференції, а не з проксі сервера більшого постачальника. Ця відмінність має значення для затримки та поведінки. Наша кінцева точка працює на виділених інфраструктурних ресурсах, що забезпечує стабільну продуктивність без мінливості спільних публічних API. Завжди перевіряйте ідентифікатор моделі, який повертається /v1/models ендпоінт для підтвердження того, що ви звертаєтесь до правильної служби. Неправильне визначення моделі може призвести до хибних припущень щодо можливостей. Наша модель необмежена за замовчуванням, тож вона відповідає на запитання, від яких стандартні моделі можуть уникати. Це функція, а не вада, для розробників, яким потрібні необроблені дані.

Ключова відмінність

• Базова модель: Ваги, що працюють на наших серверах.
• Обгортка API: HTTP-шар, що обробляє ваші запити.

Очікування рівня міркування GPT-4 від неконтрольованих варіантів

Нецензуровані моделі пріоритизують прямість над нюансованим мисленням, що може призвести до галюцинацій у складних задачах. Розробники часто очікують такої ж логічної глибини, як і у преміальних комерційних моделях, але компроміс за меншу кількість відмов часто полягає в менш ретельній перевірці фактів. Наша модель дуже здатна для творчих та прямих задач, але вона може мати труднощі з багатокроковими математичними доказами. Завжди перевіряйте критичні результати за допомогою вторинного перевіряльника, якщо точність є пріоритетною. Модель чудово генерує контент без моралізації, що ідеально підходить для NSFW або суперечливих тем. Однак вона не має тих самих навчальних даних, що й найбільші комерційні моделі. Використовуйте її для обсягу та тону, а не для наукової точності.

Коли використовувати це

• Генерація контенту
• Chatbots with personality
• Вилучення даних із тексту

Ігнорування обмежень контекстного вікна в довгих розмовах

Наш API підтримує контекстне вікно на 100 000 токенів, але це сума вхідних і вихідних даних, а не лише вхідних. Розробники часто забувають враховувати зростання історії розмови, яка зрештою досягає ліміту й обрізає старі повідомлення. Якщо ви надсилаєте промпт на 90 000 токенів, у вас залишається лише 10 000 токенів для відповіді. Це може несподівано обрізати довгий текст. Завжди відстежуйте використання токенів у кожному запиті. Модель не відхилить запит через довжину контексту, але поверне менше інформації.

Найкраща практика

• Підсумуйте вхідні токени + вихідні токени.
• Залишайте буфер для системних повідомлень.
• Регулярно очищуйте історію.

Припускаючи, що всі 'uncensored' моделі однаково потужні

Не всі моделі з розблокованим контентом рівноцінні; деякі пріоритезують креативність, тоді як інші — «сирі» дані. Наша модель донавчена для балансу між прямолинійністю та зв'язністю, уникаючи безглуздя, яке виробляють деякі менші моделі з розблокованим контентом. Оцінюючи альтернативи, звертайте увагу на конкретні дані донавчання. Деякі моделі навчені на потоках Reddit, тоді як інші — на академічних статтях. Наша модель оптимізована для загального використання з розблокованим контентом.

Порівняння

Ігнорування вартості токенів виводу при потоковій передачі

Потокові відповіді нараховують оплату за кожен надісланий токен, включаючи останній фрагмент із даними про використання. Розробники іноді припускають, що оплачується лише вхідний запит, але вихідні токени часто коштують дорожче. Наші тарифи становлять $0.50 за мільйон вихідних токенів, що дорожче за вхідні токени. Якщо ви генеруєте довгу відповідь, витрати різко зростають. Завжди моніторьте usage field у фінальному чанку. Це критично важливо для бюджетування в додатках з великим обсягом.

Розбір витрат

• Вхідні: $0.15 / 1M токенів
• Виведення: $0.50 / 1M токенів

Плутанина у вартості локального інференсу та цінах API

Запуск моделі локально вимагає обладнання, електроенергії та обслуговування, що може бути дорожче за API для періодичного використання. Наш API усуває необхідність у GPU, роблячи його економічно вигідним для спорадичних сплесків. Однак для навантажень з високою пропускною здатністю та безперервної роботи локальний висновок може бути дешевшим. Оцініть свої шаблони використання перед прийняттям рішення. Наш API передоплачується криптовалютою, тому немає витрат простою. Це ідеально підходить для проектів зі змінним трафіком.

Локальне проти API

• Локальне: Високі початкові витрати, низькі граничні витрати.
• API: Низькі початкові витрати, змінна гранична вартість.

Не тестування виклику функцій з uncensored моделями

Виклик функцій вимагає суворого форматування JSON, що не завжди гарантують uncensored моделі. Наша модель підтримує виклик функцій, але ви повинні примусово ввімкнути режим JSON за допомогою response_format. Навіть у цьому випадку можуть виникати помилки валідації. Завжди обгортайте виклики ваших функцій у блок try-catch і повторюйте спробу у разі невдачі. Модель може додати додатковий текст або пропустити лапки.

Приклад коду

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.grokapipricing.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Очікування суворого дотримання JSON без форматування

Нецензуровані моделі створені для діалогів, що може призводити до зайвих слів-заповнювачів у відповідях у форматі JSON. Навіть у режимі JSON модель може додавати коментарі або зайві пробіли. Завжди парсуйте відповідь суворо і ігноруйте неочікувані поля. Наш API підтримує response_format: {"type": "json_object"} щоб покращити дотримання вимог. Однак жодна модель не є ідеальною.

Порада

• Використовуйте регулярні вирази для виділення блоків JSON.
• Перевірте за допомогою бібліотеки схем.

Ігнорування лімітів швидкості під час масової генерації

Наш API дозволяє 300 запитів на хвилину на один ключ, але сплески все одно можуть викликати перевищення лімітів. Якщо ви надішлете 300 запитів одночасно, ви можете перевищити ліміт одночасних запитів у 8. Плануйте пакетні завдання відповідним чином. Використовуйте систему чергування для керування паралелізмом. Наш API розроблено для стабільного та надійного пропускного здатності.

Ліміти

• 300 обробок за хвилину
• 8 Одночасно