Những lỗi phổ biến khi dùng API grok

Nhầm lẫn mô hình cơ sở với wrapper API

API của chúng tôi không phải là lớp bọc xung quanh mô hình của một công ty khác; đó là một mô hình trọng lượng mở riêng biệt được tinh chỉnh để giảm thiểu việc từ chối. Nhiều nhà phát triển giả định rằng vì điểm cuối API trông giống OpenAI, mô hình nền tảng hoạt động giống hệt nhau. Điều này không đúng. Mô hình mà chúng tôi lưu trữ có trọng số và dữ liệu huấn luyện riêng, được tối ưu hóa cho các câu trả lời trực tiếp thay vì sự trung lập an toàn của doanh nghiệp. Khi bạn gửi một yêu cầu, bạn đang tương tác với lớp suy luận cụ thể của chúng tôi, không phải là proxy đến máy chủ của một nhà cung cấp lớn hơn. Sự khác biệt này quan trọng đối với độ trễ và hành vi. Điểm cuối của chúng tôi chạy trên cơ sở hạ tầng chuyên dụng, đảm bảo hiệu suất ổn định mà không có sự biến đổi của các API công cộng chia sẻ. Luôn kiểm tra ID mô hình được trả về bởi /v1/models endpoint để xác nhận bạn đang truy cập đúng dịch vụ. Việc xác định sai mô hình có thể dẫn đến các giả định sai lầm về khả năng. Mô hình của chúng tôi được thiết kế không kiểm duyệt, nghĩa là nó sẽ trả lời các câu hỏi mà các mô hình tiêu chuẩn có thể tránh né. Đây là một tính năng, không phải lỗi, dành cho các nhà phát triển cần dữ liệu thô.

Khác biệt chính

• Mô hình Base: Các trọng số chạy trên máy chủ của chúng tôi.
• Gói API: Lớp HTTP xử lý các yêu cầu của bạn.

Mong đợi khả năng suy luận cấp độ GPT-4 từ các biến thể không kiểm duyệt

Mô hình không kiểm duyệt ưu tiên sự trực tiếp hơn lý luận tinh tế, điều này có thể dẫn đến ảo giác trong các nhiệm vụ phức tạp. Các nhà phát triển thường mong đợi cùng độ sâu logic như các mô hình thương mại cao cấp, nhưng sự đánh đổi cho ít từ chối hơn thường là việc kiểm tra sự thật ít nghiêm ngặt hơn. Mô hình của chúng tôi rất có khả năng cho các nhiệm vụ sáng tạo và trực tiếp, nhưng nó có thể gặp khó khăn với các chứng minh toán học nhiều bước. Luôn xác minh các đầu ra quan trọng bằng bộ kiểm tra thứ hai nếu độ chính xác là ưu tiên hàng đầu. Mô hình xuất sắc trong việc tạo nội dung mà không phán xét đạo đức, điều này hoàn hảo cho các chủ đề NSFW hoặc gây tranh cãi. Tuy nhiên, nó không có cùng dữ liệu huấn luyện như các mô hình thương mại lớn nhất. Hãy sử dụng nó cho khối lượng và giọng điệu, không phải cho độ chính xác khoa học.

Khi nào nên sử dụng nó

• Tạo nội dung
• Chatbot có cá tính
• Trích xuất dữ liệu từ văn bản

Bỏ qua giới hạn cửa sổ ngữ cảnh trong các cuộc trò chuyện dài

API của chúng tôi hỗ trợ cửa sổ ngữ cảnh 100.000 token, nhưng đây là tổng của đầu vào và đầu ra, không chỉ riêng đầu vào. Các nhà phát triển thường quên tính đến lịch sử hội thoại ngày càng dài, cuối cùng sẽ chạm giới hạn và cắt bớt các tin nhắn cũ. Nếu bạn gửi một prompt 90.000 token, bạn chỉ còn 10.000 token cho phản hồi. Điều này có thể làm ngắt nội dung dài một cách bất ngờ. Luôn theo dõi việc sử dụng token cho mỗi yêu cầu. Mô hình sẽ không từ chối yêu cầu do độ dài ngữ cảnh, nhưng sẽ trả về ít thông tin hơn.

Thực tiễn tốt nhất

• Cộng token đầu vào + token đầu ra.
• Giữ một bộ đệm cho các thông báo hệ thống.
• Dọn dẹp lịch sử thường xuyên.

Giả sử tất cả các mô hình 'uncensored' đều có khả năng tương đương

Không phải tất cả các mô hình uncensored đều được tạo ra như nhau; một số ưu tiên sự sáng tạo trong khi những người khác ưu tiên dữ liệu thô. Mô hình của chúng tôi được tinh chỉnh để cân bằng giữa sự trực tiếp và tính mạch lạc, tránh sự lộn xộn mà một số mô hình uncensored nhỏ hơn tạo ra. Khi đánh giá các lựa chọn thay thế, hãy xem xét dữ liệu tinh chỉnh cụ thể được sử dụng. Một số mô hình được huấn luyện trên các luồng Reddit, trong khi những người khác sử dụng các bài báo học thuật. Mô hình của chúng tôi được tối ưu hóa cho tương tác uncensored đa năng.

So sánh

Bỏ qua chi phí của các token đầu ra trong streaming

Các phản hồi dạng stream tính phí cho mọi token được gửi, bao gồm cả phần cuối cùng chứa dữ liệu sử dụng. Đôi khi nhà phát triển cho rằng chỉ có dữ liệu đầu vào mới được tính phí, nhưng các token đầu ra thường đắt hơn. Giá của chúng tôi là $0.50 cho mỗi triệu token đầu ra, cao hơn so với token đầu vào. Nếu bạn tạo một phản hồi dài, chi phí sẽ tăng vọt. Luôn theo dõi các usage field trong chunk cuối cùng. Điều này rất quan trọng cho việc lập ngân sách trong các ứng dụng khối lượng lớn.

Phân tích chi tiết chi phí

• Đầu vào: $0.15 / 1M token
• Xuất: $0.50 / 1M token

Nhầm lẫn chi phí suy luận cục bộ với giá API

Việc chạy mô hình cục bộ đòi hỏi phần cứng, điện năng và bảo trì, điều này có thể tốn kém hơn API đối với việc sử dụng thỉnh thoảng. API của chúng tôi loại bỏ nhu cầu về GPU, giúp tiết kiệm chi phí cho các đợt bùng phát ngẫu nhiên. Tuy nhiên, đối với các tác vụ có thông lượng cao, liên tục, suy luận cục bộ có thể rẻ hơn. Hãy đánh giá các mẫu sử dụng của bạn trước khi cam kết. API của chúng tôi được trả trước bằng tiền điện tử, vì vậy không có chi phí chờ đợi. Điều này rất lý tưởng cho các dự án có lưu lượng truy cập biến động.

Cục bộ so với API

• Cục bộ: Chi phí ban đầu cao, chi phí biên thấp.
• API: Chi phí đầu vào thấp, chi phí biên thay đổi.

Không kiểm tra gọi hàm với các mô hình không kiểm duyệt

Gọi hàm yêu cầu định dạng JSON nghiêm ngặt, mà các mô hình không kiểm duyệt không phải lúc nào cũng đảm bảo. Mô hình của chúng tôi hỗ trợ gọi hàm, nhưng bạn phải buộc chế độ JSON bằng cách sử dụng response_format. Ngay cả khi đó, lỗi xác thực có thể xảy ra. Luôn bao bọc các lệnh gọi hàm của bạn trong khối try-catch và thử lại khi thất bại. Mô hình có thể thêm văn bản bổ sung hoặc bỏ qua dấu ngoặc kép.

Ví dụ mã

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.grokapipricing.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Mong đợi tuân thủ JSON nghiêm ngặt mà không có định dạng

Các mô hình không kiểm duyệt được thiết kế để trò chuyện, điều này có thể dẫn đến các từ ngữ thừa trong các phản hồi JSON. Ngay cả ở chế độ JSON, mô hình có thể thêm chú thích hoặc khoảng trắng thừa. Luôn phân tích phản hồi một cách nghiêm ngặt và bỏ qua các trường không mong đợi. API của chúng tôi hỗ trợ response_format: {"type": "json_object"} để cải thiện khả năng tuân thủ. Tuy nhiên, không có mô hình nào là hoàn hảo.

Mẹo

• Sử dụng regex để trích xuất các khối JSON.
• Xác minh với thư viện lược đồ.

Bỏ qua giới hạn tốc độ trong quá trình tạo hàng loạt

API của chúng tôi cho phép 300 yêu cầu mỗi phút trên mỗi khóa, nhưng các đợt tăng đột biến vẫn có thể kích hoạt các giới hạn. Nếu bạn gửi 300 yêu cầu cùng lúc, bạn có thể vượt quá giới hạn đồng thời là 8 yêu cầu. Hãy lập kế hoạch cho các công việc hàng loạt của bạn. Sử dụng hệ thống hàng đợi để quản lý độ đồng thời. API của chúng tôi được thiết kế cho thông lượng ổn định và đáng tin cậy.

Giới hạn

• 300 RPM
• 8 đồng thời