Hướng dẫn nhanh: Sử dụng api khóa groq

Thiết lập Base URL và xác thực

API khóa groq thay thế điểm cuối OpenAI tiêu chuẩn bằng một đường dẫn trực tiếp đến mô hình không kiểm duyệt của chúng tôi. Đặt base_url đến HTTPS://api.groqkeyapi.com/v1 và tiêm khóa của bạn vào Authorization header. Cấu hình này hoạt động với bất kỳ máy khách tương thích OpenAI nào, bao gồm cả SDK Python và Node chính thức. Bạn không cần sửa đổi tên mô hình trong mã của mình; chúng tôi xử lý việc định tuyến nội bộ.

Copycurl https://api.groqkeyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check if endpoint supports 32k context window"}]
  }'

Xác thực nghiêm ngặt. Lỗi 401 có nghĩa là khóa của bạn không hợp lệ hoặc bị thiếu. Đảm bảo sao chép khóa ngay lập tức sau khi đăng ký, vì nó chỉ được hiển thị một lần.

Yêu cầu chat completion đầu tiên

Gửi yêu cầu POST đến /v1/chat/completions với ID mô hình được đặt thành "uncensored". Mô hình này trả lời mà không từ chối các chủ đề người trưởng thành hợp pháp, hư cấu hoặc gây tranh cãi. Nó xử lý đầu vào văn bản và trả về đầu ra văn bản. Bạn có thể điều chỉnh các tham số như temperature và top_p để kiểm soát độ sáng tạo. Cửa sổ ngữ cảnh hỗ trợ 100,000 token cho phần kết hợp giữa lời nhắc và phần hoàn thành.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.groqkeyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Lỗi trong quá trình xử lý không tiêu tốn tín dụng. Nếu mô hình trả về từ chối đối với nội dung vị thành niên, bạn không phải trả tiền. Mô hình đã nộp trước này đảm bảo bạn chỉ chi tiêu cho các token đầu ra thực tế.

Bật streaming cho đầu ra theo thời gian thực

Streaming qua Sự kiện gửi máy chủ (SSE) gửi token khi chúng được tạo. Đặt stream=true trong yêu cầu của bạn. Chunk cuối cùng chứa thống kê sử dụng token đầy đủ để tính phí. Cách tiếp cận này giảm độ trễ cảm nhận cho các phản hồi dài. Nó lý tưởng cho các giao diện trò chuyện nơi người dùng thấy văn bản xuất hiện theo thời gian thực. Các SDK tự động xử lý việc phân tích cú pháp.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Streaming không thay đổi cấu trúc giá cả. Bạn vẫn phải trả tiền mỗi 1M token đầu ra. Giới hạn cứng 16.000 token mỗi yêu cầu vẫn áp dụng bất kể trạng thái streaming.

Sử dụng chế độ JSON cho dữ liệu có cấu trúc

Đặt response_format để {"type": "json_object"} để bắt buộc đầu ra JSON nghiêm ngặt. Điều này hữu ích cho các tích hợp lập trình nơi bạn cần các cấu trúc dữ liệu dự đoán được. Mô hình sẽ cố gắng định dạng phản hồi dưới dạng JSON hợp lệ. Nó có thể thất bại nếu prompt quá phức tạp hoặc đầu ra vượt quá giới hạn. Luôn xác thực JSON ở phía máy khách.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.groqkeyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Gọi hàm cũng được hỗ trợ. Bạn có thể định nghĩa các công cụ và để mô hình chọn gọi chúng. Điều này mở rộng khả năng của API vượt ra ngoài việc tạo văn bản đơn thuần.

Giới hạn yêu cầu và xử lý lỗi

API giới hạn 300 yêu cầu mỗi phút trên mỗi khóa. Bạn có thể chạy 8 yêu cầu đồng thời. Kích thước thân yêu cầu tối đa là 8 MB. Lỗi 429 cho biết bạn đã vượt quá các giới hạn này. Đợi vài giây và thử lại. Lỗi 402 có nghĩa là số dư trả trước của bạn đã hết. Nạp tiền qua tiền điện tử để tiếp tục dịch vụ. Các lỗi như 400 hoặc 500 không tính phí tín dụng.

Id mô hình luôn là "uncensored". Đừng cố gắng chuyển đổi mô hình. Chúng tôi lưu trữ một mô hình ngôn ngữ lớn duy nhất được tối ưu hóa cho nội dung không kiểm duyệt. Điều này giữ cho ngăn xếp đơn giản và nhanh chóng.

Cửa sổ ngữ cảnh và giới hạn token

Cửa sổ ngữ cảnh tổng thể của bạn là 100.000 token. Điều này bao gồm cả prompt đầu vào và phần hoàn tất được tạo ra. Số token đầu ra tối đa cho mỗi yêu cầu là 16.000 token. Nếu bạn không chỉ định max_tokens, mặc định là 2.048 token. Vượt quá giới hạn đầu ra sẽ làm cắt ngắn phản hồi. Lên kế hoạch cho các lời nhắc của bạn để dành đủ chỗ cho câu trả lời đầy đủ. Điều này cho phép giữ ngữ cảnh sâu mà không cần phân mảnh thủ công.

Streaming và Chế Độ JSON không ảnh hưởng đến các giới hạn này. Chúng vẫn nhất quán trên tất cả các loại yêu cầu. Sử dụng usage field trong phản hồi để theo dõi mức tiêu thụ của bạn một cách chính xác.