Швидкий старт: Використовуйте ключ API Groq

Налаштування аутентифікації базової URL-адреси

API groq key замінює стандартну кінцеву точку OpenAI прямим шляхом до нашої необмеженої моделі. Встановіть свій base_url to HTTPS://api.groqkeyapi.com/v1 and inject your key into the Authorization header. Ця конфігурація працює з будь-яким OpenAI-сумісним клієнтом, включаючи офіційні SDK Python та Node. Вам не потрібно змінювати назву моделі у своєму коді; ми обробляємо маршрутизацію всередині.

Copycurl https://api.groqkeyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check if endpoint supports 32k context window"}]
  }'

Аутентифікація суворий. Помилка 401 означає, що ваш ключ недійсний або відсутній. Переконайтеся, що ви скопіювали ключ одразу після реєстрації, оскільки він показується лише один раз.

Перший запит завершення діалогу

Надішліть POST-запит на /v1/chat/completions за допомогою ідентифікатора моделі "uncensored". Ця модель відповідає без відмов для законних дорослих, художніх або суперечливих тем. Вона обробляє текстовий вхід і повертає текстовий вивід. Ви можете налаштувати такі параметри, як temperature та top_p для контролю креативності. Контекстне вікно підтримує 100,000 токенів для спільного запиту та завершення.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.groqkeyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Помилки під час обробки не списуються з кредиту. Якщо модель повертає відмову за контент із залученням неповнолітніх, ви нічого не платите. Ця передоплачена модель гарантує, що ви витрачаєте кошти лише на фактичні токени виводу.

Увімкніть потокову передачу для виводу в реальному часі

Потокова передача через події, надіслані сервером (SSE), доставляє токени по мірі їх генерації. Встановіть stream=true у вашому запиті. Останній чанк містить повну статистику використання токенів для билінгу. Цей підхід знижує сприйняту затримку для довгих відповідей. Це ідеально підходить для чат-інтерфейсів, де користувачі бачать текст, що з'являється в реальному часі. SDK автоматично обробляють парсинг.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Потокова передача не змінює структуру ціноутворення. Ви все ще платите за 1M вихідних токенів. Жорсткий ліміт у 16,000 токенів на запит все ще діє незалежно від статусу потокової передачі.

Використовуйте режим JSON для структурованих даних

Встановити response_format до {"type": "json_object"} для примусового суворого виводу JSON. Це корисно для програмних інтеграцій, де вам потрібні передбачувані структури даних. Модель спробує відформатувати відповідь як валідний JSON. Вона може не спрацювати, якщо промпт занадто складний або вивід перевищує ліміти. Завжди валідуйте JSON на стороні клієнта.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.groqkeyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Підтримується виклик функцій. Ви можете визначити інструменти та дозволити моделі вирішувати, які саме викликати. Це розширює можливості API за межі простого текстового генерування.

Обмеження запитів та обробка помилок

API обмежує 300 запитів на хвилину на ключ. Ви можете виконувати до 8 одночасних запитів. Максимальний розмір тіла запиту становить 8 МБ. Помилка 429 вказує на перевищення цих лімітів. Зачекайте кілька секунд і повторіть спробу. Помилка 402 означає, що ваш попередньо оплачений кредит вичерпано. Поповніть баланс через криптовалюту, щоб відновити службу. Помилки, такі як 400 або 500, не нараховують кредити.

Ідентифікатор моделі завжди "uncensored". Не намагайтеся перемикати моделі. Ми розміщуємо одну велику мовну модель, оптимізовану для необмеженого контенту. Це робить стек простим і швидким.

Контекстне вікно та ліміти токенів

Ваше загальне контекстне вікно становить 100 000 токенів. Це включає як вхідний запит, так і згенероване завершення. Максимальна довжина вихідного тексту за один запит — 16 000 токенів. Якщо ви не вказали max_tokens, за замовчуванням встановлюється 2,048 токенів. Перевищення ліміту виводу призведе до обрізання відповіді. Плануйте свої промпти так, щоб залишалося достатньо місця для повної відповіді. Це дозволяє глибоке збереження контексту без ручного розбиття на фрагменти.

Потокова передача та режим JSON не впливають на ці ліміти. Вони залишаються незмінними для всіх типів запитів. Використовуйте usage field у відповіді для точного відстеження вашого споживання.