Быстрый старт: Использование API ключа groq

Настройка аутентификации базового URL

API ключа groq заменяет стандартную конечную точку OpenAI прямым путем к нашей нецензурируемой модели. Установите свой base_url to HTTPS://api.groqkeyapi.com/v1 and inject your key into the Authorization header. Эта конфигурация работает с любым OpenAI-совместимым клиентом, включая официальные SDK Python и Node. Вам не нужно изменять имя модели в коде; мы обрабатываем маршрутизацию внутренне.

Copycurl https://api.groqkeyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check if endpoint supports 32k context window"}]
  }'

Аутентификация строгая. Ошибка 401 означает, что ваш ключ недействителен или отсутствует. Убедитесь, что вы скопировали ключ сразу после регистрации, так как он отображается только один раз.

Первый запрос на completion чата

Отправьте POST-запрос на /v1/chat/completions с идентификатором модели "uncensored". Эта модель отвечает без отказов по законным взрослым, художественным или спорным темам. Она обрабатывает текстовый ввод и возвращает текстовый вывод. Вы можете настроить параметры, такие как temperature и top_p для управления креативностью. Контекстное окно поддерживает 100,000 токенов для объединенного промпта и завершения.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.groqkeyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Ошибки при обработке не списывают кредит. Если модель возвращает отказ по поводу контента с участием несовершеннолетних, вы ничего не платите. Эта предоплаченная модель гарантирует, что вы тратите средства только на фактические выходные токены.

Включите потоковую передачу для вывода в реальном времени

Потоковая передача через события сервера (SSE) доставляет токены по мере их генерации. Установите stream=true в вашем запросе. Последний чанк содержит полную статистику использования токенов для биллинга. Этот подход снижает воспринимаемую задержку для длинных ответов. Это идеально подходит для чат-интерфейсов, где пользователи видят текст, появляющийся в реальном времени. SDK обрабатывают парсинг автоматически.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Стриминг не меняет структуру ценообразования. Вы все равно платите за 1M выходных токенов. Жесткий лимит в 16,000 токенов на запрос все еще применяется независимо от статуса стриминга.

Используйте режим JSON для структурированных данных

Установить response_format для {"type": "json_object"} для обеспечения строгого вывода JSON. Это полезно для программных интеграций, где вам нужны предсказуемые структуры данных. Модель попытается отформатировать ответ в виде валидного JSON. Она может потерпеть неудачу, если промпт слишком сложен или вывод превышает лимиты. Всегда валидируйте JSON на стороне клиента.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.groqkeyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Вызов функций также поддерживается. Вы можете определить инструменты и позволить модели выбрать, какие из них вызывать. Это расширяет возможности API за пределы простой генерации текста.

Лимиты запросов и обработка ошибок

API ограничивает количество запросов до 300 в минуту на ключ. Вы можете выполнять 8 одновременных запросов одновременно. Максимальный размер тела запроса составляет 8 МБ. Ошибка 429 указывает на превышение этих лимитов. Подождите несколько секунд и повторите попытку. Ошибка 402 означает, что ваш предоплаченный кредит исчерпан. Пополните баланс через криптовалюту, чтобы возобновить сервис. Ошибки, такие как 400 или 500, не списывают кредиты.

Идентификатор модели всегда — "uncensored". Не пытайтесь переключать модели. Мы размещаем одну большую языковую модель, оптимизированную для неограниченного контента. Это делает стек простым и быстрым.

Контекстное окно и лимиты токенов

Ваше общее окно контекста составляет 100 000 токенов. Это включает как входной промпт, так и сгенерированное завершение. Максимальный объем вывода за запрос — 16 000 токенов. Если вы не укажете max_tokens, по умолчанию установлено 2 048 токенов. Превышение лимита вывода приведет к усечению ответа. Планируйте свои промпты так, чтобы оставить достаточно места для полного ответа. Это позволяет сохранять глубокий контекст без ручного разбиения на фрагменты.

Потоковая передача и режим JSON не влияют на эти лимиты. Они остаются неизменными для всех типов запросов. Используйте usage field в ответе для точного отслеживания вашего потребления.