Szybki start: Użyj klucza API groq

Konfiguracja autoryzacji bazowego URL

Klucz API Groq zastępuje standardowy punkt końcowy OpenAI bezpośrednią ścieżką do naszego niecenzurowanego modelu. Ustaw swój base_url to HTTPS://api.groqkeyapi.com/v1 and inject your key into the Authorization Nagłówek. Ta konfiguracja działa z dowolnym klientem kompatybilnym z OpenAI, w tym oficjalnymi SDK Python i Node. Nie musisz modyfikować nazwy modelu w swoim kodzie; my obsługujemy trasowanie wewnętrznie.

Copycurl https://api.groqkeyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check if endpoint supports 32k context window"}]
  }'

Uwierzytelnianie jest ścisłe. Błąd 401 oznacza, że klucz jest nieprawidłowy lub brakuje go. Upewnij się, że skopiujesz klucz natychmiast po rejestracji, ponieważ jest wyświetlany tylko raz.

Pierwsze żądanie completion czatu

Wyślij żądanie POST do /v1/chat/completions z identyfikatorem modelu ustawionym na "uncensored". Model ten odpowiada bez odmów dla legalnych tematów dorosłych, fikcyjnych lub kontrowersyjnych. Przetwarza wejście tekstowe i zwraca output tekstowy. Możesz dostosować parametry takie jak temperature i top_p kontrolować kreatywność. Okno kontekstowe obsługuje 100,000 tokenów dla połączonego promptu i uzupełnienia.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.groqkeyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Błędy podczas przetwarzania nie zużywają kredytu. Jeśli model zwróci odmowę dotyczącą treści małoletnich, nie płacisz niczego. Ten model prepay zapewnia, że wydajesz środki tylko na rzeczywiste tokeny wyjściowe.

Włącz strumieniowanie dla wyjścia w czasie rzeczywistym

Strumieniowanie przez zdarzenia wysłane przez serwer (SSE) dostarcza tokeny w miarę ich generowania. Ustaw stream=true w Twoim żądaniu. Ostatni chunk zawiera pełne statystyki użycia tokenów do rozliczeń. Podejście to redukuje postrzeganą latencję dla długich odpowiedzi. Jest idealne dla interfejsów czatu, w których użytkownicy widzą tekst pojawiający się w czasie rzeczywistym. SDK automatycznie obsługują parsowanie.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Strumieniowanie nie zmienia struktury cenowej. Nadal płacisz za 1M tokenów wyjściowych. Limit 16 000 tokenów na żądanie nadal obowiązuje niezależnie od statusu strumieniowania.

Używaj trybu JSON dla danych strukturalnych

Ustaw response_format do {"type": "json_object"} do wymuszenia ścisłego wyjścia JSON. Jest to przydatne w integracjach programistycznych, gdzie potrzebujesz przewidywalnych struktur danych. Model będzie próbował sformatować odpowiedź jako poprawny JSON. Może to się nie udać, jeśli prompt jest zbyt złożony lub wyjście przekracza limity. Zawsze waliduj JSON po stronie klienta.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.groqkeyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Wywoływanie funkcji jest również obsługiwane. Możesz zdefiniować narzędzia i pozwolić modelowi wybrać, które mają zostać wywołane. Rozszerza to możliwości API poza prostą generacją tekstu.

Limity żądań i obsługa błędów

API narzuca limit 300 żądań na minutę na klucz. Możesz uruchomić 8 równoległych żądań jednocześnie. Maksymalny rozmiar ciała żądania to 8 MB. Błąd 429 oznacza, że przekroczyłeś te limity. Poczekaj kilka sekund i ponów próbę. Błąd 402 oznacza, że Twój kredyt prepaydowy został wyczerpany. Doładuj przez krypto, aby wznowić usługę. Błędy takie jak 400 lub 500 nie naliczają kredytów.

Identyfikator modelu to zawsze "uncensored" Nie próbuj przełączać modeli. Hostujemy jeden duży model językowy zoptymalizowany pod kątem treści bez ograniczeń. To utrzymuje stos technologiczny prostym i szybkim.

Okno kontekstowe i limity tokenów

Twój całkowity okno kontekstowe wynosi 100 000 tokenów. Obejmuje ono zarówno prompt wejściowy, jak i wygenerowane uzupełnienie. Maksymalna długość odpowiedzi na jedno zapytanie to 16 000 tokenów. Jeśli nie określisz max_tokens, domyślnie wynosi 2,048 tokenów. Przekroczenie limitu wyjścia uetnie odpowiedź. Zaplanuj swoje prompty, aby zostawić wystarczająco miejsca na pełną odpowiedź. Pozwala to na głębokie zachowanie kontekstu bez ręcznego dzielenia.

Strumieniowanie i tryb JSON nie wpływają na te limity. Pozostają one spójne we wszystkich typach żądań. Użyj usage pole w odpowiedzi, aby dokładnie śledzić swoje zużycie.