Gyors bevezetés: Használja a groq key api-t

Base URL és hitelesítési beállítás

A groq key API a standard OpenAI végpontot helyettesíti egy közvetlen úttal az uncensored modellünkhöz. Állítsd be a base_url az HTTPS://api.groqkeyapi.com/v1 címre, és injektálja a kulcsot a Authorization header. Ez a konfiguráció bármely OpenAI-kompatibilis klienssel működik, beleértve a hivatalos Python és Node SDK-kat. Nem kell módosítania a modell nevét a kódjában; mi kezeljük a routingot belülről.

Copycurl https://api.groqkeyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check if endpoint supports 32k context window"}]
  }'

A hitelesítés szigorú. A 401-es hiba azt jelenti, hogy a kulcs érvénytelen vagy hiányzik. Győződjön meg róla, hogy azonnal lemásolja a kulcsot regisztráció után, mivel csak egyszer jelenik meg.

Első chat completion kérés

Küldj egy POST kérést a /v1/chat/completions a "uncensored" modell azonosítóval beállítva. Ez a modell visszautasítások nélkül válaszol jogilag megengedett felnőtt, fikciós vagy vitatott témákra. Szöveges bemenetet dolgoz fel, és szöveges kimenetet ad vissza. A paramétereket, például temperature és top_p a kreativitás vezérléséhez. A kontextusablak 100,000 token támogatását nyújtja a kombinált prompt és kiegészítés számára.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.groqkeyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

A feldolgozás közbeni hibák nem merítik a hitelt. Ha a modell elutasítást ad vissza kiskorú tartalom miatt, nem fizetsz. Ez az előre fizetett modell biztosítja, hogy csak a tényleges kimeneti tokenekre költs.

Streamelés engedélyezése a valós idejű kimenethez

A Server-Sent Events (SSE) streaming valós időben szolgáltatja a tokeneket. Állítsa be stream=true a kérésben. Az utolsó töredék a teljes token-használati statisztikákat tartalmazza a számlázás érdekében. Ez a megközelítés csökkenti az érzékelt késleltetést a hosszú válaszok esetén. Ideális chat felületekhez, ahol a felhasználók valós időben látják a megjelenő szöveget. Az SDK-k automatikusan kezelik a feldolgozást.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

A streamelés nem változtat az árazási struktúrán. Még mindig millió kimeneti tokenenként fizetsz. A 16 000 tokenes hard limit kérésenként továbbra is érvényes streamelési státustól függetlenül.

Használjon JSON módot strukturált adatokhoz

Beállítás response_format a {"type": "json_object"} a szigorú JSON kimenet kikényszerítésére. Ez hasznos programozott integrációkhoz, ahol kiszámítható adatstruktúrákra van szükség. A modell megpróbálja formázni a választ érvényes JSON-ként. Előfordulhat, hogy sikertelen lesz, ha a prompt túl komplex vagy a kimenet meghaladja a korlátokat. Mindig ellenőrizze a JSON-t a kliens oldalon.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.groqkeyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

A function calling is támogatott. Definiálhat eszközöket, és hagyhatja, hogy a modell válassza ki, melyiket hívja meg. Ez bővíti az API képességeit a egyszerű szöveggeneráláson túl.

Kérések korlátai és hibakezelés

Az API percenként 300 kérésre és kulcsonként 8 párhuzamos kérésre szabja a limitet. Kulcsonként egyszerre 8 párhuzamos kérést futtathat. A maximális kéréstörzs mérete 8 MB. A 429-es hiba azt jelzi, hogy túllépte ezeket a limiteket. Várjon néhány másodpercet, és próbálja újra. A 402-es hiba azt jelenti, hogy az előre fizetett hitel elfogyott. Töltse fel a kreditet kriptovalutával a szolgáltatás folytatásához. A 400 vagy 500-as hibák nem számítanak fel hitelt.

A modell azonosítója mindig "uncensored". Ne próbálj meg modelleket váltani. Egyetlen, nagy nyelvi modellt hosztolunk, amelyet a korlátlan tartalomra optimalizáltunk. Ez egyszerű és gyors technológiai veremhez vezet.

Kontextus ablak és token korlátok

A teljes kontextus ablak 100 000 token. Ez magában foglalja az input promptot és a generált befejezést is. A kérésenkénti maximum output 16 000 token. Ha nem ad meg max_tokens, az alapértelmezett 2 048 token. A kimeneti limit túllépése levágja a választ. Tervezze meg a promptokat úgy, hogy maradjon elég hely a teljes válaszhoz. Ez lehetővé teszi a mély kontextusmegőrzést manuális darabolás nélkül.

Streaming és JSON mód nem befolyásolja ezeket a korlátokat. Konzisztensek maradnak minden kérelem típus esetén. Használja a usage field in the response to track your consumption accurately.