क्विकस्टार्ट: groq key api का उपयोग करें

बेस URL और प्रमाणीकरण सेटअप

groq key API मानक OpenAI एंडपॉइंट को हमारे अनकेंसरड मॉडल तक एक सीधी पथ से बदल देता है। अपना base_url HTTPS://api.groqkeyapi.com/v1 पर और अपने कुंजी को Authorization हेडर। यह कॉन्फ़िगरेशन किसी भी OpenAI-कम्पैटिबल क्लाइंट के साथ काम करता है, जिसमें आधिकारिक Python और Node SDKs शामिल हैं। आपको अपने कोड में मॉडल नाम संशोधित करने की आवश्यकता नहीं है; हम रूटिंग को आंतरिक रूप से संभालते हैं।

Copycurl https://api.groqkeyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check if endpoint supports 32k context window"}]
  }'

प्रमाणीकरण कठोर है। 401 त्रुटि का अर्थ है कि आपकी कुंजी अमान्य या अनुपस्थित है। साइनअप के तुरंत बाद कुंजी कॉपी करें, क्योंकि इसे केवल एक बार दिखाया जाता है।

पहला चैट कंप्लीशन अनुरोध

एक POST अनुरोध भेजें /v1/chat/completions मॉडल ID को "uncensored" पर सेट करें। यह मॉडल कानूनी वयस्क, काल्पनिक या विवादास्पद विषयों पर बिना अस्वीकृति के उत्तर देता है। यह टेक्स्ट इनपुट प्रोसेस करता है और टेक्स्ट आउटपुट लौटाता है। आप पैरामीटर जैसे को एडजस्ट कर सकते हैं temperature और top_p रचनात्मकता को नियंत्रित करने के लिए। कंटेक्स्ट विंडो संयुक्त प्रॉम्प्ट और कंप्लीशन के लिए 100,000 टोकन का समर्थन करती है।

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.groqkeyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

प्रोसेसिंग के दौरान त्रुटियां क्रेडिट का उपभोग नहीं करतीं। यदि मॉडल किशोर सामग्री के लिए अस्वीकृति लौटाता है, तो आपको कुछ नहीं चुकाना होता। यह प्रीपेड मॉडल सुनिश्चित करता है कि आप केवल वास्तविक आउटपुट टोकन पर खर्च करें।

रियल-टाइम आउटपुट के लिए स्ट्रीमिंग सक्षम करें

सर्वर-सेंट इवेंट्स (SSE) के माध्यम से स्ट्रीमिंग टोकन को जनरेट होते ही प्रदान करती है। सेट stream=true आपके अनुरोध में। अंतिम chunk बिलिंग के लिए पूर्ण टोकन उपयोग सांख्यिकी शामिल करता है। यह दृष्टिकोण लंबे उत्तरों के लिए अनुभवजन्य विलंबता को कम करता है। यह उन चैट इंटरफ़ेस के लिए आदर्श है जहां उपयोगकर्ता पाठ को रियल-टाइम में आते हुए देखते हैं। SDKs पार्सिंग को स्वचालित रूप से संभालते हैं।

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

स्ट्रीमिंग मूल्य निर्धारण संरचना को नहीं बदलता है। आप अभी भी प्रति 1M आउटपुट टोकन के लिए भुगतान करते हैं। प्रति अनुरोध 16,000 टोकन की कठोर सीमा स्ट्रीमिंग स्थिति के बावजूद लागू रहती है।

संरचित डेटा के लिए JSON मोड का उपयोग करें

सेट करें response_format को {"type": "json_object"} कठोर JSON आउटपुट लागू करने के लिए। यह उन प्रोग्रामेटिक एकीकरणों के लिए उपयोगी है जहां आपको पूर्वानुमेय डेटा संरचनाओं की आवश्यकता होती है। मॉडल प्रतिक्रिया को मान्य JSON के रूप में प्रारूपित करने का प्रयास करेगा। यदि प्रॉम्प्ट बहुत जटिल है या आउटपुट सीमाओं से अधिक है, तो यह विफल हो सकता है। हमेशा क्लाइंट साइड पर JSON को मान्य करें।

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.groqkeyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

फंक्शन कॉलिंग भी समर्थित है। आप टूल परिभाषित कर सकते हैं और मॉडल को चुनने दे सकते हैं कि किसे इन्वोक करना है। इससे API क्षमताओं को सरल टेक्स्ट जनरेशन से परे बढ़ाया जा सकता है।

अनुरोध सीमाएं और एरर हैंडलिंग

API प्रति कुंजी प्रति मिनट 300 अनुरोधों की सीमा लागू करता है। आप एक साथ 8 समवर्ती अनुरोध चला सकते हैं। अधिकतम अनुरोध बॉडी साइज़ 8 MB है। 429 त्रुटि संकेत देती है कि आपने इन सीमाओं को पार कर लिया है। कुछ सेकंड प्रतीक्षा करें और पुनः प्रयास करें। 402 त्रुटि का अर्थ है कि आपका प्रीपेड क्रेडिट समाप्त हो गया है। सेवा जारी रखने के लिए क्रिप्टो के माध्यम से टॉप अप करें। 400 या 500 जैसी त्रुटियां क्रेडिट चार्ज नहीं करती हैं।

मॉडल आईडी हमेशा "uncensored" होती है। मॉडल बदलने की कोशिश न करें। हम एक अकेले बड़े भाषा मॉडल को होस्ट करते हैं जो असीमित कंटेंट के लिए अनुकूलित है। यह स्टैक को सरल और तेज़ रखता है।

संदर्भ विंडो और टोकन सीमाएं

आपका कुल संदर्भ विंडो 100,000 टोकन का है। इसमें इनपुट प्रॉम्प्ट और जनरेट की गई पूर्णता दोनों शामिल हैं। प्रति अनुरोध अधिकतम आउटपुट 16,000 टोकन है। यदि आप निर्दिष्ट नहीं करते max_tokens, डिफ़ॉल्ट 2,048 टोकन है। आउटपुट सीमा से अधिक जाने पर प्रतिक्रिया कट जाएगी। पूरे उत्तर के लिए पर्याप्त जगह छोड़ने के लिए अपनी प्रॉम्प्ट्स की योजना बनाएं। यह मैन्युअल चंकिंग के बिना गहरे संदर्भ धारण की अनुमति देता है।

स्ट्रीमिंग और JSON मोड इन सीमाओं को प्रभावित नहीं करते हैं। वे सभी अनुरोध प्रकारों के लिए स्थिर रहते हैं। उपयोग करें usage field प्रतिक्रिया में अपनी खपत को सटीक रूप से ट्रैक करने के लिए।