התחלה מהירה: השתמשו ב-API של מפתח groq

הגדרת אימות כתובת URL בסיסית

מפתח ה-API של groq מחליף את נקודת הקצה הסטנדרטית של OpenAI במסלול ישיר למודל ללא הצנזורה שלנו. הגדר את ה- base_url ל-HTTPS://api.groqkeyapi.com/v1 והזרק את המפתח שלך ל Authorization header. תצורה זו עובדת עם כל לקוח תואם OpenAI, כולל ה-SDKs הרשמיים של Python ו-Node. אינך צריך לשנות את שם המודל בקוד שלך; אנחנו מטפלים בניתוב פנימית.

Copycurl https://api.groqkeyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check if endpoint supports 32k context window"}]
  }'

האימות הוא קפדני. שגיאת 401 משמעה שהמפתח לא חוקי או חסר. ודאו שהעתקתם את המפתח מיד לאחר ההרשמה, שכן הוא מוצג רק פעם אחת.

בקשת השלמת צ'אט ראשונה

שלחו בקשת POST ל /v1/chat/completions עם מזהה המודל מוגדר ל"uncensored". מודל זה עונה ללא סירובים עבור נושאים בוגרים, בדיוניים או שנויים במחלוקת. הוא מעבד קלט טקסט ומחזיר פלט טקסט. ניתן להתאים פרמטרים כמו temperature וגם top_p לשלוט ביצירתיות. חלון ההקשר תומך ב-100,000 טוקנים עבור הפרומפט וההשלמה המשולבים.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.groqkeyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

שגיאות במהלך העיבוד אינן צורכות אשראי. אם המודל מחזיר סירוב לתוכן קטינים, אינך משלם כלום. מודל מוקדם זה מבטיח שתבזבז רק על אסימוני פלט בפועל.

אפשרו זרימת נתונים לפלט בזמן אמת

סטרימינג באמצעות אירועים מרווחי שרת (SSE) מספק טוקנים כפי שהם נוצרים. הגדר stream=true בקשתך. החלק הסופי מכיל את סטטיסטיקות השימוש המלאות בטוקנים לחישוב עלויות. גישה זו מפחיתה את תחומת העיכוי עבור תגובות ארוכות. זה אידיאלי לממשקי צ'אט שבהם המשתמשים רואים טקסט מופיע בזמן אמת. ספריות הלקוח (SDKs) מטפלות בניתוח באופן אוטומטי.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

זרימה לא משנה את מבנה המחיר. אתה עדיין משלם על כל 1M אסימוני פלט. מגבלת ה-16,000 האסימונים הקשיחה לבקשה עדיין חלה ללא קשר לסטטוס הזרימה.

השתמשו במצב JSON לנתונים מבניים

הגדר response_format אל {"type": "json_object"} כדי לאכוף פלט JSON קפדני. זה שימושי לאינטגרציות תכנותיות שבהן אתה צריך מבני נתונים צפויים. המודל ינסה לעצב את התגובה כ-JSON תקף. הוא עשוי להיכשל אם הפרומפט מורכב מדי או שהפלט עולה על הגבולות. תמיד תאמת את ה-JSON בצד הלקוח.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.groqkeyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

תמיכה ב-Function calling. ניתן להגדיר כלים ולתת למודל לבחור איזה לקרוא. זה מרחיב את יכולות ה-API מעבר ליצירת טקסט פשוטה.

מגבלות בקשה וטיפול בשגיאות

ה-API מחייב מגבלה של 300 בקשות לדקה לכל מפתח. ניתן להריץ 8 בקשות מקבילות בו זמנית. גודל גוף הבקשה המקסימלי הוא 8 MB. שגיאת 429 מציינת שחרגת ממגבלות אלו. המתן כמה שניות ונסה שוב. שגיאת 402 פירושה שאשראי המקדם שלך אזל. טען מחדש באמצעות קריפטו כדי להמשיך בשירות. שגיאות כמו 400 או 500 לא גובות אשראי.

מזהה המודל הוא תמיד "uncensored". אל תנסה להחליף מודלים. אנחנו מארחים מודל שפה גדול אחד המותאם לתוכן ללא הגבלות. זה שומר על המערך פשוט ומהיר.

חלון הקשר ומגבלות טוקנים

חלון ההקשר הכולל שלך הוא 100,000 טוקנים. זה כולל גם את פרומפט הקלט וגם את ההשלמה שנוצרה. התפוקה המקסימלית לכל בקשה היא 16,000 טוקנים. אם לא תציין max_tokens, ברירת המחדל היא 2,048 טוקנים. חריגה ממגבלת הפלט תגרום לקיטוע התגובה. תכננו את ההנחיות שלכם כך שיישאר מספיק מקום לתשובה המלאה. זה מאפשר אחזקת הקשר עמוקה ללא פיצול ידני.

סטרימינג ומצב JSON אינם משפיעים על מגבלות אלו. הם נשארים עקביים בכל סוגי הבקשות. השתמש ב usage field in the response to track your consumption accurately.