เริ่มต้นใช้งาน: ใช้ API key ของ groq

การตั้งค่าการตรวจสอบสิทธิ์ URL ฐาน

API key ของ groq แทนที่เอนด์พอยต์ OpenAI มาตรฐานด้วยเส้นทางตรงสู่โมเดล uncensored ของเรา ตั้งค่า base_url to HTTPS://api.groqkeyapi.com/v1 and inject your key into the Authorization header. การกำหนดค่านีทำงานกับไคลเอนต์ที่เข้ากันได้กับ OpenAI ใดๆ รวมถึง SDK มาตรฐานของ Python และ Node ด้วย คุณไม่จำเป็นต้องแก้ไขชื่อโมเดลในโค้ดของคุณ เราจัดการการกำหนดเส้นทางภายใน

Copycurl https://api.groqkeyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check if endpoint supports 32k context window"}]
  }'

การตรวจสอบสิทธิ์นั้นเข้มงวด ข้อผิดพลาด 401 หมายถึงคีย์ของคุณไม่ถูกต้องหรือหายไป ตรวจสอบให้แน่ใจว่าคุณคัดลอกคีย์ทันทีหลังจากสมัครสมาชิก เนื่องจากจะแสดงเพียงครั้งเดียว

คำขอ chat completion ครั้งแรก

ส่งคำขอ POST ไปยัง /v1/chat/completions โดยตั้งค่ารหัสโมเดลเป็น "uncensored" โมเดลนี้ตอบคำถามโดยไม่มีการปฏิเสธสำหรับหัวข้อผู้ใหญ่ตามกฏหมาย นวนิยาย หรือที่ถกเถียงได้ มันประมวลผลข้อความนำเข้าและส่งกลับข้อความส่งออก คุณสามารถปรับพารามิเตอร์เช่น temperature และ top_p เพื่อควบคุมความสร้างสรรค์ หน้าต่างบริบทรองรับ 100,000 โทเค็นสำหรับคำขอและการตอบกลับรวมกัน

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.groqkeyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

ข้อผิดพลาดระหว่างกระบวนการประมวลผลไม่ใช้เครดิต หากโมเดลส่งการปฏิเสธสำหรับเนื้อหาเด็ก คุณไม่ต้องจ่าย โมเดลที่เติมไว้ล่วงหน้านี้รับประกันว่าคุณจะใช้จ่ายเฉพาะสำหรับโทเคนเอาต์พุตจริงเท่านั้น

เปิดใช้งานสตรีมสำหรับผลลัพธ์แบบเรียลไทม์

การสตรีมผ่าน Server-Sent Events (SSE) ส่งโทเค็นทันทีที่สร้างเสร็จ ตั้งค่า stream=true ในการร้องขอของคุณ ชิ้นสุดท้ายมีสถิติการใช้งานโทเค็นทั้งหมดสำหรับการเรียกเก็บเงิน วิธีนี้ลดความล่าช้าที่ผู้ใช้รู้สึกสำหรับคำตอบยาวๆ เหมาะสำหรับอินเทอร์เฟซแชทที่ผู้ใช้เห็นข้อความปรากฏแบบเรียลไทม์ SDK จัดการการแยกวิเคราะห์อัตโนมัติ

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

การสตรีมไม่เปลี่ยนโครงสร้างราคา คุณยังคงจ่ายต่อ 1M โทเค็นเอาต์พุต ข้อจำกัด 16,000 โทเค็นต่อการร้องขอยังคงใช้ไม่ว่าสถานะการสตรีมจะเป็นอย่างไร

ใช้โหมด JSON สำหรับข้อมูลที่มีโครงสร้าง

ตั้งค่า response_format เพื่อ {"type": "json_object"} เพื่อบังคับใช้เอาต์พุต JSON อย่างเข้มงวด สิ่งนี้มีประโยชน์สำหรับการผสานรวมแบบโปรแกรมมิ่งที่คุณต้องการโครงสร้างข้อมูลที่คาดการณ์ได้ โมเดลจะพยายามจัดรูปแบบการตอบสนองเป็น JSON ที่ถูกต้อง อาจล้มเหลวหากพรอมต์ซับซ้อนเกินไปหรือเอาต์พุตเกินขีดจำกัด ควรตรวจสอบความถูกต้องของ JSON ที่ฝั่งไคลเอนต์เสมอ

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.groqkeyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

รองรับ Function Calling ด้วย คุณสามารถกำหนดเครื่องมือและปล่อยให้โมเดลเลือกที่จะเรียกใช้งาน สิ่งนี้ขยายขีดความสามารถของ API ไปมากกว่าการสร้างข้อความธรรมดา

ข้อจำกัดของ request และการจัดการข้อผิดพลาด

API กำหนดอัตราสูงสุด 300 คำขอต่อนาทีต่อ key คุณสามารถรันคำขอพร้อมกันได้ 8 คำขอพร้อมกัน ขนาด body ของคำขอสูงสุดคือ 8 MB error 429 หมายถึงคุณเกินขีดจำกัดเหล่านี้แล้ว รอไม่กี่วินาทีแล้วลองใหม่ error 402 หมายถึงเครดิตแบบเติมเงินของคุณหมดแล้ว ให้เติมเงินผ่านคริปโตเพื่อดำเนินการบริการต่อ error เช่น 400 หรือ 500 ไม่เรียกเก็บเครดิต

รหัสโมเดลคือ "uncensored" เสมอ อย่าพยายามเปลี่ยนโมเดล เราโฮสต์โมเดลภาษาขนาดใหญ่เพียงตัวเดียวที่ปรับให้เหมาะสมสำหรับเนื้อหาแบบไม่มีการเซ็นรักษา ทำให้ระบบเรียบง่ายและรวดเร็ว

หน้าต่างบริบทและขีดจำกัดจำนวนโทเค็น

หน้าต่างบริบทรวมของคุณคือ 100,000 โทเค็น ซึ่งรวมถึงพรอมต์อินพุตและการสร้างคำตอบที่สร้างขึ้น ขนาดเอาต์พุตสูงสุดต่อคำขอคือ 16,000 โทเค็น หากคุณไม่ได้ระบุ max_tokens, ค่าเริ่มต้นคือ 2,048 การเกินขีดจำกัดเอาต์พุตจะทำให้การตอบสนองถูกตัดทอน วางแผนคำสั่ง Prompt ของคุณเพื่อให้เหลือพื้นที่เพียงพอสำหรับคำตอบเต็มรูปแบบ สิ่งนี้ทำให้สามารถเก็บบริบทลึกได้โดยไม่ต้องแบ่งส่วนด้วยตนเอง

โหมด JSON และการสตรีมไม่กระทบขีดจำกัดเหล่านี้ ยังคงสอดคล้องกันในทุกประเภทคำขอ ใช้ usage field in the response to track your consumption accurately.