Hızlı Başlangıç: groq key api'yi kullanın

Temel URL ve kimlik doğrulama kurulumu

Groq key API, sansürsüz modelimize doğrudan bir yol sağlayan standart OpenAI uç noktasını değiştirir. Ayarlarınızı yapın base_url HTTPS://api.groqkeyapi.com/v1 adresine kadar ve anahtarınızı Authorization header. Bu yapılandırma, resmi Python ve Node SDK'ları dahil olmak üzere herhangi bir OpenAI-uyumlu istemci ile çalışır. Kodunuzda model adını değiştirmenize gerek yoktur; yönlendirmeyi içerde hallederiz.

Copycurl https://api.groqkeyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check if endpoint supports 32k context window"}]
  }'

Kimlik doğrulama katıdır. 401 hatası, anahtarınızın geçersiz veya eksik olduğunu gösterir. Anahtarı hemen kopyaladığınızdan emin olun, çünkü yalnızca bir kez gösterilir.

İlk chat completion isteği

Şuraya bir POST isteği gönderin /v1/chat/completions model kimliği "uncensored" olarak ayarlandığında. Bu model, yasal yetişkin, kurgusal veya tartışmalı konularda reddetmeden yanıt verir. Metin girdisini işler ve metin çıktısı döndürür. Şunlar gibi parametreleri ayarlayabilirsiniz temperature ve top_p yaratıcılığı kontrol etmek için. Bağlam penceresi, birleştirilmiş istem ve tamamlama için 100.000 tokenı destekler.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.groqkeyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

İşleme sırasında oluşan hatalar krediyi tüketmez. Model küçük içerik için bir reddetme döndürürse, hiçbir ücret ödemezsiniz. Bu ön ödemeli model, yalnızca gerçek çıktı tokenları için harcama yapmanızı sağlar.

Gerçek zamanlı çıktı için akışı etkinleştirin

Sunucu Tarafından Gönderilen Olaylar (SSE) üzerinden akış (streaming), tokenları oluşturulurken gönderir. Ayarla stream=true istekinizde. Son parça, faturalandırma için tam token kullanım istatistiklerini içerir. Bu yaklaşım, uzun yanıtlar için algılanan gecikmeyi azaltır. Kullanıcıların metni gerçek zamanlı olarak gördüğü sohbet arayüzleri için idealdir. SDK'lar ayrıştırmayı otomatik olarak halleder.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Akış fiyatlandırma yapısını değiştirmez. Hala 1M çıktı tokenı başına ödeme yaparsınız. İstek başına 16.000 token katı sınırı, akış durumundan bağımsız olarak geçerli kalır.

Yapılandırılmış veri için JSON modu kullanın

Ayarla response_format için {"type": "json_object"} katı JSON çıktısını zorlamak için. Bu, öngörülebilir veri yapılarına ihtiyaç duyduğunuz programatik entegrasyonlar için kullanışlıdır. Model, yanıtı geçerli JSON olarak biçimlendirmeye çalışacaktır. Prompt çok karmaşıksa veya çıktı sınırları aşarsa başarısız olabilir. JSON'u istemci tarafında her zaman doğrulayın.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.groqkeyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Fonksiyon çağırma desteklenir. Araçları tanımlayabilir ve modelin hangisini çağıracağına karar vermesine izin verebilirsiniz. Bu, API yeteneklerini basit metin üretiminin ötesine taşır.

İstek sınırları ve hata işleme

API, anahtar başına dakikada 300 istek sınırı uygular. Aynı anda 8 eşzamanlı istek çalıştırabilirsiniz. Maksimum istek gövdesi boyutu 8 MB'tır. 429 hatası bu sınırları aştığınızı gösterir. Birkaç saniye bekleyip yeniden deneyin. 402 hatası ön ödemeli kredinizin tükendiğini belirtir. Hizmeti devam ettirmek için kripto ile yükleyin. 400 veya 500 gibi hatalar kredi ücretlendirmez.

Model kimliği her zaman "uncensored"dir. Model değiştirmeye çalışmayın. Sınırsız içerik için optimize edilmiş tek bir büyük dil modelini barındırıyoruz. Bu, yığın yapısını basit ve hızlı tutar.

Bağlam penceresi ve token limitleri

Toplam bağlam penceresi 100.000 token'dır. Bu hem girdi prompt'unu hem de oluşturulan tamamlamayı içerir. İstek başına maksimum çıktı 16.000 token'dır. Belirtmezseniz max_tokens, varsayılan değer 2.048 token'dır. Çıktı sınırını aşmak yanıtı kısaltır. Tam cevabı alacak kadar yer bırakacak şekilde istemlerinizi planlayın. Bu, manuel parçalama olmadan derin bağlam korumasına olanak tanır.

Streaming ve JSON modu bu limitleri etkilemez. Tüm istek türleri boyunca tutarlı kalırlar. Kullanın usage field yanıtta harcamanızı doğru takip etmek için.