Pika-aloitus: Käytä groq key api

Perus-URL:n todennusmääritys

Groq-avain-API korvaa vakioisen OpenAI-päätepisteen suoralla polulla epäkarsittuun malliimme. Aseta base_url osoitteeseen HTTPS://api.groqkeyapi.com/v1 ja ruiskuta avaimesi Authorization header. Tämä konfiguraatio toimii minkä tahansa OpenAI-yhteensopivan asiakasohjelmiston kanssa, mukaan lukien viralliset Python- ja Node SDK:t. Sinun ei tarvitse muuttaa koodissa olevaa mallin nimeä; me hoidamme reitityksen sisäisesti.

Copycurl https://api.groqkeyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check if endpoint supports 32k context window"}]
  }'

Todennus on tiukkaa. 401-virhe tarkoittaa, että avaimesi on virheellinen tai puuttuva. Varmista, että kopioit avaimen välittömästi rekisteröitymisen jälkeen, koska se näytetään vain kerran.

Ensimmäinen chat-completion-pyyntö

Lähetä POST-pyyntö osoitteeseen /v1/chat/completions mallin tunnisteella "uncensored". Tämä malli vastaa ilman kieltoja laillisiin aikuisille, fiktiivisiin tai kiistanalaiseen aiheisiin. Se käsittelee tekstisyötteen ja palauttaa tekstituloksen. Voit säätää parametreja kuten temperature ja top_p hallita luovuutta. Kontekstiluukku tukee 100,000 tokenia yhdistetylle syötteelle ja täydennykselle.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.groqkeyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Käsittelyvirheet eivät kuluta krediittia. Jos malli hylkää alaikäisen sisällön, et maksa siitä. Tämä esimaksullinen malli varmistaa, että käytät rahaa vain todellisiin tulostustokenneihin.

Ota suoratoisto käyttöön reaaliaikaiseen tulostukseen

SSE-virtaus (Server-Sent Events) toimittaa tokenit niiden tuotannon aikana. Aseta stream=true pyynnössäsi. Viimeinen osa sisältää koko tokenkäytön tilastot laskutusta varten. Tämä lähestymistapa vähentää koettua viivettä pitkissä vastauksissa. Se on ihanteellinen keskustelujärjestelmiin, joissa käyttäjät näkevät tekstin ilmestyvän reaaliajassa. SDK:t käsittelevät jäsentämisen automaattisesti.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Streamaus ei muuta hinnoittelurakennetta. Maksat edelleen 1M tulostustokenia kohden. 16 000 tokenin kova raja pyyntöä kohden pätee edelleen streamauksen tilasta riippumatta.

Käytä JSON-tilaa rakenteelliseen dataan

Aseta response_format vastaan {"type": "json_object"} pakottaa tiukan JSON-tulosteen. Tämä on hyödyllistä ohjelmoitaviin integrointeihin, joissa tarvitset ennustettavia datastruktuureita. Malli yrittää muotoilla vastauksen kelvolliseksi JSON:ksi. Se voi epäonnistua, jos prompti on liian monimutkainen tai output ylittää rajat. Tarkista aina JSON asiakaspään puolella.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.groqkeyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Function calling -toiminto tuetaan. Voit määrittää työkalut ja antaa mallin valita, mitkä niistä kutsutaan. Tämä laajentaa API:n mahdollisuuksia yksinkertaisen tekstin luomisen ulkopuolelle.

Pyyntörajoitukset ja virheidenhallinta

API rajoittaa 300 pyyntöä minuutissa per avain. Voit suorittaa 8 samanaikaista pyyntöä. Pyyntörungon maksimikoko on 8 Mt. 429-virhe kertoo, että ylityt nämä rajat. Odota muutama sekunti ja yritä uudelleen. 402-virhe tarkoittaa, että esimaksukrediittisi on loppu. Lataa lisää kryptorahalla jatkaaksesi palvelua. Virheet kuten 400 tai 500 eivät veloita krediittejä.

Mallin tunnus on aina "uncensored". Älä yritä vaihtaa malleja. Isännöimme yhtä suurta kielimallia, joka on optimoitu rajoittamattomaan sisältöön. Tämä pitää kasaan yksinkertaiseksi ja nopeaksi.

Kontekstiuikkuna ja tokenirajoitukset

Kokonaiskontekstiikkunasi on 100 000 tokenia. Tämä sisältää sekä syötepromptin että tuotetun vastauksen. Maksimitulostus per pyyntö on 16 000 tokenia. Jos et määritä max_tokens, oletusarvoisesti 2 048 tokeniä. Tulostusrajat ylitys katkaisee vastauksen. Suunnittele kehotteesi jättämään tarpeeksi tilaa koko vastaukselle. Tämä mahdollistaa syvän kontekstin säilyttämisen ilman manuaalista jakamista.

Streamaus ja JSON-tila eivät vaikuta näihin rajoituksiin. Ne pysyvät johdonmukaisina kaikissa pyyntötyypeissä. Käytä usage kenttä vastauksesta seurata kulutustasi tarkasti.