빠른 시작: groq key api 사용하기

Base URL 및 인증 설정

groq key API는 표준 OpenAI 엔드포인트를 uncensored 모델에 대한 직접 경로로 대체합니다. 설정하세요, base_url to HTTPS://api.groqkeyapi.com/v1 및 키를 Authorization 이 구성은 공식 Python 및 Node SDK를 포함한 모든 OpenAI 호환 클라이언트와 함께 작동합니다. 코드에서 모델 이름을 수정할 필요가 없습니다. 라우팅은 내부적으로 처리됩니다.

Copycurl https://api.groqkeyapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check if endpoint supports 32k context window"}]
  }'

인증은 엄격합니다. 401 오류는 키가 유효하지 않거나 누락되었음을 의미합니다. 가입 직후 키를 복사하세요. 키는 한 번만 표시됩니다.

첫 번째 채팅 완료 요청

POSTリクエストを送信 /v1/chat/completions 모델 ID를 "uncensored"로 설정하세요. 이 모델은 합법적인 성인, 픽션, 또는 논쟁적인 주제에 대해 거부 없이 답변합니다. 텍스트 입력을 처리하고 텍스트 출력을 반환합니다. 다음과 같은 매개변수를 조정할 수 있습니다. temperature 및 top_p 창의성을 제어합니다. 컨텍스트 창은 프롬프트와 완성을 합쳐 100,000개의 토큰을 지원합니다.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.groqkeyapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

처리 중 오류는 크레딧이 소모되지 않습니다. 모델이 미성년 콘텐츠에 대해 거부하면 요금이 부과되지 않습니다. 이 선불 모델은 실제 출력 토큰에만 지출됨을 보장합니다.

실시간 출력을 위해 스트리밍을 활성화하세요

Server-Sent Events(SSE)를 통한 스트리밍은 생성되는 대로 토큰을 전달합니다. 설정 stream=true 요청에 포함됩니다. 마지막 청크에는 청구를 위한 전체 토큰 사용량 통계가 포함됩니다. 이 접근 방식은 긴 응답의 지각된 지연 시간을 줄여줍니다. 사용자가 실시간으로 텍스트가 나타나는 채팅 인터페이스에 이상적입니다. SDK는 파싱을 자동으로 처리합니다.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

스트리밍은 가격 구조를 변경하지 않습니다. 여전히 1M 출력 토큰당 지불합니다. 스트리밍 상태와 관계없이 요청당 16,000 토큰의 하드 제한이 여전히 적용됩니다.

구조화된 데이터를 위한 JSON 모드

設定 response_format 수신하여 {"type": "json_object"} 엄격한 JSON 출력을 강제합니다. 이는 예측 가능한 데이터 구조가 필요한 프로그래밍 통합에 유용합니다. 모델은 응답을 유효한 JSON 형식으로 포맷하려고 시도합니다. 프롬프트가 너무 복잡하거나 출력이 제한을 초과하면 실패할 수 있습니다. 항상 클라이언트 측에서 JSON을 검증하십시오.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.groqkeyapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

함수 호출이 지원됩니다. 도구를 정의하고 모델이 호출할 함수를 선택하게 하세요. 이는 단순 텍스트 생성을 넘어 API 기능을 확장합니다.

요청 제한 및 오류 처리

API는 키당 분당 300개의 요청을 제한합니다. 동시에 최대 8개의 동시 요청을 실행할 수 있습니다. 최대 요청 본문 크기는 8 MB입니다. 429 오류는 이러한 제한을 초과했음을 나타냅니다. 몇 초간 대기 후 재시도하세요. 402 오류는 선불 크레딧이 고갈되었음을 의미합니다. 크립토로 충전하여 서비스를 재개하세요. 400 또는 500과 같은 오류는 크레딧을 청구하지 않습니다.

모델 ID는 항상 "uncensored"입니다. 모델 전환을 시도하지 마십시오. 당사는 제한 없는 콘텐츠에 최적화된 단일 대규모 언어 모델을 호스팅합니다. 이는 스택을 단순하고 빠르게 유지합니다.

컨텍스트 창 및 토큰 제한

총 컨텍스트 창은 100,000토큰입니다. 여기에는 입력 프롬프트와 생성된 완성문이 모두 포함됩니다. 요청당 최대 출력은 16,000토큰입니다. 지정하지 않는 경우 max_tokens기본값은 2,048 토큰입니다. 출력 제한을 초과하면 응답이 잘립니다. 전체 답변에 충분한 여지를 남기도록 프롬프트를 계획하십시오. 이를 통해 수동 청킹 없이도 깊은 컨텍스트 보존이 가능합니다.

스트리밍 및 JSON 모드는 이러한 제한에 영향을 미치지 않습니다. 모든 요청 유형에 걸쳐 일관되게 유지됩니다. 사용하세요. usage field in the response to track your consumption accurately.