먼저 통합 패턴을 선택하세요
대부분의 GLM API 통합 작업은 네 가지 형태 중 하나로 분류되며, 이 선택은 시크릿의 위치, 버스트 처리 방법, 사용자에게 실패가 어떻게 나타나는지 등 모든 사항에 영향을 미칩니다.
| 패턴 | 적합한 용도 | 주요 위험 |
|---|---|---|
| 백엔드 프록시 | 자체 사용자가 있는 웹 앱 및 모바일 앱 | 누구나 소진할 수 있는 공개 엔드포인트 |
| 큐 워커 | 봇, 배치 작업, 대량 텍스트 처리 | 요청이 제한을 초과할 때의 백로그 |
| 채팅 봇 | Discord, Telegram 또는 Matrix의 캐릭터 및 대화 상대 | 긴 대화 기록으로 인한 비용 증가 |
| 자동화 도구 | HTTP 또는 OpenAI 노드를 제공하는 도구의 워크플로우 | 단계 오류 시 조용한 실패 |
네 가지 모두 동일한 호출을 사용합니다: POST /v1/chat/completions를 https://api.glmapikey.com/v1로 보내며, bearer 키와 모델 uncensored를 사용합니다. API는 OpenAI와 호환되므로 모든 OpenAI SDK 또는 SDK가 없는 경우 raw HTTP를 사용할 수 있습니다. 독립적인 제공업체가 운영하는 단일 오픈 웨이트 모델이며, 공식 API나 라우터가 아니므로 단일 모델의 동작에 맞춰 구축하세요. 텍스트 전용: 제품에 이미지나 임베딩도 필요한 경우 해당 부분에 대해 두 번째 제공업체를 계획하세요.
docs 페이지에 엔드포인트 및 헤더가 나열되어 있으며, GLM 키 문서에 키 발급 방법이 설명되어 있습니다.
백엔드 프록시: 키를 클라이언트 외부에 보관
브라우저나 앱 번들에서 실행되는 모든 것은 검사될 수 있습니다. 키가 여기에 배포되면 누구나 복사하여 크레딧을 사용할 수 있습니다. 해결책은 키를 보유하고 자체 규칙을 적용한 후 요청을 전달하는 얇은 서버 라우트입니다.
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI
from pydantic import BaseModel
app = FastAPI()
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
)
class Ask(BaseModel):
prompt: str
@app.post("/ask")
async def ask(body: Ask):
async def gen():
stream = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": body.prompt[:4000]}],
max_tokens=600,
stream=True,
)
async for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
yield chunk.choices[0].delta.content
return StreamingResponse(gen(), media_type="text/plain")
라우트는 프롬프트를 자르고 응답을 제한합니다. 이는 최소한의 조치입니다. 출시 전 실제 제어 기능을 추가하세요: 사용자 인증, 사용자별 일일 토큰 예산, IP 또는 계정당 요청 속도 제한. API는 모든 호출에서 사용량을 반환하므로 데이터베이스에서 사용자별 토큰을 카운트하고 할당량을 초과하는 요청을 거부할 수 있습니다.
프록시를 통한 스트리밍에는 하나의 확인이 필요합니다: 역방향 프록시가 응답을 버퍼링하지 않는지 확인하세요. 그렇지 않으면 텍스트가 단어 단위로 도착하는 대신 끝에 한 블록으로 도착합니다.
큐 워커: 동시성 제한 준수
한도는 키별로 적용됩니다. 일반 키는 동시 요청 8개와 분당 300개의 요청을 허용합니다. 체험 키는 각각 2개와 60개를 허용합니다. 일정한 작업 흐름의 경우, 각 요청이 완료될 때까지 슬롯을 차지하고 스트리밍 요청의 경우 스트림이 끝날 때까지 차지하므로, 동시성이 가장 먼저 제한 요인이 되는 경우가 많습니다.
제한에 맞춰 조정된 워커 풀이 깔끔한 해결책입니다. 작업이 429 오류로 실패하는 대신 큐에서 대기합니다:
import asyncio
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
max_retries=0,
)
WORKERS = 8 # use 2 on a trial key
async def run_job(prompt: str) -> str:
for attempt in range(5):
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=500,
)
return r.choices[0].message.content
except RateLimitError as e:
delay = float(e.response.headers.get("retry-after", 2 * (attempt + 1)))
await asyncio.sleep(delay)
raise RuntimeError("gave up after repeated 429 responses")
async def worker(queue: asyncio.Queue, results: list):
while True:
prompt = await queue.get()
try:
results.append(await run_job(prompt))
finally:
queue.task_done()
async def main(prompts):
queue, results = asyncio.Queue(), []
for p in prompts:
queue.put_nowait(p)
tasks = [asyncio.create_task(worker(queue, results)) for _ in range(WORKERS)]
await queue.join()
for t in tasks:
t.cancel()
return results
429 응답 본문의 오류 코드는 차단된 이유를 알려줍니다: 분당 요청 제한은 rate_limited, 동시 요청 초과는 concurrency, 짧은 과부하 상태는 Retry-After: 5 헤더와 함께 일반 429로 표시됩니다. 헤더를 따르는 것이 지연 시간을 추측하는 것보다 단순합니다. 실패한 요청과 거부된 요청에는 요금이 부과되지 않으므로 재시도 비용은 무료입니다.
봇 및 캐릭터
채팅 봇은 예상치 못한 비용이 나타나는 일반적인 장소입니다. 봇이 기록을 유지하면 매 메시지마다 다시 보냅니다. API는 호출 간에 상태를 유지하지 않으므로 기록을 직접 저장하세요.
예산 예시를 통해 이 점을 명확히 할 수 있습니다. 예를 들어, 봇에 하루에 20개의 메시지를 보내는 500명의 활성 사용자가 있다고 가정해 봅시다. 각 메시지에는 1,500개의 입력 토큰(페르소나, 짧은 대화 기록 및 새로운 메시지)이 포함되어 있으며 250개의 토큰이 반환됩니다:
- 메시지당: 1,500 / 1,000,000 x $0.15 = $0.000225 (입력), 250 / 1,000,000 x $0.50 = $0.000125 (출력), 합계 $0.00035
- 하루: 500 x 20 = 10,000개 메시지, 따라서 $3.50
- 30일: $105
대화 기록이 12,000개의 토큰 컨텍스트 창을 채울 때까지 확장되도록 하면 메시지당 입력이 8배 증가하여 12,000개의 토큰이 되며, 입력만으로도 $0.0018이 발생하며 월 비용도 이에 따라 증가합니다. 롤링 윈도우와 이전 이벤트의 짧은 요약을 사용하면 더 낮은 가격으로 페르소나 일관성을 유지할 수 있습니다.
컴패니언 및 롤플레이 봇의 경우 제품 규칙을 자체 레이어에 유지하세요. 이 모델은 합법적인 성인 사용에 대해 콘텐츠 거부 없이 답변하도록 조정되었으며, 유일한 하드 제한은 미성년자와 관련된 성적 콘텐츠이며 서비스는 이를 거부합니다. 봇이 공개 서버에 있는 경우 플랫폼에서 실행하는 데 맞는 연령 제한 및 채널 규칙을 추가하세요.
자동화 도구 및 노코드 워크플로우
구성 가능한 Base URL이 있는 OpenAI 스타일 노드를 제공하는 워크플로우 도구는 URL을 https://api.glmapikey.com/v1로, 키와 모델 이름을 uncensored로 변경하여 이 API를 사용할 수 있습니다. 일반 HTTP 요청 노드만 있는 도구는 대신 원시 요청을 보낼 수 있습니다:
curl https://api.glmapikey.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Classify this ticket: printer offline"}], "response_format": {"type": "json_object"}}'
다른 단계를 이어받는 워크플로우 단계의 경우 JSON 모드를 사용하는 것이 좋습니다. 다음 노드가 구문 분석 가능한 텍스트를 받도록 합니다. 429 및 5xx 응답이 가끔 발생하므로 API를 호출하는 모든 단계에 오류 분기를 추가하세요. 워크플로우 중간에서 침묵 실패가 나중에 찾기 어렵습니다. 해당 노드에 짧은 대기 시간으로 재시도를 설정하고 병렬 분기가 키가 허용하는 동시 요청 수를 초과하지 않도록 하세요.
사용자에게 보이는 실패 상황
모든 통합에는 비정상 경로에 대한 계획이 필요하며, 사용자에게 보이는 부분은 재시도 코드만큼 중요합니다. 실제 상황에서 세 가지 상황이 발생합니다.
첫 번째는 짧은 과부하입니다: Retry-After: 5와 함께 429 응답. 조용히 재시도하고 그 사이에 타이핑 표시기를 표시하여 사용자가 오류 대신 약간 느린 응답을 보도록 하세요. 두 번째는 자체 풀 제한에 도달하는 것입니다. 모든 8개의 슬롯이 사용 중이면 메시지를 큐에 넣고 사용자가 기다리고 있음을 알리세요. 이는 빈 화면보다 낫습니다. 세 번째는 크레딧 고갈이며, 이는 재시도로 해결할 수 없습니다. 잔액 헤더를 모니터링하고 임계값에서 자체적으로 알림을 설정하며, 눈치채지 못한 채 고갈되는 날을 위해 대체 메시지를 준비하세요.
최종 사용자에게 원시 API 오류를 표시하지 마세요. 요청 ID와 함께 로그를 남기고, 무슨 일이 일어났는지와 다음 단계를 설명하는 평범한 문장을 표시하세요. 사용자가 볼 수 있는 모든 곳에 키, 베이스 URL 또는 스택 트레이스를 포함하지 마세요.
결제, 모니터링 및 출시 확인
청구는 선불 방식입니다. $20부터 $500까지 전체 금액으로 충전할 수 있으며, $50부터는 +5%, $100부터는 +10%, $200부터는 +15%의 보너스가 제공됩니다. 크레딧은 만료되지 않으며 구독도 없습니다. 암호화폐(TRC20의 USDT, Base의 USDC)로 결제할 수 있습니다. 신규 사용자는 API 키 페이지에서 한 번의 클릭으로 7일 유효한 $0.50의 체험 크레딧을 청구할 수 있으므로, 자금 투입 전에 통합을 테스트해 볼 수 있습니다. 요금은 요금제 페이지에서 확인할 수 있습니다.
프로덕션에서 모니터링할 항목:
- 잔액. 응답에서
X-Balance-USD을 읽고 선택한 임계값 아래로 떨어지면 알림을 설정하세요. - 요청 ID. 각 작업 옆에
X-Request-Id을 저장하여 하나의 실패를 추적할 수 있게 하세요. - 토큰 사용량. 사용자별, 기능별로
usage을 합산하여 비용이 어디에 쓰이는지 확인하세요. - 429 응답. 증가하는 카운트는 풀(pool)이 키의 한도보다 크다는 것을 의미합니다.
짧은 출시 목록: 프로덕션 호스트에서 실제 요청 하나를 실행하고, 스테이징에서 강제 429를 테스트하며, 인증 없이 사용자가 API에 접근할 수 없는지 확인하고, API에 접근할 수 없을 때 서비스가 무엇을 표시하는지 기록하세요. 프롬프트는 학습에 사용되지 않으며, 이는 자체 사용자에게 전달할 수 있습니다. 하지만 개인 정보 보호 정책에서 텍스트가 응답 생성을 위해 타사 제공업체로 전송된다고 명시하세요.
