先選擇整合模式
大多數 GLM API 整合工作可歸納為四種形式,此選擇會影響其他所有環節:金鑰存放的位置、處理突發流量的方式,以及使用者看到的故障樣貌。
| 模式 | 適用情境 | 主要風險 |
|---|---|---|
| 後端代理 | 擁有自有使用者的網頁應用程式和行動應用程式 | 任何人都可耗盡的開放端點 |
| 佇列工作程式 | 機器人、批次作業、大量文字處理 | 當請求超過限制時的積壓 |
| 聊天機器人 | Discord、Telegram 或 Matrix 的角色與伴侶 | 過長的歷史記錄使成本膨脹 |
| 自動化工具 | 提供 HTTP 或 OpenAI 節點的工具中的工作流 | 步驟出錯時的靜默失敗 |
所有四種模式底層都使用相同的呼叫:POST /v1/chat/completions 在 https://api.glmapikey.com/v1 上,帶有 Bearer 金鑰和模型 uncensored。API 與 OpenAI 相容,因此你可以使用任何 OpenAI SDK,或在堆疊沒有 SDK 時使用原始 HTTP。它是由獨立供應商運營的單一開放權重模型,並非任何廠商的官方 API 也不是路由器,因此請針對單一模型的行為進行建構。僅支援文字:如果你的產品也需要圖片或嵌入向量,請為這些部分規劃第二個供應商。
文件頁面列出了端點和標頭,GLM 金鑰文章說明了如何取得金鑰。
後端代理:將金鑰與客戶端隔離
在瀏覽器或應用程式套件中執行的任何內容都可以被檢查。如果金鑰隨之發布,任何人都可以複製它並消耗你的額度。解決方案是一個輕量伺服器路由,它持有金鑰、套用你自己的規則並轉發請求。
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI
from pydantic import BaseModel
app = FastAPI()
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
)
class Ask(BaseModel):
prompt: str
@app.post("/ask")
async def ask(body: Ask):
async def gen():
stream = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": body.prompt[:4000]}],
max_tokens=600,
stream=True,
)
async for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
yield chunk.choices[0].delta.content
return StreamingResponse(gen(), media_type="text/plain")
該路由截斷提示詞並限制回覆,這是最低要求。在發布前新增實際控制機制:使用者驗證、每位使用者的每日 token 預算,以及每個 IP 或帳戶的請求速率限制。API 在每次呼叫時都會回傳用量,因此你可以在資料庫中計算每位使用者的 token 數量,並拒絕超過其配額的請求。
透過代理進行串流輸出需要一項檢查:確認你的反向代理不會緩衝回應,否則文字將在結尾時一次性到達,而不是一字一詞地到達。
佇列工作程式:遵守並行限制
限制是針對金鑰的。完整金鑰允許 8 個並行請求和每分鐘 300 個請求。試用金鑰允許 2 個和 60 個。對於穩定的工作串流,並行通常是首先受限的因素,因為每個請求都會佔用一個槽位直到完成,串流請求則直到串流結束為止。
大小符合限制的 Worker 池是乾淨的解決方案。工作在你的佇列中等待,而不是以 429 失敗:
import asyncio
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
max_retries=0,
)
WORKERS = 8 # use 2 on a trial key
async def run_job(prompt: str) -> str:
for attempt in range(5):
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=500,
)
return r.choices[0].message.content
except RateLimitError as e:
delay = float(e.response.headers.get("retry-after", 2 * (attempt + 1)))
await asyncio.sleep(delay)
raise RuntimeError("gave up after repeated 429 responses")
async def worker(queue: asyncio.Queue, results: list):
while True:
prompt = await queue.get()
try:
results.append(await run_job(prompt))
finally:
queue.task_done()
async def main(prompts):
queue, results = asyncio.Queue(), []
for p in prompts:
queue.put_nowait(p)
tasks = [asyncio.create_task(worker(queue, results)) for _ in range(WORKERS)]
await queue.join()
for t in tasks:
t.cancel()
return results
429 主體中的錯誤程式碼告訴你被停止的原因:rate_limited 表示每分鐘請求過多,concurrency 表示同時過多,以及帶有 Retry-After: 5 的普通 429 表示短暫過載。遵循標頭比猜測延遲更簡單。失敗和拒絕的請求不會收費,因此重試不花錢。
機器人和角色
聊天機器人是成本意外出現的常見地方,因為保留歷史記錄的機器人會在每則訊息中重新傳送歷史。早期決定要保留多少歷史訊息,並自行儲存歷史記錄,因為 API 在呼叫之間不保留狀態。
一個預算範例說明了這一點。假設一個機器人有 500 名活躍使用者,每人每天發送 20 則訊息。每則訊息包含 1,500 個輸入 token(角色設定、短歷史和新行),並回傳 250 個 token:
- 每則訊息:1,500 / 1,000,000 x $0.15 = $0.000225 輸入,加上 250 / 1,000,000 x $0.50 = $0.000125 輸出,共 $0.00035
- 每天:500 x 20 = 10,000 則訊息,共 $3.50
- 30 天:$105
如果你讓歷史增長直到填滿 12,000 token 的上下文視窗,每則訊息的輸入會增加八倍至 12,000 token,僅輸入就需 $0.0018,月度數字也會隨之增加。滾動視窗加上對較舊事件的簡短摘要,可以較低的價格保持角色一致性。
對於伴侶和角色扮演機器人,將產品規則保留在你自己的層級。該模型經過調整,可針對合法成人用途無內容拒絕地回答,唯一的硬性限制是涉及未成年人的性內容,服務會拒絕此類內容。如果你的機器人在公共伺服器上運行,請新增符合你運行平台的年齡驗證和頻道規則。
自動化工具和無程式碼工作流
提供具有可配置 Base URL 的 OpenAI 風格節點的工作流工具可以透過更改三個欄位來使用此 API:URL 改為 https://api.glmapikey.com/v1,金鑰和模型名稱改為 uncensored。只有通用 HTTP 請求節點的工具可以改為發送原始請求:
curl https://api.glmapikey.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Classify this ticket: printer offline"}], "response_format": {"type": "json_object"}}'
對於將資料餵給另一個步驟的工作流步驟,值得使用 JSON 模式,以便下一個節點接收可解析的文字。為任何呼叫 API 的步驟新增錯誤分支,因為偶爾會發生 429 和 5xx 回應,工作流中間的靜默失敗很難在後來找到。在該節點設定帶有短等待的重試,並確保並行分支不超過你的金鑰允許的並行請求數量。
使用者在故障時看到的情況
每個整合都需要針對非預期路徑的計畫,使用者介面的部分與重試程式碼一樣重要。實務上會出現三種情況。
第一種是短暫過載:出現 429 狀態碼並帶有 Retry-After: 5。請靜默重試,同時顯示輸入中指示器,讓使用者看到稍慢的回應而非錯誤。第二種是達到自設的並行請求池限制。若八個槽位皆已佔用,請將訊息排入佇列並告知使用者正在等待,這比空白畫面更好。第三種是額度耗盡,這無法透過重試解決。請監控餘額標頭,在達到閾值時發出警報,並準備好備用訊息,以防額度耗盡而未被察覺。
不要向最終使用者顯示原始 API 錯誤。使用請求 ID 記錄它們,並顯示一句簡單的句子,說明發生了什麼以及下一步該做什麼。使用者能讀取的任何內容中,都不要包含金鑰、Base URL 或堆疊追蹤。
資金、監控和發布檢查
計費採預付制。你可儲值 $20 至 $500 的整數金額,並享有額外贈額:$50 起贈 5%、$100 起贈 10%、$200 起贈 15%。額度永不過期,且無訂閱制。可透過加密貨幣(TRC20 上的 USDT、Base 上的 USDC)付款。新用戶可在 API 金鑰頁面 一鍵領取 $0.50 的免費試用額度,有效期 7 天,讓你在儲值前即可測試整合。請參閱 定價頁面 查看費率。
生產環境中應監控的內容:
- 餘額。從回應讀取
X-Balance-USD,並在餘額低於你設定的閾值時發出警報。 - 請求 ID。將
X-Request-Id儲存於每個任務旁,以便追蹤單一失敗。 - Token 用量。 依使用者和功能彙總
usage,以掌握資金流向。 - 429 錯誤率。 數量上升代表你的請求池大於金鑰的速率限制。
簡短的上線清單:從生產環境主機執行一次真實請求、在 staging 環境測試強制觸發 429、確認使用者在未經你驗證的情況下無法存取 API,並記錄當 API 無法連線時你的服務顯示的內容。提示詞不會用於訓練,你可以將此資訊提供給你的使用者,但請在你的隱私權政策中說明,他們的文字會傳送至第三方供應商以生成回覆。
