繁中 ▾
取得 API 金鑰

GLM API 整合指南:機器人與後端

GLM API 整合取決於金鑰存放位置、允許同時執行的請求數量,以及 API 要求等待時的處理方式。本指南涵蓋後端、機器人和工作流工具的這些決策,並提供可調整的程式碼。

更新於

閘道方塊接收來自應用程式、聊天和自動化區塊的項目,代表 API 整合

重點摘要

  • 將金鑰保留在你控制的伺服器上,讓應用程式呼叫你的後端,不要讓瀏覽器直接呼叫 API。
  • 將進行中的請求數量限制在金鑰的限制內:完整金鑰為 8,試用金鑰為 2。
  • 從 token 規劃預算:每 1M token 為 $0.15 和 $0.50,一般機器人訊息的成本僅為幾分之一美分。
  • 任何具有 OpenAI 相容選項和自訂 Base URL 欄位的工具都可以使用 https://api.glmapikey.com/v1。

先選擇整合模式

大多數 GLM API 整合工作可歸納為四種形式,此選擇會影響其他所有環節:金鑰存放的位置、處理突發流量的方式,以及使用者看到的故障樣貌。

模式適用情境主要風險
後端代理擁有自有使用者的網頁應用程式和行動應用程式任何人都可耗盡的開放端點
佇列工作程式機器人、批次作業、大量文字處理當請求超過限制時的積壓
聊天機器人Discord、Telegram 或 Matrix 的角色與伴侶過長的歷史記錄使成本膨脹
自動化工具提供 HTTP 或 OpenAI 節點的工具中的工作流步驟出錯時的靜默失敗

所有四種模式底層都使用相同的呼叫:POST /v1/chat/completions 在 https://api.glmapikey.com/v1 上,帶有 Bearer 金鑰和模型 uncensored。API 與 OpenAI 相容,因此你可以使用任何 OpenAI SDK,或在堆疊沒有 SDK 時使用原始 HTTP。它是由獨立供應商運營的單一開放權重模型,並非任何廠商的官方 API 也不是路由器,因此請針對單一模型的行為進行建構。僅支援文字:如果你的產品也需要圖片或嵌入向量,請為這些部分規劃第二個供應商。

文件頁面列出了端點和標頭,GLM 金鑰文章說明了如何取得金鑰。

後端代理:將金鑰與客戶端隔離

在瀏覽器或應用程式套件中執行的任何內容都可以被檢查。如果金鑰隨之發布,任何人都可以複製它並消耗你的額度。解決方案是一個輕量伺服器路由,它持有金鑰、套用你自己的規則並轉發請求。

from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI
from pydantic import BaseModel

app = FastAPI()
client = AsyncOpenAI(
    base_url="https://api.glmapikey.com/v1",
    api_key="YOUR_KEY",
)

class Ask(BaseModel):
    prompt: str

@app.post("/ask")
async def ask(body: Ask):
    async def gen():
        stream = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": body.prompt[:4000]}],
            max_tokens=600,
            stream=True,
        )
        async for chunk in stream:
            if chunk.choices and chunk.choices[0].delta.content:
                yield chunk.choices[0].delta.content
    return StreamingResponse(gen(), media_type="text/plain")

該路由截斷提示詞並限制回覆,這是最低要求。在發布前新增實際控制機制:使用者驗證、每位使用者的每日 token 預算,以及每個 IP 或帳戶的請求速率限制。API 在每次呼叫時都會回傳用量,因此你可以在資料庫中計算每位使用者的 token 數量,並拒絕超過其配額的請求。

透過代理進行串流輸出需要一項檢查:確認你的反向代理不會緩衝回應,否則文字將在結尾時一次性到達,而不是一字一詞地到達。

佇列工作程式:遵守並行限制

限制是針對金鑰的。完整金鑰允許 8 個並行請求和每分鐘 300 個請求。試用金鑰允許 2 個和 60 個。對於穩定的工作串流,並行通常是首先受限的因素,因為每個請求都會佔用一個槽位直到完成,串流請求則直到串流結束為止。

大小符合限制的 Worker 池是乾淨的解決方案。工作在你的佇列中等待,而不是以 429 失敗:

import asyncio
from openai import AsyncOpenAI, RateLimitError

client = AsyncOpenAI(
    base_url="https://api.glmapikey.com/v1",
    api_key="YOUR_KEY",
    max_retries=0,
)
WORKERS = 8  # use 2 on a trial key

async def run_job(prompt: str) -> str:
    for attempt in range(5):
        try:
            r = await client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
                max_tokens=500,
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            delay = float(e.response.headers.get("retry-after", 2 * (attempt + 1)))
            await asyncio.sleep(delay)
    raise RuntimeError("gave up after repeated 429 responses")

async def worker(queue: asyncio.Queue, results: list):
    while True:
        prompt = await queue.get()
        try:
            results.append(await run_job(prompt))
        finally:
            queue.task_done()

async def main(prompts):
    queue, results = asyncio.Queue(), []
    for p in prompts:
        queue.put_nowait(p)
    tasks = [asyncio.create_task(worker(queue, results)) for _ in range(WORKERS)]
    await queue.join()
    for t in tasks:
        t.cancel()
    return results

429 主體中的錯誤程式碼告訴你被停止的原因:rate_limited 表示每分鐘請求過多,concurrency 表示同時過多,以及帶有 Retry-After: 5 的普通 429 表示短暫過載。遵循標頭比猜測延遲更簡單。失敗和拒絕的請求不會收費,因此重試不花錢。

機器人和角色

聊天機器人是成本意外出現的常見地方,因為保留歷史記錄的機器人會在每則訊息中重新傳送歷史。早期決定要保留多少歷史訊息,並自行儲存歷史記錄,因為 API 在呼叫之間不保留狀態。

一個預算範例說明了這一點。假設一個機器人有 500 名活躍使用者,每人每天發送 20 則訊息。每則訊息包含 1,500 個輸入 token(角色設定、短歷史和新行),並回傳 250 個 token:

  • 每則訊息:1,500 / 1,000,000 x $0.15 = $0.000225 輸入,加上 250 / 1,000,000 x $0.50 = $0.000125 輸出,共 $0.00035
  • 每天:500 x 20 = 10,000 則訊息,共 $3.50
  • 30 天:$105

如果你讓歷史增長直到填滿 12,000 token 的上下文視窗,每則訊息的輸入會增加八倍至 12,000 token,僅輸入就需 $0.0018,月度數字也會隨之增加。滾動視窗加上對較舊事件的簡短摘要,可以較低的價格保持角色一致性。

對於伴侶和角色扮演機器人,將產品規則保留在你自己的層級。該模型經過調整,可針對合法成人用途無內容拒絕地回答,唯一的硬性限制是涉及未成年人的性內容,服務會拒絕此類內容。如果你的機器人在公共伺服器上運行,請新增符合你運行平台的年齡驗證和頻道規則。

自動化工具和無程式碼工作流

提供具有可配置 Base URL 的 OpenAI 風格節點的工作流工具可以透過更改三個欄位來使用此 API:URL 改為 https://api.glmapikey.com/v1,金鑰和模型名稱改為 uncensored。只有通用 HTTP 請求節點的工具可以改為發送原始請求:

curl https://api.glmapikey.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Classify this ticket: printer offline"}], "response_format": {"type": "json_object"}}'

對於將資料餵給另一個步驟的工作流步驟,值得使用 JSON 模式,以便下一個節點接收可解析的文字。為任何呼叫 API 的步驟新增錯誤分支,因為偶爾會發生 429 和 5xx 回應,工作流中間的靜默失敗很難在後來找到。在該節點設定帶有短等待的重試,並確保並行分支不超過你的金鑰允許的並行請求數量。

使用者在故障時看到的情況

每個整合都需要針對非預期路徑的計畫,使用者介面的部分與重試程式碼一樣重要。實務上會出現三種情況。

第一種是短暫過載:出現 429 狀態碼並帶有 Retry-After: 5。請靜默重試,同時顯示輸入中指示器,讓使用者看到稍慢的回應而非錯誤。第二種是達到自設的並行請求池限制。若八個槽位皆已佔用,請將訊息排入佇列並告知使用者正在等待,這比空白畫面更好。第三種是額度耗盡,這無法透過重試解決。請監控餘額標頭,在達到閾值時發出警報,並準備好備用訊息,以防額度耗盡而未被察覺。

不要向最終使用者顯示原始 API 錯誤。使用請求 ID 記錄它們,並顯示一句簡單的句子,說明發生了什麼以及下一步該做什麼。使用者能讀取的任何內容中,都不要包含金鑰、Base URL 或堆疊追蹤。

資金、監控和發布檢查

計費採預付制。你可儲值 $20 至 $500 的整數金額,並享有額外贈額:$50 起贈 5%、$100 起贈 10%、$200 起贈 15%。額度永不過期,且無訂閱制。可透過加密貨幣(TRC20 上的 USDT、Base 上的 USDC)付款。新用戶可在 API 金鑰頁面 一鍵領取 $0.50 的免費試用額度,有效期 7 天,讓你在儲值前即可測試整合。請參閱 定價頁面 查看費率。

生產環境中應監控的內容:

  • 餘額。從回應讀取 X-Balance-USD,並在餘額低於你設定的閾值時發出警報。
  • 請求 ID。將 X-Request-Id 儲存於每個任務旁,以便追蹤單一失敗。
  • Token 用量。 依使用者和功能彙總 usage,以掌握資金流向。
  • 429 錯誤率。 數量上升代表你的請求池大於金鑰的速率限制。

簡短的上線清單:從生產環境主機執行一次真實請求、在 staging 環境測試強制觸發 429、確認使用者在未經你驗證的情況下無法存取 API,並記錄當 API 無法連線時你的服務顯示的內容。提示詞不會用於訓練,你可以將此資訊提供給你的使用者,但請在你的隱私權政策中說明,他們的文字會傳送至第三方供應商以生成回覆。

問答

我應該從瀏覽器呼叫 API 嗎?

不。將金鑰保留在你的伺服器上,並讓瀏覽器呼叫你的後端,因為客戶端程式碼中的金鑰可能被複製,且任何人均可消耗其額度。

同時可以執行多少個請求?

完整金鑰允許 8 個並行請求和每分鐘 300 個請求。試用金鑰允許 2 個並行請求和每分鐘 60 個請求。

我的程式碼在遇到 429 時該怎麼辦?

讀取錯誤程式碼,然後等待。當存在 Retry-After 值時請使用該值,暫時過載時為 5 秒,然後重試。失敗的請求不會收費。

呼叫之間會保留狀態嗎?

不會。你每次必須傳送整個對話,提示詞和回覆合計最多 100,000 個 token,且你必須為每次呼叫的輸入 token 付費。

我可以從無程式碼工具使用嗎?

可以,只要該工具允許你在其 OpenAI 節點上設定 Base URL,或透過 bearer 金鑰向 https://api.glmapikey.com/v1/chat/completions 發送自訂 HTTP 請求。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰