首先选择集成模式
大多数 GLM API 集成工作属于四种模式之一,选择会影响其他所有方面:密钥的位置、你如何处理突发情况以及失败对用户来说是什么样。
| 模式 | 适合 | 主要风险 |
|---|---|---|
| 后端代理 | 拥有自己用户的 Web 应用程序和移动应用程序 | 任何人都可以耗尽的开放接口 |
| 队列工作进程 | 机器人、批处理作业、批量文本处理 | 当请求超出限制时的积压 |
| 聊天机器人 | Discord、Telegram 或 Matrix 的角色和伴侣 | 长历史记录导致成本膨胀 |
| 自动化工具 | 提供 HTTP 或 OpenAI 节点的工具中的工作流 | 步骤出错时的静默失败 |
底层调用方式相同:POST /v1/chat/completions 请求 https://api.glmapikey.com/v1,使用 Bearer 密钥,模型为 uncensored。该接口兼容 OpenAI,因此你可以使用任意 OpenAI SDK,或者在技术栈没有 SDK 时使用原始 HTTP。它是由独立服务商运行的一个开放权重模型,并非任何厂商的官方 API,也不是路由,因此请针对单一模型的行为进行构建。仅支持文本:如果你的产品还需要图像或嵌入功能,请为这些部分规划第二个服务商。
文档页面列出了接口和标头,GLM 密钥文章解释了如何获取密钥。
后端代理:将密钥与客户端分开
在浏览器或应用包中运行的任何内容都可以被检查。如果密钥在那里,任何人都可以复制它并消耗你的额度。解决方案是一个薄服务器路由,它持有密钥,应用你自己的规则并转发请求。
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI
from pydantic import BaseModel
app = FastAPI()
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
)
class Ask(BaseModel):
prompt: str
@app.post("/ask")
async def ask(body: Ask):
async def gen():
stream = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": body.prompt[:4000]}],
max_tokens=600,
stream=True,
)
async for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
yield chunk.choices[0].delta.content
return StreamingResponse(gen(), media_type="text/plain")
路由截断提示词并限制回复,这是最低要求。在发布前添加真正的控制措施:用户认证、每个用户的每日 token 预算以及每个 IP 或账户的请求速率限制。API 在每次调用时返回使用情况,因此你可以在数据库中计算每个用户的 token 并拒绝超过其份额的请求。
通过代理进行流式输出需要一项检查:确认你的反向代理不缓冲响应,否则文本将在最后作为一个块到达,而不是一词一词地到达。
队列工作进程:尊重并发限制
限制是针对每个密钥的。完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 个并发请求和每分钟 60 个请求。对于稳定的作业流,通常是并发限制先达到,因为每个请求都会占用一个槽位直到完成,而流式请求会占用直到流结束。
将工作池大小设置为限制值是最简洁的解决方案。作业在你的队列中等待,而不是以 429 错误失败:
import asyncio
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
max_retries=0,
)
WORKERS = 8 # use 2 on a trial key
async def run_job(prompt: str) -> str:
for attempt in range(5):
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=500,
)
return r.choices[0].message.content
except RateLimitError as e:
delay = float(e.response.headers.get("retry-after", 2 * (attempt + 1)))
await asyncio.sleep(delay)
raise RuntimeError("gave up after repeated 429 responses")
async def worker(queue: asyncio.Queue, results: list):
while True:
prompt = await queue.get()
try:
results.append(await run_job(prompt))
finally:
queue.task_done()
async def main(prompts):
queue, results = asyncio.Queue(), []
for p in prompts:
queue.put_nowait(p)
tasks = [asyncio.create_task(worker(queue, results)) for _ in range(WORKERS)]
await queue.join()
for t in tasks:
t.cancel()
return results
429 响应体中的错误代码会告知你被限制的原因:rate_limited 表示每分钟请求数超限,concurrency 表示并发请求过多,以及带有 Retry-After: 5 标头的普通 429 表示短暂过载。遵循该标头比猜测延迟时间更简单。失败和被拒绝的请求不会收费,因此重试不会产生额外费用。
机器人和角色
聊天机器人是成本意外出现的地方,因为保留历史记录的机器人会在每条消息中重新发送历史记录。尽早决定保留多少条历史记录,并自己存储历史记录,因为 API 在调用之间不保存状态。
预算示例说明了这一点。假设一个机器人有 500 个活跃用户,每天每人发送 20 条消息。每条消息包含 1,500 个输入 token(角色、简短历史和新的行)并返回 250 个 token:
- 每条消息:1,500 / 1,000,000 x $0.15 = $0.000225 输入,加上 250 / 1,000,000 x $0.50 = $0.000125 输出,所以 $0.00035
- 每天:500 x 20 = 10,000 条消息,所以 $3.50
- 30 天:$105
如果你让历史记录增长直到填满 12,000 token 的上下文,每条消息的输入会增加八倍至 12,000 token,或者仅输入就需要 $0.0018,月度数字也会相应增加。滚动窗口加上对旧事件的简短摘要可以在较低价格下保持角色一致性。
对于伴侣和角色扮演机器人,请在你自己的应用层保留产品规则。该模型经过调整,可以在合法成人用途下不进行内容拒绝,唯一的硬性限制是涉及未成年人的性内容,服务方会拒绝此类内容。如果你的机器人部署在公共服务器中,请添加与运行平台匹配的年龄验证和频道规则。
自动化工具和无代码工作流
提供具有可配置基础 URL 的 OpenAI 风格节点的工作流工具可以通过更改三个字段来使用此 API:URL 到 https://api.glmapikey.com/v1,密钥和模型名称到 uncensored。只有通用 HTTP 请求节点的工具可以发送原始请求:
curl https://api.glmapikey.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Classify this ticket: printer offline"}], "response_format": {"type": "json_object"}}'
对于将数据传递给另一个步骤的工作流步骤,值得使用 JSON 模式,以便下一个节点接收可解析的文本。为调用 API 的任何步骤添加错误分支,因为 429 和 5xx 响应偶尔会发生,工作流中间的静默失败很难在后来找到。在该节点上设置带有短等待的重试,并确保并行分支不超过你的密钥允许的并发请求数。
用户看到失败时的情况
每个集成都需要对非预期路径的计划,用户可见部分与重试代码同样重要。实践中会出现三种情况。
第一种是短暂过载:带有 Retry-After: 5 的 429。静默重试,同时显示打字指示器,以便用户看到稍慢的回复而不是错误。第二种是达到你自己的池限制。如果所有八个槽位都忙,排队消息并告诉用户它在等待,这比空白屏幕更好。第三种是额度耗尽,重试无法解决。监控余额标头,在阈值时警告自己,并准备好备用消息,以防某天额度耗尽未被发现。
不要向最终用户显示原始 API 错误。使用请求 ID 记录它们,并显示一个普通句子,说明发生了什么以及下一步该做什么。不要在用户可读的内容中包含密钥、基础 URL 或堆栈跟踪。
资金、监控和发布检查
计费采用预付模式。你可以充值任意整额金额,范围从 $20 到 $500,其中 $50 起赠 5%,$100 起赠 10%,$200 起赠 15%。额度不会过期,也没有订阅制。支持通过加密货币(TRC20 链上的 USDT、Base 链上的 USDC)支付。新用户可以在 API 密钥页面 一键领取 $0.50 的免费试用额度,有效期 7 天,以便你在充值前测试集成。请参阅 定价页面 查看费率。
生产中需要监控什么:
- 余额。从响应中读取
X-Balance-USD,并在余额低于你设定的阈值时发出警报。 - 请求 ID。将
X-Request-Id与每个任务关联存储,以便追踪单个失败请求。 - Token 用量。按用户和功能统计
usage,以了解资金消耗情况。 - 429 速率限制。 计数上升意味着你的池大于密钥的限制。
简短的上线清单:从生产主机发送一个真实请求,在预发环境中测试强制触发 429,确认用户在没有你的认证时无法访问 API,并记录当 API 不可用时你的服务显示的内容。提示词不用于训练,你可以将此信息传达给你的用户,但请在你的隐私政策中说明,他们的文本会被发送到第三方提供商以生成回复。
