Bạn hãy chọn mẫu tích hợp trước
Hầu hết các công việc tích hợp GLM API rơi vào một trong bốn hình thức, và lựa chọn ảnh hưởng đến mọi thứ: nơi lưu trữ bí mật, cách xử lý các đợt tăng đột biến và một lỗi trông như thế nào đối với người dùng.
| Mẫu | Tốt cho | Rủi ro chính |
|---|---|---|
| Proxy backend | Ứng dụng web và ứng dụng di động có người dùng riêng | Endpoint mở mà bất kỳ ai cũng có thể làm cạn kiệt |
| Worker hàng đợi | Bot, công việc hàng loạt, xử lý văn bản hàng loạt | Hàng chờ khi yêu cầu vượt quá giới hạn |
| Bot trò chuyện | Nhân vật và người bạn đồng hành trên Discord, Telegram hoặc Matrix | Lịch sử dài làm tăng chi phí |
| Công cụ tự động hóa | Quy trình làm việc trong các công cụ cung cấp nút HTTP hoặc OpenAI | Lỗi im lặng khi một bước gặp lỗi |
Tất cả bốn mẫu đều sử dụng cùng một lệnh gọi bên dưới: POST /v1/chat/completions trên https://api.glmapikey.com/v1 với khóa bearer và mô hình uncensored. API tương thích với OpenAI, vì vậy bạn có thể sử dụng bất kỳ SDK OpenAI nào, hoặc HTTP thô nếu ngăn xếp của bạn không có SDK. Đây là một mô hình trọng số mở do một nhà cung cấp độc lập vận hành, không phải là API chính thức của bất kỳ nhà cung cấp nào và không phải là bộ định tuyến, vì vậy bạn hãy xây dựng cho hành vi của một mô hình. Chỉ văn bản: nếu sản phẩm của bạn cũng cần hình ảnh hoặc embedding, bạn hãy lập kế hoạch cho một nhà cung cấp thứ hai cho những phần đó.
Trang tài liệu liệt kê các endpoint và tiêu đề, và bài viết về khóa GLM giải thích cách lấy khóa.
Proxy backend: giữ khóa khỏi client
Bất cứ thứ gì chạy trong trình duyệt hoặc gói ứng dụng đều có thể được kiểm tra. Nếu khóa được gửi đến đó, bất kỳ ai cũng có thể sao chép nó và chi tiêu tín dụng của bạn. Giải pháp là một tuyến máy chủ mỏng giữ khóa, áp dụng các quy tắc của riêng bạn và chuyển tiếp yêu cầu.
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI
from pydantic import BaseModel
app = FastAPI()
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
)
class Ask(BaseModel):
prompt: str
@app.post("/ask")
async def ask(body: Ask):
async def gen():
stream = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": body.prompt[:4000]}],
max_tokens=600,
stream=True,
)
async for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
yield chunk.choices[0].delta.content
return StreamingResponse(gen(), media_type="text/plain")
Tuyến này cắt ngắn prompt và giới hạn phản hồi, đó là mức tối thiểu. Bạn hãy thêm các kiểm soát thực sự trước khi phát hành: xác thực người dùng, ngân sách token hàng ngày trên mỗi người dùng và giới hạn tốc độ yêu cầu trên mỗi IP hoặc tài khoản. API trả về việc sử dụng trong mọi lần gọi, vì vậy bạn có thể đếm token trên mỗi người dùng trong cơ sở dữ liệu của mình và từ chối các yêu cầu vượt quá phần của họ.
Truyền phát qua proxy cần một kiểm tra: xác nhận proxy ngược của bạn không đệm phản hồi, nếu không văn bản sẽ đến dưới dạng một khối vào cuối thay vì từng từ một.
Worker hàng đợi: tôn trọng giới hạn đồng thời
Các giới hạn là trên mỗi khóa. Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Một khóa dùng thử cho phép 2 và 60. Đối với một luồng công việc ổn định, độ đồng thời thường là thứ ràng buộc trước, vì mỗi yêu cầu chiếm một khe cho đến khi hoàn tất, và một yêu cầu được truyền phát cho đến khi luồng kết thúc.
Một nhóm worker có kích thước phù hợp với giới hạn là câu trả lời sạch sẽ nhất. Các tác vụ chờ trong hàng đợi của bạn thay vì thất bại với mã 429:
import asyncio
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
max_retries=0,
)
WORKERS = 8 # use 2 on a trial key
async def run_job(prompt: str) -> str:
for attempt in range(5):
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=500,
)
return r.choices[0].message.content
except RateLimitError as e:
delay = float(e.response.headers.get("retry-after", 2 * (attempt + 1)))
await asyncio.sleep(delay)
raise RuntimeError("gave up after repeated 429 responses")
async def worker(queue: asyncio.Queue, results: list):
while True:
prompt = await queue.get()
try:
results.append(await run_job(prompt))
finally:
queue.task_done()
async def main(prompts):
queue, results = asyncio.Queue(), []
for p in prompts:
queue.put_nowait(p)
tasks = [asyncio.create_task(worker(queue, results)) for _ in range(WORKERS)]
await queue.join()
for t in tasks:
t.cancel()
return results
Mã lỗi trong thân 429 cho bạn biết lý do bạn bị dừng: rate_limited cho các yêu cầu mỗi phút, concurrency cho quá nhiều cùng một lúc, và một 429 đơn giản với Retry-After: 5 cho quá tải ngắn. Tôn trọng tiêu đề đơn giản hơn là đoán độ trễ. Các yêu cầu thất bại và bị từ chối không bị tính phí, vì vậy các lần thử lại không tốn gì.
Bot và nhân vật
Một bot trò chuyện là nơi thường xảy ra bất ngờ về chi phí, vì một bot giữ lịch sử sẽ gửi lại lịch sử đó trong mọi tin nhắn. Bạn hãy quyết định sớm số lượng tin nhắn lịch sử cần giữ và lưu trữ lịch sử của riêng bạn, vì API không giữ trạng thái giữa các lần gọi.
Một ví dụ về ngân sách làm rõ điểm này. Giả sử một bot có 500 người dùng hoạt động, mỗi người gửi 20 tin nhắn mỗi ngày. Mọi tin nhắn đều mang 1.500 token đầu vào (nhân vật, lịch sử ngắn và dòng mới) và trả về 250 token:
- Mỗi tin nhắn: 1.500 / 1.000.000 x $0,15 = $0,000225 đầu vào, cộng 250 / 1.000.000 x $0,50 = $0,000125 đầu ra, tổng cộng $0,00035
- Mỗi ngày: 500 x 20 = 10.000 tin nhắn, vậy $3,50
- Mỗi 30 ngày: $105
Nếu bạn để lịch sử phát triển cho đến khi nó lấp đầy cửa sổ ngữ cảnh 12.000 token, đầu vào mỗi tin nhắn tăng lên tám lần lên 12.000 token, hoặc $0,0018 chỉ cho đầu vào, và con số hàng tháng tăng lên tương ứng. Cửa sổ trượt cộng với tóm tắt ngắn các sự kiện cũ hơn giữ cho nhân vật nhất quán với giá thấp hơn.
Đối với bot bạn đồng hành và bot nhập vai, hãy giữ các quy tắc sản phẩm trong lớp của riêng bạn. Mô hình được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp, và giới hạn cứng duy nhất là nội dung tình dục liên quan đến người chưa thành niên, loại nội dung mà dịch vụ từ chối. Nếu bot của bạn hoạt động trên một máy chủ công cộng, hãy thêm bộ lọc độ tuổi và quy tắc kênh phù hợp với nền tảng bạn đang chạy.
Công cụ tự động hóa và quy trình làm việc không cần mã
Các công cụ quy trình làm việc cung cấp một nút kiểu OpenAI với base URL có thể cấu hình có thể sử dụng API này bằng cách thay đổi ba trường: URL thành https://api.glmapikey.com/v1, khóa và tên mô hình thành uncensored. Các công cụ chỉ có nút yêu cầu HTTP chung có thể gửi yêu cầu thô thay thế:
curl https://api.glmapikey.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Classify this ticket: printer offline"}], "response_format": {"type": "json_object"}}'
Đối với các bước quy trình làm việc cung cấp cho một bước khác, chế độ JSON đáng để sử dụng, vì nút tiếp theo nhận được văn bản có thể phân tích được. Bạn hãy thêm một nhánh lỗi cho bất kỳ bước nào gọi API, vì phản hồi 429 và 5xx sẽ xảy ra thỉnh thoảng và một lỗi im lặng ở giữa quy trình làm việc rất khó tìm sau này. Bạn hãy đặt một lần thử lại với thời gian chờ ngắn trên nút đó và đảm bảo các nhánh song song không vượt quá số yêu cầu đồng thời mà khóa của bạn cho phép.
Người dùng của bạn thấy gì khi có lỗi
Mọi tích hợp đều cần một kế hoạch cho đường dẫn lỗi, và phần hiển thị cho người dùng quan trọng ngang hàng với mã thử lại. Ba tình huống thường xảy ra trong thực tế.
Tình huống đầu tiên là quá tải ngắn: một 429 với Retry-After: 5. Bạn hãy thử lại một cách lặng lẽ và hiển thị chỉ báo đang nhập trong thời gian đó, để người dùng thấy một phản hồi chậm hơn một chút thay vì lỗi. Tình huống thứ hai là đạt giới hạn nhóm của chính bạn. Nếu tất cả tám khe đang bận, bạn hãy xếp hàng tin nhắn và nói với người dùng rằng nó đang chờ, điều này tốt hơn là một màn hình trống. Tình huống thứ ba là hết tín dụng, điều mà không lần thử lại nào khắc phục được. Bạn hãy theo dõi tiêu đề số dư, cảnh báo cho chính mình ở một ngưỡng và giữ một tin nhắn dự phòng sẵn sàng cho ngày nó hết mà không được chú ý.
Bạn không nên hiển thị lỗi API thô cho người dùng cuối. Bạn hãy ghi lại chúng với ID yêu cầu và hiển thị một câu đơn giản nói về những gì đã xảy ra và những gì cần làm tiếp theo. Không bao giờ bao gồm khóa, base URL hoặc dấu vết ngăn xếp trong bất cứ thứ gì người dùng có thể đọc.
Tiền, giám sát và kiểm tra khi phát hành
Thanh toán theo hình thức trả trước. Bạn có thể nạp bất kỳ số tiền nguyên nào từ $20 đến $500, với +5% từ $50, +10% từ $100 và +15% từ $200. Tín dụng không hết hạn và không có gói đăng ký. Thanh toán bằng tiền mã hóa (USDT trên TRC20, USDC trên Base). Người dùng mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột trên trang khóa API, có hiệu lực trong 7 ngày, để bạn có thể kiểm tra tích hợp trước khi nạp tiền. Xem trang giá để biết các mức giá.
Những gì cần giám sát trong sản xuất:
- Số dư. Đọc giá trị
X-Balance-USDtừ phản hồi và cảnh báo khi nó giảm dưới ngưỡng bạn chọn. - ID yêu cầu. Lưu trữ
X-Request-Idbên cạnh mỗi công việc để có thể truy vết khi một công việc bị lỗi. - Sử dụng token. Tính tổng
usagetheo từng người dùng và từng tính năng để biết tiền chi cho đâu. - Lỗi 429. Số lần tăng lên cho thấy nhóm của bạn lớn hơn giới hạn của khóa.
Danh sách kiểm tra ngắn khi triển khai: thực hiện một yêu cầu thật từ máy chủ sản xuất, thử tạo lỗi 429 trong môi trường staging, xác nhận rằng người dùng không thể truy cập API nếu không có xác thực của bạn, và ghi lại những gì dịch vụ của bạn hiển thị khi API không thể kết nối. Prompt không được dùng để huấn luyện, bạn có thể thông báo điều này cho người dùng của mình, nhưng hãy ghi rõ trong chính sách bảo mật của mình rằng văn bản của họ được gửi đến nhà cung cấp bên thứ ba để tạo phản hồi.
