Сначала выберите шаблон интеграции
Большая часть работы по интеграции GLM API укладывается в один из четырех шаблонов, и выбор влияет на все остальное: где хранятся секреты, как вы обрабатываете пики и как выглядит сбой для пользователя.
| Шаблон | Хорошо для | Основной риск |
|---|---|---|
| Прокси-сервер бэкенда | Веб-приложения и мобильные приложения с собственными пользователями | Открытый эндпоинт, который может опустошить любой |
| Воркер очереди | Боты, пакетные задания, массовая обработка текста | Накопление очереди, когда запросы превышают лимиты |
| Чат-бот | Персонажи и компаньоны в Discord, Telegram или Matrix | Длинные истории, раздувающие стоимость |
| Инструмент автоматизации | Рабочие процессы в инструментах, предлагающих HTTP или узел OpenAI | Тихие сбои, когда шаг выдает ошибку |
Все четыре варианта используют один и тот же вызов: POST /v1/chat/completions на https://api.glmapikey.com/v1 с ключом Bearer и моделью uncensored. API совместим с OpenAI, поэтому вы можете использовать любой SDK OpenAI или чистый HTTP, если в вашем стеке нет SDK. Это одна модель с открытыми весами, запущенная независимым провайдером, а не официальный API какого-либо вендора и не роутер, поэтому ориентируйтесь на поведение одной модели. Только текст: если вашему продукту также нужны изображения или векторные представления, запланируйте второго провайдера для этих частей.
Страница документации перечисляет эндпоинты и заголовки, а статья о ключе GLM объясняет, как получить ключ.
Прокси-сервер бэкенда: держите ключ в стороне от клиента
Все, что работает в браузере или в сборке приложения, можно изучить. Если ключ попадает туда, любой может скопировать его и потратить ваш баланс. Решение — тонкий маршрут сервера, который держит ключ, применяет ваши правила и перенаправляет запрос.
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI
from pydantic import BaseModel
app = FastAPI()
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
)
class Ask(BaseModel):
prompt: str
@app.post("/ask")
async def ask(body: Ask):
async def gen():
stream = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": body.prompt[:4000]}],
max_tokens=600,
stream=True,
)
async for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
yield chunk.choices[0].delta.content
return StreamingResponse(gen(), media_type="text/plain")
Маршрут усечет промпт и ограничит ответ, это минимум. Добавьте реальный контроль перед запуском: аутентификацию пользователя, дневной бюджет токенов на пользователя и лимит частоты запросов на IP или аккаунт. API возвращает использование при каждом вызове, поэтому вы можете подсчитывать токены на пользователя в своей базе данных и отказывать в запросах, превышающих их долю.
Потоковая передача через прокси требует одной проверки: убедитесь, что ваш обратный прокси не буферизует ответы, иначе текст придет одним блоком в конце, а не по словам.
Воркер очереди: уважайте лимит параллельности
Лимиты относятся к ключу. Полный ключ позволяет 8 одновременных запросов и 300 запросов в минуту. Пробный ключ позволяет 2 и 60. Для постоянного потока заданий параллельность обычно является тем лимитом, который срабатывает первым, потому что каждый запрос занимает слот до завершения, а потоковый — до конца потока.
Пул воркеров, размер которого соответствует лимиту, — это чистое решение. Задания ждут в вашей очереди, а не падают с ошибкой 429:
import asyncio
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
max_retries=0,
)
WORKERS = 8 # use 2 on a trial key
async def run_job(prompt: str) -> str:
for attempt in range(5):
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=500,
)
return r.choices[0].message.content
except RateLimitError as e:
delay = float(e.response.headers.get("retry-after", 2 * (attempt + 1)))
await asyncio.sleep(delay)
raise RuntimeError("gave up after repeated 429 responses")
async def worker(queue: asyncio.Queue, results: list):
while True:
prompt = await queue.get()
try:
results.append(await run_job(prompt))
finally:
queue.task_done()
async def main(prompts):
queue, results = asyncio.Queue(), []
for p in prompts:
queue.put_nowait(p)
tasks = [asyncio.create_task(worker(queue, results)) for _ in range(WORKERS)]
await queue.join()
for t in tasks:
t.cancel()
return results
Код ошибки в теле 429 сообщает, почему вас остановили: rate_limited для запросов в минуту, concurrency для слишком большого количества одновременно и обычный 429 с Retry-After: 5 при кратковременной перегрузке. Соблюдение заголовка проще, чем угадывать задержку. Неудачные и отклоненные запросы не оплачиваются, поэтому повторные запросы ничего не стоят.
Боты и персонажи
Чат-бот — обычное место, где появляются неожиданные расходы, потому что бот, сохраняющий историю, пересылает ее при каждом сообщении. Решите заранее, сколько сообщений истории хранить, и храните историю самостоятельно, так как API не сохраняет состояние между вызовами.
Пример бюджета иллюстрирует этот момент. Предположим, у бота 500 активных пользователей, каждый из которых отправляет 20 сообщений в день. Каждое сообщение содержит 1500 входных токенов (персонаж, краткая история и новая строка) и возвращает 250 токенов:
- За сообщение: 1 500 / 1 000 000 x $0,15 = $0,000225 вход, плюс 250 / 1 000 000 x $0,50 = $0,000125 выход, итого $0,00035
- За день: 500 x 20 = 10 000 сообщений, итого $3,50
- За 30 дней: $105
Если вы позволите истории расти, пока она не заполнит контекстное окно на 12 000 токенов, объем ввода на сообщение увеличивается в восемь раз до 12 000 токенов, или $0,0018 только за ввод, и месячная сумма соответственно растет. Скользящее окно плюс краткое резюме более старых событий сохраняет согласованность персонажа по более низкой цене.
Для ботов-компаньонов и ролевых игр держите правила продукта в вашем собственном слое. Модель настроена отвечать без отказов по контенту для законного использования взрослыми, и одно жесткое ограничение — сексуальный контент с участием несовершеннолетних, который сервис отклоняет. Если ваш бот живет на публичном сервере, добавьте проверку возраста и правила каналов, соответствующие платформе, на которой вы его запускаете.
Инструменты автоматизации и no-code рабочие процессы
Инструменты рабочих процессов, предлагающие узел в стиле OpenAI с настраиваемым базовым URL, могут использовать этот API, изменив три поля: URL на https://api.glmapikey.com/v1, ключ и имя модели на uncensored. Инструменты, у которых есть только узел общего HTTP-запроса, могут отправить сырой запрос вместо этого:
curl https://api.glmapikey.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Classify this ticket: printer offline"}], "response_format": {"type": "json_object"}}'
Для шагов рабочего процесса, питающих другой шаг, стоит использовать JSON-режим, чтобы следующий узел получил разборчивый текст. Добавьте ветку ошибок для любого шага, вызывающего API, потому что ответы 429 и 5xx будут происходить время от времени, и тихий сбой посреди рабочего процесса трудно найти позже. Установите повторную попытку с короткой задержкой на этом узле и убедитесь, что параллельные ветки не превышают количество одновременных запросов, которые позволяет ваш ключ.
Что видят ваши пользователи при сбое
Каждая интеграция нуждается в плане для неудачного пути, и часть, видимая пользователю, так же важна, как код повторной попытки. Три ситуации возникают на практике.
Первая — короткая перегрузка: 429 с Retry-After: 5. Повторите тихо и покажите индикатор набора текста, чтобы пользователь увидел чуть более медленный ответ вместо ошибки. Вторая — достижение собственного лимита пула. Если все восемь слотов заняты, поставьте сообщение в очередь и скажите пользователю, что оно ожидает, что лучше, чем пустой экран. Третья — исчерпание баланса, что не исправит никакая повторная попытка. Следите за заголовком баланса, предупреждайте себя при пороге и держите готовое сообщение на случай, если баланс закончится незамеченным.
Не показывайте сырые ошибки API конечным пользователям. Логируйте их с идентификатором запроса и показывайте простое предложение, которое говорит, что произошло и что делать дальше. Никогда не включайте ключ, базовый URL или трассировки стека в то, что может прочитать пользователь.
Деньги, мониторинг и проверки перед запуском
Биллинг предоплачен. Вы пополняете любую целую сумму от $20 до $500, с +5% от $50, +10% от $100 и +15% от $200. Баланс не сгорает, и нет подписки. Оплатите криптовалютой (USDT на TRC20, USDC на Base). Новые пользователи могут получить $0,50 пробного баланса одним нажатием на странице API ключа, действующего 7 дней, чтобы вы могли протестировать интеграцию перед ее финансированием. Тарифы смотрите на странице цен.
Что мониторить в продакшене:
- Баланс. Считывайте значение из
X-Balance-USDв ответах и получайте уведомление, когда оно падает ниже выбранного вами порога. - Идентификаторы запросов. Сохраняйте
X-Request-Idрядом с каждым заданием, чтобы при сбое можно было отследить его причину. - Использование токенов. Суммируйте данные из
usageдля каждого пользователя и функции, чтобы понимать, куда уходят деньги. - Статус 429. Рост количества таких ответов означает, что ваш пул превышает лимиты ключа.
Краткий список запуска: выполните один реальный запрос с продакшн-хоста, протестируйте принудительный 429 в staging-среде, убедитесь, что пользователь не может обратиться к API без вашей авторизации, и запишите, что показывает ваш сервис, когда API недоступен. Промпты не используются для обучения, что вы можете сообщить своим пользователям, но укажите в своей политике конфиденциальности, что их текст отправляется стороннему провайдеру для генерации ответов.
