RU ▾
Получить API-ключ

Интеграция GLM API для ботов и бэкендов

Интеграция GLM API сводится к тому, где хранится ключ, сколько запросов вы разрешаете запускать одновременно и что происходит, когда API говорит ждать. Это руководство охватывает эти решения для бэкендов, ботов и инструментов рабочих процессов с кодом, который вы можете подстроить.

Обновлено

Шлюз, получающий данные от приложений, чатов и блоков автоматизации, представляющий интеграцию API

Ключевые моменты

  • Храните ключ на сервере, которым вы управляете, и позвольте приложениям вызывать ваш бэкенд, никогда не обращайтесь к API напрямую из браузера.
  • Ограничьте количество активных запросов лимитом ключа: 8 для полного ключа, 2 для пробного.
  • Планируйте бюджет на основе токенов: при цене $0,15 и $0,50 за 1 млн токенов типичное сообщение бота стоит долю цента.
  • Любой инструмент с опцией, совместимой с OpenAI, и полем базового URL может использовать https://api.glmapikey.com/v1.

Сначала выберите шаблон интеграции

Большая часть работы по интеграции GLM API укладывается в один из четырех шаблонов, и выбор влияет на все остальное: где хранятся секреты, как вы обрабатываете пики и как выглядит сбой для пользователя.

ШаблонХорошо дляОсновной риск
Прокси-сервер бэкендаВеб-приложения и мобильные приложения с собственными пользователямиОткрытый эндпоинт, который может опустошить любой
Воркер очередиБоты, пакетные задания, массовая обработка текстаНакопление очереди, когда запросы превышают лимиты
Чат-ботПерсонажи и компаньоны в Discord, Telegram или MatrixДлинные истории, раздувающие стоимость
Инструмент автоматизацииРабочие процессы в инструментах, предлагающих HTTP или узел OpenAIТихие сбои, когда шаг выдает ошибку

Все четыре варианта используют один и тот же вызов: POST /v1/chat/completions на https://api.glmapikey.com/v1 с ключом Bearer и моделью uncensored. API совместим с OpenAI, поэтому вы можете использовать любой SDK OpenAI или чистый HTTP, если в вашем стеке нет SDK. Это одна модель с открытыми весами, запущенная независимым провайдером, а не официальный API какого-либо вендора и не роутер, поэтому ориентируйтесь на поведение одной модели. Только текст: если вашему продукту также нужны изображения или векторные представления, запланируйте второго провайдера для этих частей.

Страница документации перечисляет эндпоинты и заголовки, а статья о ключе GLM объясняет, как получить ключ.

Прокси-сервер бэкенда: держите ключ в стороне от клиента

Все, что работает в браузере или в сборке приложения, можно изучить. Если ключ попадает туда, любой может скопировать его и потратить ваш баланс. Решение — тонкий маршрут сервера, который держит ключ, применяет ваши правила и перенаправляет запрос.

from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI
from pydantic import BaseModel

app = FastAPI()
client = AsyncOpenAI(
    base_url="https://api.glmapikey.com/v1",
    api_key="YOUR_KEY",
)

class Ask(BaseModel):
    prompt: str

@app.post("/ask")
async def ask(body: Ask):
    async def gen():
        stream = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": body.prompt[:4000]}],
            max_tokens=600,
            stream=True,
        )
        async for chunk in stream:
            if chunk.choices and chunk.choices[0].delta.content:
                yield chunk.choices[0].delta.content
    return StreamingResponse(gen(), media_type="text/plain")

Маршрут усечет промпт и ограничит ответ, это минимум. Добавьте реальный контроль перед запуском: аутентификацию пользователя, дневной бюджет токенов на пользователя и лимит частоты запросов на IP или аккаунт. API возвращает использование при каждом вызове, поэтому вы можете подсчитывать токены на пользователя в своей базе данных и отказывать в запросах, превышающих их долю.

Потоковая передача через прокси требует одной проверки: убедитесь, что ваш обратный прокси не буферизует ответы, иначе текст придет одним блоком в конце, а не по словам.

Воркер очереди: уважайте лимит параллельности

Лимиты относятся к ключу. Полный ключ позволяет 8 одновременных запросов и 300 запросов в минуту. Пробный ключ позволяет 2 и 60. Для постоянного потока заданий параллельность обычно является тем лимитом, который срабатывает первым, потому что каждый запрос занимает слот до завершения, а потоковый — до конца потока.

Пул воркеров, размер которого соответствует лимиту, — это чистое решение. Задания ждут в вашей очереди, а не падают с ошибкой 429:

import asyncio
from openai import AsyncOpenAI, RateLimitError

client = AsyncOpenAI(
    base_url="https://api.glmapikey.com/v1",
    api_key="YOUR_KEY",
    max_retries=0,
)
WORKERS = 8  # use 2 on a trial key

async def run_job(prompt: str) -> str:
    for attempt in range(5):
        try:
            r = await client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
                max_tokens=500,
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            delay = float(e.response.headers.get("retry-after", 2 * (attempt + 1)))
            await asyncio.sleep(delay)
    raise RuntimeError("gave up after repeated 429 responses")

async def worker(queue: asyncio.Queue, results: list):
    while True:
        prompt = await queue.get()
        try:
            results.append(await run_job(prompt))
        finally:
            queue.task_done()

async def main(prompts):
    queue, results = asyncio.Queue(), []
    for p in prompts:
        queue.put_nowait(p)
    tasks = [asyncio.create_task(worker(queue, results)) for _ in range(WORKERS)]
    await queue.join()
    for t in tasks:
        t.cancel()
    return results

Код ошибки в теле 429 сообщает, почему вас остановили: rate_limited для запросов в минуту, concurrency для слишком большого количества одновременно и обычный 429 с Retry-After: 5 при кратковременной перегрузке. Соблюдение заголовка проще, чем угадывать задержку. Неудачные и отклоненные запросы не оплачиваются, поэтому повторные запросы ничего не стоят.

Боты и персонажи

Чат-бот — обычное место, где появляются неожиданные расходы, потому что бот, сохраняющий историю, пересылает ее при каждом сообщении. Решите заранее, сколько сообщений истории хранить, и храните историю самостоятельно, так как API не сохраняет состояние между вызовами.

Пример бюджета иллюстрирует этот момент. Предположим, у бота 500 активных пользователей, каждый из которых отправляет 20 сообщений в день. Каждое сообщение содержит 1500 входных токенов (персонаж, краткая история и новая строка) и возвращает 250 токенов:

  • За сообщение: 1 500 / 1 000 000 x $0,15 = $0,000225 вход, плюс 250 / 1 000 000 x $0,50 = $0,000125 выход, итого $0,00035
  • За день: 500 x 20 = 10 000 сообщений, итого $3,50
  • За 30 дней: $105

Если вы позволите истории расти, пока она не заполнит контекстное окно на 12 000 токенов, объем ввода на сообщение увеличивается в восемь раз до 12 000 токенов, или $0,0018 только за ввод, и месячная сумма соответственно растет. Скользящее окно плюс краткое резюме более старых событий сохраняет согласованность персонажа по более низкой цене.

Для ботов-компаньонов и ролевых игр держите правила продукта в вашем собственном слое. Модель настроена отвечать без отказов по контенту для законного использования взрослыми, и одно жесткое ограничение — сексуальный контент с участием несовершеннолетних, который сервис отклоняет. Если ваш бот живет на публичном сервере, добавьте проверку возраста и правила каналов, соответствующие платформе, на которой вы его запускаете.

Инструменты автоматизации и no-code рабочие процессы

Инструменты рабочих процессов, предлагающие узел в стиле OpenAI с настраиваемым базовым URL, могут использовать этот API, изменив три поля: URL на https://api.glmapikey.com/v1, ключ и имя модели на uncensored. Инструменты, у которых есть только узел общего HTTP-запроса, могут отправить сырой запрос вместо этого:

curl https://api.glmapikey.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Classify this ticket: printer offline"}], "response_format": {"type": "json_object"}}'

Для шагов рабочего процесса, питающих другой шаг, стоит использовать JSON-режим, чтобы следующий узел получил разборчивый текст. Добавьте ветку ошибок для любого шага, вызывающего API, потому что ответы 429 и 5xx будут происходить время от времени, и тихий сбой посреди рабочего процесса трудно найти позже. Установите повторную попытку с короткой задержкой на этом узле и убедитесь, что параллельные ветки не превышают количество одновременных запросов, которые позволяет ваш ключ.

Что видят ваши пользователи при сбое

Каждая интеграция нуждается в плане для неудачного пути, и часть, видимая пользователю, так же важна, как код повторной попытки. Три ситуации возникают на практике.

Первая — короткая перегрузка: 429 с Retry-After: 5. Повторите тихо и покажите индикатор набора текста, чтобы пользователь увидел чуть более медленный ответ вместо ошибки. Вторая — достижение собственного лимита пула. Если все восемь слотов заняты, поставьте сообщение в очередь и скажите пользователю, что оно ожидает, что лучше, чем пустой экран. Третья — исчерпание баланса, что не исправит никакая повторная попытка. Следите за заголовком баланса, предупреждайте себя при пороге и держите готовое сообщение на случай, если баланс закончится незамеченным.

Не показывайте сырые ошибки API конечным пользователям. Логируйте их с идентификатором запроса и показывайте простое предложение, которое говорит, что произошло и что делать дальше. Никогда не включайте ключ, базовый URL или трассировки стека в то, что может прочитать пользователь.

Деньги, мониторинг и проверки перед запуском

Биллинг предоплачен. Вы пополняете любую целую сумму от $20 до $500, с +5% от $50, +10% от $100 и +15% от $200. Баланс не сгорает, и нет подписки. Оплатите криптовалютой (USDT на TRC20, USDC на Base). Новые пользователи могут получить $0,50 пробного баланса одним нажатием на странице API ключа, действующего 7 дней, чтобы вы могли протестировать интеграцию перед ее финансированием. Тарифы смотрите на странице цен.

Что мониторить в продакшене:

  • Баланс. Считывайте значение из X-Balance-USD в ответах и получайте уведомление, когда оно падает ниже выбранного вами порога.
  • Идентификаторы запросов. Сохраняйте X-Request-Id рядом с каждым заданием, чтобы при сбое можно было отследить его причину.
  • Использование токенов. Суммируйте данные из usage для каждого пользователя и функции, чтобы понимать, куда уходят деньги.
  • Статус 429. Рост количества таких ответов означает, что ваш пул превышает лимиты ключа.

Краткий список запуска: выполните один реальный запрос с продакшн-хоста, протестируйте принудительный 429 в staging-среде, убедитесь, что пользователь не может обратиться к API без вашей авторизации, и запишите, что показывает ваш сервис, когда API недоступен. Промпты не используются для обучения, что вы можете сообщить своим пользователям, но укажите в своей политике конфиденциальности, что их текст отправляется стороннему провайдеру для генерации ответов.

Вопросы и ответы

Следует ли вызывать API из браузера?

Нет. Храните ключ на своём сервере и заставляйте браузер обращаться к вашему бэкенду, потому что ключ в клиентском коде можно скопировать, и его баланс может потратить кто угодно.

Сколько запросов могут выполняться одновременно?

Полный ключ позволяет выполнять 8 параллельных запросов и 300 в минуту. Пробный ключ позволяет выполнять 2 параллельных запроса и 60 в минуту.

Что должен делать код при получении 429?

Прочитайте код ошибки, затем подождите. Используйте значение Retry-After, если оно присутствует; при временной перегрузке это 5 секунд, после чего повторите запрос. Отказавшие запросы не оплачиваются.

Сохраняется ли состояние между вызовами?

Нет. Вы отправляете весь диалог каждый раз, до 100 000 токенов для промпта и ответа вместе, и оплачиваете входные токены при каждом вызове.

Можно ли использовать его из no-code инструментов?

Да, если инструмент позволяет задать базовый URL в его узле OpenAI или отправить пользовательский HTTP-запрос на https://api.glmapikey.com/v1/chat/completions с ключом Bearer.

Ваш ключ — всего в одной форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ