Перед запуском
Вам нужен только ключ. Создайте его на странице API-ключ; новые аккаунты могут получить $0,50 пробного баланса в один клик, без карты. Экспортируйте его, чтобы примеры могли его прочитать:
export API_KEY="YOUR_KEY"
pip install openai
npm install openai
API следует формату OpenAI chat completions. Он предоставляет POST /v1/chat/completions и GET /v1/models, принимает Authorization: Bearer и обслуживает одну модель с идентификатором uncensored. Эта модель — модель с открытыми весами от независимого провайдера, настроенная на ответы без отказов по контенту для законного использования взрослыми. Это не официальный API какого-либо вендора. Она обрабатывает только текст: без изображений, аудио, эмбеддингов или дообучения.
Примеры ниже идут от самого простого вызова до вызова функций. Если вам нужен только самый короткий способ проверить работоспособность ключа, достаточно первой команды curl.
Первый запрос с curl и важные параметры
curl https://api.glmapikey.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "What is a mutex, in one sentence?"}
],
"temperature": 0.3,
"max_tokens": 80
}'
Ответ — это JSON-объект, содержащий choices[0].message.content с ответом и объект usage с полями prompt_tokens и completion_tokens. Заголовки ответа включают X-Request-Id, X-Balance-USD и два заголовка X-RateLimit-Limit. Добавьте -i в curl, чтобы их увидеть.
Поля temperature, top_p, stop, seed и штрафы за наличие и частоту передаются модели. max_tokens необязателен. Без него завершение может использовать всё, что осталось от 100 000-токенного окна после вашего промпта.
Тело chat completions содержит много необязательных полей, но пять из них выполняют основную работу. Все они передаются модели.
| Поле | Что делает | Типичное использование |
|---|---|---|
temperature | Более высокие значения дают более разнообразную формулировку | 0,2 для извлечения, 0,8 для художественного текста |
top_p | Ограничивает выборку наиболее вероятными токенами | Оставьте по умолчанию, если не настраиваете |
stop | Завершает ответ при появлении строки | Обрезка по разделителю, например, пустой строке |
seed | Делает выборку повторяемой в лучшем доступном режиме | Сравнение двух версий промпта |
presence_penalty, frequency_penalty | Предотвращает повторение токенов | Малые значения, например 0,3, при зацикливании текста |
Изменяйте одно значение за раз и сохраняйте промпт неизменным, иначе вы не поймете, какое изменение помогло. Для задач с кодом, таких как классификация или извлечение, используйте низкую температуру и фиксированный seed, чтобы можно было перезапустить тест и увидеть тот же результат. Для творческого письма повысьте температуру и позвольте штрафам контролировать повторение.
Поле max_tokens здесь необязательно. Если его не указать, ответ может занять всё оставшееся место в 100 000-токенном окне, что редко нужно для однострочного ответа. Устанавливайте его, когда знаете желаемую длину ответа.
Python: диалог с памятью
API не сохраняет состояние, поэтому вы храните диалог самостоятельно и отправляете его каждый раз. Этот цикл хранит список сообщений и добавляет обе стороны:
from openai import OpenAI
client = OpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
)
messages = [{"role": "system", "content": "You are a helpful assistant."}]
while True:
user = input("you> ")
if not user:
break
messages.append({"role": "user", "content": user})
resp = client.chat.completions.create(model="uncensored", messages=messages)
reply = resp.choices[0].message.content
messages.append({"role": "assistant", "content": reply})
print("bot>", reply)
Поскольку каждый вызов отправляет полный список, входные токены растут с длиной чата. При цене $0,15 за 1 млн входных токенов это дешево, но в длинных сессиях это накапливается, поэтому удаляйте старые сообщения, когда диалог превышает размер, за который вы хотите платить. На странице тарифов есть рабочие примеры.
Потоковая передача в Python и Node
Установите stream: true, и сервер отправляет токены по мере их генерации через события, отправляемые сервером. В Python:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write four lines about the sea."}],
stream=True,
)
text = ""
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
text += piece
print(piece, end="", flush=True)
if getattr(chunk, "usage", None):
print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
Поток завершается информацией об использовании, поэтому цикл проверяет её. То же самое в Node:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.glmapikey.com/v1",
apiKey: process.env.API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write four lines about the sea." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}
Одна деталь о лимитах: потоковый запрос занимает слот параллельных запросов до завершения потока. Если вы начнёте поток и никогда не дочитаете его до конца, этот слот останется занятым. Всегда потребляйте или закрывайте поток.
JSON-режим для структурированного вывода
Когда вашему коду нужно разобрать ответ, запросите JSON-объект с response_format. Также укажите в промпте нужную структуру, потому что флаг формата гарантирует валидный синтаксис JSON, а не вашу конкретную схему.
import json
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply only with JSON: {\"title\": string, \"tags\": [string]}."},
{"role": "user", "content": "Suggest a title and three tags for a post about home espresso."},
],
temperature=0.2,
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])
Проверьте, существуют ли нужные вам ключи, прежде чем использовать их, и держите температуру низкой для задач извлечения. Если парсинг не удался, повторная попытка с теми же входными данными обычно работает, а неудачные запросы не оплачиваются.
Вызов функций: полный цикл
Вызов функций позволяет модели запросить у вашего кода выполнение функции. Вы описываете функцию в tools, модель возвращает запись tool_calls, вы её выполняете и отправляете результат обратно как сообщение role: "tool".
import json
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
tools = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get current weather for a city",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
messages = [{"role": "user", "content": "Is it warm in Lisbon right now?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(get_weather(**args)),
})
final = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools
)
print(final.choices[0].message.content)
else:
print(msg.content)
Функция здесь возвращает фиксированные данные, поэтому замените её на реальный поиск. Аргументы инструмента поступают в виде строки JSON, поэтому всегда парсите их и проверяйте значения перед тем, как использовать их. С stream: true, tool_calls поступают частями, которые вы собираете перед парсингом. Используйте tool_choice, чтобы принудительно вызвать конкретный инструмент, когда это необходимо.
Сколько стоят примеры и ошибки, съедающие час
Запуск примеров стоит очень мало, но полезно увидеть расчёт один раз. При цене $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов:
- Цикл диалога, с промптом на 1 200 токенов и ответом на 300 токенов: $0,00018 за ввод плюс $0,00015 за вывод — итого $0,00033. Тысяча итераций обойдётся в $0,33.
- Цикл вызова инструмента делает два вызова. Если первый использует 400 токенов на вход и 60 на выход, а второй — 500 на вход и 150 на выход, то итоги составляют 900 на вход и 210 на выход: $0,000135 плюс $0,000105 — это $0,00024.
- Потоковая передача стоит столько же, сколько обычный вызов с тем же количеством токенов. Она меняет то, когда вы видите текст, а не то, сколько это стоит.
Пробного баланса в $0,50 хватит более чем на 1 500 запросов цикла диалога такого размера ($0,50 / $0,00033), поэтому вы можете свободно экспериментировать перед тем, как пополнить баланс. Неудачные и отклоненные запросы не оплачиваются, что означает, что ошибка в вашем парсере, заставляющая перезапустить вызов, не стоит вам за неудачные попытки.
- Неверный базовый URL. Он должен заканчиваться на
/v1. Добавление/chat/completionsвручную к базовому URL SDK даёт ошибку 404, потому что SDK добавляет этот путь сам. - Другое имя модели. Имена, скопированные с других платформ, здесь не существуют. Идентификатор —
uncensored. - Ожидание памяти. API не запоминает предыдущие вызовы. Отправляйте историю каждый раз.
- Парсинг JSON модели без защиты. Оберните
json.loadsв блок try и имейте план на случай плохого ответа. - Оставление потоков открытыми. Незавершенный поток держит слот параллельных запросов занятым, а пробный ключ имеет только два.
- Помещение ключа в код фронтенда. Храните его на сервере.
Если что-то всё ещё выглядит неправильно, отправьте запрос через curl и сравните его с тем, что генерирует ваш код. Вариант с curl исключает SDK из уравнения и делает очевидными различия в теле запроса.
Чтение использования, баланса и ошибок
Чтобы увидеть заголовки из Python SDK, используйте обёртку для получения сырого ответа:
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Say ok."}],
)
print("request id:", raw.headers.get("x-request-id"))
print("balance usd:", raw.headers.get("x-balance-usd"))
print("rpm limit:", raw.headers.get("x-ratelimit-limit-requests"))
completion = raw.parse()
print(completion.usage.total_tokens)
Логируйте идентификатор запроса при каждом вызове, чтобы позже можно было указать на конкретный запрос. Используйте заголовок баланса, чтобы настроить оповещение до исчерпания предоплаченного баланса.
При превышении лимита API возвращает HTTP 429, а код ошибки указывает, какой именно:
| Код или заголовок | Что делать | Что делать |
|---|---|---|
rate_limited | Слишком много запросов в минуту (300 для полного ключа, 60 для пробного) | Уменьшите частоту и распределите вызовы |
concurrency | Слишком много одновременно (8 для полного ключа, 2 для пробного) | Дождитесь завершения текущего запроса |
Retry-After: 5 | Временная перегрузка | Повторите попытку через пять секунд |
Неудачные или отклоненные запросы не оплачиваются. Тело запроса может быть до 8 МБ. Полную документацию и способы повторного использования существующего клиентского кода см. в документации. Чтобы получить ключ, см. статью об API-ключе GLM.
