RU ▾
Получить API-ключ

GLM API в SillyTavern: настройка для ролевых чатов

SillyTavern может подключиться к любому эндпоинту, совместимому с OpenAI, через пользовательский источник завершения чата, поэтому настройка API в стиле GLM занимает один экран. Ниже приведены точные поля, разумные настройки для длительных сессий ролевых игр и ожидаемые расходы.

Обновлено

Сцена с речевыми пузырями и маской, соединённой кабелем с сервером, иллюстрирующая ролевую игру с API

Ключевые моменты

  • В SillyTavern выберите Chat Completion, затем источник Custom (OpenAI-compatible) и введите https://api.glmapikey.com/v1.
  • Введите uncensored в качестве ID модели. Это единственная модель, которую обслуживает этот API.
  • Размер контекста определяет счёт, так как каждый ход отправляет чат заново. Около 32k — это дешёвый и комфортный вариант по умолчанию.
  • Групповые чаты могут превысить лимит параллельных запросов. Пробный ключ позволяет 2 запроса одновременно, полный — 8.

Подключение за пять шагов

Это быстрый путь для настроек glm api sillytavern. Предполагается, что вы уже запустили SillyTavern и создали ключ на странице API-ключ.

  1. Откройте значок розетки (API-подключения) в верхней части SillyTavern.
  2. Установите тип API в значение Chat Completion.
  3. Установите источник Chat Completion в значение Custom (OpenAI-compatible).
  4. Вставьте https://api.glmapikey.com/v1 в поле пользовательского эндпоинта и ваш ключ в поле пользовательского API-ключа.
  5. Введите uncensored в качестве идентификатора модели и нажмите Connect.

Зелёный индикатор статуса и имя модели под кнопкой означают, что подключение работает. Отправьте сообщение персонажу, и ответ должен прийти потоком. Названия меню немного меняются в разных версиях SillyTavern, поэтому, если метка отличается, найдите поле, принимающее URL эндпоинта; значения остаются прежними.

Один честный комментарий по названию. Этот эндпоинт не является официальным GLM API от какого-либо вендора и не маршрутизирует запросы к моделям других вендоров. Это одна модель с открытыми весами, запущенная независимым провайдером, настроенная на ответы без отказов по содержанию для законного использования взрослыми. То, что она разделяет с семействами моделей, которые люди ищут под именем GLM, — это интерфейс: стандартный API завершения чата в стиле OpenAI, к которому уже умеют обращаться фронтенды для ролевых игр.

К чему вы подключаетесь

Факты, важные для ролевых игр, в одном месте:

ПараметрЗначение
ЭндпоинтPOST /v1/chat/completions
ID моделиuncensored
Контекстное окно100 000 токенов, промпт плюс ответ
Потоковая передачаДа, события, отправляемые сервером
Пропускаемые сэмплерыtemperature, top_p, stop, seed, presence и frequency penalties
Цена$0,15 за 1 млн входных, $0,50 за 1 млн выходных
Лимиты, полный ключ8 параллельных, 300 в минуту
Лимиты, пробный ключ2 параллельных, 60 в минуту

Модель предназначена для художественной литературы, ролевых игр и приложений-компаньонов, используемых взрослыми. Она будет сохранять характер и не будет прерывать сцену, чтобы читать вам лекцию об этом. Одно правило не имеет исключений: сервис отказывает в любом сексуальном контенте с участием несовершеннолетних, и карточки персонажей, пытающиеся создать такой сценарий, не будут работать. Держите ваши карточки и промпты в рамках этой линии.

Промпты не используются для обучения, поэтому ваши персонажи и журналы чатов не возвращаются в модель. Они проходят через провайдера для генерации ответа, как и в любом хостинговом API.

Настройки, которые стоит изменить после подключения

Откройте панель конфигурации ответов ИИ (значок ползунков). Вам не нужно трогать много параметров, но несколько значений определяют, как ощущается чат и сколько он стоит.

Размер контекста

Это количество токенов, которые SillyTavern отправляет с каждым запросом: карточка персонажа, лор, системный промпт и как можно больше недавнего чата, что помещается. API позволяет до 100 000 токенов, но вам не нужно использовать всё. Значение от 16 000 до 32 000 держит ответы в теме и держит счёт небольшим. Увеличьте его, когда длинная история требует, чтобы модель помнила детали издалека. Расчёт ниже показывает, почему это важно.

Максимальная длина ответа

Установите потолок, подходящий вашему стилю. 300–500 токенов подходит для коротких обменов, а 800 и более — для написания сцен. Меньшее значение также сокращает ожидание перед завершением каждого ответа.

Потоковая передача

Оставьте включённым. Ответы появляются слово за словом, и вы можете остановить тот, который пошёл не туда, и не платить за его оставшуюся часть. Имейте в виду, что потоковый запрос занимает слот параллельных запросов до конца потока.

Temperature и штрафы

Начните с temperature около 0,8 и top_p около 0,9. Если ответы повторяют фразы, добавьте небольшой frequency penalty, например 0,3. Если модель уходит от карточки, снизьте temperature до 0,6. Это отправные точки для настройки на ощупь, а не магические числа, а параметр seed передаётся, если вам нужен повторяемый вывод во время настройки.

Формат инструкций и промптов

При источнике Chat Completion SillyTavern самостоятельно формирует список сообщений, поэтому вам не нужно выбирать шаблон инструкций. Используйте менеджер промптов для упорядочивания системного промпта, описания персонажа, сценария и истории чата и держите ваши собственные инструкции по стилю короткими и прямыми.

Сколько стоит сессия ролевой игры

Ролевая игра требует много ввода. Каждый ход отправляет карточку, лор и недавний чат, а модель отвечает несколькими сотнями токенов. Возьмите контекст в 30 000 токенов и ответ на 300 токенов:

  • Ввод: 30 000 / 1 000 000 x $0,15 = $0,0045
  • Вывод: 300 / 1 000 000 x $0,50 = $0,00015
  • Итого: $0,00465 за ход, поэтому 100 ходов стоят $0,465

Теперь сравните контекст в 8 000 токенов с тем же ответом: ввод стоит $0,0012, вывод — $0,00015, итого $0,00135 за ход и $0,135 за 100 ходов. Меньший контекст обходится примерно в треть цены. Компромисс в том, что модель видит меньше истории, поэтому она может забыть деталь из часа назад. Записи в книге лора и краткое текущее резюме позволяют сохранить важные факты в небольшом контексте.

Даже большая сумма невелика. Пробный кредит в $0,50 покрывает примерно 107 ходов при контексте в 30 000 токенов ($0,50 / $0,00465), чего достаточно, чтобы оценить, подходит ли модель вашим персонажам. После этого вы пополняете баланс любой целой суммой от $20 до $500, и кредит не сгорает. Бонусы применяются от $50 (+5%), $100 (+10%) и $200 (+15%). Точные цифры на странице тарифов.

Групповые чаты и лимит параллельных запросов

Групповые чаты SillyTavern отправляют один запрос для каждого говорящего персонажа. Такие функции, как свайпы, регенерация и фоновые сводки, также могут запускать запросы в быстрой последовательности. Если несколько из них пересекаются, вы можете увидеть ошибку 429 с кодом concurrency. Это означает, что одновременно работало слишком много запросов, а не то, что с вашим ключом что-то не так.

Пробный ключ позволяет выполнять 2 параллельных запроса и 60 в минуту. Пополненный ключ позволяет 8 и 300. Чтобы оставаться в пределах более низкого лимита:

  • Дождитесь завершения ответа, прежде чем нажимать регенерацию.
  • В группах сохраняйте порядок ответов персонажей ручным или последовательным, а не позволяйте нескольким персонажам отвечать вместе.
  • Отключите расширения, которые отправляют запросы при каждом сообщении, такие как авто-сводки, пока у вас нет пополненного ключа.

API также возвращает 429 с заголовком Retry-After: 5, когда он временно перегружен. В этом случае подождите пять секунд и нажмите генерацию снова. Неудавшиеся и отклонённые запросы не оплачиваются, поэтому повторная попытка ничего не стоит.

Устранение неполадок

Если кнопка Connect не работает, протестируйте ключ вне SillyTavern, чтобы знать, на какой стороне проблема:

curl https://api.glmapikey.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

Список JSON, включающий uncensored, означает, что ключ и URL верны, а ошибка в полях SillyTavern.

  • Статус остаётся красным или вы видите 404. Скорее всего, эндпоинт содержит лишний путь или в нём отсутствует /v1. Используйте строго https://api.glmapikey.com/v1.
  • Ошибка 401. Ключ был вставлен с пробелом или разрывом строки. Вставьте его снова.
  • Ответы обрываются на середине предложения. У вас слишком маленькое ограничение на длину ответа. Увеличьте его.
  • Ответы игнорируют персонажа. Скорее всего, карточка обрезается, потому что размер контекста слишком мал для неё. Увеличьте контекст или сократите карточку.
  • Ключ перестает работать через некоторое время. Пробный баланс действует 7 дней, поэтому пополните его, чтобы продолжить.
  • SillyTavern на телефоне или другом устройстве не может подключиться. Убедитесь, что у устройства есть доступ в интернет и что URL введён без ошибок, затем выполните тест curl с этого устройства.

Подробнее о полях запросов и заголовках см. в документации. Если вы хотите понять, как получить ключ, руководство по ключу GLM подробно это описывает.

Вопросы и ответы

Какой источник выбрать в SillyTavern?

Выберите Chat Completion в качестве типа API и Custom (совместимый с OpenAI) в качестве источника. Затем введите базовый URL, ваш ключ и идентификатор модели uncensored.

Это официальный GLM API?

Нет. Это одна модель с открытыми весами, запускаемая независимым провайдером через интерфейс, совместимый с OpenAI. Это не официальный API какого-либо вендора моделей.

Сколько стоит сессия ролевой игры?

При контекстном окне в 30 000 токенов и ответе на 300 токенов один ход стоит около $0,00465, поэтому 100 ходов обойдутся примерно в $0,47. Меньший контекст снижает эту стоимость.

Можно ли использовать его для взрослой ролевой игры?

Модель настроена на ответы без отказов по контенту для законного использования взрослыми, в художественных приложениях и приложениях-компаньонах. Сексуальный контент с участием несовершеннолетних никогда не допускается.

Почему я получаю ошибки 429 в групповых чатах?

Групповые чаты отправляют несколько запросов одновременно, а пробный ключ позволяет только 2 параллельных запроса. Подождите завершения ответов или перейдите на полный ключ с лимитом 8.

Ваш ключ — всего в одной форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ