Подключение за пять шагов
Это быстрый путь для настроек glm api sillytavern. Предполагается, что вы уже запустили SillyTavern и создали ключ на странице API-ключ.
- Откройте значок розетки (API-подключения) в верхней части SillyTavern.
- Установите тип API в значение Chat Completion.
- Установите источник Chat Completion в значение Custom (OpenAI-compatible).
- Вставьте
https://api.glmapikey.com/v1в поле пользовательского эндпоинта и ваш ключ в поле пользовательского API-ключа. - Введите
uncensoredв качестве идентификатора модели и нажмите Connect.
Зелёный индикатор статуса и имя модели под кнопкой означают, что подключение работает. Отправьте сообщение персонажу, и ответ должен прийти потоком. Названия меню немного меняются в разных версиях SillyTavern, поэтому, если метка отличается, найдите поле, принимающее URL эндпоинта; значения остаются прежними.
Один честный комментарий по названию. Этот эндпоинт не является официальным GLM API от какого-либо вендора и не маршрутизирует запросы к моделям других вендоров. Это одна модель с открытыми весами, запущенная независимым провайдером, настроенная на ответы без отказов по содержанию для законного использования взрослыми. То, что она разделяет с семействами моделей, которые люди ищут под именем GLM, — это интерфейс: стандартный API завершения чата в стиле OpenAI, к которому уже умеют обращаться фронтенды для ролевых игр.
К чему вы подключаетесь
Факты, важные для ролевых игр, в одном месте:
| Параметр | Значение |
|---|---|
| Эндпоинт | POST /v1/chat/completions |
| ID модели | uncensored |
| Контекстное окно | 100 000 токенов, промпт плюс ответ |
| Потоковая передача | Да, события, отправляемые сервером |
| Пропускаемые сэмплеры | temperature, top_p, stop, seed, presence и frequency penalties |
| Цена | $0,15 за 1 млн входных, $0,50 за 1 млн выходных |
| Лимиты, полный ключ | 8 параллельных, 300 в минуту |
| Лимиты, пробный ключ | 2 параллельных, 60 в минуту |
Модель предназначена для художественной литературы, ролевых игр и приложений-компаньонов, используемых взрослыми. Она будет сохранять характер и не будет прерывать сцену, чтобы читать вам лекцию об этом. Одно правило не имеет исключений: сервис отказывает в любом сексуальном контенте с участием несовершеннолетних, и карточки персонажей, пытающиеся создать такой сценарий, не будут работать. Держите ваши карточки и промпты в рамках этой линии.
Промпты не используются для обучения, поэтому ваши персонажи и журналы чатов не возвращаются в модель. Они проходят через провайдера для генерации ответа, как и в любом хостинговом API.
Настройки, которые стоит изменить после подключения
Откройте панель конфигурации ответов ИИ (значок ползунков). Вам не нужно трогать много параметров, но несколько значений определяют, как ощущается чат и сколько он стоит.
Размер контекста
Это количество токенов, которые SillyTavern отправляет с каждым запросом: карточка персонажа, лор, системный промпт и как можно больше недавнего чата, что помещается. API позволяет до 100 000 токенов, но вам не нужно использовать всё. Значение от 16 000 до 32 000 держит ответы в теме и держит счёт небольшим. Увеличьте его, когда длинная история требует, чтобы модель помнила детали издалека. Расчёт ниже показывает, почему это важно.
Максимальная длина ответа
Установите потолок, подходящий вашему стилю. 300–500 токенов подходит для коротких обменов, а 800 и более — для написания сцен. Меньшее значение также сокращает ожидание перед завершением каждого ответа.
Потоковая передача
Оставьте включённым. Ответы появляются слово за словом, и вы можете остановить тот, который пошёл не туда, и не платить за его оставшуюся часть. Имейте в виду, что потоковый запрос занимает слот параллельных запросов до конца потока.
Temperature и штрафы
Начните с temperature около 0,8 и top_p около 0,9. Если ответы повторяют фразы, добавьте небольшой frequency penalty, например 0,3. Если модель уходит от карточки, снизьте temperature до 0,6. Это отправные точки для настройки на ощупь, а не магические числа, а параметр seed передаётся, если вам нужен повторяемый вывод во время настройки.
Формат инструкций и промптов
При источнике Chat Completion SillyTavern самостоятельно формирует список сообщений, поэтому вам не нужно выбирать шаблон инструкций. Используйте менеджер промптов для упорядочивания системного промпта, описания персонажа, сценария и истории чата и держите ваши собственные инструкции по стилю короткими и прямыми.
Сколько стоит сессия ролевой игры
Ролевая игра требует много ввода. Каждый ход отправляет карточку, лор и недавний чат, а модель отвечает несколькими сотнями токенов. Возьмите контекст в 30 000 токенов и ответ на 300 токенов:
- Ввод: 30 000 / 1 000 000 x $0,15 = $0,0045
- Вывод: 300 / 1 000 000 x $0,50 = $0,00015
- Итого: $0,00465 за ход, поэтому 100 ходов стоят $0,465
Теперь сравните контекст в 8 000 токенов с тем же ответом: ввод стоит $0,0012, вывод — $0,00015, итого $0,00135 за ход и $0,135 за 100 ходов. Меньший контекст обходится примерно в треть цены. Компромисс в том, что модель видит меньше истории, поэтому она может забыть деталь из часа назад. Записи в книге лора и краткое текущее резюме позволяют сохранить важные факты в небольшом контексте.
Даже большая сумма невелика. Пробный кредит в $0,50 покрывает примерно 107 ходов при контексте в 30 000 токенов ($0,50 / $0,00465), чего достаточно, чтобы оценить, подходит ли модель вашим персонажам. После этого вы пополняете баланс любой целой суммой от $20 до $500, и кредит не сгорает. Бонусы применяются от $50 (+5%), $100 (+10%) и $200 (+15%). Точные цифры на странице тарифов.
Групповые чаты и лимит параллельных запросов
Групповые чаты SillyTavern отправляют один запрос для каждого говорящего персонажа. Такие функции, как свайпы, регенерация и фоновые сводки, также могут запускать запросы в быстрой последовательности. Если несколько из них пересекаются, вы можете увидеть ошибку 429 с кодом concurrency. Это означает, что одновременно работало слишком много запросов, а не то, что с вашим ключом что-то не так.
Пробный ключ позволяет выполнять 2 параллельных запроса и 60 в минуту. Пополненный ключ позволяет 8 и 300. Чтобы оставаться в пределах более низкого лимита:
- Дождитесь завершения ответа, прежде чем нажимать регенерацию.
- В группах сохраняйте порядок ответов персонажей ручным или последовательным, а не позволяйте нескольким персонажам отвечать вместе.
- Отключите расширения, которые отправляют запросы при каждом сообщении, такие как авто-сводки, пока у вас нет пополненного ключа.
API также возвращает 429 с заголовком Retry-After: 5, когда он временно перегружен. В этом случае подождите пять секунд и нажмите генерацию снова. Неудавшиеся и отклонённые запросы не оплачиваются, поэтому повторная попытка ничего не стоит.
Устранение неполадок
Если кнопка Connect не работает, протестируйте ключ вне SillyTavern, чтобы знать, на какой стороне проблема:
curl https://api.glmapikey.com/v1/models \
-H "Authorization: Bearer $API_KEY"
Список JSON, включающий uncensored, означает, что ключ и URL верны, а ошибка в полях SillyTavern.
- Статус остаётся красным или вы видите 404. Скорее всего, эндпоинт содержит лишний путь или в нём отсутствует
/v1. Используйте строгоhttps://api.glmapikey.com/v1. - Ошибка 401. Ключ был вставлен с пробелом или разрывом строки. Вставьте его снова.
- Ответы обрываются на середине предложения. У вас слишком маленькое ограничение на длину ответа. Увеличьте его.
- Ответы игнорируют персонажа. Скорее всего, карточка обрезается, потому что размер контекста слишком мал для неё. Увеличьте контекст или сократите карточку.
- Ключ перестает работать через некоторое время. Пробный баланс действует 7 дней, поэтому пополните его, чтобы продолжить.
- SillyTavern на телефоне или другом устройстве не может подключиться. Убедитесь, что у устройства есть доступ в интернет и что URL введён без ошибок, затем выполните тест curl с этого устройства.
Подробнее о полях запросов и заголовках см. в документации. Если вы хотите понять, как получить ключ, руководство по ключу GLM подробно это описывает.
