PL ▾
Pobierz klucz API

GLM API w SillyTavern: konfiguracja do czatów roleplay

SillyTavern może połączyć się z dowolnym endpointem kompatybilnym z OpenAI poprzez źródło custom chat completion, więc konfiguracja API w stylu GLM zajmuje jeden ekran. Poniżej znajdziesz dokładne pola, rozsądne ustawienia do długich sesji roleplay oraz koszty, na które możesz liczyć.

Zaktualizowano

Scena z dymkami rozmowy i maską połączonymi kablem z serwerem, ilustrująca roleplay z API

Kluczowe punkty

  • W SillyTavern wybierz Chat Completion, następnie źródło Custom (OpenAI-compatible) i wpisz https://api.glmapikey.com/v1.
  • Wpisz uncensored jako ID modelu. To jedyny model obsługiwany przez to API.
  • Wielkość okna kontekstu wpływa na rachunek, ponieważ każda tura ponownie wysyła historię czatu. Około 32k to tani i wygodny domyślny wybór.
  • Czaty grupowe mogą przekroczyć limit równoległości. Klucz próbny pozwala na 2 zapytania naraz, pełny klucz na 8.

Połącz w pięciu krokach

To jest szybka ścieżka dla ustawień glm api sillytavern. Zakłada, że już uruchomiłeś SillyTavern i utworzyłeś klucz na stronie kluczy API.

  1. Otwórz ikonę wtyczki (Połączenia API) na górze SillyTavern.
  2. Ustaw typ API na Chat Completion.
  3. Ustaw źródło Chat Completion na Custom (OpenAI-compatible).
  4. Wklej https://api.glmapikey.com/v1 w pole custom endpoint i swój klucz w pole custom API key.
  5. Wpisz uncensored jako ID modelu i naciśnij Connect.

Zielone światło statusu i nazwa modelu pod przyciskiem oznaczają, że połączenie działa. Wyślij wiadomość do postaci i odpowiedź powinna pojawić się w trybie strumieniowania. Nazwy menu nieznacznie różnią się w zależności od wersji SillyTavern, więc jeśli etykieta się różni, szukaj pola przyjmującego URL endpointa; wartości pozostają takie same.

Jedna szczera uwaga dotycząca nazwy. Ten endpoint nie jest oficjalnym API GLM żadnego dostawcy i nie przekieruje do modeli innych dostawców. To pojedynczy model o otwartych wagach obsługiwany przez niezależnego dostawcę, dostrojony do odpowiadania bez odmów treści dla legalnego użytku przez dorosłych. To, co łączy go z rodzinami modeli, których ludzie szukają pod nazwą GLM, to interfejs: standardowe API chat completions w stylu OpenAI, do którego front-endy do roleplay już potrafią się zwracać.

Do czego się łączysz

Fakty ważne dla roleplay w jednym miejscu:

WłaściwośćWartość
EndpointPOST /v1/chat/completions
ID modeluuncensored
Okno kontekstu100 000 tokenów, prompt plus odpowiedź
StrumieniowanieTak, zdarzenia wysyłane przez serwer
Przekazywane samplerytemperature, top_p, stop, seed, presence i frequency penalties
Cena$0,15 za 1M wejściowych, $0,50 za 1M wyjściowych
Limity, pełny klucz8 równoległych, 300 na minutę
Limity, klucz próbny2 równoległe, 60 na minutę

Model jest przeznaczony do fikcji, roleplay i aplikacji towarzyskich używanych przez dorosłych. Będzie trzymał się roli i nie przerwie sceny, by wygłosić wykład. Jedna zasada nie zna wyjątków: usługa odmówi każdej treści seksualnej z udziałem nieletnich, a karty postaci próbujące ustawić taką scenę nie będą działać. Trzymaj swoje karty i prompty po właściwej stronie tej granicy.

Prompty nie są używane do trenowania, więc Twoje postaci i logi czatu nie są zwracane do modelu. Przechodzą przez dostawcę w celu wygenerowania odpowiedzi, tak jak w przypadku dowolnego API hostowanego.

Ustawienia warte zmiany po połączeniu

Otwórz panel konfiguracji odpowiedzi AI (ikona suwaków). Nie musisz zmieniać wielu wartości, ale kilka z nich decyduje o tym, jak czat będzie się czuł i ile będzie kosztował.

Rozmiar kontekstu

To liczba tokenów wysyłanych przez SillyTavern w każdym zapytaniu: karta postaci, lore, prompt systemowy i jak najwięcej ostatniej historii czatu, która się zmieści. API pozwala na maksymalnie 100 000 tokenów, ale nie musisz używać ich wszystkich. Ustawienie 16 000 do 32 000 utrzymuje odpowiedzi w temacie i utrzymuje rachunek niskim. Podnieś go, gdy długa historia wymaga od modelu przypomnienia sobie szczegółów z dawnej przeszłości. Obliczenie poniżej pokazuje, dlaczego to ma znaczenie.

Maksymalna długość odpowiedzi

Ustaw limit pasujący do Twojego stylu. 300 do 500 tokenów pasuje do krótkich wymian, a 800 lub więcej pasuje do pisania scen. Niższa wartość skraca też czas oczekiwania na zakończenie każdej odpowiedzi.

Strumieniowanie

Zostaw to włączone. Odpowiedzi pojawiają się słowo po słowie, a możesz przerwać tę, która poszła w złym kierunku, i nie płacić za jej resztę. Pamiętaj, że zapytanie w trybie strumieniowania zajmuje slot równoległości do momentu zakończenia strumienia.

Temperatura i kary

Zacznij od temperatury około 0,8 i top_p około 0,9. Jeśli odpowiedzi powtarzają frazy, dodaj małą karę frequency penalty, np. 0,3. Jeśli model odbiega od karty, obniż temperaturę do 0,6. To punkty wyjścia do regulowania na wyczucie, a nie magiczne liczby, a parametr seed jest przekazywany, jeśli chcesz powtarzalnego wyniku podczas strojenia.

Format instrukcji i promptu

Przy źródle Chat Completion SillyTavern buduje listę wiadomości samodzielnie, więc nie musisz wybierać szablonu instrukcji. Użyj menedżera promptów, aby uporządkować prompt systemowy, opis postaci, scenariusz i historię czatu oraz trzymaj własne instrukcje stylu krótkie i bezpośrednie.

Ile kosztuje sesja roleplay

Roleplay jest wymagający pod kątem danych wejściowych. Każda tura ponownie wysyła kartę, lore i ostatni czat, a model odpowiada kilkuset tokenami. Przyjmij kontekst 30 000 tokenów i odpowiedź 300 tokenów:

  • Wejście: 30 000 / 1 000 000 x $0,15 = $0,0045
  • Wyjście: 300 / 1 000 000 x $0,50 = $0,00015
  • Razem: $0,00465 za turę, więc 100 tur kosztuje $0,465

Porównaj teraz kontekst 8 000 tokenów z tą samą odpowiedzią: input kosztuje $0,0012, output $0,00015, więc $0,00135 za turę i $0,135 za 100 tur. Mniejszy kontekst kosztuje około jedną trzecią. Kompromis polega na tym, że model widzi mniej historii, więc może zapomnieć szczegół z godziny temu. Wpisy w lorebooku i krótkie bieżące streszczenie pozwalają utrzymać ważne fakty w małym kontekście.

Nawet większa kwota jest skromna. Darmowy kredyt próbny w wysokości $0,50 pokrywa około 107 tur przy 30 000 tokenach w oknie kontekstu ($0,50 / $0,00465), co wystarczy, aby ocenić, czy model pasuje do Twoich postaci. Po tym doładowujesz dowolną pełną kwotę od $20 do $500, a kredyt nigdy nie wygasa. Bonusy przyznawane są od $50 (+5%), $100 (+10%) i $200 (+15%). Pełne liczby znajdziesz na stronie z cenami.

Czaty grupowe i limit równoległości

Czaty grupowe w SillyTavern wysyłają jedno zapytanie dla każdej postaci, która mówi. Takie funkcje jak swipy, regenerate i streszczenia w tle mogą również uruchamiać zapytania jedno po drugim. Jeśli kilka z nich nakłada się, możesz zobaczyć błąd 429 z kodem concurrency. Oznacza to, że działało zbyt wiele zapytań naraz, a nie że coś jest nie tak z Twoim kluczem.

Klucz próbny pozwala na 2 równoległe zapytania i 60 na minutę. Klucz aktywny pozwala na 8 i 300. Aby utrzymać się w niższym limicie:

  • Poczekaj, aż odpowiedź się zakończy, zanim wygenerujesz ponownie.
  • W grupach utrzymuj kolejność odpowiedzi postaci ręczną lub sekwencyjną, zamiast pozwalać wielu postaciom odpowiadać razem.
  • Wyłącz rozszerzenia, które wysyłają zapytania przy każdej wiadomości, takie jak auto-podsumowania, dopóki nie masz aktywnego klucza.

API zwraca również 429 z nagłówkiem Retry-After: 5 przy krótkim przeciążeniu. W takim przypadku poczekaj pięć sekund i wygeneruj ponownie. Nieudane i odrzucone zapytania nie są rozliczane, więc nie ma kosztu przy ponownej próbie.

Rozwiązywanie problemów

Jeśli przycisk Connect nie działa, przetestuj klucz poza SillyTavern, aby wiedzieć, po której stronie jest problem:

curl https://api.glmapikey.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

Lista JSON zawierająca uncensored oznacza, że klucz i URL są poprawne, a błąd leży w polach SillyTavern.

  • Status pozostaje czerwony lub widzisz 404. Endpoint prawdopodobnie ma ścieżkę końcową lub brakuje /v1. Użyj dokładnie https://api.glmapikey.com/v1.
  • Błąd 401. Klucz został wklejony ze spacją lub znakiem końca linii. Wklej go ponownie.
  • Odpowiedzi ucinane w połowie zdania. Twoja maksymalna długość odpowiedzi jest zbyt niska. Podnieś ją.
  • Odpowiedzi ignorują postać. Karta jest prawdopodobnie przycinana, ponieważ okno kontekstu jest zbyt małe. Zwiększ okno kontekstu lub skróć kartę.
  • Klucz przestaje działać po jakimś czasie. Kredyt próbny ważny jest przez 7 dni, więc doładuj konto, aby kontynuować.
  • SillyTavern na telefonie lub innym urządzeniu nie może się połączyć. Sprawdź, czy urządzenie ma dostęp do internetu i czy URL został wpisany dokładnie, a następnie uruchom test curl z tego urządzenia.

Więcej na temat pól zapytania i nagłówków znajdziesz w dokumentacji. Jeśli chcesz zrozumieć, jak uzyskać klucz od początku, przewodnik po kluczu GLM wyjaśnia to krok po kroku.

Pytania i odpowiedzi

Które źródło wybrać w SillyTavern?

Wybierz Chat Completion jako typ API i Custom (OpenAI-compatible) jako źródło. Następnie wprowadź base URL, swój klucz i ID modelu uncensored.

Czy to oficjalne GLM API?

Nie. To pojedynczy model o otwartych wagach uruchamiany przez niezależnego dostawcę za pośrednictwem interfejsu kompatybilnego z OpenAI. Nie jest to oficjalne API żadnego dostawcy modeli.

Ile kosztuje sesja roleplay?

Przy oknie kontekstu 30 000 tokenów i odpowiedziach 300-tokenowych, jedna tura kosztuje około $0,00465, więc 100 tur kosztuje około $0,47. Mniejsze okno kontekstu zmniejsza tę kwotę.

Czy mogę go używać do roleplay dla dorosłych?

Model jest dostrojony do odpowiadania bez odrzucania treści dla legalnego użytku dorosłego, w aplikacjach fikcyjnych i towarzyskich. Treści seksualne z udziałem nieletnich są zawsze zabronione.

Dlaczego otrzymuję błędy 429 w czatach grupowych?

Czaty grupowe wysyłają wiele zapytań jednocześnie, a klucz próbny pozwala tylko na 2 równoległe zapytania. Poczekaj, aż odpowiedzi się zakończą, lub przejdź na pełny klucz z limitem 8.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz API