Połącz w pięciu krokach
To jest szybka ścieżka dla ustawień glm api sillytavern. Zakłada, że już uruchomiłeś SillyTavern i utworzyłeś klucz na stronie kluczy API.
- Otwórz ikonę wtyczki (Połączenia API) na górze SillyTavern.
- Ustaw typ API na Chat Completion.
- Ustaw źródło Chat Completion na Custom (OpenAI-compatible).
- Wklej
https://api.glmapikey.com/v1w pole custom endpoint i swój klucz w pole custom API key. - Wpisz
uncensoredjako ID modelu i naciśnij Connect.
Zielone światło statusu i nazwa modelu pod przyciskiem oznaczają, że połączenie działa. Wyślij wiadomość do postaci i odpowiedź powinna pojawić się w trybie strumieniowania. Nazwy menu nieznacznie różnią się w zależności od wersji SillyTavern, więc jeśli etykieta się różni, szukaj pola przyjmującego URL endpointa; wartości pozostają takie same.
Jedna szczera uwaga dotycząca nazwy. Ten endpoint nie jest oficjalnym API GLM żadnego dostawcy i nie przekieruje do modeli innych dostawców. To pojedynczy model o otwartych wagach obsługiwany przez niezależnego dostawcę, dostrojony do odpowiadania bez odmów treści dla legalnego użytku przez dorosłych. To, co łączy go z rodzinami modeli, których ludzie szukają pod nazwą GLM, to interfejs: standardowe API chat completions w stylu OpenAI, do którego front-endy do roleplay już potrafią się zwracać.
Do czego się łączysz
Fakty ważne dla roleplay w jednym miejscu:
| Właściwość | Wartość |
|---|---|
| Endpoint | POST /v1/chat/completions |
| ID modelu | uncensored |
| Okno kontekstu | 100 000 tokenów, prompt plus odpowiedź |
| Strumieniowanie | Tak, zdarzenia wysyłane przez serwer |
| Przekazywane samplery | temperature, top_p, stop, seed, presence i frequency penalties |
| Cena | $0,15 za 1M wejściowych, $0,50 za 1M wyjściowych |
| Limity, pełny klucz | 8 równoległych, 300 na minutę |
| Limity, klucz próbny | 2 równoległe, 60 na minutę |
Model jest przeznaczony do fikcji, roleplay i aplikacji towarzyskich używanych przez dorosłych. Będzie trzymał się roli i nie przerwie sceny, by wygłosić wykład. Jedna zasada nie zna wyjątków: usługa odmówi każdej treści seksualnej z udziałem nieletnich, a karty postaci próbujące ustawić taką scenę nie będą działać. Trzymaj swoje karty i prompty po właściwej stronie tej granicy.
Prompty nie są używane do trenowania, więc Twoje postaci i logi czatu nie są zwracane do modelu. Przechodzą przez dostawcę w celu wygenerowania odpowiedzi, tak jak w przypadku dowolnego API hostowanego.
Ustawienia warte zmiany po połączeniu
Otwórz panel konfiguracji odpowiedzi AI (ikona suwaków). Nie musisz zmieniać wielu wartości, ale kilka z nich decyduje o tym, jak czat będzie się czuł i ile będzie kosztował.
Rozmiar kontekstu
To liczba tokenów wysyłanych przez SillyTavern w każdym zapytaniu: karta postaci, lore, prompt systemowy i jak najwięcej ostatniej historii czatu, która się zmieści. API pozwala na maksymalnie 100 000 tokenów, ale nie musisz używać ich wszystkich. Ustawienie 16 000 do 32 000 utrzymuje odpowiedzi w temacie i utrzymuje rachunek niskim. Podnieś go, gdy długa historia wymaga od modelu przypomnienia sobie szczegółów z dawnej przeszłości. Obliczenie poniżej pokazuje, dlaczego to ma znaczenie.
Maksymalna długość odpowiedzi
Ustaw limit pasujący do Twojego stylu. 300 do 500 tokenów pasuje do krótkich wymian, a 800 lub więcej pasuje do pisania scen. Niższa wartość skraca też czas oczekiwania na zakończenie każdej odpowiedzi.
Strumieniowanie
Zostaw to włączone. Odpowiedzi pojawiają się słowo po słowie, a możesz przerwać tę, która poszła w złym kierunku, i nie płacić za jej resztę. Pamiętaj, że zapytanie w trybie strumieniowania zajmuje slot równoległości do momentu zakończenia strumienia.
Temperatura i kary
Zacznij od temperatury około 0,8 i top_p około 0,9. Jeśli odpowiedzi powtarzają frazy, dodaj małą karę frequency penalty, np. 0,3. Jeśli model odbiega od karty, obniż temperaturę do 0,6. To punkty wyjścia do regulowania na wyczucie, a nie magiczne liczby, a parametr seed jest przekazywany, jeśli chcesz powtarzalnego wyniku podczas strojenia.
Format instrukcji i promptu
Przy źródle Chat Completion SillyTavern buduje listę wiadomości samodzielnie, więc nie musisz wybierać szablonu instrukcji. Użyj menedżera promptów, aby uporządkować prompt systemowy, opis postaci, scenariusz i historię czatu oraz trzymaj własne instrukcje stylu krótkie i bezpośrednie.
Ile kosztuje sesja roleplay
Roleplay jest wymagający pod kątem danych wejściowych. Każda tura ponownie wysyła kartę, lore i ostatni czat, a model odpowiada kilkuset tokenami. Przyjmij kontekst 30 000 tokenów i odpowiedź 300 tokenów:
- Wejście: 30 000 / 1 000 000 x $0,15 = $0,0045
- Wyjście: 300 / 1 000 000 x $0,50 = $0,00015
- Razem: $0,00465 za turę, więc 100 tur kosztuje $0,465
Porównaj teraz kontekst 8 000 tokenów z tą samą odpowiedzią: input kosztuje $0,0012, output $0,00015, więc $0,00135 za turę i $0,135 za 100 tur. Mniejszy kontekst kosztuje około jedną trzecią. Kompromis polega na tym, że model widzi mniej historii, więc może zapomnieć szczegół z godziny temu. Wpisy w lorebooku i krótkie bieżące streszczenie pozwalają utrzymać ważne fakty w małym kontekście.
Nawet większa kwota jest skromna. Darmowy kredyt próbny w wysokości $0,50 pokrywa około 107 tur przy 30 000 tokenach w oknie kontekstu ($0,50 / $0,00465), co wystarczy, aby ocenić, czy model pasuje do Twoich postaci. Po tym doładowujesz dowolną pełną kwotę od $20 do $500, a kredyt nigdy nie wygasa. Bonusy przyznawane są od $50 (+5%), $100 (+10%) i $200 (+15%). Pełne liczby znajdziesz na stronie z cenami.
Czaty grupowe i limit równoległości
Czaty grupowe w SillyTavern wysyłają jedno zapytanie dla każdej postaci, która mówi. Takie funkcje jak swipy, regenerate i streszczenia w tle mogą również uruchamiać zapytania jedno po drugim. Jeśli kilka z nich nakłada się, możesz zobaczyć błąd 429 z kodem concurrency. Oznacza to, że działało zbyt wiele zapytań naraz, a nie że coś jest nie tak z Twoim kluczem.
Klucz próbny pozwala na 2 równoległe zapytania i 60 na minutę. Klucz aktywny pozwala na 8 i 300. Aby utrzymać się w niższym limicie:
- Poczekaj, aż odpowiedź się zakończy, zanim wygenerujesz ponownie.
- W grupach utrzymuj kolejność odpowiedzi postaci ręczną lub sekwencyjną, zamiast pozwalać wielu postaciom odpowiadać razem.
- Wyłącz rozszerzenia, które wysyłają zapytania przy każdej wiadomości, takie jak auto-podsumowania, dopóki nie masz aktywnego klucza.
API zwraca również 429 z nagłówkiem Retry-After: 5 przy krótkim przeciążeniu. W takim przypadku poczekaj pięć sekund i wygeneruj ponownie. Nieudane i odrzucone zapytania nie są rozliczane, więc nie ma kosztu przy ponownej próbie.
Rozwiązywanie problemów
Jeśli przycisk Connect nie działa, przetestuj klucz poza SillyTavern, aby wiedzieć, po której stronie jest problem:
curl https://api.glmapikey.com/v1/models \
-H "Authorization: Bearer $API_KEY"
Lista JSON zawierająca uncensored oznacza, że klucz i URL są poprawne, a błąd leży w polach SillyTavern.
- Status pozostaje czerwony lub widzisz 404. Endpoint prawdopodobnie ma ścieżkę końcową lub brakuje
/v1. Użyj dokładniehttps://api.glmapikey.com/v1. - Błąd 401. Klucz został wklejony ze spacją lub znakiem końca linii. Wklej go ponownie.
- Odpowiedzi ucinane w połowie zdania. Twoja maksymalna długość odpowiedzi jest zbyt niska. Podnieś ją.
- Odpowiedzi ignorują postać. Karta jest prawdopodobnie przycinana, ponieważ okno kontekstu jest zbyt małe. Zwiększ okno kontekstu lub skróć kartę.
- Klucz przestaje działać po jakimś czasie. Kredyt próbny ważny jest przez 7 dni, więc doładuj konto, aby kontynuować.
- SillyTavern na telefonie lub innym urządzeniu nie może się połączyć. Sprawdź, czy urządzenie ma dostęp do internetu i czy URL został wpisany dokładnie, a następnie uruchom test curl z tego urządzenia.
Więcej na temat pól zapytania i nagłówków znajdziesz w dokumentacji. Jeśli chcesz zrozumieć, jak uzyskać klucz od początku, przewodnik po kluczu GLM wyjaśnia to krok po kroku.
