Najpierw wybierz wzorzec integracji
Większość pracy nad integracją GLM API mieści się w jednym z czterech wzorców, a wybór wpływa na wszystko inne: gdzie przechowywane są sekrety, jak obsługujesz szczyty i jak wygląda awaria dla użytkownika.
| Wzorzec | Dobre dla | Główne ryzyko |
|---|---|---|
| Proxy backendu | Aplikacje webowe i mobilne z własnymi użytkownikami | Otwarty endpoint, który każdy może wyczerpać |
| Worker kolejki | Boty, zadania wsadowe, masowe przetwarzanie tekstu | Zaległości w kolejce, gdy zapytania wyprzedzają limity |
| Bot czatu | Postacie i towarzysze na Discordzie, Telegramie lub Matrix | Długie historie zwiększające koszt |
| Narzędzie automatyzacji | Workflow w narzędziach oferujących węzeł HTTP lub OpenAI | Ciche awarie, gdy krok zwraca błąd |
Wszystkie cztery używają tego samego wywołania pod spodem: POST /v1/chat/completions na https://api.glmapikey.com/v1 z kluczem bearer i modelem uncensored. API jest kompatybilne z OpenAI, więc możesz użyć dowolnego SDK OpenAI lub czystego HTTP, jeśli Twój stos nie ma SDK. To jeden model o otwartych wagach uruchamiany przez niezależnego dostawcę, nie oficjalne API żadnego dostawcy i nie router, więc buduj pod zachowanie jednego modelu. Tylko tekst: jeśli Twój produkt wymaga również obrazów lub embeddingów, zaplanuj drugiego dostawcę dla tych części.
Strona docs wymienia endpointy i nagłówki, a artykuł GLM key wyjaśnia, jak uzyskać klucz.
Proxy backendu: trzymaj klucz z dala od klienta
Wszystko, co działa w przeglądarce lub pakiecie aplikacji, można podejrzeć i sprawdzić. Jeśli klucz tam trafi, każdy może go skopiować i wydać Twój kredyt. Rozwiązaniem jest cienka trasa serwera, która trzyma klucz, stosuje Twoje własne reguły i przekazuje zapytanie.
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI
from pydantic import BaseModel
app = FastAPI()
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
)
class Ask(BaseModel):
prompt: str
@app.post("/ask")
async def ask(body: Ask):
async def gen():
stream = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": body.prompt[:4000]}],
max_tokens=600,
stream=True,
)
async for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
yield chunk.choices[0].delta.content
return StreamingResponse(gen(), media_type="text/plain")
Trasa obcina prompt i ogranicza odpowiedź, co jest minimum. Dodaj prawdziwe kontrolki przed uruchomieniem: uwierzytelnianie użytkowników, dzienny budżet tokenów na użytkownika i limit częstotliwości zapytań na IP lub konto. API zwraca użycie przy każdym wywołaniu, więc możesz liczyć tokeny na użytkownika w swojej bazie danych i odmawiać zapytań przekraczających ich udział.
Strumieniowanie przez proxy wymaga jednej kontroli: potwierdź, że Twój reverse proxy nie buforuje odpowiedzi, inaczej tekst przyjdzie w jednym bloku na końcu, a nie słowo po słowie.
Worker kolejki: szanuj limit równoległości
Limity są na klucz. Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę. Klucz próbny pozwala na 2 i 60. Dla stałego strumienia zadań równoległość jest zwykle pierwszym ograniczeniem, na które trafisz, ponieważ każde zapytanie zajmuje slot, aż się zakończy, a strumieniowane, aż strumień się skończy.
Pula workerów dopasowana do limitu to czyste rozwiązanie. Zadania czekają w Twojej kolejce zamiast kończyć się błędem 429:
import asyncio
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
max_retries=0,
)
WORKERS = 8 # use 2 on a trial key
async def run_job(prompt: str) -> str:
for attempt in range(5):
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=500,
)
return r.choices[0].message.content
except RateLimitError as e:
delay = float(e.response.headers.get("retry-after", 2 * (attempt + 1)))
await asyncio.sleep(delay)
raise RuntimeError("gave up after repeated 429 responses")
async def worker(queue: asyncio.Queue, results: list):
while True:
prompt = await queue.get()
try:
results.append(await run_job(prompt))
finally:
queue.task_done()
async def main(prompts):
queue, results = asyncio.Queue(), []
for p in prompts:
queue.put_nowait(p)
tasks = [asyncio.create_task(worker(queue, results)) for _ in range(WORKERS)]
await queue.join()
for t in tasks:
t.cancel()
return results
Kod błędu w ciele 429 mówi Ci, dlaczego zostałeś zatrzymany: rate_limited dla zapytań na minutę, concurrency dla zbyt wielu jednocześnie i zwykłe 429 z Retry-After: 5 dla krótkiego przeciążenia. Respektowanie nagłówka jest prostsze niż zgadywanie opóźnienia. Zapytania odrzucone i nieudane nie są rozliczane, więc ponowne próby nic nie kosztują.
Boty i postacie
Bot czatu to zwykłe miejsce, gdzie pojawiają się niespodzianki kosztów, ponieważ bot, który przechowuje historię, wysyła ją ponownie przy każdej wiadomości. Zdecyduj wcześnie, ile wiadomości historii przechowywać i przechowaj historię samodzielnie, ponieważ API nie przechowuje stanu między wywołaniami.
Przykład budżetu pokazuje punkt. Załóżmy, że bot ma 500 aktywnych użytkowników, którzy wysyłają 20 wiadomości dziennie. Każda wiadomość zawiera 1500 tokenów wejściowych (persona, krótka historia i nowa linia) i zwraca 250 tokenów:
- Na wiadomość: 1500 / 1 000 000 x $0,15 = $0,000225 wejście, plus 250 / 1 000 000 x $0,50 = $0,000125 wyjście, więc $0,00035
- Na dzień: 500 x 20 = 10 000 wiadomości, więc $3,50
- Na 30 dni: $105
Jeśli pozwolisz historii rosnąć, aż wypełni okno kontekstu 12 000 tokenów, zużycie na wiadomość wzrośnie ośmiokrotnie do 12 000 tokenów, czyli $0,0018 tylko za dane wejściowe, a miesięczna kwota wzrośnie odpowiednio. Przesuwające się okno plus krótkie podsumowanie starszych zdarzeń utrzymuje spójność postaci przy niższej cenie.
Dla botów towarzyskich i roleplay trzymaj reguły produktu w swojej warstwie. Model jest dostrojony do odpowiadania bez odmów treści dla zgodnego z prawem użytku przez dorosłych, a jednym twardym limitem jest treść seksualna z udziałem nieletnich, której usługa odmawia. Jeśli Twój bot żyje na publicznym serwerze, dodaj bramkę wiekową i reguły kanału pasujące do platformy, na której go uruchamiasz.
Narzędzia automatyzacji i workflow bez kodu
Narzędzia workflow oferujące węzeł w stylu OpenAI z konfigurowalnym bazowym adresem URL mogą używać tego API, zmieniając trzy pola: URL na https://api.glmapikey.com/v1, klucz i nazwę modelu na uncensored. Narzędzia, które mają tylko uniwersalny węzeł zapytania HTTP, mogą wysłać surowe zapytanie zamiast tego:
curl https://api.glmapikey.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Classify this ticket: printer offline"}], "response_format": {"type": "json_object"}}'
Dla kroków workflow, które karmią kolejny krok, tryb JSON jest wart użycia, dzięki czemu następny węzeł otrzymuje tekst do parsowania. Dodaj gałąź błędu dla każdego kroku, który wywołuje API, ponieważ odpowiedzi 429 i 5xx będą się zdarzać okresowo, a cicha awaria w środku workflow jest trudna do znalezienia później. Ustaw ponowną próbę z krótkim oczekiwaniem na tym węźle i upewnij się, że gałęzie równoległe nie przekraczają liczby równoległych zapytań, na które pozwala Twój klucz.
Co widzą Twoi użytkownicy, gdy coś się zepsuje
Każda integracja potrzebuje planu na ścieżkę niepowodzenia, a część widoczna dla użytkownika jest tak samo ważna jak kod ponawiania. Trzy sytuacje pojawiają się w praktyce.
Pierwsze to krótkie przeciążenie: 429 z Retry-After: 5. Ponów próbę cicho i pokaż wskaźnik pisania w tym czasie, aby użytkownik widział nieco wolniejszą odpowiedź zamiast błędu. Drugie to trafienie w limit własnej puli. Jeśli wszystkie osiem slotów jest zajętych, zakolejkuj wiadomość i powiedz użytkownikowi, że czeka, co jest lepsze niż pusty ekran. Trzecie to wyczerpanie kredytu, którego żadna ponowna próba nie naprawi. Śledź nagłówek salda, ustaw sobie alert przy progu i przygotuj wiadomość zastępczą na dzień, gdy wyczerpie się niezauważalnie.
Nie pokazuj surowych błędów API końcowym użytkownikom. Zaloguj je z ID żądania i pokaż zwykłe zdanie, które mówi, co się stało i co robić dalej. Nigdy nie dołączaj klucza, base URL ani stack traces w czymkolwiek, co użytkownik może przeczytać.
Pieniądze, monitoring i sprawdzenia przed uruchomieniem
Rozliczenie jest z góry opłacone. Doładowujesz dowolną kwotę całkowitą od $20 do $500, z +5% od $50, +10% od $100 i +15% od $200. Kredyt nie wygasa, i nie ma subskrypcji. Płać kryptowalutami (USDT na TRC20, USDC na Base). Nowi użytkownicy mogą zalogować się i odebrać $0,50 darmowego kredytu próbnego jednym kliknięciem na stronie klucz API, ważny przez 7 dni, więc możesz przetestować integrację przed jej sfinansowaniem. Stawki znajdziesz na stronie cennika.
Co monitorować w produkcji:
- Saldo. Odczytuj nagłówek
X-Balance-USDz odpowiedzi i alertuj, gdy spadnie poniżej wybranego progu. - Identyfikatory zapytań. Przechowuj
X-Request-Idobok każdego zadania, aby jedną awarię można było prześledzić. - Użycie tokenów. Sumuj
usagena użytkownika i na funkcję, aby zobaczyć, gdzie idą pieniądze. - Błędy 429. Rosnąca liczba oznacza, że pula jest większa niż limity klucza.
Krótka lista startowa: uruchom jedno prawdziwe zapytanie z hosta produkcyjnego, przetestuj wymuszone 429 w środowisku testowym, potwierdź, że użytkownik nie może dotrzeć do API bez Twojego uwierzytelniania i zapisz, co pokazuje Twoja usługa, gdy API jest nieosiągalne. Prompty nie są używane do trenowania modeli, co możesz przekazać własnym użytkownikom, ale w swojej polityce prywatności napisz, że ich tekst jest wysyłany do dostawcy zewnętrznego w celu generowania odpowiedzi.
