Önce entegrasyon desenini seçin
Çoğu GLM API entegrasyonu işi dört şekilden birine girer ve bu seçim diğer her şeyi etkiler: gizlerin nerede saklandığı, patlamaları nasıl yönettiğiniz ve bir hatanın kullanıcıya nasıl göründüğü.
| Desen | İyi olduğu yer | Ana risk |
|---|---|---|
| Arka uç proxy'si | Kendi kullanıcıları olan web ve mobil uygulamalar | Herkesin tüketebileceği açık uç nokta |
| Kuyruk işçisi | Botlar, toplu işler, toplu metin işleme | İstekler limitleri aştığında kuyruk birikmesi |
| Sohbet botu | Discord, Telegram veya Matrix karakterleri ve arkadaşları | Uzun geçmişlerin maliyeti şişirmesi |
| Otomasyon aracı | HTTP veya OpenAI düğümü sunan araçlardaki iş akışları | Bir adım hata verdiğinde sessiz hatalar |
Dört yöntem de altta aynı çağrıyı kullanır: POST /v1/chat/completions, https://api.glmapikey.com/v1 üzerinde bearer anahtarı ve uncensored modeli ile. API OpenAI ile uyumlu olduğundan, herhangi bir OpenAI SDK'sını veya yığınınızda SDK yoksa ham HTTP'yi kullanabilirsiniz. Bu, bağımsız bir sağlayıcı tarafından yönetilen tek bir açık ağırlıklı modeldir; resmi bir satıcının API'si veya bir yönlendirici değildir, bu nedenle tek bir modelin davranışına göre geliştirme yapın. Sadece metin: Ürününüz resimler veya gömme vektörleri de gerektiriyorsa, bu kısımlar için ikinci bir sağlayıcı planlayın.
dokümantasyon sayfası uç noktaları ve başlıkları listeler ve GLM anahtarı makalesi bir anahtar nasıl elde edileceğini açıklar.
Arka uç proxy'si: anahtarı istemciden uzak tutun
Tarayıcıda veya bir uygulama paketinde çalışan her şey incelenebilir. Anahtar oraya gönderilirse, herkes kopyalayabilir ve kredinizi harcayabilir. Çözüm, anahtarı tutan, kendi kurallarınızı uygulayan ve isteği ileten ince bir sunucu rotasıdır.
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI
from pydantic import BaseModel
app = FastAPI()
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
)
class Ask(BaseModel):
prompt: str
@app.post("/ask")
async def ask(body: Ask):
async def gen():
stream = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": body.prompt[:4000]}],
max_tokens=600,
stream=True,
)
async for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
yield chunk.choices[0].delta.content
return StreamingResponse(gen(), media_type="text/plain")
Rota, istemi kısaltır ve yanıtı sınırlar; bu minimumdur. Lansmandan önce gerçek kontroller ekleyin: kullanıcı kimlik doğrulama, kullanıcı başına günlük token bütçesi ve IP veya hesap başına istek hızı için limit. API her çağrıda kullanım döndürür, böylece veritabanınızda kullanıcı başına token sayabilir ve paylarını aşan istekleri reddedebilirsiniz.
Proxy üzerinden akış için bir kontrol gerekir: reverse proxy'nizin yanıtları arabelleğe almadığından emin olun, yoksa metin kelimeler yerine en sonda tek bir blok halinde gelecektir.
Kuyruk işçisi: eşzamanlılık limitine saygı gösterin
Limitler anahtar başına geçerlidir. Tam bir anahtar eşzamanlı 8 istek ve dakikada 300 istek yapmanıza izin verir. Bir deneme anahtarı ise 2 ve 60 yapmanıza izin verir. Sürekli bir iş akışı için eşzamanlılık genellikle ilk kısıtlayıcı olan olur, çünkü her istek tamamlanana kadar bir yuva işgal eder ve akışlı bir istek akış bitene kadar yuva işgal eder.
Sınırı karşılayacak şekilde ayarlanmış bir işçi havuzu temiz bir çözümdür. İşler, 429 hatası vermek yerine kuyruğunuzda bekler:
import asyncio
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
max_retries=0,
)
WORKERS = 8 # use 2 on a trial key
async def run_job(prompt: str) -> str:
for attempt in range(5):
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=500,
)
return r.choices[0].message.content
except RateLimitError as e:
delay = float(e.response.headers.get("retry-after", 2 * (attempt + 1)))
await asyncio.sleep(delay)
raise RuntimeError("gave up after repeated 429 responses")
async def worker(queue: asyncio.Queue, results: list):
while True:
prompt = await queue.get()
try:
results.append(await run_job(prompt))
finally:
queue.task_done()
async def main(prompts):
queue, results = asyncio.Queue(), []
for p in prompts:
queue.put_nowait(p)
tasks = [asyncio.create_task(worker(queue, results)) for _ in range(WORKERS)]
await queue.join()
for t in tasks:
t.cancel()
return results
429 yanıt gövdesindeki hata kodu, neden durdurulduğunuzu açıklar: dakika başına istekler için rate_limited, aynı anda çok fazla istek için concurrency ve kısa bir aşırı yüklenme için Retry-After: 5 içeren düz 429. Header'a uymak, bir gecikme tahmin etmeye göre daha basittir. Başarısız ve reddedilen istekler için ücret alınmaz, bu nedenle yeniden denemeler ücretsizdir.
Botlar ve karakterler
Bir sohbet botu, maliyet sürprizlerinin ortaya çıktığı yerdir, çünkü geçmişi tutan bir bot her mesajda geçmişi yeniden gönderir. Kaç mesajlık geçmişi saklayacağınıza erken karar verin ve API çağrıları arasında durum tutmadığı için geçmişi kendiniz saklayın.
Bir bütçe örneği konuyu netleştirir. Diyelim ki bir botun günde 20 mesaj gönderen 500 aktif kullanıcısı var. Her mesaj 1.500 girdi tokeni (kişiliği, kısa bir geçmiş ve yeni satır) içerir ve 250 token döndürür:
- Mesaj başına: 1.500 / 1.000.000 x $0,15 = $0,000225 girdi, artı 250 / 1.000.000 x $0,50 = $0,000125 çıktı, yani $0,00035
- Günlük: 500 x 20 = 10.000 mesaj, yani $3,50
- 30 günde: $105
Geçmişi, 12.000 token'lık bir bağlam penceresini doldurana kadar genişletirseniz, mesaj başına girdi sekiz katına çıkarak 12.000 token'a ulaşır veya yalnızca girdi için $0,0018 tutarına ulaşır ve aylık tutar buna göre artar. Daha düşük bir fiyata kişiliği tutarlı hale getirmek için, eski olayların kısa bir özetini içeren kayan bir pencere kullanın.
Arkadaşlık ve rol yapma botları için ürün kurallarını kendi katmanınızda tutun. Model, yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmıştır ve tek bir sert sınır, hizmetin reddettiği reşit olmayanlar ile ilgili cinsel içeriktir. Botunuz herkese açık bir sunucuda çalışıyorsa, çalıştırdığınız platforma uygun yaş doğrulaması ve kanal kuralları ekleyin.
Otomasyon araçları ve kod yazmayan iş akışları
Yapılandırılabilir bir base URL ile OpenAI tarzı bir düğüm sunan iş akışı araçları, üç alanı değiştirerek bu API'yi kullanabilir: URL'yi https://api.glmapikey.com/v1 olarak, anahtarı ve model adını uncensored olarak değiştirin. Sadece genel bir HTTP istek düğümüne sahip araçlar ham isteği gönderebilir:
curl https://api.glmapikey.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Classify this ticket: printer offline"}], "response_format": {"type": "json_object"}}'
Başka bir adıma veri besleyen iş akışı adımları için JSON modu kullanmaya değer, böylece sonraki düğüm ayrıştırılabilir metin alır. API'yi çağıran her adım için bir hata dalı ekleyin, çünkü 429 ve 5xx yanıtları ara sıra gerçekleşir ve bir iş akışının ortasındaki sessiz bir hata daha sonra bulunması zordur. O düğüme kısa bir bekleme ile bir yeniden deneme ayarlayın ve paralel dalların anahtarınızın izin verdiği eşzamanlı istek sayısını aşmadığından emin olun.
Bir şeyler başarısız olduğunda kullanıcılarınızın gördüğü şey
Her entegrasyon kötü yol için bir plana ihtiyaç duyar ve kullanıcıya yönelik kısım yeniden deneme kodu kadar önemlidir. Pratikte üç durum ortaya çıkar.
İlki kısa bir aşırı yüklenmedir: Retry-After: 5 içeren bir 429. Sessizce yeniden deneyin ve bu sırada bir yazma göstergesi gösterin, böylece kullanıcı bir hata yerine biraz daha yavaş bir yanıt görür. İkincisi kendi havuz limitinize ulaşmaktır. Sekiz yuvanın tamamı meşgulse, mesajı kuyruğa alın ve kullanıcıya beklediğini söyleyin; bu, boş bir ekrandan daha iyidir. Üçüncüsü kredinin bitmesidir, bu bir yeniden deneme ile düzelmez. Bakiye başlığını izleyin, bir eşikte kendinize uyarı verin ve fark edilmeden bittiği gün için hazır bir yanıt mesajı tutun.
Ham API hatalarını son kullanıcılara göstermeyin. İstek kimliğiyle günlüğe kaydedin ve ne olduğunu ve sonraki adımı söyleyen düz bir cümle gösterin. Anahtarı, temel URL'yi veya yığın izlerini kullanıcıların okuyabileceği hiçbir şeye dahil etmeyin.
Para, izleme ve lansman kontrolleri
Faturalandırma ön ödemelidir. $20 ile $500 arasında herhangi bir tam tutarı bakiye yükleyebilirsiniz; $50'den itibaren +%5, $100'den itibaren +%10 ve $200'den itibaren +%15 eklenir. Kredi süresi dolmaz ve abonelik yoktur. Kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile ödeme yapın. Yeni kullanıcılar API anahtarı sayfası üzerinde tek tıkla 7 gün geçerli olmak üzere $0,50 deneme kredisi talep edebilir, böylece fon eklemeden önce bir entegrasyonu test edebilirsiniz. Oranlar için fiyatlandırma sayfasına bakın.
Üretimde izlenmesi gerekenler:
- Bakiye. Yanıtlardan
X-Balance-USDbaşlığını okuyun ve seçtiğiniz bir eşiğin altına düştüğünde uyarı verin. - İstek kimlikleri. Bir hatanın izlenebilmesi için
X-Request-Id'i her işin yanına kaydedin. - Token kullanımı. Kullanıcı başına ve özellik başına
usagedeğerini toplayarak paranın nereye gittiğini görün. - 429 hız limiti. Artan bir sayı, havuzunuzun anahtarın limitlerinden daha büyük olduğunu gösterir.
Kısa bir başlangıç listesi: üretim sunucusundan gerçek bir istek gönderin, staging ortamında zorla 429 hatası oluşturun, kullanıcının kimlik doğrulamanız olmadan API'ye erişemediğini doğrulayın ve API'ye ulaşılamadığında hizmetinizin ne gösterdiğini not edin. İstemler eğitim için kullanılmaz; bunu kendi kullanıcılarınıza iletebilirsiniz, ancak gizlilik politikasında metinlerinin yanıt üretmek için üçüncü taraf bir sağlayıcıya gönderildiğini belirtin.
