Pilih pola integrasi terlebih dahulu
Sebagian besar integrasi GLM API masuk ke salah satu dari empat bentuk, dan pilihan memengaruhi segalanya: di mana rahasia disimpan, bagaimana Anda menangani lonjakan, dan bagaimana kegagalan terlihat oleh pengguna.
| Pola | Cocok untuk | Risiko utama |
|---|---|---|
| Proxy backend | Aplikasi web dan seluler dengan pengguna sendiri | Endpoint terbuka yang dapat dikuras siapa saja |
| Pekerja antrian | Bot, pekerjaan batch, pemrosesan teks massal | Antrian menumpuk saat permintaan melebihi batas |
| Bot obrolan | Karakter dan teman di Discord, Telegram, atau Matrix | Riwayat panjang yang membengkakkan biaya |
| Alat otomatisasi | Alur kerja di alat yang menawarkan node HTTP atau OpenAI | Kegagalan diam saat langkah mengalami kesalahan |
Keempatnya menggunakan panggilan yang sama di bawahnya: POST /v1/chat/completions pada https://api.glmapikey.com/v1 dengan kunci bearer dan model uncensored. API kompatibel dengan OpenAI, sehingga Anda dapat menggunakan SDK OpenAI apa pun, atau HTTP mentah jika tumpukan Anda tidak memiliki SDK. Ini adalah satu model bobot terbuka yang dijalankan oleh penyedia independen, bukan API resmi dari vendor mana pun dan bukan router, jadi buatlah untuk perilaku satu model. Hanya teks: jika produk Anda juga memerlukan gambar atau embedding, rencanakan penyedia kedua untuk bagian tersebut.
Halaman dokumentasi mencantumkan endpoint dan header, dan artikel kunci GLM menjelaskan cara mendapatkan kunci.
Proxy backend: simpan kunci di luar klien
Apa pun yang berjalan di browser atau bundel aplikasi dapat diperiksa. Jika kunci dikirim ke sana, siapa saja dapat menyalinnya dan menghabiskan saldo Anda. Solusinya adalah rute server tipis yang memegang kunci, menerapkan aturan Anda sendiri, dan meneruskan permintaan.
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI
from pydantic import BaseModel
app = FastAPI()
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
)
class Ask(BaseModel):
prompt: str
@app.post("/ask")
async def ask(body: Ask):
async def gen():
stream = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": body.prompt[:4000]}],
max_tokens=600,
stream=True,
)
async for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
yield chunk.choices[0].delta.content
return StreamingResponse(gen(), media_type="text/plain")
Rute memangkas prompt dan membatasi balasan, yang merupakan minimum. Tambahkan kontrol nyata sebelum peluncuran: autentikasi pengguna, anggaran token harian per pengguna, dan batas laju permintaan per IP atau akun. API mengembalikan penggunaan pada setiap panggilan, sehingga Anda dapat menghitung token per pengguna di basis data Anda dan menolak permintaan yang melebihi bagian mereka.
Streaming melalui proxy memerlukan satu pemeriksaan: konfirmasi bahwa proxy terbalik Anda tidak melakukan buffering respons, atau teks akan tiba dalam satu blok di akhir alih-alih kata demi kata.
Pekerja antrian: hormati batas konkurensi
Batas per kunci. Kunci penuh mengizinkan 8 permintaan paralel dan 300 permintaan per menit. Kunci uji coba mengizinkan 2 dan 60. Untuk aliran pekerjaan yang stabil, konkurensi biasanya yang membatasi pertama, karena setiap permintaan menempati slot hingga selesai, dan permintaan streaming hingga streaming selesai.
Kumpulan pekerja yang ukurannya sesuai dengan batas adalah jawaban yang bersih. Pekerjaan menunggu di antrian Anda daripada gagal dengan 429:
import asyncio
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
max_retries=0,
)
WORKERS = 8 # use 2 on a trial key
async def run_job(prompt: str) -> str:
for attempt in range(5):
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=500,
)
return r.choices[0].message.content
except RateLimitError as e:
delay = float(e.response.headers.get("retry-after", 2 * (attempt + 1)))
await asyncio.sleep(delay)
raise RuntimeError("gave up after repeated 429 responses")
async def worker(queue: asyncio.Queue, results: list):
while True:
prompt = await queue.get()
try:
results.append(await run_job(prompt))
finally:
queue.task_done()
async def main(prompts):
queue, results = asyncio.Queue(), []
for p in prompts:
queue.put_nowait(p)
tasks = [asyncio.create_task(worker(queue, results)) for _ in range(WORKERS)]
await queue.join()
for t in tasks:
t.cancel()
return results
Kode kesalahan di badan 429 memberi tahu Anda mengapa Anda dihentikan: rate_limited untuk permintaan per menit, concurrency untuk terlalu banyak sekaligus, dan 429 biasa dengan Retry-After: 5 untuk kelebihan beban singkat. Menghormati header lebih sederhana daripada menebak penundaan. Permintaan yang gagal dan ditolak tidak dibebani biaya, sehingga percobaan ulang tidak memakan biaya.
Bot dan karakter
Bot obrolan adalah tempat biasa kejutan biaya muncul, karena bot yang menyimpan riwayat mengirimkannya kembali pada setiap pesan. Putuskan sejak awal berapa banyak riwayat pesan yang akan disimpan, dan simpan riwayat tersebut sendiri, karena API tidak menyimpan status antar panggilan.
Contoh anggaran memperjelas hal ini. Misalkan bot memiliki 500 pengguna aktif yang masing-masing mengirim 20 pesan sehari. Setiap pesan membawa 1.500 token input (persona, riwayat singkat dan baris baru) dan mengembalikan 250 token:
- Per pesan: 1.500 / 1.000.000 x $0,15 = $0,000225 masuk, ditambah 250 / 1.000.000 x $0,50 = $0,000125 keluar, jadi $0,00035
- Per hari: 500 x 20 = 10.000 pesan, jadi $3,50
- Per 30 hari: $105
Jika Anda membiarkan riwayat tumbuh hingga mengisi konteks 12.000 token, input per pesan meningkat delapan kali lipat menjadi 12.000 token, atau $0,0018 hanya untuk input, dan angka bulanan meningkat sesuai. Jendela bergulir plus ringkasan singkat peristiwa lama menjaga konsistensi persona dengan harga lebih rendah.
Untuk bot teman dan roleplay, simpan aturan produk di lapisan Anda sendiri. Model ini disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, dan satu batas kerasnya adalah konten seksual yang melibatkan anak di bawah umur, yang ditolak oleh layanan. Jika bot Anda berada di server publik, tambahkan verifikasi usia dan aturan saluran yang sesuai dengan platform tempat Anda menjalankannya.
Alat otomatisasi dan alur kerja tanpa kode
Alat alur kerja yang menawarkan node gaya OpenAI dengan base URL yang dapat dikonfigurasi dapat menggunakan API ini dengan mengubah tiga bidang: URL menjadi https://api.glmapikey.com/v1, kunci, dan nama model menjadi uncensored. Alat yang hanya memiliki node permintaan HTTP umum dapat mengirim permintaan mentah sebagai gantinya:
curl https://api.glmapikey.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Classify this ticket: printer offline"}], "response_format": {"type": "json_object"}}'
Untuk langkah alur kerja yang memberi makan langkah lain, mode JSON layak digunakan, sehingga node berikutnya menerima teks yang dapat diuraikan. Tambahkan cabang kesalahan untuk langkah apa pun yang memanggil API, karena respons 429 dan 5xx akan terjadi secara berkala dan kegagalan diam di tengah alur kerja sulit ditemukan nanti. Atur percobaan ulang dengan jeda singkat pada node itu, dan pastikan cabang paralel tidak melebihi jumlah permintaan paralel yang diizinkan oleh kunci Anda.
Apa yang dilihat pengguna saat terjadi kegagalan
Setiap integrasi memerlukan rencana untuk jalur tidak bahagia, dan bagian yang dilihat pengguna sama pentingnya dengan kode percobaan ulang. Tiga situasi muncul dalam praktik.
Yang pertama adalah kelebihan beban singkat: 429 dengan Retry-After: 5. Coba ulang dengan tenang, dan tampilkan indikator pengetikan di antaranya, sehingga pengguna melihat balasan yang sedikit lebih lambat, bukan kesalahan. Yang kedua adalah mencapai batas kumpulan Anda sendiri. Jika semua delapan slot sibuk, antrikan pesan dan beri tahu pengguna bahwa itu sedang menunggu, yang lebih baik daripada layar kosong. Yang ketiga adalah kehabisan saldo, yang tidak dapat diperbaiki dengan percobaan ulang. Pantau header saldo, beri tahu diri Anda pada ambang batas, dan siapkan pesan cadangan untuk hari ketika kehabisan tanpa disadari.
Jangan tampilkan kesalahan API mentah kepada pengguna akhir. Catat dengan ID permintaan, dan tampilkan kalimat sederhana yang menjelaskan apa yang terjadi dan apa yang harus dilakukan selanjutnya. Jangan sertakan kunci, base URL, atau stack trace dalam apa pun yang dapat dibaca pengguna.
Uang, pemantauan, dan pemeriksaan peluncuran
Penagihan prabayar. Anda mengisi saldo dengan jumlah bulat apa pun dari $20 hingga $500, dengan +5% dari $50, +10% dari $100 dan +15% dari $200. Saldo tidak kedaluwarsa, dan tidak ada langganan. Bayar dengan kripto (USDT pada TRC20, USDC pada Base). Pengguna baru dapat mengklaim $0,50 kredit uji coba dengan satu klik di halaman kunci API, berlaku selama 7 hari, sehingga Anda dapat menguji integrasi sebelum membiayainya. Lihat halaman harga untuk tarifnya.
Yang harus dipantau dalam produksi:
- Saldo. Baca
X-Balance-USDdari respons dan beri tahu saat turun di bawah ambang batas yang Anda pilih. - ID Permintaan. Simpan
X-Request-Iddi sebelah setiap pekerjaan sehingga satu kegagalan dapat dilacak. - Penggunaan token. Jumlahkan
usageper pengguna dan per fitur untuk melihat ke mana uang pergi. - Laju 429. Jumlah yang meningkat berarti kumpulan Anda lebih besar dari batas kunci.
Daftar peluncuran singkat: jalankan satu permintaan nyata dari host produksi, uji 429 paksa di lingkungan staging, konfirmasi bahwa pengguna tidak dapat mencapai API tanpa autentikasi Anda, dan catat apa yang ditampilkan layanan Anda ketika API tidak dapat dijangkau. Prompt tidak digunakan untuk pelatihan, yang dapat Anda sampaikan kepada pengguna Anda sendiri, tetapi katakan dalam kebijakan privasi Anda sendiri bahwa teks mereka dikirim ke penyedia pihak ketiga untuk menghasilkan balasan.
