ID ▾
Dapatkan kunci API

Panduan Integrasi API GLM untuk Bot dan Backend

Integrasi API GLM berfokus pada tempat kunci berada, berapa banyak permintaan yang Anda izinkan berjalan sekaligus, dan apa yang terjadi saat API meminta menunggu. Panduan ini membahas keputusan tersebut untuk backend, bot, dan alat alur kerja, dengan kode yang dapat Anda adaptasi.

Diperbarui

Kubus gerbang menerima item dari blok aplikasi, obrolan, dan otomatisasi, mewakili integrasi API

Poin utama

  • Simpan kunci di server yang Anda kendalikan dan biarkan aplikasi memanggil backend Anda, jangan langsung ke API dari browser.
  • Batasi permintaan yang sedang berjalan sesuai batas kunci: 8 untuk kunci penuh, 2 untuk kunci uji coba.
  • Rencanakan anggaran dari token: pada $0,15 dan $0,50 per 1 juta, pesan bot biasa menghabiskan sepersekian sen.
  • Alat apa pun dengan opsi kompatibel OpenAI dan bidang base URL kustom dapat menggunakan https://api.glmapikey.com/v1.

Pilih pola integrasi terlebih dahulu

Sebagian besar integrasi GLM API masuk ke salah satu dari empat bentuk, dan pilihan memengaruhi segalanya: di mana rahasia disimpan, bagaimana Anda menangani lonjakan, dan bagaimana kegagalan terlihat oleh pengguna.

PolaCocok untukRisiko utama
Proxy backendAplikasi web dan seluler dengan pengguna sendiriEndpoint terbuka yang dapat dikuras siapa saja
Pekerja antrianBot, pekerjaan batch, pemrosesan teks massalAntrian menumpuk saat permintaan melebihi batas
Bot obrolanKarakter dan teman di Discord, Telegram, atau MatrixRiwayat panjang yang membengkakkan biaya
Alat otomatisasiAlur kerja di alat yang menawarkan node HTTP atau OpenAIKegagalan diam saat langkah mengalami kesalahan

Keempatnya menggunakan panggilan yang sama di bawahnya: POST /v1/chat/completions pada https://api.glmapikey.com/v1 dengan kunci bearer dan model uncensored. API kompatibel dengan OpenAI, sehingga Anda dapat menggunakan SDK OpenAI apa pun, atau HTTP mentah jika tumpukan Anda tidak memiliki SDK. Ini adalah satu model bobot terbuka yang dijalankan oleh penyedia independen, bukan API resmi dari vendor mana pun dan bukan router, jadi buatlah untuk perilaku satu model. Hanya teks: jika produk Anda juga memerlukan gambar atau embedding, rencanakan penyedia kedua untuk bagian tersebut.

Halaman dokumentasi mencantumkan endpoint dan header, dan artikel kunci GLM menjelaskan cara mendapatkan kunci.

Proxy backend: simpan kunci di luar klien

Apa pun yang berjalan di browser atau bundel aplikasi dapat diperiksa. Jika kunci dikirim ke sana, siapa saja dapat menyalinnya dan menghabiskan saldo Anda. Solusinya adalah rute server tipis yang memegang kunci, menerapkan aturan Anda sendiri, dan meneruskan permintaan.

from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI
from pydantic import BaseModel

app = FastAPI()
client = AsyncOpenAI(
    base_url="https://api.glmapikey.com/v1",
    api_key="YOUR_KEY",
)

class Ask(BaseModel):
    prompt: str

@app.post("/ask")
async def ask(body: Ask):
    async def gen():
        stream = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": body.prompt[:4000]}],
            max_tokens=600,
            stream=True,
        )
        async for chunk in stream:
            if chunk.choices and chunk.choices[0].delta.content:
                yield chunk.choices[0].delta.content
    return StreamingResponse(gen(), media_type="text/plain")

Rute memangkas prompt dan membatasi balasan, yang merupakan minimum. Tambahkan kontrol nyata sebelum peluncuran: autentikasi pengguna, anggaran token harian per pengguna, dan batas laju permintaan per IP atau akun. API mengembalikan penggunaan pada setiap panggilan, sehingga Anda dapat menghitung token per pengguna di basis data Anda dan menolak permintaan yang melebihi bagian mereka.

Streaming melalui proxy memerlukan satu pemeriksaan: konfirmasi bahwa proxy terbalik Anda tidak melakukan buffering respons, atau teks akan tiba dalam satu blok di akhir alih-alih kata demi kata.

Pekerja antrian: hormati batas konkurensi

Batas per kunci. Kunci penuh mengizinkan 8 permintaan paralel dan 300 permintaan per menit. Kunci uji coba mengizinkan 2 dan 60. Untuk aliran pekerjaan yang stabil, konkurensi biasanya yang membatasi pertama, karena setiap permintaan menempati slot hingga selesai, dan permintaan streaming hingga streaming selesai.

Kumpulan pekerja yang ukurannya sesuai dengan batas adalah jawaban yang bersih. Pekerjaan menunggu di antrian Anda daripada gagal dengan 429:

import asyncio
from openai import AsyncOpenAI, RateLimitError

client = AsyncOpenAI(
    base_url="https://api.glmapikey.com/v1",
    api_key="YOUR_KEY",
    max_retries=0,
)
WORKERS = 8  # use 2 on a trial key

async def run_job(prompt: str) -> str:
    for attempt in range(5):
        try:
            r = await client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
                max_tokens=500,
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            delay = float(e.response.headers.get("retry-after", 2 * (attempt + 1)))
            await asyncio.sleep(delay)
    raise RuntimeError("gave up after repeated 429 responses")

async def worker(queue: asyncio.Queue, results: list):
    while True:
        prompt = await queue.get()
        try:
            results.append(await run_job(prompt))
        finally:
            queue.task_done()

async def main(prompts):
    queue, results = asyncio.Queue(), []
    for p in prompts:
        queue.put_nowait(p)
    tasks = [asyncio.create_task(worker(queue, results)) for _ in range(WORKERS)]
    await queue.join()
    for t in tasks:
        t.cancel()
    return results

Kode kesalahan di badan 429 memberi tahu Anda mengapa Anda dihentikan: rate_limited untuk permintaan per menit, concurrency untuk terlalu banyak sekaligus, dan 429 biasa dengan Retry-After: 5 untuk kelebihan beban singkat. Menghormati header lebih sederhana daripada menebak penundaan. Permintaan yang gagal dan ditolak tidak dibebani biaya, sehingga percobaan ulang tidak memakan biaya.

Bot dan karakter

Bot obrolan adalah tempat biasa kejutan biaya muncul, karena bot yang menyimpan riwayat mengirimkannya kembali pada setiap pesan. Putuskan sejak awal berapa banyak riwayat pesan yang akan disimpan, dan simpan riwayat tersebut sendiri, karena API tidak menyimpan status antar panggilan.

Contoh anggaran memperjelas hal ini. Misalkan bot memiliki 500 pengguna aktif yang masing-masing mengirim 20 pesan sehari. Setiap pesan membawa 1.500 token input (persona, riwayat singkat dan baris baru) dan mengembalikan 250 token:

  • Per pesan: 1.500 / 1.000.000 x $0,15 = $0,000225 masuk, ditambah 250 / 1.000.000 x $0,50 = $0,000125 keluar, jadi $0,00035
  • Per hari: 500 x 20 = 10.000 pesan, jadi $3,50
  • Per 30 hari: $105

Jika Anda membiarkan riwayat tumbuh hingga mengisi konteks 12.000 token, input per pesan meningkat delapan kali lipat menjadi 12.000 token, atau $0,0018 hanya untuk input, dan angka bulanan meningkat sesuai. Jendela bergulir plus ringkasan singkat peristiwa lama menjaga konsistensi persona dengan harga lebih rendah.

Untuk bot teman dan roleplay, simpan aturan produk di lapisan Anda sendiri. Model ini disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, dan satu batas kerasnya adalah konten seksual yang melibatkan anak di bawah umur, yang ditolak oleh layanan. Jika bot Anda berada di server publik, tambahkan verifikasi usia dan aturan saluran yang sesuai dengan platform tempat Anda menjalankannya.

Alat otomatisasi dan alur kerja tanpa kode

Alat alur kerja yang menawarkan node gaya OpenAI dengan base URL yang dapat dikonfigurasi dapat menggunakan API ini dengan mengubah tiga bidang: URL menjadi https://api.glmapikey.com/v1, kunci, dan nama model menjadi uncensored. Alat yang hanya memiliki node permintaan HTTP umum dapat mengirim permintaan mentah sebagai gantinya:

curl https://api.glmapikey.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Classify this ticket: printer offline"}], "response_format": {"type": "json_object"}}'

Untuk langkah alur kerja yang memberi makan langkah lain, mode JSON layak digunakan, sehingga node berikutnya menerima teks yang dapat diuraikan. Tambahkan cabang kesalahan untuk langkah apa pun yang memanggil API, karena respons 429 dan 5xx akan terjadi secara berkala dan kegagalan diam di tengah alur kerja sulit ditemukan nanti. Atur percobaan ulang dengan jeda singkat pada node itu, dan pastikan cabang paralel tidak melebihi jumlah permintaan paralel yang diizinkan oleh kunci Anda.

Apa yang dilihat pengguna saat terjadi kegagalan

Setiap integrasi memerlukan rencana untuk jalur tidak bahagia, dan bagian yang dilihat pengguna sama pentingnya dengan kode percobaan ulang. Tiga situasi muncul dalam praktik.

Yang pertama adalah kelebihan beban singkat: 429 dengan Retry-After: 5. Coba ulang dengan tenang, dan tampilkan indikator pengetikan di antaranya, sehingga pengguna melihat balasan yang sedikit lebih lambat, bukan kesalahan. Yang kedua adalah mencapai batas kumpulan Anda sendiri. Jika semua delapan slot sibuk, antrikan pesan dan beri tahu pengguna bahwa itu sedang menunggu, yang lebih baik daripada layar kosong. Yang ketiga adalah kehabisan saldo, yang tidak dapat diperbaiki dengan percobaan ulang. Pantau header saldo, beri tahu diri Anda pada ambang batas, dan siapkan pesan cadangan untuk hari ketika kehabisan tanpa disadari.

Jangan tampilkan kesalahan API mentah kepada pengguna akhir. Catat dengan ID permintaan, dan tampilkan kalimat sederhana yang menjelaskan apa yang terjadi dan apa yang harus dilakukan selanjutnya. Jangan sertakan kunci, base URL, atau stack trace dalam apa pun yang dapat dibaca pengguna.

Uang, pemantauan, dan pemeriksaan peluncuran

Penagihan prabayar. Anda mengisi saldo dengan jumlah bulat apa pun dari $20 hingga $500, dengan +5% dari $50, +10% dari $100 dan +15% dari $200. Saldo tidak kedaluwarsa, dan tidak ada langganan. Bayar dengan kripto (USDT pada TRC20, USDC pada Base). Pengguna baru dapat mengklaim $0,50 kredit uji coba dengan satu klik di halaman kunci API, berlaku selama 7 hari, sehingga Anda dapat menguji integrasi sebelum membiayainya. Lihat halaman harga untuk tarifnya.

Yang harus dipantau dalam produksi:

  • Saldo. Baca X-Balance-USD dari respons dan beri tahu saat turun di bawah ambang batas yang Anda pilih.
  • ID Permintaan. Simpan X-Request-Id di sebelah setiap pekerjaan sehingga satu kegagalan dapat dilacak.
  • Penggunaan token. Jumlahkan usage per pengguna dan per fitur untuk melihat ke mana uang pergi.
  • Laju 429. Jumlah yang meningkat berarti kumpulan Anda lebih besar dari batas kunci.

Daftar peluncuran singkat: jalankan satu permintaan nyata dari host produksi, uji 429 paksa di lingkungan staging, konfirmasi bahwa pengguna tidak dapat mencapai API tanpa autentikasi Anda, dan catat apa yang ditampilkan layanan Anda ketika API tidak dapat dijangkau. Prompt tidak digunakan untuk pelatihan, yang dapat Anda sampaikan kepada pengguna Anda sendiri, tetapi katakan dalam kebijakan privasi Anda sendiri bahwa teks mereka dikirim ke penyedia pihak ketiga untuk menghasilkan balasan.

Tanya jawab

Haruskah saya memanggil API dari browser?

Tidak. Simpan kunci di server Anda dan biarkan browser memanggil backend Anda, karena kunci dalam kode klien dapat disalin dan saldonya dihabiskan oleh siapa saja.

Berapa banyak permintaan yang dapat berjalan sekaligus?

Kunci penuh mengizinkan 8 permintaan paralel dan 300 per menit. Kunci uji coba mengizinkan 2 permintaan paralel dan 60 per menit.

Apa yang harus dilakukan kode saya saat 429?

Baca kode kesalahan, lalu tunggu. Gunakan nilai Retry-After ketika ada, yang merupakan 5 detik pada kelebihan beban sementara, dan coba ulang. Permintaan yang gagal tidak dibebani biaya.

Apakah keadaan disimpan di antara panggilan?

Tidak. Anda mengirim seluruh percakapan setiap kali, hingga 100.000 token untuk prompt dan reply secara bersama, dan Anda membayar token input pada setiap panggilan.

Bisakah saya menggunakannya dari alat tanpa kode?

Ya, jika alat memungkinkan Anda mengatur URL dasar pada node OpenAI atau mengirim permintaan HTTP kustom ke https://api.glmapikey.com/v1/chat/completions dengan kunci bearer.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API