TH ▾
รับคีย์ API

คู่มือการผสานรวม GLM API สำหรับบอทและแบ็กเอนด์

การผสานรวม GLM API ขึ้นอยู่กับว่าคีย์อยู่ที่ไหน จำนวนคำขอที่คุณอนุญาตให้ทำงานพร้อมกัน และเกิดอะไรขึ้นเมื่อ API บอกให้รอ คู่มือนี้ครอบคลุมการตัดสินใจเหล่านั้นสำหรับแบ็กเอนด์ บอท และเครื่องมือเวิร์กโฟลว์ พร้อมโค้ดที่คุณสามารถปรับใช้ได้

อัปเดต

ลูกบาศก์เกทเวย์รับรายการจากแอป บล็อกแชทและอัตโนมัติ ซึ่งแสดงถึงการผสานรวม API

ประเด็นสำคัญ

  • เก็บคีย์ไว้ที่เซิร์ฟเวอร์ที่คุณควบคุมและให้แอปเรียกแบ็กเอนด์ของคุณ อย่าเรียก API โดยตรงจากเบราว์เซอร์
  • จำกัดคำขอที่กำลังดำเนินการไว้ที่ขีดจำกัดของคีย์: 8 สำหรับคีย์แบบเต็ม 2 สำหรับคีย์ทดลอง
  • วางแผนงบประมาณจากโทเคน: ที่ $0.15 และ $0.50 ต่อ 1M ข้อความบอททั่วไปมีค่าใช้จ่ายเพียงเศษเสี้ยวของเซ็นต์
  • เครื่องมือใดๆ ที่มีตัวเลือกที่เข้ากันได้กับ OpenAI และช่องกรอก base URL แบบกำหนดเองสามารถใช้ https://api.glmapikey.com/v1 ได้

เลือกรูปแบบการเชื่อมต่อเป็นอันดับแรก

งานการเชื่อมต่อ GLM API ส่วนใหญ่มีลักษณะอย่างใดอย่างหนึ่งในสี่รูปแบบ และการเลือกส่งผลต่อทุกสิ่ง: ที่เก็บคีย์ลับ วิธีการจัดการกับปริมาณงานที่พุ่งสูง และลักษณะของความล้มเหลวที่ผู้ใช้เห็น

รูปแบบเหมาะสำหรับความเสี่ยงหลัก
Backend proxyเว็บแอปและแอปมือถือที่มีผู้ใช้เป็นของตัวเองเอนด์พอยต์แบบเปิดที่ใครก็สามารถใช้เครดิตจนหมดได้
Queue workerบอต งานแบทช์ และการประมวลผลข้อความจำนวนมากคิวสะสมเมื่อคำขอเกินขีดจำกัด
แชทบอทตัวละครและเพื่อนร่วมสนทนาใน Discord, Telegram หรือ Matrixประวัติการสนทนาที่ยาวนานทำให้ต้นทุนพุ่งสูง
เครื่องมืออัตโนมัติเวิร์กโฟลว์ในเครื่องมือที่มีโหนด HTTP หรือ OpenAIความล้มเหลวแบบเงียบเมื่อขั้นตอนเกิดข้อผิดพลาด

ทั้งสี่รูปแบบใช้การเรียกแบบเดียวกันเบื้องหลัง: POST /v1/chat/completions บน https://api.glmapikey.com/v1 พร้อมคีย์แบบ Bearer และโมเดล uncensored API เข้ากันได้กับ OpenAI ดังนั้นคุณสามารถใช้ SDK ของ OpenAI ใดๆ หรือ HTTP ดิบก็ได้หากสแต็กของคุณไม่มี SDK นี่คือโมเดลแบบเปิดน้ำหนักที่ดำเนินการโดยผู้ให้บริการอิสระ ไม่ใช่ API ทางการของผู้จัดจำหน่ายรายใดรายหนึ่ง และไม่ใช่เราเตอร์ ดังนั้นจงออกแบบสำหรับพฤติกรรมของโมเดลเพียงตัวเดียว รองรับเฉพาะข้อความ: หากผลิตภัณฑ์ของคุณต้องการรูปภาพหรือ embedding ด้วย ให้วางแผนผู้ให้บริการที่สองสำหรับส่วนเหล่านั้น

หน้า docs แสดงรายการเอนด์พอยต์และเฮดเดอร์ และ บทความเกี่ยวกับคีย์ GLM อธิบายวิธีการรับคีย์

Backend proxy: เก็บคีย์ให้พ้นจากไคลเอนต์

โค้ดใดๆ ที่ทำงานในเบราว์เซอร์หรือแอปแพ็กเกจสามารถถูกตรวจสอบได้ หากคีย์ถูกส่งไปยังที่นั่น ใครก็สามารถคัดลอกไปใช้และใช้เครดิตของคุณได้ วิธีแก้ไขคือการสร้างเส้นทางเซิร์ฟเวอร์บางๆ ที่เก็บคีย์ ใช้กฎของคุณเอง และส่งต่อคำขอ

from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI
from pydantic import BaseModel

app = FastAPI()
client = AsyncOpenAI(
    base_url="https://api.glmapikey.com/v1",
    api_key="YOUR_KEY",
)

class Ask(BaseModel):
    prompt: str

@app.post("/ask")
async def ask(body: Ask):
    async def gen():
        stream = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": body.prompt[:4000]}],
            max_tokens=600,
            stream=True,
        )
        async for chunk in stream:
            if chunk.choices and chunk.choices[0].delta.content:
                yield chunk.choices[0].delta.content
    return StreamingResponse(gen(), media_type="text/plain")

เส้นทางนี้จะตัดคำพรอมต์และจำกัดการตอบ ซึ่งเป็นขั้นต่ำสุด เพิ่มการควบคุมที่แท้จริงก่อนเปิดตัว: การตรวจสอบสิทธิ์ผู้ใช้ งบประมาณโทเคนรายวันต่อผู้ใช้ และขีดจำกัดอัตราคำขอต่อ IP หรือบัญชี API จะส่งข้อมูลการใช้งานในการเรียกทุกครั้ง ดังนั้นคุณจึงสามารถนับโทเคนต่อผู้ใช้ในฐานข้อมูลของคุณและปฏิเสธคำขอที่เกินส่วนแบ่งของพวกเขาได้

การสตรีมผ่านพร็อกซีต้องตรวจสอบหนึ่งอย่าง: ยืนยันว่าพร็อกซีย้อนกลับของคุณไม่บัฟเฟอร์การตอบกลับ มิฉะนั้นข้อความจะมาถึงในบล็อกเดียวที่ท้ายสุดแทนที่จะเป็นคำต่อคำ

Queue worker: เคารพขีดจำกัดการทำงานพร้อมกัน

ขีดจำกัดเป็นต่อคีย์ คีย์แบบเต็มอนุญาตให้ส่ง 8 คำขอพร้อมกันและ 300 คำขอต่อนาที คีย์ทดลองอนุญาต 2 และ 60 สำหรับสตรีมงานที่สม่ำเสมอ การทำงานพร้อมกันมักจะเป็นสิ่งที่จำกัดก่อน เพราะแต่ละคำขอจะครอบครองสล็อตจนกว่าจะเสร็จสิ้น และคำขอแบบสตรีมจะครอบครองจนกว่าการสตรีมจะสิ้นสุด

การกำหนดขนาด worker pool ให้เท่ากับขีดจำกัดคือวิธีที่สะอาดที่สุด งานจะรอในคิวของคุณแทนที่จะล้มเหลวด้วย 429:

import asyncio
from openai import AsyncOpenAI, RateLimitError

client = AsyncOpenAI(
    base_url="https://api.glmapikey.com/v1",
    api_key="YOUR_KEY",
    max_retries=0,
)
WORKERS = 8  # use 2 on a trial key

async def run_job(prompt: str) -> str:
    for attempt in range(5):
        try:
            r = await client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
                max_tokens=500,
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            delay = float(e.response.headers.get("retry-after", 2 * (attempt + 1)))
            await asyncio.sleep(delay)
    raise RuntimeError("gave up after repeated 429 responses")

async def worker(queue: asyncio.Queue, results: list):
    while True:
        prompt = await queue.get()
        try:
            results.append(await run_job(prompt))
        finally:
            queue.task_done()

async def main(prompts):
    queue, results = asyncio.Queue(), []
    for p in prompts:
        queue.put_nowait(p)
    tasks = [asyncio.create_task(worker(queue, results)) for _ in range(WORKERS)]
    await queue.join()
    for t in tasks:
        t.cancel()
    return results

รหัสข้อผิดพลาดใน body ของ 429 บอกสาเหตุที่คุณถูกหยุด: rate_limited สำหรับคำขอต่อนาที, concurrency สำหรับจำนวนที่มากเกินไปในครั้งเดียว และ 429 ธรรมดาพร้อม Retry-After: 5 สำหรับภาวะ overload สั้นๆ การปฏิบัติตาม header นั้นง่ายกว่าการเดาค่าหน่วงเวลา คำขอที่ล้มเหลวและถูกปฏิเสธจะไม่มีการเรียกเก็บเงิน ดังนั้นการลองใหม่จึงไม่มีค่าใช้จ่าย

บอทและตัวละคร

บอทแชทเป็นสถานที่ทั่วไปที่ค่าใช้จ่ายที่ไม่คาดคิดปรากฏขึ้น เนื่องจากบอทที่เก็บประวัติจะส่งประวัติใหม่ในทุกข้อความ ตัดสินใจตั้งแต่เนิ่นๆ ว่าต้องการเก็บประวัติข้อความไว้กี่ข้อความ และเก็บประวัติด้วยตนเอง เนื่องจาก API ไม่เก็บสถานะระหว่างการเรียกใช้

ตัวอย่างงบประมาณช่วยชี้ให้เห็นประเด็น สมมติว่าบอทมีผู้ใช้ใช้งานอยู่ 500 คน ซึ่งแต่ละคนส่งข้อความ 20 ข้อความต่อวัน ข้อความแต่ละรายการมีโทเคนอินพุต 1,500 ตัว (บุคลิก ประวัติสั้นๆ และบรรทัดใหม่) และส่งผลลัพธ์กลับ 250 โทเคน:

  • ต่อข้อความ: 1,500 / 1,000,000 x $0.15 = $0.000225 สำหรับอินพุต บวก 250 / 1,000,000 x $0.50 = $0.000125 สำหรับเอาต์พุต รวมเป็น $0.00035
  • ต่อวัน: 500 x 20 = 10,000 ข้อความ ดังนั้น $3.50
  • ต่อ 30 วัน: $105

หากคุณปล่อยให้ประวัติเติบโตจนเต็มหน้าต่างบริบทขนาด 12,000 โทเคน อินพุตต่อข้อความจะเพิ่มขึ้นแปดเท่าเป็น 12,000 โทเคน หรือ $0.0018 สำหรับอินพุตเพียงอย่างเดียว และยอดรายเดือนจะเพิ่มขึ้นตามไปด้วย การใช้หน้าต่างแบบเลื่อนพร้อมการสรุปเหตุการณ์เก่าๆ สั้นๆ จะช่วยรักษาบุคลิกของโมเดลในราคาที่ถูกกว่า

สำหรับบอทคู่สนทนาและบทบาทสมมติ ให้เก็บกฎของผลิตภัณฑ์ไว้ในเลเยอร์ของคุณเอง โมเดลได้รับการปรับแต่งให้ตอบโดยไม่มีข้อปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย และขีดจำกัดเดียวที่เข้มงวดคือเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ ซึ่งบริการจะปฏิเสธ หากบอทของคุณอยู่ในเซิร์ฟเวอร์สาธารณะ ให้เพิ่มการตรวจสอบอายุและกฎช่องที่ตรงกับแพลตฟอร์มที่คุณใช้งาน

เครื่องมืออัตโนมัติและเวิร์กโฟลว์แบบไม่มีโค้ด

เครื่องมือเวิร์กโฟลว์ที่เสนอโหนดสไตล์ OpenAI พร้อม URL ฐานที่ปรับแต่งได้ สามารถใช้ API นี้ได้โดยการเปลี่ยนสามฟิลด์: URL เป็น https://api.glmapikey.com/v1 คีย์และชื่อโมเดลเป็น uncensored เครื่องมือที่มีเฉพาะโหนดคำขอ HTTP ทั่วไปสามารถส่งคำขอแบบ raw ได้:

curl https://api.glmapikey.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Classify this ticket: printer offline"}], "response_format": {"type": "json_object"}}'

สำหรับขั้นตอน workflow ที่ป้อนข้อมูลไปยังขั้นตอนอื่น การใช้โหมด JSON มีประโยชน์เพื่อให้โหนดถัดไปได้รับข้อความที่แยกวิเคราะห์ได้ เพิ่มสาขาข้อผิดพลาดสำหรับขั้นตอนใดๆ ที่เรียก API เนื่องจากจะเกิดสถานะ 429 และ 5xx เป็นครั้งคราว และความล้มเหลวแบบเงียบระหว่าง workflow จะหาพบได้ยากในภายหลัง ตั้งค่าการลองใหม่พร้อมเวลารอระยะสั้นบนโหนดนั้น และตรวจสอบให้แน่ใจว่าสาขาขนานไม่เกินจำนวนคำขอพร้อมกันที่คีย์ของคุณอนุญาต

สิ่งที่ผู้ใช้เห็นเมื่อเกิดข้อผิดพลาด

การผสานรวมทุกแบบต้องมีแผนสำหรับเส้นทางที่ไม่เป็นไปตามแผน และส่วนที่แสดงต่อผู้ใช้ก็สำคัญเท่ากับการเขียนโค้ดลองใหม่ สถานการณ์สามประการที่พบบ่อยในทางปฏิบัติ

ประการแรกคือภาวะ overload สั้นๆ: 429 พร้อม Retry-After: 5 ลองใหม่อย่างเงียบๆ และแสดงตัวบ่งชี้การพิมพ์ไปพร้อมกัน เพื่อให้ผู้ใช้เห็นการตอบกลับที่ช้าลงเล็กน้อยแทนที่จะเป็นข้อผิดพลาด ประการที่สองคือการถึงขีดจำกัด pool ของคุณเอง หากช่องทั้งแปดไม่ว่าง ให้นำข้อความเข้าคิวและแจ้งผู้ใช้ว่ากำลังรอ ซึ่งดีกว่าหน้าจอว่างเปล่า ประการที่สามคือเครดิตหมด ซึ่งการลองใหม่ไม่สามารถแก้ไขได้ ตรวจสอบ header ยอดเงิน แจ้งเตือนเมื่อถึงเกณฑ์ที่ตั้งไว้ และเตรียมข้อความสำรองไว้สำหรับวันที่เครดิตหมดโดยไม่มีใครสังเกต

อย่าแสดงข้อผิดพลาด API ดิบให้ผู้ใช้ปลายทาง บันทึกข้อผิดพลาดพร้อม ID คำขอ และแสดงประโยคธรรมดาที่บอกว่าเกิดอะไรขึ้นและต้องทำอย่างไรต่อ อย่ารวมคีย์ URL ฐาน หรือ stack trace ในสิ่งที่ผู้ใช้สามารถอ่านได้

การเงิน การตรวจสอบ และการตรวจสอบก่อนเปิดตัว

การเรียกเก็บเงินเป็นแบบเติมเงินล่วงหน้า คุณเติมเงินจำนวนเต็มใดๆ ตั้งแต่ $20 ถึง $500 พร้อมโบนัส +5% จาก $50, +10% จาก $100 และ +15% จาก $200 เครดิตไม่หมดอายุ และไม่มีบริการสมัครสมาชิก จ่ายด้วยคริปโต (USDT บน TRC20, USDC บน Base) ผู้ใช้ใหม่สามารถขอเครดิตทดลองใช้ $0.50 ได้ด้วยการคลิกเดียวที่ หน้าคีย์ API ซึ่งมีอายุ 7 วัน เพื่อให้คุณสามารถทดสอบการผสานรวมก่อนที่จะเติมเงิน ดู หน้าราคา สำหรับอัตรา

สิ่งที่ควรตรวจสอบในการผลิต:

  • ยอดเงิน อ่าน X-Balance-USD จากข้อตอบกลับและแจ้งเตือนเมื่อลดลงต่ำกว่าเกณฑ์ที่คุณเลือก
  • ID คำขอ เก็บ X-Request-Id ไว้ข้างๆ งานแต่ละรายการเพื่อให้สามารถติดตามความล้มเหลวหนึ่งรายการได้
  • การใช้โทเคน รวม usage ต่อผู้ใช้และต่อฟีเจอร์เพื่อดูว่าเงินไปอยู่ที่ไหน
  • อัตรา 429 จำนวนที่เพิ่มขึ้นหมายถึง pool ของคุณใหญ่กว่าขีดจำกัดของคีย์

รายการการเปิดตัวสั้นๆ: รันคำขอจริงหนึ่งรายการจากโฮสต์การผลิต ทดสอบการบังคับ 429 ในสภาพแวดล้อม staging ยืนยันว่าผู้ใช้ไม่สามารถเข้าถึง API ได้โดยไม่ต้องผ่านการตรวจสอบสิทธิ์ของคุณ และบันทึกสิ่งที่บริการของคุณแสดงเมื่อ API ไม่สามารถเข้าถึงได้ พรอมต์ไม่ถูกใช้ในการฝึก ซึ่งคุณสามารถบอกผู้ใช้ของคุณได้ แต่ให้ระบุในนโยบายความเป็นส่วนตัวของคุณว่าข้อความของพวกเขาจะถูกส่งไปยังผู้ให้บริการบุคคลที่สามเพื่อสร้างการตอบกลับ

ถาม-ตอบ

ควรเรียก API จากเบราว์เซอร์หรือไม่?

ไม่ ควรเก็บคีย์ไว้ที่เซิร์ฟเวอร์ของคุณแล้วให้เบราว์เซอร์เรียกแบ็กเอนด์ของคุณ เนื่องจากคีย์ในโค้ดไคลเอนต์อาจถูกคัดลอกและใช้เครดิตโดยใครก็ได้

สามารถรันคำขอพร้อมกันได้กี่รายการ?

คีย์แบบเต็มอนุญาตให้คำขอพร้อมกันได้ 8 รายการและ 300 รายการต่อนาที คีย์แบบทดลองอนุญาตให้คำขอพร้อมกันได้ 2 รายการและ 60 รายการต่อนาที

โค้ดของฉันควรทำอย่างไรเมื่อได้รับ 429?

อ่านรหัสข้อผิดพลาดแล้วรอ ใช้ค่า Retry-After เมื่อมีอยู่ ซึ่งจะเป็น 5 วินาทีเมื่อเกิดโอเวอร์โหลดชั่วคราว แล้วลองใหม่ คำขอที่ล้มเหลวจะไม่ถูกเรียกเก็บเงิน

สถานะถูกเก็บไว้ระหว่างการเรียกหรือไม่?

ไม่ คุณต้องส่งการสนทนาทั้งหมดทุกครั้ง โดยจำกัดที่ 100,000 โทเคนสำหรับพรอมต์และการตอบกลับรวมกัน และคุณต้องจ่ายสำหรับโทเคนอินพุตในการเรียกทุกครั้ง

สามารถใช้จากเครื่องมือแบบไม่มีโค้ดได้หรือไม่?

ได้ หากเครื่องมืออนุญาตให้คุณตั้งค่า base URL ในโหนด OpenAI หรือส่งคำขอ HTTP แบบกำหนดเองไปยัง https://api.glmapikey.com/v1/chat/completions พร้อมคีย์ bearer

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API