เลือกรูปแบบการเชื่อมต่อเป็นอันดับแรก
งานการเชื่อมต่อ GLM API ส่วนใหญ่มีลักษณะอย่างใดอย่างหนึ่งในสี่รูปแบบ และการเลือกส่งผลต่อทุกสิ่ง: ที่เก็บคีย์ลับ วิธีการจัดการกับปริมาณงานที่พุ่งสูง และลักษณะของความล้มเหลวที่ผู้ใช้เห็น
| รูปแบบ | เหมาะสำหรับ | ความเสี่ยงหลัก |
|---|---|---|
| Backend proxy | เว็บแอปและแอปมือถือที่มีผู้ใช้เป็นของตัวเอง | เอนด์พอยต์แบบเปิดที่ใครก็สามารถใช้เครดิตจนหมดได้ |
| Queue worker | บอต งานแบทช์ และการประมวลผลข้อความจำนวนมาก | คิวสะสมเมื่อคำขอเกินขีดจำกัด |
| แชทบอท | ตัวละครและเพื่อนร่วมสนทนาใน Discord, Telegram หรือ Matrix | ประวัติการสนทนาที่ยาวนานทำให้ต้นทุนพุ่งสูง |
| เครื่องมืออัตโนมัติ | เวิร์กโฟลว์ในเครื่องมือที่มีโหนด HTTP หรือ OpenAI | ความล้มเหลวแบบเงียบเมื่อขั้นตอนเกิดข้อผิดพลาด |
ทั้งสี่รูปแบบใช้การเรียกแบบเดียวกันเบื้องหลัง: POST /v1/chat/completions บน https://api.glmapikey.com/v1 พร้อมคีย์แบบ Bearer และโมเดล uncensored API เข้ากันได้กับ OpenAI ดังนั้นคุณสามารถใช้ SDK ของ OpenAI ใดๆ หรือ HTTP ดิบก็ได้หากสแต็กของคุณไม่มี SDK นี่คือโมเดลแบบเปิดน้ำหนักที่ดำเนินการโดยผู้ให้บริการอิสระ ไม่ใช่ API ทางการของผู้จัดจำหน่ายรายใดรายหนึ่ง และไม่ใช่เราเตอร์ ดังนั้นจงออกแบบสำหรับพฤติกรรมของโมเดลเพียงตัวเดียว รองรับเฉพาะข้อความ: หากผลิตภัณฑ์ของคุณต้องการรูปภาพหรือ embedding ด้วย ให้วางแผนผู้ให้บริการที่สองสำหรับส่วนเหล่านั้น
หน้า docs แสดงรายการเอนด์พอยต์และเฮดเดอร์ และ บทความเกี่ยวกับคีย์ GLM อธิบายวิธีการรับคีย์
Backend proxy: เก็บคีย์ให้พ้นจากไคลเอนต์
โค้ดใดๆ ที่ทำงานในเบราว์เซอร์หรือแอปแพ็กเกจสามารถถูกตรวจสอบได้ หากคีย์ถูกส่งไปยังที่นั่น ใครก็สามารถคัดลอกไปใช้และใช้เครดิตของคุณได้ วิธีแก้ไขคือการสร้างเส้นทางเซิร์ฟเวอร์บางๆ ที่เก็บคีย์ ใช้กฎของคุณเอง และส่งต่อคำขอ
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI
from pydantic import BaseModel
app = FastAPI()
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
)
class Ask(BaseModel):
prompt: str
@app.post("/ask")
async def ask(body: Ask):
async def gen():
stream = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": body.prompt[:4000]}],
max_tokens=600,
stream=True,
)
async for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
yield chunk.choices[0].delta.content
return StreamingResponse(gen(), media_type="text/plain")
เส้นทางนี้จะตัดคำพรอมต์และจำกัดการตอบ ซึ่งเป็นขั้นต่ำสุด เพิ่มการควบคุมที่แท้จริงก่อนเปิดตัว: การตรวจสอบสิทธิ์ผู้ใช้ งบประมาณโทเคนรายวันต่อผู้ใช้ และขีดจำกัดอัตราคำขอต่อ IP หรือบัญชี API จะส่งข้อมูลการใช้งานในการเรียกทุกครั้ง ดังนั้นคุณจึงสามารถนับโทเคนต่อผู้ใช้ในฐานข้อมูลของคุณและปฏิเสธคำขอที่เกินส่วนแบ่งของพวกเขาได้
การสตรีมผ่านพร็อกซีต้องตรวจสอบหนึ่งอย่าง: ยืนยันว่าพร็อกซีย้อนกลับของคุณไม่บัฟเฟอร์การตอบกลับ มิฉะนั้นข้อความจะมาถึงในบล็อกเดียวที่ท้ายสุดแทนที่จะเป็นคำต่อคำ
Queue worker: เคารพขีดจำกัดการทำงานพร้อมกัน
ขีดจำกัดเป็นต่อคีย์ คีย์แบบเต็มอนุญาตให้ส่ง 8 คำขอพร้อมกันและ 300 คำขอต่อนาที คีย์ทดลองอนุญาต 2 และ 60 สำหรับสตรีมงานที่สม่ำเสมอ การทำงานพร้อมกันมักจะเป็นสิ่งที่จำกัดก่อน เพราะแต่ละคำขอจะครอบครองสล็อตจนกว่าจะเสร็จสิ้น และคำขอแบบสตรีมจะครอบครองจนกว่าการสตรีมจะสิ้นสุด
การกำหนดขนาด worker pool ให้เท่ากับขีดจำกัดคือวิธีที่สะอาดที่สุด งานจะรอในคิวของคุณแทนที่จะล้มเหลวด้วย 429:
import asyncio
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
max_retries=0,
)
WORKERS = 8 # use 2 on a trial key
async def run_job(prompt: str) -> str:
for attempt in range(5):
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=500,
)
return r.choices[0].message.content
except RateLimitError as e:
delay = float(e.response.headers.get("retry-after", 2 * (attempt + 1)))
await asyncio.sleep(delay)
raise RuntimeError("gave up after repeated 429 responses")
async def worker(queue: asyncio.Queue, results: list):
while True:
prompt = await queue.get()
try:
results.append(await run_job(prompt))
finally:
queue.task_done()
async def main(prompts):
queue, results = asyncio.Queue(), []
for p in prompts:
queue.put_nowait(p)
tasks = [asyncio.create_task(worker(queue, results)) for _ in range(WORKERS)]
await queue.join()
for t in tasks:
t.cancel()
return results
รหัสข้อผิดพลาดใน body ของ 429 บอกสาเหตุที่คุณถูกหยุด: rate_limited สำหรับคำขอต่อนาที, concurrency สำหรับจำนวนที่มากเกินไปในครั้งเดียว และ 429 ธรรมดาพร้อม Retry-After: 5 สำหรับภาวะ overload สั้นๆ การปฏิบัติตาม header นั้นง่ายกว่าการเดาค่าหน่วงเวลา คำขอที่ล้มเหลวและถูกปฏิเสธจะไม่มีการเรียกเก็บเงิน ดังนั้นการลองใหม่จึงไม่มีค่าใช้จ่าย
บอทและตัวละคร
บอทแชทเป็นสถานที่ทั่วไปที่ค่าใช้จ่ายที่ไม่คาดคิดปรากฏขึ้น เนื่องจากบอทที่เก็บประวัติจะส่งประวัติใหม่ในทุกข้อความ ตัดสินใจตั้งแต่เนิ่นๆ ว่าต้องการเก็บประวัติข้อความไว้กี่ข้อความ และเก็บประวัติด้วยตนเอง เนื่องจาก API ไม่เก็บสถานะระหว่างการเรียกใช้
ตัวอย่างงบประมาณช่วยชี้ให้เห็นประเด็น สมมติว่าบอทมีผู้ใช้ใช้งานอยู่ 500 คน ซึ่งแต่ละคนส่งข้อความ 20 ข้อความต่อวัน ข้อความแต่ละรายการมีโทเคนอินพุต 1,500 ตัว (บุคลิก ประวัติสั้นๆ และบรรทัดใหม่) และส่งผลลัพธ์กลับ 250 โทเคน:
- ต่อข้อความ: 1,500 / 1,000,000 x $0.15 = $0.000225 สำหรับอินพุต บวก 250 / 1,000,000 x $0.50 = $0.000125 สำหรับเอาต์พุต รวมเป็น $0.00035
- ต่อวัน: 500 x 20 = 10,000 ข้อความ ดังนั้น $3.50
- ต่อ 30 วัน: $105
หากคุณปล่อยให้ประวัติเติบโตจนเต็มหน้าต่างบริบทขนาด 12,000 โทเคน อินพุตต่อข้อความจะเพิ่มขึ้นแปดเท่าเป็น 12,000 โทเคน หรือ $0.0018 สำหรับอินพุตเพียงอย่างเดียว และยอดรายเดือนจะเพิ่มขึ้นตามไปด้วย การใช้หน้าต่างแบบเลื่อนพร้อมการสรุปเหตุการณ์เก่าๆ สั้นๆ จะช่วยรักษาบุคลิกของโมเดลในราคาที่ถูกกว่า
สำหรับบอทคู่สนทนาและบทบาทสมมติ ให้เก็บกฎของผลิตภัณฑ์ไว้ในเลเยอร์ของคุณเอง โมเดลได้รับการปรับแต่งให้ตอบโดยไม่มีข้อปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย และขีดจำกัดเดียวที่เข้มงวดคือเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ ซึ่งบริการจะปฏิเสธ หากบอทของคุณอยู่ในเซิร์ฟเวอร์สาธารณะ ให้เพิ่มการตรวจสอบอายุและกฎช่องที่ตรงกับแพลตฟอร์มที่คุณใช้งาน
เครื่องมืออัตโนมัติและเวิร์กโฟลว์แบบไม่มีโค้ด
เครื่องมือเวิร์กโฟลว์ที่เสนอโหนดสไตล์ OpenAI พร้อม URL ฐานที่ปรับแต่งได้ สามารถใช้ API นี้ได้โดยการเปลี่ยนสามฟิลด์: URL เป็น https://api.glmapikey.com/v1 คีย์และชื่อโมเดลเป็น uncensored เครื่องมือที่มีเฉพาะโหนดคำขอ HTTP ทั่วไปสามารถส่งคำขอแบบ raw ได้:
curl https://api.glmapikey.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Classify this ticket: printer offline"}], "response_format": {"type": "json_object"}}'
สำหรับขั้นตอน workflow ที่ป้อนข้อมูลไปยังขั้นตอนอื่น การใช้โหมด JSON มีประโยชน์เพื่อให้โหนดถัดไปได้รับข้อความที่แยกวิเคราะห์ได้ เพิ่มสาขาข้อผิดพลาดสำหรับขั้นตอนใดๆ ที่เรียก API เนื่องจากจะเกิดสถานะ 429 และ 5xx เป็นครั้งคราว และความล้มเหลวแบบเงียบระหว่าง workflow จะหาพบได้ยากในภายหลัง ตั้งค่าการลองใหม่พร้อมเวลารอระยะสั้นบนโหนดนั้น และตรวจสอบให้แน่ใจว่าสาขาขนานไม่เกินจำนวนคำขอพร้อมกันที่คีย์ของคุณอนุญาต
สิ่งที่ผู้ใช้เห็นเมื่อเกิดข้อผิดพลาด
การผสานรวมทุกแบบต้องมีแผนสำหรับเส้นทางที่ไม่เป็นไปตามแผน และส่วนที่แสดงต่อผู้ใช้ก็สำคัญเท่ากับการเขียนโค้ดลองใหม่ สถานการณ์สามประการที่พบบ่อยในทางปฏิบัติ
ประการแรกคือภาวะ overload สั้นๆ: 429 พร้อม Retry-After: 5 ลองใหม่อย่างเงียบๆ และแสดงตัวบ่งชี้การพิมพ์ไปพร้อมกัน เพื่อให้ผู้ใช้เห็นการตอบกลับที่ช้าลงเล็กน้อยแทนที่จะเป็นข้อผิดพลาด ประการที่สองคือการถึงขีดจำกัด pool ของคุณเอง หากช่องทั้งแปดไม่ว่าง ให้นำข้อความเข้าคิวและแจ้งผู้ใช้ว่ากำลังรอ ซึ่งดีกว่าหน้าจอว่างเปล่า ประการที่สามคือเครดิตหมด ซึ่งการลองใหม่ไม่สามารถแก้ไขได้ ตรวจสอบ header ยอดเงิน แจ้งเตือนเมื่อถึงเกณฑ์ที่ตั้งไว้ และเตรียมข้อความสำรองไว้สำหรับวันที่เครดิตหมดโดยไม่มีใครสังเกต
อย่าแสดงข้อผิดพลาด API ดิบให้ผู้ใช้ปลายทาง บันทึกข้อผิดพลาดพร้อม ID คำขอ และแสดงประโยคธรรมดาที่บอกว่าเกิดอะไรขึ้นและต้องทำอย่างไรต่อ อย่ารวมคีย์ URL ฐาน หรือ stack trace ในสิ่งที่ผู้ใช้สามารถอ่านได้
การเงิน การตรวจสอบ และการตรวจสอบก่อนเปิดตัว
การเรียกเก็บเงินเป็นแบบเติมเงินล่วงหน้า คุณเติมเงินจำนวนเต็มใดๆ ตั้งแต่ $20 ถึง $500 พร้อมโบนัส +5% จาก $50, +10% จาก $100 และ +15% จาก $200 เครดิตไม่หมดอายุ และไม่มีบริการสมัครสมาชิก จ่ายด้วยคริปโต (USDT บน TRC20, USDC บน Base) ผู้ใช้ใหม่สามารถขอเครดิตทดลองใช้ $0.50 ได้ด้วยการคลิกเดียวที่ หน้าคีย์ API ซึ่งมีอายุ 7 วัน เพื่อให้คุณสามารถทดสอบการผสานรวมก่อนที่จะเติมเงิน ดู หน้าราคา สำหรับอัตรา
สิ่งที่ควรตรวจสอบในการผลิต:
- ยอดเงิน อ่าน
X-Balance-USDจากข้อตอบกลับและแจ้งเตือนเมื่อลดลงต่ำกว่าเกณฑ์ที่คุณเลือก - ID คำขอ เก็บ
X-Request-Idไว้ข้างๆ งานแต่ละรายการเพื่อให้สามารถติดตามความล้มเหลวหนึ่งรายการได้ - การใช้โทเคน รวม
usageต่อผู้ใช้และต่อฟีเจอร์เพื่อดูว่าเงินไปอยู่ที่ไหน - อัตรา 429 จำนวนที่เพิ่มขึ้นหมายถึง pool ของคุณใหญ่กว่าขีดจำกัดของคีย์
รายการการเปิดตัวสั้นๆ: รันคำขอจริงหนึ่งรายการจากโฮสต์การผลิต ทดสอบการบังคับ 429 ในสภาพแวดล้อม staging ยืนยันว่าผู้ใช้ไม่สามารถเข้าถึง API ได้โดยไม่ต้องผ่านการตรวจสอบสิทธิ์ของคุณ และบันทึกสิ่งที่บริการของคุณแสดงเมื่อ API ไม่สามารถเข้าถึงได้ พรอมต์ไม่ถูกใช้ในการฝึก ซึ่งคุณสามารถบอกผู้ใช้ของคุณได้ แต่ให้ระบุในนโยบายความเป็นส่วนตัวของคุณว่าข้อความของพวกเขาจะถูกส่งไปยังผู้ให้บริการบุคคลที่สามเพื่อสร้างการตอบกลับ
