VI ▾
Lấy khóa API

Ví dụ API GLM: Python, chế độ JSON và truyền phát

Các ví dụ API GLM này đều chạy trên một endpoint tương thích OpenAI, với base URL là https://api.glmapikey.com/v1 và model uncensored. Mỗi đoạn mã đều ngắn gọn và độc lập, vì vậy bạn có thể dán nó, thêm khóa của mình và chạy nó.

Cập nhật

Cửa sổ terminal truyền phát các token dữ liệu phát sáng đến máy chủ đám mây, minh họa các ví dụ mã API

Điểm chính

  • Mọi ví dụ đều sử dụng base URL https://api.glmapikey.com/v1, xác thực bearer và model ID là uncensored.
  • Truyền phát, chế độ JSON và gọi hàm đều được hỗ trợ trên cùng một endpoint chat completions.
  • Đọc X-Balance-USD và khối usage để theo dõi chi tiêu cho mỗi lần gọi.
  • Xử lý 429 bằng mã: rate_limited, concurrency hoặc Retry-After: 5 khi quá tải.

Trước khi bạn chạy bất cứ thứ gì

Bạn chỉ cần một khóa API và không cần gì khác. Tạo khóa trên trang API key; tài khoản mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột, không cần thẻ. Xuất khóa để các ví dụ có thể đọc nó:

export API_KEY="YOUR_KEY"
pip install openai
npm install openai

API tuân theo định dạng chat completions của OpenAI. Nó cung cấp POST /v1/chat/completions và GET /v1/models, chấp nhận Authorization: Bearer, và phục vụ một mô hình duy nhất với ID uncensored. Mô hình này là một mô hình trọng số mở do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Nó không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào. Nó chỉ xử lý văn bản: không có hình ảnh, âm thanh, embedding hay fine-tuning.

Các ví dụ bên dưới đi từ lệnh gọi đơn giản nhất đến gọi hàm. Nếu bạn chỉ cần lệnh kiểm tra ngắn nhất có thể để xác minh khóa của bạn hoạt động, lệnh curl đầu tiên là đủ.

Một yêu cầu đầu tiên với curl và các tham số quan trọng

curl https://api.glmapikey.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "What is a mutex, in one sentence?"}
    ],
    "temperature": 0.3,
    "max_tokens": 80
  }'

Response là một đối tượng JSON với choices[0].message.content chứa câu trả lời và một đối tượng usage với prompt_tokens và completion_tokens. Các tiêu đề response bao gồm X-Request-Id, X-Balance-USD và hai tiêu đề X-RateLimit-Limit. Thêm -i vào curl để xem chúng.

Các trường temperature, top_p, stop, seed và các hình phạt về sự hiện diện và tần suất được chuyển tiếp trực tiếp đến mô hình. max_tokens là tùy chọn. Không có nó, phần hoàn thành có thể sử dụng bất kỳ token nào còn lại trong cửa sổ 100.000 token sau prompt của bạn.

Thân yêu cầu chat completions có nhiều trường tùy chọn, nhưng năm trường thực hiện hầu hết công việc. Tất cả đều được chuyển tiếp đến mô hình.

TrườngNó làm gìSử dụng điển hình
temperatureGiá trị cao hơn mang lại nhiều cách diễn đạt đa dạng hơn0.2 cho trích xuất, 0.8 cho tiểu thuyết
top_pGiới hạn việc lấy mẫu đối với các token có khả năng cao nhấtĐể ở giá trị mặc định trừ khi bạn tinh chỉnh nó
stopKết thúc câu trả lời khi một chuỗi xuất hiệnCắt ngắn tại một dấu phân cách như một dòng trống
seedLàm cho việc lấy mẫu có thể lặp lại ở mức độ tốt nhất có thểSo sánh hai phiên bản prompt
presence_penalty, frequency_penaltyHạn chế việc lặp lại tokenCác giá trị nhỏ như 0.3 khi văn bản lặp lại

Thay đổi một giá trị tại một thời điểm và giữ nguyên prompt, nếu không bạn không thể biết thay đổi nào đã giúp ích. Đối với bất cứ thứ gì cung cấp mã, chẳng hạn như phân loại hoặc trích xuất, hãy sử dụng nhiệt độ thấp và seed cố định để bạn có thể chạy lại một bài kiểm tra và xem cùng một kết quả. Đối với viết sáng tạo, hãy tăng nhiệt độ và để các hình phạt xử lý việc lặp lại.

Trường max_tokens là tùy chọn ở đây. Khi bạn bỏ qua nó, câu trả lời có thể sử dụng tất cả không gian còn lại trong cửa sổ 100.000 token, điều này hiếm khi là những gì bạn muốn cho một câu trả lời một dòng. Đặt nó bất cứ khi nào bạn biết câu trả lời nên dài bao nhiêu.

Python: một cuộc trò chuyện có bộ nhớ

API không trạng thái, vì vậy bạn tự duy trì cuộc trò chuyện và gửi nó mỗi lần. Vòng lặp này duy trì một danh sách các tin nhắn và nối thêm cả hai phía:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.glmapikey.com/v1",
    api_key="YOUR_KEY",
)

messages = [{"role": "system", "content": "You are a helpful assistant."}]

while True:
    user = input("you> ")
    if not user:
        break
    messages.append({"role": "user", "content": user})
    resp = client.chat.completions.create(model="uncensored", messages=messages)
    reply = resp.choices[0].message.content
    messages.append({"role": "assistant", "content": reply})
    print("bot>", reply)

Vì mỗi lần gọi lại gửi toàn bộ danh sách, số token đầu vào tăng theo độ dài của cuộc trò chuyện. Với giá $0,15 cho mỗi 1M token đầu vào thì điều này khá rẻ, nhưng nó tích lũy nhanh trong các phiên dài, vì vậy hãy cắt tin nhắn cũ khi chuỗi hội thoại vượt quá kích thước bạn muốn trả tiền. Trang bảng giá có các ví dụ thực tế.

Truyền phát trong Python và Node

Đặt stream: true và máy chủ gửi các token khi chúng được tạo ra, qua các sự kiện do máy chủ gửi. Trong Python:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write four lines about the sea."}],
    stream=True,
)

text = ""
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        piece = chunk.choices[0].delta.content
        text += piece
        print(piece, end="", flush=True)
    if getattr(chunk, "usage", None):
        print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)

Luồng kết thúc với thông tin sử dụng, đó là lý do tại sao vòng lặp kiểm tra nó. Điều tương tự trong Node:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.glmapikey.com/v1",
  apiKey: process.env.API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write four lines about the sea." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Một chi tiết về giới hạn: một yêu cầu truyền phát giữ slot concurrency của nó cho đến khi luồng kết thúc. Nếu bạn bắt đầu một luồng và không bao giờ đọc nó đến cuối, slot đó vẫn bận. Luôn luôn tiêu thụ hoặc đóng luồng.

Chế độ JSON cho đầu ra có cấu trúc

Khi mã của bạn cần phân tích câu trả lời, hãy yêu cầu một đối tượng JSON với response_format. Đồng thời nói trong prompt về cấu trúc bạn muốn, vì cờ định dạng đảm bảo cú pháp JSON hợp lệ, không phải lược đồ cụ thể của bạn.

import json

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply only with JSON: {\"title\": string, \"tags\": [string]}."},
        {"role": "user", "content": "Suggest a title and three tags for a post about home espresso."},
    ],
    temperature=0.2,
)

data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])

Kiểm tra xem các khóa bạn cần có tồn tại trước khi sử dụng chúng và giữ nhiệt độ thấp cho công việc trích xuất. Nếu việc phân tích thất bại, việc thử lại một lần với cùng đầu vào thường hoạt động và các yêu cầu thất bại không bị tính phí.

Gọi hàm: một vòng lặp đầy đủ

Gọi hàm cho phép mô hình yêu cầu mã của bạn chạy một hàm. Bạn mô tả hàm trong tools, mô hình trả về một mục tool_calls, bạn thực thi nó và gửi kết quả lại dưới dạng tin nhắn role: "tool".

import json

def get_weather(city: str) -> dict:
    return {"city": city, "temp_c": 18, "sky": "cloudy"}

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get current weather for a city",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]

messages = [{"role": "user", "content": "Is it warm in Lisbon right now?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": json.dumps(get_weather(**args)),
        })
    final = client.chat.completions.create(
        model="uncensored", messages=messages, tools=tools
    )
    print(final.choices[0].message.content)
else:
    print(msg.content)

Hàm ở đây trả về dữ liệu cố định, vì vậy hãy thay thế bằng một tra cứu thực tế. Đối số công cụ đến dưới dạng một chuỗi JSON, vì vậy hãy luôn phân tích chúng và xác thực các giá trị trước khi hành động dựa trên chúng. Với stream: true, các tool_calls đến từng phần mà bạn phải lắp ráp trước khi phân tích. Sử dụng tool_choice để buộc một công cụ cụ thể khi bạn cần điều đó.

Chi phí của các ví dụ và những sai lầm lãng phí một giờ

Chạy các ví dụ tốn rất ít tiền, nhưng thật hữu ích khi xem phép tính một lần. Ở mức $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra:

  • Vòng lặp hội thoại, với prompt 1.200 token và phản hồi 300 token: $0,00018 cho đầu vào cộng $0,00015 cho đầu ra là $0,00033. Một nghìn lượt tốn $0,33.
  • Vòng lặp công cụ tạo ra hai lệnh gọi. Nếu lần đầu tiên sử dụng 400 token đầu vào và 60 token đầu ra, và lần thứ hai 500 token đầu vào và 150 token đầu ra, tổng cộng là 900 token đầu vào và 210 token đầu ra: $0,000135 cộng $0,000105 là $0,00024.
  • Truyền phát (streaming) có chi phí giống một lệnh gọi bình thường với cùng số lượng token. Nó thay đổi cách bạn thấy văn bản, không phải chi phí.

Tín dụng dùng thử $0,50 sẽ chi trả cho hơn 1.500 lượt của vòng lặp trò chuyện với kích thước đó ($0,50 / $0,00033), vì vậy bạn có thể thử nghiệm tự do trước khi nạp tiền. Các yêu cầu thất bại và bị từ chối không bị tính phí, nghĩa là một lỗi trong mã phân tích của bạn khiến bạn chạy lại một lệnh gọi sẽ không tốn chi phí cho các lần thử thất bại.

  • base URL sai. Nó phải kết thúc bằng /v1. Tự thêm /chat/completions vào base URL của SDK sẽ gây ra lỗi 404 vì SDK thêm đường dẫn.
  • Tên mô hình khác. Các tên được sao chép từ các nền tảng khác không tồn tại ở đây. ID là uncensored.
  • Kỳ vọng vào bộ nhớ. API không nhớ các lệnh gọi trước đó. Gửi lịch sử mỗi lần.
  • Phân tích JSON của mô hình mà không có guard. Bao bọc json.loads trong một khối try và có một kế hoạch cho phản hồi xấu.
  • Giữ các luồng mở. Một luồng chưa hoàn thành giữ một khe concurrency bận, và khóa dùng thử chỉ có hai khe.
  • Đặt khóa API ở phía front-end. Hãy giữ nó trên máy chủ (server).

Nếu vẫn thấy có gì đó không ổn, hãy gửi một yêu cầu bằng curl và so sánh với kết quả từ mã của bạn. Cách dùng curl loại bỏ SDK ra khỏi phương trình và làm rõ sự khác biệt trong thân yêu cầu.

Đọc thông tin sử dụng, số dư và lỗi

Để xem các header từ Python SDK, hãy dùng wrapper phản hồi thô:

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say ok."}],
)
print("request id:", raw.headers.get("x-request-id"))
print("balance usd:", raw.headers.get("x-balance-usd"))
print("rpm limit:", raw.headers.get("x-ratelimit-limit-requests"))
completion = raw.parse()
print(completion.usage.total_tokens)

Ghi lại ID yêu cầu trong mỗi lần gọi để bạn có thể trỏ đến một yêu cầu cụ thể sau này. Hãy dùng header số dư để kích hoạt cảnh báo trước khi tín dụng trả trước hết.

Khi bạn vượt quá giới hạn, API trả về HTTP 429 và mã lỗi cho bạn biết đó là giới hạn nào:

Mã lỗi hoặc headerCách xử lýCách xử lý
rate_limitedQuá nhiều yêu cầu mỗi phút (300 trên khóa đầy đủ, 60 trên khóa dùng thử)Giảm tần suất và phân tán các lần gọi
concurrencyQuá nhiều yêu cầu cùng lúc (8 trên khóa đầy đủ, 2 trên khóa dùng thử)Chờ một yêu cầu đang chạy kết thúc
Retry-After: 5Quá tải tạm thờiHãy thử lại sau năm giây

Các yêu cầu thất bại hoặc bị từ chối không bị tính phí. Thân yêu cầu có thể lên đến 8 MB. Để biết tài liệu tham khảo đầy đủ và cách tái sử dụng mã khách hàng hiện có, hãy xem tài liệu. Để biết hướng dẫn cách lấy khóa, hãy xem bài viết về khóa API GLM.

Hỏi đáp

base URL trong các ví dụ là gì?

Mọi ví dụ đều sử dụng https://api.glmapikey.com/v1 với model ID uncensored và token Bearer. Bất kỳ SDK OpenAI nào cũng hoạt động sau khi bạn thay đổi các giá trị đó.

API có hỗ trợ truyền phát (streaming) không?

Có. Đặt stream thành true và đọc các sự kiện do máy chủ gửi (SSE). Việc sử dụng được báo cáo ở cuối luồng.

Làm sao để nhận lại JSON hợp lệ?

Gửi response_format với type là json_object và mô tả cấu trúc bạn muốn trong prompt. Phân tích kết quả trong mã của bạn và kiểm tra các khóa (keys) bạn cần.

Tôi có thể dùng gọi hàm (function calling) không?

Có. Gửi tools và tool_choice, chạy hàm mà mô hình yêu cầu, và trả lại kết quả dưới dạng một message với role là tool.

Tôi có thể xem số dư tín dụng còn lại ở đâu?

Mỗi phản hồi đều chứa header X-Balance-USD với số dư còn lại của bạn, và khối usage cung cấp số lượng token.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi base URL. Đó là toàn bộ thiết lập.

Lấy khóa API