Trước khi bạn chạy bất cứ thứ gì
Bạn chỉ cần một khóa API và không cần gì khác. Tạo khóa trên trang API key; tài khoản mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột, không cần thẻ. Xuất khóa để các ví dụ có thể đọc nó:
export API_KEY="YOUR_KEY"
pip install openai
npm install openai
API tuân theo định dạng chat completions của OpenAI. Nó cung cấp POST /v1/chat/completions và GET /v1/models, chấp nhận Authorization: Bearer, và phục vụ một mô hình duy nhất với ID uncensored. Mô hình này là một mô hình trọng số mở do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Nó không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào. Nó chỉ xử lý văn bản: không có hình ảnh, âm thanh, embedding hay fine-tuning.
Các ví dụ bên dưới đi từ lệnh gọi đơn giản nhất đến gọi hàm. Nếu bạn chỉ cần lệnh kiểm tra ngắn nhất có thể để xác minh khóa của bạn hoạt động, lệnh curl đầu tiên là đủ.
Một yêu cầu đầu tiên với curl và các tham số quan trọng
curl https://api.glmapikey.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "What is a mutex, in one sentence?"}
],
"temperature": 0.3,
"max_tokens": 80
}'
Response là một đối tượng JSON với choices[0].message.content chứa câu trả lời và một đối tượng usage với prompt_tokens và completion_tokens. Các tiêu đề response bao gồm X-Request-Id, X-Balance-USD và hai tiêu đề X-RateLimit-Limit. Thêm -i vào curl để xem chúng.
Các trường temperature, top_p, stop, seed và các hình phạt về sự hiện diện và tần suất được chuyển tiếp trực tiếp đến mô hình. max_tokens là tùy chọn. Không có nó, phần hoàn thành có thể sử dụng bất kỳ token nào còn lại trong cửa sổ 100.000 token sau prompt của bạn.
Thân yêu cầu chat completions có nhiều trường tùy chọn, nhưng năm trường thực hiện hầu hết công việc. Tất cả đều được chuyển tiếp đến mô hình.
| Trường | Nó làm gì | Sử dụng điển hình |
|---|---|---|
temperature | Giá trị cao hơn mang lại nhiều cách diễn đạt đa dạng hơn | 0.2 cho trích xuất, 0.8 cho tiểu thuyết |
top_p | Giới hạn việc lấy mẫu đối với các token có khả năng cao nhất | Để ở giá trị mặc định trừ khi bạn tinh chỉnh nó |
stop | Kết thúc câu trả lời khi một chuỗi xuất hiện | Cắt ngắn tại một dấu phân cách như một dòng trống |
seed | Làm cho việc lấy mẫu có thể lặp lại ở mức độ tốt nhất có thể | So sánh hai phiên bản prompt |
presence_penalty, frequency_penalty | Hạn chế việc lặp lại token | Các giá trị nhỏ như 0.3 khi văn bản lặp lại |
Thay đổi một giá trị tại một thời điểm và giữ nguyên prompt, nếu không bạn không thể biết thay đổi nào đã giúp ích. Đối với bất cứ thứ gì cung cấp mã, chẳng hạn như phân loại hoặc trích xuất, hãy sử dụng nhiệt độ thấp và seed cố định để bạn có thể chạy lại một bài kiểm tra và xem cùng một kết quả. Đối với viết sáng tạo, hãy tăng nhiệt độ và để các hình phạt xử lý việc lặp lại.
Trường max_tokens là tùy chọn ở đây. Khi bạn bỏ qua nó, câu trả lời có thể sử dụng tất cả không gian còn lại trong cửa sổ 100.000 token, điều này hiếm khi là những gì bạn muốn cho một câu trả lời một dòng. Đặt nó bất cứ khi nào bạn biết câu trả lời nên dài bao nhiêu.
Python: một cuộc trò chuyện có bộ nhớ
API không trạng thái, vì vậy bạn tự duy trì cuộc trò chuyện và gửi nó mỗi lần. Vòng lặp này duy trì một danh sách các tin nhắn và nối thêm cả hai phía:
from openai import OpenAI
client = OpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
)
messages = [{"role": "system", "content": "You are a helpful assistant."}]
while True:
user = input("you> ")
if not user:
break
messages.append({"role": "user", "content": user})
resp = client.chat.completions.create(model="uncensored", messages=messages)
reply = resp.choices[0].message.content
messages.append({"role": "assistant", "content": reply})
print("bot>", reply)
Vì mỗi lần gọi lại gửi toàn bộ danh sách, số token đầu vào tăng theo độ dài của cuộc trò chuyện. Với giá $0,15 cho mỗi 1M token đầu vào thì điều này khá rẻ, nhưng nó tích lũy nhanh trong các phiên dài, vì vậy hãy cắt tin nhắn cũ khi chuỗi hội thoại vượt quá kích thước bạn muốn trả tiền. Trang bảng giá có các ví dụ thực tế.
Truyền phát trong Python và Node
Đặt stream: true và máy chủ gửi các token khi chúng được tạo ra, qua các sự kiện do máy chủ gửi. Trong Python:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write four lines about the sea."}],
stream=True,
)
text = ""
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
text += piece
print(piece, end="", flush=True)
if getattr(chunk, "usage", None):
print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
Luồng kết thúc với thông tin sử dụng, đó là lý do tại sao vòng lặp kiểm tra nó. Điều tương tự trong Node:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.glmapikey.com/v1",
apiKey: process.env.API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write four lines about the sea." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}
Một chi tiết về giới hạn: một yêu cầu truyền phát giữ slot concurrency của nó cho đến khi luồng kết thúc. Nếu bạn bắt đầu một luồng và không bao giờ đọc nó đến cuối, slot đó vẫn bận. Luôn luôn tiêu thụ hoặc đóng luồng.
Chế độ JSON cho đầu ra có cấu trúc
Khi mã của bạn cần phân tích câu trả lời, hãy yêu cầu một đối tượng JSON với response_format. Đồng thời nói trong prompt về cấu trúc bạn muốn, vì cờ định dạng đảm bảo cú pháp JSON hợp lệ, không phải lược đồ cụ thể của bạn.
import json
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply only with JSON: {\"title\": string, \"tags\": [string]}."},
{"role": "user", "content": "Suggest a title and three tags for a post about home espresso."},
],
temperature=0.2,
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])
Kiểm tra xem các khóa bạn cần có tồn tại trước khi sử dụng chúng và giữ nhiệt độ thấp cho công việc trích xuất. Nếu việc phân tích thất bại, việc thử lại một lần với cùng đầu vào thường hoạt động và các yêu cầu thất bại không bị tính phí.
Gọi hàm: một vòng lặp đầy đủ
Gọi hàm cho phép mô hình yêu cầu mã của bạn chạy một hàm. Bạn mô tả hàm trong tools, mô hình trả về một mục tool_calls, bạn thực thi nó và gửi kết quả lại dưới dạng tin nhắn role: "tool".
import json
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
tools = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get current weather for a city",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
messages = [{"role": "user", "content": "Is it warm in Lisbon right now?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(get_weather(**args)),
})
final = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools
)
print(final.choices[0].message.content)
else:
print(msg.content)
Hàm ở đây trả về dữ liệu cố định, vì vậy hãy thay thế bằng một tra cứu thực tế. Đối số công cụ đến dưới dạng một chuỗi JSON, vì vậy hãy luôn phân tích chúng và xác thực các giá trị trước khi hành động dựa trên chúng. Với stream: true, các tool_calls đến từng phần mà bạn phải lắp ráp trước khi phân tích. Sử dụng tool_choice để buộc một công cụ cụ thể khi bạn cần điều đó.
Chi phí của các ví dụ và những sai lầm lãng phí một giờ
Chạy các ví dụ tốn rất ít tiền, nhưng thật hữu ích khi xem phép tính một lần. Ở mức $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra:
- Vòng lặp hội thoại, với prompt 1.200 token và phản hồi 300 token: $0,00018 cho đầu vào cộng $0,00015 cho đầu ra là $0,00033. Một nghìn lượt tốn $0,33.
- Vòng lặp công cụ tạo ra hai lệnh gọi. Nếu lần đầu tiên sử dụng 400 token đầu vào và 60 token đầu ra, và lần thứ hai 500 token đầu vào và 150 token đầu ra, tổng cộng là 900 token đầu vào và 210 token đầu ra: $0,000135 cộng $0,000105 là $0,00024.
- Truyền phát (streaming) có chi phí giống một lệnh gọi bình thường với cùng số lượng token. Nó thay đổi cách bạn thấy văn bản, không phải chi phí.
Tín dụng dùng thử $0,50 sẽ chi trả cho hơn 1.500 lượt của vòng lặp trò chuyện với kích thước đó ($0,50 / $0,00033), vì vậy bạn có thể thử nghiệm tự do trước khi nạp tiền. Các yêu cầu thất bại và bị từ chối không bị tính phí, nghĩa là một lỗi trong mã phân tích của bạn khiến bạn chạy lại một lệnh gọi sẽ không tốn chi phí cho các lần thử thất bại.
- base URL sai. Nó phải kết thúc bằng
/v1. Tự thêm/chat/completionsvào base URL của SDK sẽ gây ra lỗi 404 vì SDK thêm đường dẫn. - Tên mô hình khác. Các tên được sao chép từ các nền tảng khác không tồn tại ở đây. ID là
uncensored. - Kỳ vọng vào bộ nhớ. API không nhớ các lệnh gọi trước đó. Gửi lịch sử mỗi lần.
- Phân tích JSON của mô hình mà không có guard. Bao bọc
json.loadstrong một khối try và có một kế hoạch cho phản hồi xấu. - Giữ các luồng mở. Một luồng chưa hoàn thành giữ một khe concurrency bận, và khóa dùng thử chỉ có hai khe.
- Đặt khóa API ở phía front-end. Hãy giữ nó trên máy chủ (server).
Nếu vẫn thấy có gì đó không ổn, hãy gửi một yêu cầu bằng curl và so sánh với kết quả từ mã của bạn. Cách dùng curl loại bỏ SDK ra khỏi phương trình và làm rõ sự khác biệt trong thân yêu cầu.
Đọc thông tin sử dụng, số dư và lỗi
Để xem các header từ Python SDK, hãy dùng wrapper phản hồi thô:
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Say ok."}],
)
print("request id:", raw.headers.get("x-request-id"))
print("balance usd:", raw.headers.get("x-balance-usd"))
print("rpm limit:", raw.headers.get("x-ratelimit-limit-requests"))
completion = raw.parse()
print(completion.usage.total_tokens)
Ghi lại ID yêu cầu trong mỗi lần gọi để bạn có thể trỏ đến một yêu cầu cụ thể sau này. Hãy dùng header số dư để kích hoạt cảnh báo trước khi tín dụng trả trước hết.
Khi bạn vượt quá giới hạn, API trả về HTTP 429 và mã lỗi cho bạn biết đó là giới hạn nào:
| Mã lỗi hoặc header | Cách xử lý | Cách xử lý |
|---|---|---|
rate_limited | Quá nhiều yêu cầu mỗi phút (300 trên khóa đầy đủ, 60 trên khóa dùng thử) | Giảm tần suất và phân tán các lần gọi |
concurrency | Quá nhiều yêu cầu cùng lúc (8 trên khóa đầy đủ, 2 trên khóa dùng thử) | Chờ một yêu cầu đang chạy kết thúc |
Retry-After: 5 | Quá tải tạm thời | Hãy thử lại sau năm giây |
Các yêu cầu thất bại hoặc bị từ chối không bị tính phí. Thân yêu cầu có thể lên đến 8 MB. Để biết tài liệu tham khảo đầy đủ và cách tái sử dụng mã khách hàng hiện có, hãy xem tài liệu. Để biết hướng dẫn cách lấy khóa, hãy xem bài viết về khóa API GLM.
