Kết nối trong năm bước
Đây là đường tắt nhanh cho các thiết lập glm api sillytavern. Nó giả định bạn đã chạy SillyTavern và đã tạo khóa trên trang khóa API.
- Mở biểu tượng phích cắm (API Connections) ở đầu SillyTavern.
- Đặt loại API thành Chat Completion.
- Đặt nguồn Chat Completion thành Custom (OpenAI-compatible).
- Dán
https://api.glmapikey.com/v1vào trường endpoint tùy chỉnh và khóa của bạn vào trường khóa API tùy chỉnh. - Nhập
uncensoredlàm ID mô hình và nhấn Kết nối.
Đèn trạng thái màu xanh lá và tên mô hình dưới nút cho biết kết nối hoạt động. Hãy gửi tin nhắn cho nhân vật và phản hồi sẽ được truyền phát. Tên menu thay đổi nhẹ giữa các phiên bản SillyTavern, nên nếu nhãn khác biệt, hãy tìm trường chấp nhận URL endpoint; các giá trị vẫn giữ nguyên.
Một lưu ý trung thực về tên gọi. Endpoint này không phải là GLM API chính thức từ bất kỳ nhà cung cấp nào và không chuyển hướng đến các mô hình của nhà cung cấp khác. Đây là một mô hình trọng số mở duy nhất do nhà cung cấp độc lập vận hành, được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp. Điểm chung với các họ mô hình mà mọi người tìm kiếm dưới tên GLM chính là giao diện: một API chat completions chuẩn kiểu OpenAI mà các giao diện roleplay đã biết cách tương tác.
Dịch vụ bạn đang kết nối
Các sự thật quan trọng cho roleplay, ở một chỗ:
| Thuộc tính | Giá trị |
|---|---|
| Endpoint | POST /v1/chat/completions |
| ID mô hình | uncensored |
| Cửa sổ ngữ cảnh | 100.000 token, bao gồm prompt và phản hồi |
| Truyền phát | Có, sự kiện gửi bởi máy chủ (SSE) |
| Các sampler được chuyển tiếp | temperature, top_p, stop, seed, presence và frequency penalty |
| Giá | $0,15 cho mỗi 1M token đầu vào, $0,50 cho mỗi 1M token đầu ra |
| Giới hạn, khóa đầy đủ | 8 đồng thời, 300 mỗi phút |
| Giới hạn, khóa dùng thử | 2 đồng thời, 60 mỗi phút |
Mô hình được thiết kế cho ứng dụng truyện, nhập vai và bạn đồng hành dành cho người lớn. Mô hình sẽ giữ vững tính cách và không ngắt cảnh để giảng giải về điều đó. Có một quy tắc không ngoại lệ: dịch vụ từ chối mọi nội dung tình dục liên quan đến người chưa thành niên, và các thẻ nhân vật cố gắng thiết lập tình huống như vậy sẽ không hoạt động. Hãy giữ thẻ và prompt của bạn ở phía đúng của đường ranh giới đó.
Prompt không được dùng để huấn luyện, nên nhân vật và nhật ký trò chuyện của bạn không được đưa lại vào mô hình. Chúng vẫn đi qua nhà cung cấp để tạo phản hồi, giống như bất kỳ API lưu trữ nào khác.
Các cài đặt nên thay đổi sau khi kết nối
Mở bảng cấu hình phản hồi AI (biểu tượng thanh trượt). Bạn không cần chạm vào nhiều, nhưng một vài giá trị quyết định cảm giác cuộc trò chuyện và chi phí phát sinh.
Kích thước cửa sổ ngữ cảnh
Đây là số token SillyTavern gửi với mỗi yêu cầu: thẻ nhân vật, lore, system prompt và càng nhiều lịch sử trò chuyện gần đây càng tốt. API cho phép tối đa 100.000 token, nhưng bạn không cần dùng hết. Mức 16.000 đến 32.000 giữ phản hồi đúng chủ đề và hóa đơn nhỏ. Tăng lên khi câu chuyện dài cần mô hình nhớ chi tiết từ xa. Phép tính bên dưới cho thấy tại sao điều này quan trọng.
Độ dài phản hồi tối đa
Đặt mức trần phù hợp với phong cách của bạn. 300 đến 500 token phù hợp cho trao đổi ngắn, và 800 trở lên phù hợp cho viết cảnh. Giá trị thấp hơn cũng rút ngắn thời gian chờ trước khi mỗi phản hồi kết thúc.
Truyền phát
Hãy giữ nó bật. Phản hồi xuất hiện từng từ, và bạn có thể dừng một phản hồi đi sai hướng và không phải trả tiền cho phần còn lại. Hãy lưu ý rằng một yêu cầu streaming chiếm một slot đồng thời cho đến khi luồng kết thúc.
Nhiệt độ và các hình phạt
Hãy bắt đầu với temperature khoảng 0,8 và top_p khoảng 0,9. Nếu phản hồi lặp lại cụm từ, hãy thêm một frequency penalty nhỏ như 0,3. Nếu mô hình đi chệch khỏi thẻ, hãy giảm temperature xuống 0,6. Đây là điểm bắt đầu để điều chỉnh theo cảm giác, không phải con số phép thuật, và tham số seed được chuyển tiếp nếu bạn muốn đầu ra lặp lại trong khi tinh chỉnh.
Định dạng Instruct và prompt
Với nguồn Chat Completion, SillyTavern tự xây dựng danh sách tin nhắn, nên bạn không cần chọn template instruct. Hãy dùng trình quản lý prompt để sắp xếp system prompt, mô tả nhân vật, kịch bản và lịch sử trò chuyện, và giữ các hướng dẫn phong cách của bạn ngắn gọn và trực tiếp.
Một phiên roleplay tốn bao nhiêu
Roleplay rất nặng về đầu vào. Mỗi lượt gửi lại thẻ, lore và lịch sử trò chuyện gần đây, và mô hình trả lời bằng vài trăm token. Hãy lấy ngữ cảnh 30.000 token và phản hồi 300 token:
- Đầu vào: 30.000 / 1.000.000 x $0,15 = $0,0045
- Đầu ra: 300 / 1.000.000 x $0,50 = $0,00015
- Tổng cộng: $0,00465 mỗi lượt, vậy 100 lượt tốn $0,465
Bây giờ hãy so sánh ngữ cảnh 8.000 token với cùng phản hồi: đầu vào là $0,0012, đầu ra là $0,00015, vậy $0,00135 mỗi lượt và $0,135 cho 100 lượt. Ngữ cảnh nhỏ hơn có giá bằng một phần ba. Sự đánh đổi là mô hình thấy ít lịch sử hơn, nên nó có thể quên một chi tiết từ một giờ trước. Các mục trong sổ lore và tóm tắt ngắn giúp bạn giữ các sự kiện quan trọng trong ngữ cảnh nhỏ.
Ngay cả con số lớn hơn cũng khá nhỏ. Tín dụng dùng thử $0,50 bao gồm khoảng 107 lượt với ngữ cảnh 30.000 token ($0,50 / $0,00465), đủ để đánh giá xem mô hình có phù hợp với nhân vật của bạn không. Sau đó, bạn có thể nạp tiền với bất kỳ số nguyên nào từ $20 đến $500, và tín dụng không bao giờ hết hạn. Mức thưởng thêm áp dụng từ $50 (+5%), $100 (+10%) và $200 (+15%). Số đầy đủ có trên trang bảng giá.
Cuộc trò chuyện nhóm và giới hạn đồng thời
Cuộc trò chuyện nhóm trong SillyTavern gửi một yêu cầu cho mỗi nhân vật nói. Các tính năng như swipes, regenerate và tóm tắt nền cũng có thể bắt đầu các yêu cầu liên tiếp. Nếu nhiều yêu cầu chồng chéo, bạn có thể thấy lỗi 429 với mã concurrency. Điều này có nghĩa là quá nhiều yêu cầu đang chạy cùng lúc, không phải khóa của bạn có vấn đề.
Khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 mỗi phút. Khóa đã nạp tiền cho phép 8 và 300. Để nằm trong giới hạn thấp hơn:
- Đợi phản hồi kết thúc trước khi bạn regenerate.
- Trong nhóm, hãy giữ thứ tự phản hồi của nhân vật theo cách thủ công hoặc tuần tự thay vì để nhiều nhân vật trả lời cùng lúc.
- Tắt các extension gửi yêu cầu trên mỗi tin nhắn, như auto-summaries, cho đến khi bạn có khóa đã nạp tiền.
API cũng trả về 429 với tiêu đề Retry-After: 5 khi nó bị quá tải tạm thời. Trong trường hợp đó, hãy đợi năm giây và nhấn generate lại. Các yêu cầu thất bại và bị từ chối không bị tính phí, nên không có chi phí khi thử lại.
Khắc phục sự cố
Nếu nút Connect thất bại, hãy kiểm tra khóa bên ngoài SillyTavern để biết bên nào có vấn đề:
curl https://api.glmapikey.com/v1/models \
-H "Authorization: Bearer $API_KEY"
Một danh sách JSON bao gồm uncensored có nghĩa là khóa và URL đúng, và lỗi nằm ở các trường SillyTavern.
- Trạng thái vẫn đỏ hoặc bạn thấy 404. Endpoint có thể có đường dẫn thừa hoặc thiếu
/v1. Hãy dùng chính xáchttps://api.glmapikey.com/v1. - Lỗi 401. Khóa được dán kèm theo khoảng trắng hoặc ngắt dòng. Hãy dán lại.
- Phản hồi bị cắt ngang giữa câu. Độ dài phản hồi tối đa của bạn quá thấp. Hãy tăng nó lên.
- Câu trả lời bỏ qua nhân vật. Thẻ có thể bị cắt vì kích thước cửa sổ ngữ cảnh quá nhỏ. Hãy tăng cửa sổ ngữ cảnh hoặc rút ngắn thẻ.
- Khóa ngừng hoạt động sau một thời gian. Tín dụng dùng thử có hiệu lực trong 7 ngày, vì vậy bạn hãy nạp tiền để tiếp tục sử dụng.
- SillyTavern trên điện thoại hoặc thiết bị khác không thể kết nối. Hãy kiểm tra xem thiết bị có kết nối internet và URL đã được nhập chính xác chưa, sau đó chạy lệnh kiểm tra curl từ thiết bị đó.
Để biết thêm về các trường và tiêu đề yêu cầu, hãy xem tài liệu. Nếu bạn muốn hiểu cách lấy khóa ngay từ đầu, trình giải thích khóa GLM sẽ hướng dẫn chi tiết.
