VI ▾
Lấy khóa API

API GLM trong SillyTavern: Thiết lập cho trò chơi nhập vai

SillyTavern có thể kết nối với bất kỳ endpoint tương thích OpenAI nào qua nguồn chat completion tùy chỉnh, nên việc thiết lập API kiểu GLM chỉ mất một màn hình. Dưới đây là các trường chính xác, cài đặt hợp lý cho các phiên roleplay dài và chi phí dự kiến.

Cập nhật

Giao diện có bong bóng thoại và mặt nạ được nối bằng cáp với máy chủ, minh họa cho việc roleplay với API

Điểm chính

  • Trong SillyTavern, chọn Chat Completion, sau đó chọn nguồn Custom (OpenAI-compatible) và nhập https://api.glmapikey.com/v1.
  • Nhập uncensored làm model ID. Đây là mô hình duy nhất mà API này cung cấp.
  • Kích thước ngữ cảnh quyết định hóa đơn, vì mỗi lượt sẽ gửi lại toàn bộ cuộc trò chuyện. Khoảng 32k là mức mặc định rẻ và thoải mái.
  • Cuộc trò chuyện nhóm có thể chạm giới hạn đồng thời. Khóa dùng thử cho phép 2 yêu cầu cùng lúc, khóa đầy đủ cho phép 8.

Kết nối trong năm bước

Đây là đường tắt nhanh cho các thiết lập glm api sillytavern. Nó giả định bạn đã chạy SillyTavern và đã tạo khóa trên trang khóa API.

  1. Mở biểu tượng phích cắm (API Connections) ở đầu SillyTavern.
  2. Đặt loại API thành Chat Completion.
  3. Đặt nguồn Chat Completion thành Custom (OpenAI-compatible).
  4. Dán https://api.glmapikey.com/v1 vào trường endpoint tùy chỉnh và khóa của bạn vào trường khóa API tùy chỉnh.
  5. Nhập uncensored làm ID mô hình và nhấn Kết nối.

Đèn trạng thái màu xanh lá và tên mô hình dưới nút cho biết kết nối hoạt động. Hãy gửi tin nhắn cho nhân vật và phản hồi sẽ được truyền phát. Tên menu thay đổi nhẹ giữa các phiên bản SillyTavern, nên nếu nhãn khác biệt, hãy tìm trường chấp nhận URL endpoint; các giá trị vẫn giữ nguyên.

Một lưu ý trung thực về tên gọi. Endpoint này không phải là GLM API chính thức từ bất kỳ nhà cung cấp nào và không chuyển hướng đến các mô hình của nhà cung cấp khác. Đây là một mô hình trọng số mở duy nhất do nhà cung cấp độc lập vận hành, được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp. Điểm chung với các họ mô hình mà mọi người tìm kiếm dưới tên GLM chính là giao diện: một API chat completions chuẩn kiểu OpenAI mà các giao diện roleplay đã biết cách tương tác.

Dịch vụ bạn đang kết nối

Các sự thật quan trọng cho roleplay, ở một chỗ:

Thuộc tínhGiá trị
EndpointPOST /v1/chat/completions
ID mô hìnhuncensored
Cửa sổ ngữ cảnh100.000 token, bao gồm prompt và phản hồi
Truyền phátCó, sự kiện gửi bởi máy chủ (SSE)
Các sampler được chuyển tiếptemperature, top_p, stop, seed, presence và frequency penalty
Giá$0,15 cho mỗi 1M token đầu vào, $0,50 cho mỗi 1M token đầu ra
Giới hạn, khóa đầy đủ8 đồng thời, 300 mỗi phút
Giới hạn, khóa dùng thử2 đồng thời, 60 mỗi phút

Mô hình được thiết kế cho ứng dụng truyện, nhập vai và bạn đồng hành dành cho người lớn. Mô hình sẽ giữ vững tính cách và không ngắt cảnh để giảng giải về điều đó. Có một quy tắc không ngoại lệ: dịch vụ từ chối mọi nội dung tình dục liên quan đến người chưa thành niên, và các thẻ nhân vật cố gắng thiết lập tình huống như vậy sẽ không hoạt động. Hãy giữ thẻ và prompt của bạn ở phía đúng của đường ranh giới đó.

Prompt không được dùng để huấn luyện, nên nhân vật và nhật ký trò chuyện của bạn không được đưa lại vào mô hình. Chúng vẫn đi qua nhà cung cấp để tạo phản hồi, giống như bất kỳ API lưu trữ nào khác.

Các cài đặt nên thay đổi sau khi kết nối

Mở bảng cấu hình phản hồi AI (biểu tượng thanh trượt). Bạn không cần chạm vào nhiều, nhưng một vài giá trị quyết định cảm giác cuộc trò chuyện và chi phí phát sinh.

Kích thước cửa sổ ngữ cảnh

Đây là số token SillyTavern gửi với mỗi yêu cầu: thẻ nhân vật, lore, system prompt và càng nhiều lịch sử trò chuyện gần đây càng tốt. API cho phép tối đa 100.000 token, nhưng bạn không cần dùng hết. Mức 16.000 đến 32.000 giữ phản hồi đúng chủ đề và hóa đơn nhỏ. Tăng lên khi câu chuyện dài cần mô hình nhớ chi tiết từ xa. Phép tính bên dưới cho thấy tại sao điều này quan trọng.

Độ dài phản hồi tối đa

Đặt mức trần phù hợp với phong cách của bạn. 300 đến 500 token phù hợp cho trao đổi ngắn, và 800 trở lên phù hợp cho viết cảnh. Giá trị thấp hơn cũng rút ngắn thời gian chờ trước khi mỗi phản hồi kết thúc.

Truyền phát

Hãy giữ nó bật. Phản hồi xuất hiện từng từ, và bạn có thể dừng một phản hồi đi sai hướng và không phải trả tiền cho phần còn lại. Hãy lưu ý rằng một yêu cầu streaming chiếm một slot đồng thời cho đến khi luồng kết thúc.

Nhiệt độ và các hình phạt

Hãy bắt đầu với temperature khoảng 0,8 và top_p khoảng 0,9. Nếu phản hồi lặp lại cụm từ, hãy thêm một frequency penalty nhỏ như 0,3. Nếu mô hình đi chệch khỏi thẻ, hãy giảm temperature xuống 0,6. Đây là điểm bắt đầu để điều chỉnh theo cảm giác, không phải con số phép thuật, và tham số seed được chuyển tiếp nếu bạn muốn đầu ra lặp lại trong khi tinh chỉnh.

Định dạng Instruct và prompt

Với nguồn Chat Completion, SillyTavern tự xây dựng danh sách tin nhắn, nên bạn không cần chọn template instruct. Hãy dùng trình quản lý prompt để sắp xếp system prompt, mô tả nhân vật, kịch bản và lịch sử trò chuyện, và giữ các hướng dẫn phong cách của bạn ngắn gọn và trực tiếp.

Một phiên roleplay tốn bao nhiêu

Roleplay rất nặng về đầu vào. Mỗi lượt gửi lại thẻ, lore và lịch sử trò chuyện gần đây, và mô hình trả lời bằng vài trăm token. Hãy lấy ngữ cảnh 30.000 token và phản hồi 300 token:

  • Đầu vào: 30.000 / 1.000.000 x $0,15 = $0,0045
  • Đầu ra: 300 / 1.000.000 x $0,50 = $0,00015
  • Tổng cộng: $0,00465 mỗi lượt, vậy 100 lượt tốn $0,465

Bây giờ hãy so sánh ngữ cảnh 8.000 token với cùng phản hồi: đầu vào là $0,0012, đầu ra là $0,00015, vậy $0,00135 mỗi lượt và $0,135 cho 100 lượt. Ngữ cảnh nhỏ hơn có giá bằng một phần ba. Sự đánh đổi là mô hình thấy ít lịch sử hơn, nên nó có thể quên một chi tiết từ một giờ trước. Các mục trong sổ lore và tóm tắt ngắn giúp bạn giữ các sự kiện quan trọng trong ngữ cảnh nhỏ.

Ngay cả con số lớn hơn cũng khá nhỏ. Tín dụng dùng thử $0,50 bao gồm khoảng 107 lượt với ngữ cảnh 30.000 token ($0,50 / $0,00465), đủ để đánh giá xem mô hình có phù hợp với nhân vật của bạn không. Sau đó, bạn có thể nạp tiền với bất kỳ số nguyên nào từ $20 đến $500, và tín dụng không bao giờ hết hạn. Mức thưởng thêm áp dụng từ $50 (+5%), $100 (+10%) và $200 (+15%). Số đầy đủ có trên trang bảng giá.

Cuộc trò chuyện nhóm và giới hạn đồng thời

Cuộc trò chuyện nhóm trong SillyTavern gửi một yêu cầu cho mỗi nhân vật nói. Các tính năng như swipes, regenerate và tóm tắt nền cũng có thể bắt đầu các yêu cầu liên tiếp. Nếu nhiều yêu cầu chồng chéo, bạn có thể thấy lỗi 429 với mã concurrency. Điều này có nghĩa là quá nhiều yêu cầu đang chạy cùng lúc, không phải khóa của bạn có vấn đề.

Khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 mỗi phút. Khóa đã nạp tiền cho phép 8 và 300. Để nằm trong giới hạn thấp hơn:

  • Đợi phản hồi kết thúc trước khi bạn regenerate.
  • Trong nhóm, hãy giữ thứ tự phản hồi của nhân vật theo cách thủ công hoặc tuần tự thay vì để nhiều nhân vật trả lời cùng lúc.
  • Tắt các extension gửi yêu cầu trên mỗi tin nhắn, như auto-summaries, cho đến khi bạn có khóa đã nạp tiền.

API cũng trả về 429 với tiêu đề Retry-After: 5 khi nó bị quá tải tạm thời. Trong trường hợp đó, hãy đợi năm giây và nhấn generate lại. Các yêu cầu thất bại và bị từ chối không bị tính phí, nên không có chi phí khi thử lại.

Khắc phục sự cố

Nếu nút Connect thất bại, hãy kiểm tra khóa bên ngoài SillyTavern để biết bên nào có vấn đề:

curl https://api.glmapikey.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

Một danh sách JSON bao gồm uncensored có nghĩa là khóa và URL đúng, và lỗi nằm ở các trường SillyTavern.

  • Trạng thái vẫn đỏ hoặc bạn thấy 404. Endpoint có thể có đường dẫn thừa hoặc thiếu /v1. Hãy dùng chính xác https://api.glmapikey.com/v1.
  • Lỗi 401. Khóa được dán kèm theo khoảng trắng hoặc ngắt dòng. Hãy dán lại.
  • Phản hồi bị cắt ngang giữa câu. Độ dài phản hồi tối đa của bạn quá thấp. Hãy tăng nó lên.
  • Câu trả lời bỏ qua nhân vật. Thẻ có thể bị cắt vì kích thước cửa sổ ngữ cảnh quá nhỏ. Hãy tăng cửa sổ ngữ cảnh hoặc rút ngắn thẻ.
  • Khóa ngừng hoạt động sau một thời gian. Tín dụng dùng thử có hiệu lực trong 7 ngày, vì vậy bạn hãy nạp tiền để tiếp tục sử dụng.
  • SillyTavern trên điện thoại hoặc thiết bị khác không thể kết nối. Hãy kiểm tra xem thiết bị có kết nối internet và URL đã được nhập chính xác chưa, sau đó chạy lệnh kiểm tra curl từ thiết bị đó.

Để biết thêm về các trường và tiêu đề yêu cầu, hãy xem tài liệu. Nếu bạn muốn hiểu cách lấy khóa ngay từ đầu, trình giải thích khóa GLM sẽ hướng dẫn chi tiết.

Hỏi đáp

Tôi nên chọn nguồn nào trong SillyTavern?

Chọn Chat Completion làm loại API và Custom (tương thích OpenAI) làm nguồn. Sau đó, nhập base URL, khóa của bạn và model ID uncensored.

Đây có phải là GLM API chính thức không?

Không. Đây là một mô hình trọng số mở duy nhất do một nhà cung cấp độc lập vận hành thông qua giao diện tương thích OpenAI. Đây không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào.

Một phiên đóng vai tốn bao nhiêu?

Với cửa sổ ngữ cảnh 30.000 token và câu trả lời dài 300 token, một lượt hỏi đáp tốn khoảng $0,00465, vì vậy 100 lượt tốn khoảng $0,47. Cửa sổ ngữ cảnh nhỏ hơn sẽ giảm chi phí đó.

Tôi có thể dùng nó cho đóng vai người lớn không?

Mô hình được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp, trong các ứng dụng tiểu thuyết và bạn đồng hành. Nội dung tình dục liên quan đến người chưa thành niên luôn bị cấm.

Tại sao tôi nhận được lỗi 429 trong các cuộc trò chuyện nhóm?

Các cuộc trò chuyện nhóm gửi nhiều yêu cầu đồng thời, và khóa dùng thử chỉ cho phép 2 yêu cầu đồng thời. Hãy đợi các câu trả lời hoàn tất hoặc chuyển sang khóa đầy đủ với giới hạn 8.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API