五個步驟完成連接
這是 glm api sillytavern 設定的快速途徑。它假設你已經運行 SillyTavern 並在 API 金鑰頁面建立了金鑰。
- 開啟 SillyTavern 頂端的插頭圖示(API 連線)。
- 將 API 類型設定為 Chat Completion。
- 將 Chat Completion Source 設定為 Custom (OpenAI-compatible)。
- 將
https://api.glmapikey.com/v1貼上到自訂端點欄位,並將你的金鑰貼上到自訂 API 金鑰欄位。 - 輸入
uncensored作為模型 ID 並按下連線。
按鈕下方出現綠色狀態燈和模型名稱表示連接成功。發送訊息給角色,應該會有串流輸出的回覆。選單名稱在 SillyTavern 不同版本間略有差異,因此如果標籤不同,請尋找接受端點 URL 的欄位;值保持不變。
關於名稱的一個誠實說明。此端點並非來自任何供應商的官方 GLM API,也不路由到其他供應商的模型。它是由獨立供應商運行的單一開放權重模型,針對合法成人用途調整,不會拒絕內容。它與人們在 GLM 名稱下尋找的模型家族共享的是介面:一個標準的 OpenAI 風格聊天完成 API,角色扮演前端已經知道如何與其通訊。
你連接的端點
角色扮演相關的重要事實,彙整於此:
| 屬性 | 說明 |
|---|---|
| 端點 | POST /v1/chat/completions |
| 模型 ID | uncensored |
| 上下文視窗 | 100,000 token,包含提示詞與回覆 |
| 串流輸出 | 是,支援伺服器發送事件 |
| 直通取樣器 | temperature、top_p、stop、seed、presence 和 frequency penalties |
| 價格 | 每 1M 輸入 $0.15,每 1M 輸出 $0.50 |
| 限制,完整金鑰 | 8 個並行,每分鐘 300 |
| 限制,試用金鑰 | 2 個並行,每分鐘 60 |
該模型適用於成人使用的小說、角色扮演和陪伴應用程式。它會保持角色設定,不會為了說教而中斷場景。唯一沒有例外的規則:服務會拒絕任何涉及未成年人的性內容,嘗試設定此類情境的角色卡將無法運作。請確保你的角色卡和提示詞符合此規定。
提示詞不用於訓練,因此你的角色和聊天記錄不會被反饋到模型中。它們會像任何託管 API 一樣經過供應商以生成回覆。
連接後值得調整的設定
開啟 AI 回應設定面板(滑桿圖示)。你不需要調整太多,但幾個數值會決定聊天體驗和成本。
上下文大小
這是 SillyTavern 每次請求發送的 token 數量:角色卡、設定、系統提示詞以及盡可能多的近期聊天。API 最多允許 100,000 token,但你不必全部使用。設定 16,000 到 32,000 可讓回覆保持主題並控制帳單。當長篇故事需要模型回憶遠處的細節時,可提高此數值。下方的計算展示了為何這很重要。
最大回覆長度
設定符合你風格的上限。300 到 500 token 適合短對話,800 或以上適合場景寫作。較低的值也會縮短每次回覆結束前的等待時間。
串流輸出
保持開啟。回覆會逐字顯示,你可以終止錯誤的回覆並不再為其餘部分付費。請注意,串流請求會佔用並行槽位直到串流結束。
溫度與懲罰
從 temperature 約 0.8 和 top_p 約 0.9 開始。如果回覆重複短語,請增加少量 frequency penalty 如 0.3。如果模型偏離角色卡,請將 temperature 降至 0.6。這些是根據感覺調整的起點,而非神奇數字,且 seed 參數會直通,以便你在調整時獲得可重複的輸出。
指令與提示詞格式
使用 Chat Completion 來源時,SillyTavern 會自行建構訊息列表,因此你不需要選擇指令範本。使用提示詞管理器來排列系統提示詞、角色描述、場景和聊天歷史,並保持你自己的風格指示簡潔直接。
角色扮演會話的成本
角色扮演輸入量大。每一輪都會重新發送角色卡、設定和近期聊天,模型則以幾百個 token 作答。假設上下文為 30,000 token,回覆為 300 token:
- 輸入:30,000 / 1,000,000 x $0.15 = $0.0045
- 輸出:300 / 1,000,000 x $0.50 = $0.00015
- 總計:每輪 $0.00465,因此 100 輪成本為 $0.465
現在比較上下文為 8,000 token 且回覆相同的情況:輸入為 $0.0012,輸出為 $0.00015,因此每輪 $0.00135,100 輪為 $0.135。較小的上下文成本約為三分之一。代價是模型看到的歷史較少,因此可能會遺忘一小時前的細節。設定集條目和簡短的滾動摘要可讓你在小上下文中保留你關心的事實。
即使較大的數字也很適中。$0.50 的試用額度可覆蓋約 107 輪 30,000 token 上下文的聊天($0.50 / $0.00465),足以判斷該模型是否適合你的角色。之後你可以儲值 $20 到 $500 之間的任何整數金額,且額度永不失效。儲值 $50 (+5%)、$100 (+10%) 和 $200 (+15%) 可獲得贈送額度。完整數字請見 定價頁面。
群組聊天與並行限制
SillyTavern 群組聊天會為每個說話的角色發送一個請求。滑動、重新生成和背景摘要等功能也可能快速啟動請求。如果它們重疊,你可能會看到程式碼為 concurrency 的 429 錯誤。這表示同時運行的請求過多,並非你的金鑰有問題。
試用金鑰允許 2 個並行請求和每分鐘 60 個請求。已儲值金鑰允許 8 個和每分鐘 300 個請求。要保持在較低限制內:
- 在重新生成之前,等待回覆完成。
- 在群組中,將角色回覆順序設為手動或順序,而不是讓多個角色同時回答。
- 在擁有已儲值金鑰之前,關閉每次訊息都觸發請求的擴充功能,例如自動摘要。
當 API 短暫超載時,也會返回帶有 Retry-After: 5 標頭的 429。在這種情況下,等待五秒鐘後再次按下生成。失敗和拒絕的請求不會收費,因此再次嘗試沒有成本。
故障排除
如果 Connect 按鈕失敗,請在 SillyTavern 之外測試金鑰,以便知道哪一方有問題:
curl https://api.glmapikey.com/v1/models \
-H "Authorization: Bearer $API_KEY"
JSON 列表包含 uncensored 表示金鑰與 URL 正確,問題出在 SillyTavern 的欄位。
- 狀態保持紅色或出現 404。 端點可能有多餘的路徑或缺少
/v1。請精確使用https://api.glmapikey.com/v1。 - 401 錯誤。 金鑰貼上時帶有空白或換行符。請重新貼上。
- 回覆在句子中間被截斷。 你的最大回覆長度太低。請提高它。
- 回覆忽略角色。 卡片可能因上下文大小不足以容納而遭到截斷。請增加上下文或縮短卡片。
- 金鑰一段時間後失效。試用額度有效期為 7 天,請儲值以繼續使用。
- 手機或其他裝置上的 SillyTavern 無法連線。請確認裝置已連線至網際網路,並確認 URL 輸入無誤,然後從該裝置執行 curl 測試。
如需更多關於請求欄位與標頭資訊,請參閱 文件。如果你想了解如何取得金鑰,GLM 金鑰說明將為你逐步說明。
