分五步连接
这是 glm api sillytavern 设置的快速路径。它假设你已经运行了 SillyTavern 并在 API 密钥页面 创建了密钥。
- 打开 SillyTavern 顶部的插件图标(API 连接)。
- 将 API 类型设置为 Chat Completion。
- 将 Chat Completion Source 设置为 Custom (OpenAI-compatible)。
- 将
https://api.glmapikey.com/v1粘贴到自定义接口字段中,并将你的密钥粘贴到自定义 API 密钥字段中。 - 输入模型 ID
uncensored并点击连接。
按钮下方出现绿色状态灯和模型名称意味着连接成功。向角色发送消息,回复应该会流式输出。SillyTavern 不同版本之间的菜单名称会有所不同,因此如果标签不同,请寻找接受接口 URL 的字段;值保持不变。
关于名称的一个诚实说明。该接口并非来自任何供应商的官方 GLM API,也不路由到其他供应商的模型。它是由独立提供商运行的单一开放权重模型,经过调整以在合法成人用途中不触发内容审查地回答。它与人们在 GLM 名称下寻找的模型家族共享的是接口:一种标准的 OpenAI 风格聊天补全 API,角色扮演前端已经知道如何与之通信。
你连接到的内容
角色扮演中重要的事实,集中在一处:
| 属性 | 说明 |
|---|---|
| 接口 | POST /v1/chat/completions |
| 模型 ID | uncensored |
| 上下文窗口 | 100,000 token,提示词加回复 |
| 流式输出 | 是的,服务器发送事件 |
| 透传采样器 | temperature, top_p, stop, seed, presence 和 frequency penalties |
| 价格 | 每 1M 输入 token $0.15,每 1M 输出 token $0.50 |
| 限制,完整密钥 | 8 个并发,每分钟 300 个 |
| 限制,试用密钥 | 2 个并发,每分钟 60 个 |
该模型旨在用于成人使用的小说、角色扮演和伴侣应用。它会保持角色设定,不会打断场景来向你说教。一条规则没有例外:服务拒绝任何涉及未成年人的性内容,试图设置此类场景的角色卡将无法工作。让你的角色卡和提示词保持在该界限之内。
提示词不用于训练,因此你的角色和聊天记录不会反馈到模型中。它们会像任何托管 API 一样经过提供商以生成回复。
连接后值得更改的设置
打开 AI 响应配置面板(滑块图标)。你不需要触碰太多,但一些值决定了聊天的感觉和成本。
上下文大小
这是 SillyTavern 每次请求发送的 token 数量:角色卡、背景、系统提示词以及尽可能多的近期聊天。API 允许最多 100,000 个 token,但你不必全部使用。设置为 16,000 到 32,000 可使回复保持在主题内并使账单较小。当长故事需要模型回忆很久以前的细节时,请提高该值。下面的计算显示了为什么这很重要。
最大回复长度
设置适合你风格的限制。300 到 500 token 适合简短交流,800 或更多适合场景写作。较低的值也会缩短每次回复结束前的等待时间。
流式输出
保持开启。回复逐字出现,你可以停止一个走偏的回复,并且不为其余部分付费。请记住,流式输出请求会占用并发槽位,直到流结束。
温度和惩罚
从 temperature 约 0.8 和 top_p 约 0.9 开始。如果回复重复短语,请添加小的 frequency 惩罚,例如 0.3。如果模型偏离角色卡,请将 temperature 降低到 0.6。这些是根据感觉调整的起点,而不是魔法数字,并且如果你希望在调整期间获得可重复的输出,seed 参数将被传递。
指令和提示词格式
使用 Chat Completion 源,SillyTavern 自己构建消息列表,因此你不需要选择指令模板。使用提示词管理器来排序系统提示词、角色描述、场景和聊天历史,并保持你自己的风格指令简短直接。
角色扮演会话的成本
角色扮演输入量大。每一轮都会重新发送角色卡、背景设定和近期聊天记录,模型用几百个 token 回答。取 30,000 token 的上下文和 300 token 的回复:
- 输入:30,000 / 1,000,000 x $0.15 = $0.0045
- 输出:300 / 1,000,000 x $0.50 = $0.00015
- 总计:每轮 $0.00465,因此 100 轮的成本为 $0.465
现在将 8,000 token 的上下文与相同的回复进行比较:输入为 $0.0012,输出为 $0.00015,因此每轮对话成本为 $0.00135,100 轮对话成本为 $0.135。较小的上下文成本约为三分之一。代价是模型看到的历史更少,因此它可能会忘记一小时前发生的一个细节。背景条目和简短的运行摘要让你可以在小上下文中保留你关心的事实。
即使是较大的数字也很适中。$0.50 的试用额度可以覆盖大约 107 轮 30,000 token 上下文的对话($0.50 / $0.00465),这足以判断该模型是否适合你的角色。之后你可以充值任何从 $20 到 $500 的整数金额,且额度永不过期。从 $50 (+5%)、$100 (+10%) 和 $200 (+15%) 起可获得赠送额度。完整数字在 定价页面 上。
群聊和并发限制
SillyTavern 群聊为每个说话的角色发送一个请求。诸如滑动、重新生成和后台摘要等功能也可以快速连续启动请求。如果其中几个重叠,你可能会看到代码为 concurrency 的 429 错误。这意味着同时运行的请求太多,而不是你的密钥有问题。
试用密钥允许 2 个并发请求和每分钟 60 个。已充值密钥允许 8 个和每分钟 300 个。为了保持在较低限制内:
- 在重新生成之前等待回复完成。
- 在群组中,保持角色回复顺序为手动或顺序,而不是让多个角色同时回答。
- 在你拥有付费密钥之前,关闭在每个消息上触发请求的扩展,例如自动摘要。
当 API 短暂过载时,它还会返回带有 Retry-After: 5 标头的 429。在这种情况下,等待五秒钟并再次点击生成。失败和拒绝的请求不会收费,因此再次尝试没有成本。
故障排除
如果 Connect 按钮失败,在 SillyTavern 之外测试密钥,以便知道哪一边有问题:
curl https://api.glmapikey.com/v1/models \
-H "Authorization: Bearer $API_KEY"
包含 uncensored 的 JSON 列表意味着密钥和 URL 正确,故障在于 SillyTavern 字段。
- 状态保持红色或你看到 404。 接口可能有一个尾部路径或缺少
/v1。请精确使用https://api.glmapikey.com/v1。 - 401 错误。 密钥粘贴时带有空格或换行符。再次粘贴。
- 回复在句子中间截断。 你的最大回复长度太低。提高它。
- 回复忽略角色。 角色卡可能正在被修剪,因为上下文窗口太小。增加上下文或缩短角色卡。
- 密钥一段时间后失效。试用额度有效期为 7 天,请充值以继续使用。
- 手机或其他设备上的 SillyTavern 无法连接。 检查设备是否已联网,并确认 URL 输入无误,然后在该设备上运行 curl 测试。
有关请求字段和标头的更多信息,请参阅 文档。如果你想了解如何首先获取密钥,GLM 密钥说明 将对其进行介绍。
