Conecte em cinco etapas
Este é o caminho rápido para configurações de glm api sillytavern. Pressupõe que você já está executando o SillyTavern e criou uma chave na página de chaves de API.
- Abra o ícone de plugue (Conexões de API) no topo do SillyTavern.
- Defina o tipo de API como Chat Completion.
- Defina a Origem do Chat Completion como Custom (OpenAI-compatible).
- Cole
https://api.glmapikey.com/v1no campo de endpoint personalizado e sua chave no campo de chave de API personalizada. - Insira
uncensoredcomo o ID do modelo e pressione Conectar.
Uma luz de status verde e um nome de modelo abaixo do botão significam que a conexão está funcionando. Envie uma mensagem para um personagem e uma resposta deve aparecer em streaming. Os nomes dos menus variam um pouco entre as versões do SillyTavern, então, se um rótulo for diferente, procure o campo que aceita uma URL de endpoint; os valores permanecem os mesmos.
Uma nota honesta sobre o nome. Este endpoint não é a API GLM oficial de nenhum fornecedor e não encaminha para modelos de outros fornecedores. É um único modelo de pesos abertos executado por um provedor independente, ajustado para responder sem recusas de conteúdo para uso adulto lícito. O que ele compartilha com as famílias de modelos que as pessoas procuram sob o nome GLM é a interface: uma API padrão de chat completions estilo OpenAI que interfaces front-end de RPG já sabem como usar.
O que você está conectando
Os fatos importantes para RPG, em um só lugar:
| Propriedade | Valor |
|---|---|
| Endpoint | POST /v1/chat/completions |
| ID do modelo | uncensored |
| Janela de contexto | 100.000 tokens, prompt mais resposta |
| Streaming | Sim, eventos enviados pelo servidor |
| Samplers em modo pass-through | temperatura, top_p, stop, seed e penalidades de presença e frequência |
| Preço | $0,15 por 1M de entrada, $0,50 por 1M de saída |
| Limites, chave completa | 8 simultâneos, 300 por minuto |
| Limites, chave de teste | 2 simultâneos, 60 por minuto |
O modelo é destinado a ficção, RPG e aplicativos de companhia usados por adultos. Ele manterá o personagem e não interromperá a cena para dar uma palestra sobre isso. Uma regra não tem exceções: o serviço recusa qualquer conteúdo sexual envolvendo menores de idade, e os cartões de personagem que tentam configurar tal cenário não funcionarão. Mantenha seus cartões e prompts no lado certo dessa linha.
Os prompts não são usados para treinamento, então seus personagens e registros de chat não são alimentados de volta em um modelo. Eles passam pelo provedor para gerar uma resposta, assim como em qualquer API hospedada.
Configurações que valem a pena alterar após a conexão
Abra o painel de Configuração de Resposta da IA (ícone de controles deslizantes). Você não precisa tocar muito, mas alguns valores determinam como o chat parece e quanto custa.
Tamanho do contexto
Este é o número de tokens que o SillyTavern envia com cada requisição: cartão de personagem, lore, prompt do sistema e o máximo de chat recente que couber. A API permite até 100.000 tokens, mas você não precisa usar todos. Uma configuração de 16.000 a 32.000 mantém as respostas no tópico e mantém a conta pequena. Aumente quando uma história longa precisar que o modelo lembre-se de detalhes antigos. O cálculo mais abaixo mostra por que isso importa.
Comprimento máximo da resposta
Defina um limite que se adapte ao seu estilo. 300 a 500 tokens adequam-se a trocas curtas, e 800 ou mais adequam-se à escrita de cenas. Um valor menor também encurta o tempo de espera antes que cada resposta termine.
Streaming
Mantenha-o ativado. As respostas aparecem palavra por palavra, e você pode interromper uma que tenha saído do rumo certo e não pagar pelo restante dela. Lembre-se de que uma requisição de streaming ocupa um slot de concorrência até que o streaming termine.
Temperatura e penalidades
Comece com temperatura em torno de 0,8 e top_p em torno de 0,9. Se as respostas repetirem frases, adicione uma penalidade de frequência pequena, como 0,3. Se o modelo se desviar do tema, reduza a temperatura para 0,6. Estes são pontos de partida para ajustar por intuição, não números mágicos, e o parâmetro seed é passado se você quiser saída repetível enquanto ajusta.
Formato de instrução e prompt
Com a origem Chat Completion, o SillyTavern constrói a lista de mensagens sozinho, então você não precisa escolher um modelo de instrução. Use o gerenciador de prompts para ordenar o prompt do sistema, descrição do personagem, cenário e histórico de chat, e mantenha suas próprias instruções de estilo curtas e diretas.
Quanto custa uma sessão de roleplay
RPG é pesado em entrada. Cada rodada reenvia o cartão, o lore e o chat recente, e o modelo responde com algumas centenas de tokens. Considere uma janela de contexto de 30.000 tokens e uma resposta de 300 tokens:
- Entrada: 30.000 / 1.000.000 x $0,15 = $0,0045
- Saída: 300 / 1.000.000 x $0,50 = $0,00015
- Total: $0,00465 por rodada, então 100 rodadas custam $0,465
Agora compare uma janela de contexto de 8.000 tokens com a mesma resposta: entrada é $0,0012, saída é $0,00015, então $0,00135 por rodada e $0,135 para 100 rodadas. A janela menor custa cerca de um terço do preço. A troca é que o modelo vê menos histórico, então pode esquecer um detalhe de uma hora atrás. Entradas do Livro de Lore e um resumo curto em execução permitem que você mantenha os fatos importantes em uma janela pequena.
Mesmo o valor maior é modesto. Um crédito de teste de $0,50 cobre aproximadamente 107 rodadas com 30.000 tokens de contexto ($0,50 / $0,00465), o que é suficiente para avaliar se o modelo se adapta aos seus personagens. Depois disso, você recarrega com qualquer valor inteiro de $20 a $500, e o crédito nunca expira. Bônus aplicam-se a partir de $50 (+5%), $100 (+10%) e $200 (+15%). Números completos estão na página de preços.
Chats de grupo e o limite de concorrência
As conversas em grupo do SillyTavern enviam uma requisição para cada personagem que fala. Recursos como deslizes, regeneração e resumos em segundo plano também podem iniciar requisições em rápida sucessão. Se várias delas se sobrepuserem, você pode ver um erro 429 com o código concurrency. Isso significa que muitas requisições estavam sendo executadas ao mesmo tempo, e não que há algo errado com sua chave.
Uma chave de teste permite 2 requisições simultâneas e 60 por minuto. Uma chave recarregada permite 8 e 300. Para ficar dentro do limite inferior:
- Aguarde uma resposta terminar antes de regenerar.
- Em grupos, mantenha a ordem de resposta dos personagens como manual ou sequencial em vez de permitir que vários personagens respondam juntos.
- Desative extensões que disparam requisições em cada mensagem, como auto-resumos, até ter uma chave financiada.
A API também retorna 429 com um cabeçalho Retry-After: 5 quando está brevemente sobrecarregada. Nesse caso, aguarde cinco segundos e pressione gerar novamente. Requisições falhas e recusadas não são cobradas, então não há custo para tentar novamente.
Solução de Problemas
Se o botão Connect falhar, teste a chave fora do SillyTavern para saber qual lado tem o problema:
curl https://api.glmapikey.com/v1/models \
-H "Authorization: Bearer $API_KEY"
Uma lista JSON que inclui uncensored significa que a chave e a URL estão corretas, e a falha está nos campos do SillyTavern.
- Status permanece vermelho ou você vê um 404. O endpoint provavelmente tem um caminho final ou está faltando
/v1. Use exatamentehttps://api.glmapikey.com/v1. - Erro 401. A chave foi colada com um espaço ou quebra de linha. Cole-a novamente.
- Respostas cortadas no meio da frase. Seu comprimento máximo de resposta está muito baixo. Aumente-o.
- As respostas ignoram o personagem. O cartão provavelmente está sendo cortado porque o tamanho da janela de contexto é muito pequeno. Aumente a janela de contexto ou encurte o cartão.
- A chave para de funcionar depois de um tempo. O crédito de teste grátis dura 7 dias, então recarregue para continuar.
- O SillyTavern em um telefone ou outro dispositivo não consegue conectar. Verifique se o dispositivo tem acesso à internet e se a URL foi digitada exatamente, então execute o teste curl a partir desse dispositivo.
Para mais informações sobre campos de requisição e cabeçalhos, consulte a documentação. Se você quiser entender como obter uma chave inicialmente, o guia de chaves GLM explica o processo.
