PT ▾
Obter chave de API

API GLM no SillyTavern: configuração para chats de RPG

O SillyTavern pode se conectar a qualquer endpoint compatível com OpenAI por meio de sua origem personalizada de chat completion, então a configuração de uma API estilo GLM ocupa uma tela. Abaixo estão os campos exatos, configurações sensatas para sessões longas de RPG e os custos esperados.

Atualizado

Palco com balões de fala e uma máscara conectados por um cabo a um servidor, ilustrando RPG com uma API

Pontos principais

  • No SillyTavern, escolha Chat Completion, depois a origem Custom (OpenAI-compatible) e insira https://api.glmapikey.com/v1.
  • Digite uncensored como o ID do modelo. É o único modelo que esta API oferece.
  • O tamanho da janela de contexto determina a conta, porque cada rodada reenvia o chat. Cerca de 32k é um padrão barato e confortável.
  • Chats de grupo podem atingir o limite de concorrência. Uma chave de teste permite 2 requisições simultâneas, uma chave completa 8.

Conecte em cinco etapas

Este é o caminho rápido para configurações de glm api sillytavern. Pressupõe que você já está executando o SillyTavern e criou uma chave na página de chaves de API.

  1. Abra o ícone de plugue (Conexões de API) no topo do SillyTavern.
  2. Defina o tipo de API como Chat Completion.
  3. Defina a Origem do Chat Completion como Custom (OpenAI-compatible).
  4. Cole https://api.glmapikey.com/v1 no campo de endpoint personalizado e sua chave no campo de chave de API personalizada.
  5. Insira uncensored como o ID do modelo e pressione Conectar.

Uma luz de status verde e um nome de modelo abaixo do botão significam que a conexão está funcionando. Envie uma mensagem para um personagem e uma resposta deve aparecer em streaming. Os nomes dos menus variam um pouco entre as versões do SillyTavern, então, se um rótulo for diferente, procure o campo que aceita uma URL de endpoint; os valores permanecem os mesmos.

Uma nota honesta sobre o nome. Este endpoint não é a API GLM oficial de nenhum fornecedor e não encaminha para modelos de outros fornecedores. É um único modelo de pesos abertos executado por um provedor independente, ajustado para responder sem recusas de conteúdo para uso adulto lícito. O que ele compartilha com as famílias de modelos que as pessoas procuram sob o nome GLM é a interface: uma API padrão de chat completions estilo OpenAI que interfaces front-end de RPG já sabem como usar.

O que você está conectando

Os fatos importantes para RPG, em um só lugar:

PropriedadeValor
EndpointPOST /v1/chat/completions
ID do modelouncensored
Janela de contexto100.000 tokens, prompt mais resposta
StreamingSim, eventos enviados pelo servidor
Samplers em modo pass-throughtemperatura, top_p, stop, seed e penalidades de presença e frequência
Preço$0,15 por 1M de entrada, $0,50 por 1M de saída
Limites, chave completa8 simultâneos, 300 por minuto
Limites, chave de teste2 simultâneos, 60 por minuto

O modelo é destinado a ficção, RPG e aplicativos de companhia usados por adultos. Ele manterá o personagem e não interromperá a cena para dar uma palestra sobre isso. Uma regra não tem exceções: o serviço recusa qualquer conteúdo sexual envolvendo menores de idade, e os cartões de personagem que tentam configurar tal cenário não funcionarão. Mantenha seus cartões e prompts no lado certo dessa linha.

Os prompts não são usados para treinamento, então seus personagens e registros de chat não são alimentados de volta em um modelo. Eles passam pelo provedor para gerar uma resposta, assim como em qualquer API hospedada.

Configurações que valem a pena alterar após a conexão

Abra o painel de Configuração de Resposta da IA (ícone de controles deslizantes). Você não precisa tocar muito, mas alguns valores determinam como o chat parece e quanto custa.

Tamanho do contexto

Este é o número de tokens que o SillyTavern envia com cada requisição: cartão de personagem, lore, prompt do sistema e o máximo de chat recente que couber. A API permite até 100.000 tokens, mas você não precisa usar todos. Uma configuração de 16.000 a 32.000 mantém as respostas no tópico e mantém a conta pequena. Aumente quando uma história longa precisar que o modelo lembre-se de detalhes antigos. O cálculo mais abaixo mostra por que isso importa.

Comprimento máximo da resposta

Defina um limite que se adapte ao seu estilo. 300 a 500 tokens adequam-se a trocas curtas, e 800 ou mais adequam-se à escrita de cenas. Um valor menor também encurta o tempo de espera antes que cada resposta termine.

Streaming

Mantenha-o ativado. As respostas aparecem palavra por palavra, e você pode interromper uma que tenha saído do rumo certo e não pagar pelo restante dela. Lembre-se de que uma requisição de streaming ocupa um slot de concorrência até que o streaming termine.

Temperatura e penalidades

Comece com temperatura em torno de 0,8 e top_p em torno de 0,9. Se as respostas repetirem frases, adicione uma penalidade de frequência pequena, como 0,3. Se o modelo se desviar do tema, reduza a temperatura para 0,6. Estes são pontos de partida para ajustar por intuição, não números mágicos, e o parâmetro seed é passado se você quiser saída repetível enquanto ajusta.

Formato de instrução e prompt

Com a origem Chat Completion, o SillyTavern constrói a lista de mensagens sozinho, então você não precisa escolher um modelo de instrução. Use o gerenciador de prompts para ordenar o prompt do sistema, descrição do personagem, cenário e histórico de chat, e mantenha suas próprias instruções de estilo curtas e diretas.

Quanto custa uma sessão de roleplay

RPG é pesado em entrada. Cada rodada reenvia o cartão, o lore e o chat recente, e o modelo responde com algumas centenas de tokens. Considere uma janela de contexto de 30.000 tokens e uma resposta de 300 tokens:

  • Entrada: 30.000 / 1.000.000 x $0,15 = $0,0045
  • Saída: 300 / 1.000.000 x $0,50 = $0,00015
  • Total: $0,00465 por rodada, então 100 rodadas custam $0,465

Agora compare uma janela de contexto de 8.000 tokens com a mesma resposta: entrada é $0,0012, saída é $0,00015, então $0,00135 por rodada e $0,135 para 100 rodadas. A janela menor custa cerca de um terço do preço. A troca é que o modelo vê menos histórico, então pode esquecer um detalhe de uma hora atrás. Entradas do Livro de Lore e um resumo curto em execução permitem que você mantenha os fatos importantes em uma janela pequena.

Mesmo o valor maior é modesto. Um crédito de teste de $0,50 cobre aproximadamente 107 rodadas com 30.000 tokens de contexto ($0,50 / $0,00465), o que é suficiente para avaliar se o modelo se adapta aos seus personagens. Depois disso, você recarrega com qualquer valor inteiro de $20 a $500, e o crédito nunca expira. Bônus aplicam-se a partir de $50 (+5%), $100 (+10%) e $200 (+15%). Números completos estão na página de preços.

Chats de grupo e o limite de concorrência

As conversas em grupo do SillyTavern enviam uma requisição para cada personagem que fala. Recursos como deslizes, regeneração e resumos em segundo plano também podem iniciar requisições em rápida sucessão. Se várias delas se sobrepuserem, você pode ver um erro 429 com o código concurrency. Isso significa que muitas requisições estavam sendo executadas ao mesmo tempo, e não que há algo errado com sua chave.

Uma chave de teste permite 2 requisições simultâneas e 60 por minuto. Uma chave recarregada permite 8 e 300. Para ficar dentro do limite inferior:

  • Aguarde uma resposta terminar antes de regenerar.
  • Em grupos, mantenha a ordem de resposta dos personagens como manual ou sequencial em vez de permitir que vários personagens respondam juntos.
  • Desative extensões que disparam requisições em cada mensagem, como auto-resumos, até ter uma chave financiada.

A API também retorna 429 com um cabeçalho Retry-After: 5 quando está brevemente sobrecarregada. Nesse caso, aguarde cinco segundos e pressione gerar novamente. Requisições falhas e recusadas não são cobradas, então não há custo para tentar novamente.

Solução de Problemas

Se o botão Connect falhar, teste a chave fora do SillyTavern para saber qual lado tem o problema:

curl https://api.glmapikey.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

Uma lista JSON que inclui uncensored significa que a chave e a URL estão corretas, e a falha está nos campos do SillyTavern.

  • Status permanece vermelho ou você vê um 404. O endpoint provavelmente tem um caminho final ou está faltando /v1. Use exatamente https://api.glmapikey.com/v1.
  • Erro 401. A chave foi colada com um espaço ou quebra de linha. Cole-a novamente.
  • Respostas cortadas no meio da frase. Seu comprimento máximo de resposta está muito baixo. Aumente-o.
  • As respostas ignoram o personagem. O cartão provavelmente está sendo cortado porque o tamanho da janela de contexto é muito pequeno. Aumente a janela de contexto ou encurte o cartão.
  • A chave para de funcionar depois de um tempo. O crédito de teste grátis dura 7 dias, então recarregue para continuar.
  • O SillyTavern em um telefone ou outro dispositivo não consegue conectar. Verifique se o dispositivo tem acesso à internet e se a URL foi digitada exatamente, então execute o teste curl a partir desse dispositivo.

Para mais informações sobre campos de requisição e cabeçalhos, consulte a documentação. Se você quiser entender como obter uma chave inicialmente, o guia de chaves GLM explica o processo.

Perguntas e respostas

Qual origem eu escolho no SillyTavern?

Escolha Chat Completion como o tipo de API e Custom (OpenAI-compatible) como a origem. Em seguida, insira a base URL, sua chave e o ID do modelo uncensored.

Esta é a API GLM oficial?

Não. É um único modelo de pesos abertos executado por um provedor independente por trás de uma interface compatível com OpenAI. Não é a API oficial de nenhum fornecedor de modelo.

Quanto custa uma sessão de roleplay?

Com uma janela de contexto de 30.000 tokens e respostas de 300 tokens, uma interação custa cerca de $0,00465, então 100 interações custam cerca de $0,47. Um contexto menor reduz esse valor.

Posso usá-lo para roleplay adulto?

O modelo é ajustado para responder sem recusas de conteúdo para uso adulto lícito, em aplicativos de ficção e companhia. Conteúdo sexual envolvendo menores de idade nunca é permitido.

Por que recebo erros 429 em chats em grupo?

Chats em grupo enviam várias requisições ao mesmo tempo, e a chave de teste permite apenas 2 requisições simultâneas. Aguarde as respostas terminarem ou migre para uma chave completa com 8.

Sua chave está a um formulário de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.

Obter chave de API