5단계로 연결
이것은 glm api sillytavern 설정을 위한 빠른 경로입니다. SillyTavern을 이미 실행 중이고 API 키 페이지에서 키를 생성했다고 가정합니다.
- SillyTavern 상단의 플러그 아이콘(API Connections)을 엽니다.
- API 유형을 Chat Completion으로 설정합니다.
- Chat Completion 소스를 Custom (OpenAI-compatible)으로 설정합니다.
- 커스텀 엔드포인트 필드에
https://api.glmapikey.com/v1을 붙여넣고, 커스텀 API 키 필드에 키를 입력합니다. - 모델 ID로
uncensored를 입력하고 Connect를 누릅니다.
초록색 상태 표시등과 버튼 아래의 모델 이름은 연결이 성공했음을 의미합니다. 캐릭터에게 메시지를 보내면 응답이 스트리밍으로 표시되어야 합니다. SillyTavern 버전 간에 메뉴 이름이 약간 다를 수 있으므로 라벨이 다르면 엔드포인트 URL을 받는 필드를 찾아보세요. 값은 동일합니다.
이름에 대한 한 가지 정직한 참고 사항입니다. 이 엔드포인트는 어떤 벤더의 공식 GLM API가 아니며 다른 벤더의 모델로 라우팅하지 않습니다. 이는 독립적인 제공자가 운영하는 단일 오픈 웨이트 모델로, 합법적인 성인용으로 콘텐츠 거부 없이 답변하도록 조정되었습니다. GLM이라는 이름 아래에서 찾는 모델 패밀리와 공유하는 것은 인터페이스입니다. 역할극 프론트 엔드가 이미 대화 방법을 알고 있는 표준 OpenAI 스타일 채팅 완료 API입니다.
연결 대상
역할극에 중요한 사실이 한 곳에 정리되어 있습니다:
| 속성 | 내용 |
|---|---|
| 엔드포인트 | POST /v1/chat/completions |
| 모델 ID | uncensored |
| 컨텍스트 창 | 100,000 토큰, 프롬프트 및 응답 합계 |
| 스트리밍 | 예, 서버 전송 이벤트 |
| 전달된 샘플러 | temperature, top_p, stop, seed, presence 및 frequency 패널티 |
| 가격 | 입력 1M당 $0.15, 출력 1M당 $0.50 |
| 제한 사항, 일반 키 | 동시 8개, 분당 300개 |
| 제한 사항, 체험 키 | 동시 2개, 분당 60개 |
이 모델은 성인용 픽션, 롤플레이 및 컴패니언 앱을 위해 설계되었습니다. 캐릭터의 설정을 유지하며, 그 설정에 대해 교훈을 주듯 설명하기 위해 장면을 깨뜨리지 않습니다. 단 하나의 규칙에는 예외가 없습니다. 서비스는 미성년자가 관련된 성적인 콘텐츠를 거부하며, 그러한 시나리오를 설정하려는 캐릭터 카드는 작동하지 않습니다. 카드와 프롬프트를 그 선의 올바른 쪽에 유지하세요.
프롬프트는 학습에 사용되지 않으므로 캐릭터와 채팅 로그가 모델로 다시 피드백되지 않습니다. 호스팅 API와 마찬가지로 응답 생성을 위해 제공자를 통과합니다.
연결 후 변경할 가치가 있는 설정
AI 응답 구성 패널(슬라이더 아이콘)을 엽니다. 많이 건드릴 필요는 없지만 몇 가지 값이 채팅의 느낌과 비용에 영향을 미칩니다.
컨텍스트 크기
이는 SillyTavern이 각 요청에 보내는 토큰의 수입니다: 캐릭터 카드, 로어, 시스템 프롬프트 및 들어갈 수 있는 만큼의 최근 채팅. API는 최대 100,000개의 토큰을 허용하지만, 그 전체를 사용할 필요는 없습니다. 16,000에서 32,000 사이의 설정은 응답을 주제에 맞게 유지하고 비용을 낮게 유지합니다. 긴 이야기에서 모델이 먼 과거의 세부 사항을 기억해야 할 때 이를 높입니다. 아래 계산은 이것이 중요한 이유를 보여줍니다.
최대 응답 길이
스타일에 맞는 상한을 설정합니다. 300에서 500 토큰은 짧은 교환에 적합하고 800 이상은 장면 작성에 적합합니다. 낮은 값은 각 응답이 끝날 때까지의 대기 시간도 단축합니다.
스트리밍
켜 두세요. 응답이 단어별로 표시되며 잘못된 방향으로 간 응답을 중지하고 나머지 부분에 대해 지불하지 않을 수 있습니다. 스트리밍 요청은 스트림이 끝날 때까지 동시성 슬롯을 보유한다는 점을 명심하세요.
온도 및 패널티
온도를 약 0.8, top_p를 약 0.9로 시작합니다. 응답이 구문을 반복하면 0.3과 같은 작은 frequency 패널티를 추가합니다. 모델이 카드에서 벗어나면 온도를 0.6으로 낮춥니다. 이는 마법 숫자가 아니라 느낌으로 조정할 시작점이며, seed 매개변수는 조정하는 동안 반복 가능한 출력을 원하는 경우 전달됩니다.
지시 및 프롬프트 형식
Chat Completion 소스를 사용하면 SillyTavern은 메시지 목록을 자체적으로 생성하므로 지시 템플릿을 선택할 필요가 없습니다. 프롬프트 관리자를 사용하여 시스템 프롬프트, 캐릭터 설명, 시나리오 및 채팅 기록의 순서를 지정하고 자체 스타일 지시사항을 짧고 직접적으로 유지하세요.
역할극 세션의 비용
역할극은 입력이 많습니다. 각 턴은 카드, 로어 및 최근 채팅을 다시 보내며, 모델은 수백 개의 토큰으로 답변합니다. 30,000개의 토큰 컨텍스트와 300개의 토큰 응답을 가정해 보세요:
- 입력: 30,000 / 1,000,000 x $0.15 = $0.0045
- 출력: 300 / 1,000,000 x $0.50 = $0.00015
- 합계: 턴당 $0.00465, 따라서 100턴 비용은 $0.465
이제 8,000개의 토큰 컨텍스트와 동일한 응답을 비교해 보세요: 입력은 $0.0012, 출력은 $0.00015이므로 턴당 $0.00135, 100턴당 $0.135입니다. 더 작은 컨텍스트는 가격의 약 3분의 1입니다. 그 대가는 모델이 이력을 덜 본다는 것이며, 따라서 1시간 전의 세부 사항을 잊을 수 있다는 것입니다. 로어북 항목과 짧은 진행 요약은 중요한 사실을 작은 컨텍스트에 유지할 수 있게 합니다.
더 큰 금액조차도 부담스럽지 않습니다. $0.50의 체험 크레딧은 컨텍스트 30,000토큰 기준으로 약 107턴을 커버합니다($0.50 / $0.00465). 이는 모델이 캐릭터에 적합한지 판단하기에 충분합니다. 이후에는 $20에서 $500 사이의 임의의 정수 금액으로 충전할 수 있으며, 크레딧은 만료되지 않습니다. 보너스는 $50(+5%), $100(+10%), $200(+15%)부터 적용됩니다. 전체 숫자는 가격 페이지에 있습니다.
그룹 채팅 및 동시성 제한
SillyTavern 그룹 채팅은 말하는 각 캐릭터당 하나의 요청을 전송합니다. 스와이프, 재생성 및 백그라운드 요약과 같은 기능도 빠르게 연속된 요청을 시작할 수 있습니다. 여러 기능이 겹치면 코드 concurrency와 함께 429 오류가 표시될 수 있습니다. 이는 키에 문제가 있다는 것이 아니라 동시에 실행되는 요청이 너무 많다는 것을 의미합니다.
체험 키는 동시 요청 2개와 분당 60개를 허용합니다. 충전된 키는 8개와 300개를 허용합니다. 낮은 제한 내에 머무르려면:
- 재생성하기 전에 응답이 완료될 때까지 기다립니다.
- 그룹에서는 여러 캐릭터가 함께 응답하도록 두기보다 캐릭터 응답 순서를 수동 또는 순차적으로 유지하세요.
- 자동 요약과 같이 모든 메시지에 요청을 실행하는 확장 기능은 충전된 키가 생길 때까지 끄세요.
API는 또한 잠시 과부하 상태일 때 Retry-After: 5 헤더와 함께 429를 반환합니다. 그런 경우 5초를 기다리고 다시 생성을 누릅니다. 실패한 요청과 거부된 요청은 청구되지 않으므로 다시 시도해도 비용이 들지 않습니다.
문제 해결
Connect 버튼이 실패하면 SillyTavern 외부에서 키를 테스트하여 문제의 원인을 파악하세요:
curl https://api.glmapikey.com/v1/models \
-H "Authorization: Bearer $API_KEY"
uncensored를 포함하는 JSON 목록은 키와 URL이 정확하며 오류가 SillyTavern 필드에 있음을 의미합니다.
- 상태가 빨간색으로 유지되거나 404가 표시됩니다. 엔드포인트에 후행 경로가 있거나
/v1이 누락되었을 수 있습니다. 정확히https://api.glmapikey.com/v1를 사용하세요. - 401 오류. 키에 공백이나 줄 바꿈이 포함되어 붙여넣었습니다. 다시 붙여넣으세요.
- 응답이 문장 중간에 잘립니다. 최대 응답 길이가 너무 낮습니다. 높게 설정하세요.
- 응답이 캐릭터를 무시합니다. 컨텍스트 크기가 카드에 비해 너무 작아서 카드가 잘리고 있을 가능성이 높습니다. 컨텍스트를 높이거나 카드를 줄이세요.
- 키가 시간이 지나면 작동하지 않습니다. 체험 크레딧은 7일 동안 유효하므로 계속 사용하려면 충전하세요.
- 휴대전화나 다른 기기에서 SillyTavern에 연결할 수 없습니다. 기기가 인터넷에 연결되어 있는지 확인하고 URL을 정확히 입력했는지 확인한 후, 해당 기기에서 curl 테스트를 실행하세요.
요청 필드 및 헤더에 대한 자세한 내용은 문서를 참조하세요. 키를 처음에 어떻게 얻는지를 이해하려면 GLM 키 설명서를 참조하세요.
