Beş adımda bağlanın
Bu, glm api sillytavern kurulumları için hızlı yoldur. Zaten SillyTavern çalıştırdığınızı ve API anahtarı sayfasında bir anahtar oluşturduğunuzu varsayar.
- SillyTavern'in üst kısmındaki fiş simgesini (API Bağlantıları) açın.
- API türünü Sohbet Tamamlama olarak ayarlayın.
- Sohbet Tamamlama Kaynağını Özel (OpenAI uyumlu) olarak ayarlayın.
- Özel uç nokta alanına
https://api.glmapikey.com/v1yapıştırın ve anahtarınızı özel API anahtarı alanına girin. - Model kimliği olarak
uncensoredgirin ve Bağlan'a basın.
Düğmenin altında yeşil bir durum ışığı ve bir model adı, bağlantının çalıştığını gösterir. Bir karaktere mesaj gönderin ve bir yanıt akış halinde gelmelidir. Menü adları SillyTavern sürümleri arasında biraz değişir, bu nedenle bir etiket farklıysa, bir uç nokta URL'si alan bir alan arayın; değerler aynı kalır.
İsme dair dürüst bir not. Bu uç nokta, herhangi bir satıcıdan gelen resmi GLM API'si değildir ve diğer satıcıların modellerine yönlendirme yapmaz. Bağımsız bir sağlayıcı tarafından yönetilen tek bir açık ağırlıklı modeldir ve yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmıştır. GLM adı altında aranan model aileleriyle paylaştığı şey, rol yapma ön uçlarının zaten nasıl iletişim kuracağını bildikleri standart bir OpenAI tarzı sohbet tamamlama API'sidir.
Bağlandığınız yer
Rol yapma için önemli gerçekler, tek bir yerde:
| Özellik | Değer |
|---|---|
| Uç Nokta | POST /v1/chat/completions |
| Model kimliği | uncensored |
| Bağlam penceresi | 100.000 token, istem ve yanıt |
| Akış | Evet, sunucu tarafından gönderilen olaylar |
| Geçirilen örnekleme ayarları | temperature, top_p, stop, seed, presence ve frequency cezaları |
| Fiyat | 1M giriş için $0,15, 1M çıkış için $0,50 |
| Sınırlar, tam anahtar | 8 eşzamanlı, dakikada 300 |
| Sınırlar, deneme anahtarı | 2 eşzamanlı, dakikada 60 |
Model, yetişkinler tarafından kullanılan kurgu, rol yapma ve companion uygulamaları içindir. Karakterde kalır ve sizi azarlamak için sahneyi bölmez. İstisnasız tek bir kural vardır: hizmet, reşit olmayanların dahil olduğu cinsel içerikleri reddeder ve bu tür bir senaryo kurmaya çalışan karakter kartları çalışmaz. Kartlarınızı ve istemlerinizi bu çizginin uygun tarafında tutun.
İstemler eğitim için kullanılmaz, bu nedenle karakterleriniz ve sohbet günlükleriniz bir modele geri beslenmez. Bir yanıt oluşturmak için sağlayıcıdan geçerler, tıpkı herhangi bir barındırılan API'de olduğu gibi.
Bağlandıktan sonra değiştirmeye değer ayarlar
AI Yanıt Yapılandırma panelini açın (kaydırma çubuğu simgesi). Çok fazla dokunmanıza gerek yok, ancak birkaç değer sohbetin nasıl hissettirdiğini ve neye mal olduğunu belirler.
Bağlam boyutu
SillyTavern'ın her istekte gönderdiği token sayısı şunları içerir: karakter kartı, lore, sistem istemi ve sığabildiği kadar son sohbet geçmişi. API 100.000 token'a kadar izin verir, ancak hepsini kullanmak zorunda değilsiniz. 16.000 ile 32.000 arasında bir ayar, yanıtların konuyu takip etmesini sağlar ve faturayı küçük tutar. Uzun bir hikaye modelin geçmiş detayları hatırlamasını gerektirdiğinde bunu artırın. Aşağıdaki hesaplama bunun neden önemli olduğunu gösterir.
Maksimum yanıt uzunluğu
Tarzınıza uygun bir üst sınır belirleyin. Kısa etkileşimler için 300 ila 500 token ve sahne yazımı için 800 veya daha fazlası uygundur. Daha düşük bir değer, her yanıtın bitmeden önceki bekleme süresini de kısaltır.
Akış
Açık bırakın. Yanıtlar kelime kelime görünür ve yanlış giden birini durdurabilir ve geri kalanı için ödeme yapmazsınız. Akış isteğinin, akış bitene kadar bir eşzamanlılık yuvasını tuttuğunu unutmayın.
Sıcaklık ve cezalar
Sıcaklığı (temperature) yaklaşık 0.8 ve top_p'yi yaklaşık 0.9 ile başlatın. Yanıtlar kalıpları tekrar ediyorsa, 0.3 gibi küçük bir frequency cezası ekleyin. Model karttan uzaklaşıyorsa sıcaklığı 0.6'ya düşürün. Bunlar, ayar yaparken hissederek düzenleyebileceğiniz başlangıç noktalarıdır, sihirli sayılar değildir ve seed parametresi, ayar yaparken tekrarlanabilir çıktı istiyorsanız iletilir.
Talimat ve istem formatı
Sohbet Tamamlama kaynağı ile SillyTavern mesaj listesini kendisi oluşturur, bu nedenle bir talimat şablonu seçmenize gerek yoktur. Sistem istemini, karakter açıklamasını, senaryoyu ve sohbet geçmişini sıralamak için istem yöneticisini kullanın ve kendi stil talimatlarınızı kısa ve doğrudan tutun.
Bir rol yapma oturumunun ne kadar tutar
Rol yapma girdi ağırlıklıdır. Her turda kart, lore ve yakın sohbet yeniden gönderilir ve model birkaç yüz token ile yanıt verir. 30.000 token'lık bir bağlam penceresi ve 300 token'lık bir yanıt alırsanız:
- Girdi: 30.000 / 1.000.000 x $0,15 = $0,0045
- Çıktı: 300 / 1.000.000 x $0,50 = $0,00015
- Toplam: Tur başına $0,00465, bu nedenle 100 tur $0,465 eder
Şimdi 8.000 token'lık bir bağlam penceresi ile aynı yanıtı karşılaştırın: girdi $0,0012, çıktı $0,00015, bu da tur başına $0,00135 ve 100 tur için $0,135 eder. Daha küçük bağlam penceresi fiyatın yaklaşık üçte biridir. Bedeli, modelin daha az geçmiş gördüğü için bir saat önceki bir detayı unutması olabilir. Lorebook girdileri ve sürekli güncellenen kısa bir özet, ilgilendiğiniz gerçekleri küçük bir bağlam penceresinde tutmanızı sağlar.
Daha büyük rakam bile mütevazıdır. $0,50'lik bir deneme kredisi, 30.000 token'lık bağlam penceresi ile yaklaşık 107 turu karşılar ($0,50 / $0,00465), bu da modelin karakterlerinize uygun olup olmadığını değerlendirmek için yeterlidir. Bundan sonra $20 ile $500 arasında herhangi bir tam dolar tutarıyla bakiye yükleyebilirsiniz ve kredi asla sona ermez. Bonuslar $50 (+5%), $100 (+10%) ve $200 (+15%) miktarlarından itibaren geçerlidir. Tüm rakamlar fiyatlandırma sayfasında yer alır.
Grup sohbetleri ve eşzamanlılık sınırı
SillyTavern grup sohbetleri, konuşan her karakter için bir istek gönderir. Swipe, yeniden oluşturma ve arka plan özetleri gibi özellikler de hızlı art arda istekler başlatabilir. Bunlardan birkaçı üst üste binerse, concurrency koduyla birlikte bir 429 hatası görebilirsiniz. Bu, aynı anda çok fazla isteğin çalıştığı anlamına gelir, anahtarınızda bir sorun olduğu anlamına gelmez.
Bir deneme anahtarı 2 eşzamanlı istek ve dakikada 60 istek izni verir. Bakiyeli bir anahtar 8 ve 300 izin verir. Daha düşük limite uymak için:
- Yeniden oluşturmadan önce bir yanıtın bitmesini bekleyin.
- Gruplarda, karakterlerin birlikte yanıt vermesine izin vermek yerine, karakter yanıt sırasını manuel veya sıralı tutun.
- Otomatik özetler gibi her mesajda istek başlatan uzantıları kapatın, bakiyeli bir anahtarınız olana kadar.
API, kısa süreli aşırı yüklendiğinde ayrıca Retry-After: 5 üstbilgisiyle 429 döndürür. Bu durumda, beş saniye bekleyin ve yeniden oluştur'a basın. Başarısız ve reddedilen istekler ücretlendirilmez, bu nedenle tekrar denemenin bir maliyeti yoktur.
Sorun Giderme
Bağlan düğmesi başarısız olursa, sorunun hangi tarafta olduğunu bilmek için anahtarı SillyTavern dışında test edin:
curl https://api.glmapikey.com/v1/models \
-H "Authorization: Bearer $API_KEY"
uncensored içeren bir JSON listesi, anahtar ve URL'nin doğru olduğunu ve hatanın SillyTavern alanlarında olduğunu gösterir.
- Durum kırmızı kalır veya 404 görürsünüz. Uç nokta muhtemelen sonunda fazladan bir yol içeriyor veya
/v1eksik. Tam olarakhttps://api.glmapikey.com/v1adresini kullanın. - 401 hatası. Anahtar bir boşluk veya satır sonu ile yapıştırıldı. Tekrar yapıştırın.
- Yanıtlar cümle ortasında kesiliyor. Maksimum yanıt uzunluğunuz çok düşük. Bu değeri artırın.
- Yanıtlar karakteri dikkate almıyor. Kart muhtemelen bağlam boyutunun kartı sığdırmak için yetersiz olması nedeniyle kısaltılıyor. Bağlam penceresini artırın veya kartı kısaltın.
- Anahtar bir süre sonra çalışmayı bırakıyor. Deneme kredisi 7 gün geçerlidir, devam etmek için bakiye yükleyin.
- Telefonda veya başka bir cihazda çalışan SillyTavern bağlanamıyor. Cihazın internet erişimine sahip olduğundan ve URL'nin tam olarak yazıldığından emin olun, ardından bu cihazdan curl testini çalıştırın.
İstek alanları ve üst bilgileri hakkında daha fazla bilgi için belgeler bölümüne bakın. Bir anahtarı ilk olarak nasıl alacağınızı anlamak istiyorsanız, GLM anahtar açıklayıcısı bunu adım adım anlatır.
