ID ▾
Dapatkan kunci API

API GLM di SillyTavern: Pengaturan untuk Obrolan Peran

SillyTavern dapat terhubung ke endpoint apa pun yang kompatibel dengan OpenAI melalui sumber penyelesaian obrolan kustomnya, sehingga pengaturan API gaya GLM hanya membutuhkan satu layar. Di bawah ini adalah bidang yang tepat, pengaturan yang masuk akal untuk sesi roleplay panjang, dan perkiraan biayanya.

Diperbarui

Panggung dengan gelembung ucapan dan topeng yang dihubungkan oleh kabel ke server, menggambarkan roleplay dengan API

Poin utama

  • Di SillyTavern pilih Chat Completion, lalu sumber Custom (OpenAI-compatible), dan masukkan https://api.glmapikey.com/v1.
  • Ketik uncensored sebagai ID model. Ini adalah satu-satunya model yang dilayani oleh API ini.
  • Ukuran konteks mendorong tagihan, karena setiap giliran mengirim ulang obrolan. Sekitar 32k adalah default murah dan nyaman.
  • Obrolan grup dapat mencapai batas konkurensi. Kunci uji coba memungkinkan 2 permintaan sekaligus, kunci penuh 8.

Hubungkan dalam lima langkah

Ini adalah jalur cepat untuk pengaturan glm api sillytavern. Ini mengasumsikan Anda sudah menjalankan SillyTavern dan telah membuat kunci di halaman kunci API.

  1. Buka ikon steker (Koneksi API) di bagian atas SillyTavern.
  2. Atur jenis API menjadi Chat Completion.
  3. Atur Sumber Chat Completion menjadi Custom (OpenAI-compatible).
  4. Tempel https://api.glmapikey.com/v1 ke bidang endpoint kustom dan kunci Anda ke bidang kunci API kustom.
  5. Masukkan uncensored sebagai ID model dan tekan Hubungkan.

Lampu status hijau dan nama model di bawah tombol berarti koneksi berfungsi. Kirim pesan ke karakter dan balasan harus mengalir. Nama menu berubah sedikit antar rilis SillyTavern, jadi jika label berbeda, carilah bidang yang menerima URL endpoint; nilainya tetap sama.

Satu catatan jujur mengenai nama ini. Endpoint ini bukan API GLM resmi dari vendor mana pun, dan tidak mengarahkan ke model vendor lain. Ini adalah model bobot terbuka tunggal yang dijalankan oleh penyedia independen, yang disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Yang dibagikannya dengan keluarga model yang dicari orang di bawah nama GLM adalah antarmuka: API penyelesaian obrolan gaya OpenAI standar yang sudah diketahui oleh antarmuka depan roleplay untuk berkomunikasi.

Apa yang Anda hubungkan

Fakta yang penting untuk roleplay, dalam satu tempat:

PropertiNilai
EndpointPOST /v1/chat/completions
ID modeluncensored
Jendela konteks100.000 token, prompt ditambah balasan
StreamingYa, server-sent events
Sampler yang diteruskantemperature, top_p, stop, seed, serta presence dan frequency penalty
Harga$0,15 per 1M input, $0,50 per 1M output
Batas, kunci penuh8 permintaan paralel, 300 per menit
Batas, kunci uji coba2 konkuren, 60 per menit

Model ini dimaksudkan untuk fiksi, roleplay, dan aplikasi pendamping yang digunakan oleh orang dewasa. Model ini akan tetap dalam karakter dan tidak akan mengganggu adegan untuk memberi ceramah tentang hal itu. Satu aturan tanpa pengecualian: layanan menolak konten seksual apa pun yang melibatkan anak di bawah umur, dan kartu karakter yang mencoba mengatur skenario seperti itu tidak akan berfungsi. Jaga kartu dan prompt Anda di sisi yang benar dari garis itu.

Prompt tidak digunakan untuk pelatihan, jadi karakter dan log obrolan Anda tidak dimasukkan kembali ke model. Mereka melewati penyedia untuk menghasilkan balasan, seperti halnya API yang dihosting.

Pengaturan yang layak diubah setelah Anda terhubung

Buka panel Konfigurasi Respons AI (ikon slider). Anda tidak perlu mengubah banyak hal, tetapi beberapa nilai menentukan bagaimana obrolan terasa dan berapa biayanya.

Ukuran konteks

Ini adalah jumlah token yang dikirim SillyTavern dengan setiap permintaan: kartu karakter, lore, prompt sistem, dan sebanyak obrolan terbaru yang muat. API memungkinkan hingga 100.000 token, tetapi Anda tidak harus menggunakannya semua. Pengaturan 16.000 hingga 32.000 menjaga balasan tetap pada topik dan menjaga tagihan tetap kecil. Naikkan ketika cerita panjang membutuhkan model untuk mengingat detail dari jauh. Perhitungan lebih lanjut di bawah menunjukkan mengapa ini penting.

Panjang respons maksimum

Atur batas atas yang sesuai dengan gaya Anda. 300 hingga 500 token sesuai untuk pertukaran singkat, dan 800 atau lebih sesuai untuk penulisan adegan. Nilai yang lebih rendah juga memperpendek waktu tunggu sebelum setiap balasan berakhir.

Streaming

Biarkan tetap aktif. Balasan muncul kata demi kata, dan Anda dapat menghentikan satu yang telah salah arah dan tidak membayar sisanya. Ingatlah bahwa permintaan streaming memegang slot konkurensi hingga aliran berakhir.

Suhu dan penalti

Mulailah dengan suhu sekitar 0,8 dan top_p sekitar 0,9. Jika balasan mengulang frasa, tambahkan penalti frekuensi kecil seperti 0,3. Jika model menyimpang dari kartu, turunkan suhu menjadi 0,6. Ini adalah titik awal untuk disesuaikan dengan perasaan, bukan angka ajaib, dan parameter seed diteruskan jika Anda menginginkan output yang dapat diulang saat Anda menyesuaikan.

Format instruksi dan prompt

Dengan sumber Chat Completion, SillyTavern membangun daftar pesan sendiri, jadi Anda tidak perlu memilih template instruksi. Gunakan manajer prompt untuk mengatur prompt sistem, deskripsi karakter, skenario, dan riwayat obrolan, dan pertahankan instruksi gaya Anda sendiri agar singkat dan langsung.

Berapa biaya sesi roleplay

Roleplay sangat bergantung pada input. Setiap giliran mengirim ulang kartu, lore, dan obrolan terbaru, dan model menjawab dengan beberapa ratus token. Ambil konteks 30.000 token dan balasan 300 token:

  • Input: 30.000 / 1.000.000 x $0,15 = $0,0045
  • Output: 300 / 1.000.000 x $0,50 = $0,00015
  • Total: $0,00465 per giliran, jadi 100 giliran berbiaya $0,465

Sekarang bandingkan konteks 8.000 token dengan balasan yang sama: input adalah $0,0012, output adalah $0,00015, jadi $0,00135 per giliran dan $0,135 untuk 100 giliran. Konteks yang lebih kecil adalah sekitar sepertiga dari harga. Pertukarannya adalah model melihat lebih sedikit riwayat, jadi mungkin melupakan detail dari satu jam yang lalu. Entri buku lore dan ringkasan berjalan singkat memungkinkan Anda menyimpan fakta yang Anda pedulikan dalam konteks kecil.

Bahkan angka yang lebih besar itu ringan. Saldo prabayar $0,50 mencakup sekitar 107 giliran dengan konteks 30.000 token ($0,50 / $0,00465), yang cukup untuk menilai apakah model cocok dengan karakter Anda. Setelah itu, Anda isi saldo dengan jumlah bulat apa pun dari $20 hingga $500, dan saldo tidak pernah habis. Bonus berlaku dari $50 (+5%), $100 (+10%), dan $200 (+15%). Angka lengkap ada di halaman harga.

Obrolan grup dan batas konkurensi

Obrolan grup SillyTavern mengirim satu permintaan untuk setiap karakter yang berbicara. Fitur seperti swipe, regenerate, dan ringkasan latar belakang juga dapat memulai permintaan secara berurutan. Jika beberapa di antaranya tumpang tindih, Anda mungkin melihat kesalahan 429 dengan kode concurrency. Itu berarti terlalu banyak permintaan yang berjalan sekaligus, bukan sesuatu yang salah dengan kunci Anda.

Kunci uji coba memungkinkan 2 permintaan konkuren dan 60 per menit. Kunci yang sudah diisi saldo memungkinkan 8 dan 300. Untuk tetap berada di bawah batas yang lebih rendah:

  • Tunggu balasan selesai sebelum Anda regenerate.
  • Dalam grup, pertahankan urutan balasan karakter secara manual atau berurutan daripada membiarkan beberapa karakter menjawab bersama.
  • Matikan ekstensi yang memicu permintaan pada setiap pesan, seperti ringkasan otomatis, sampai Anda memiliki kunci yang sudah diisi saldo.

API juga mengembalikan 429 dengan header Retry-After: 5 ketika kelebihan beban secara singkat. Dalam kasus itu, tunggu lima detik dan tekan generate lagi. Permintaan yang gagal dan ditolak tidak dibebankan biaya, jadi tidak ada biaya untuk mencoba lagi.

Pemecahan Masalah

Jika tombol Hubungkan gagal, uji kunci di luar SillyTavern sehingga Anda tahu sisi mana yang memiliki masalah:

curl https://api.glmapikey.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

Daftar JSON yang mencakup uncensored berarti kunci dan URL benar, dan kesalahan ada di bidang SillyTavern.

  • Status tetap merah atau Anda melihat 404. Kemungkinan endpoint memiliki jalur akhir atau tidak menyertakan /v1. Gunakan tepat https://api.glmapikey.com/v1.
  • Kesalahan 401. Kunci ditempel dengan spasi atau baris baru. Tempelkan lagi.
  • Balasan terpotong di tengah kalimat. Panjang respons maksimum Anda terlalu rendah. Naikkan.
  • Balasan mengabaikan karakter. Kartu kemungkinan dipangkas karena ukuran jendela konteks terlalu kecil. Tingkatkan konteks atau perpendek kartu.
  • Kunci berhenti berfungsi setelah beberapa waktu. Saldo uji coba gratis berlaku selama 7 hari, jadi isi saldo untuk melanjutkan.
  • SillyTavern di ponsel atau perangkat lain tidak dapat terhubung. Periksa apakah perangkat memiliki akses internet dan URL telah diketik dengan benar, lalu jalankan pengujian curl dari perangkat tersebut.

Untuk lebih lanjut tentang bidang permintaan dan header, lihat dokumentasi. Jika Anda ingin memahami cara mendapatkan kunci sejak awal, penjelas kunci GLM akan menjelaskannya.

Tanya jawab

Sumber mana yang saya pilih di SillyTavern?

Pilih Chat Completion sebagai jenis API dan Custom (kompatibel OpenAI) sebagai sumber. Kemudian masukkan URL dasar, kunci Anda, dan ID model uncensored.

Apakah ini API GLM resmi?

Tidak. Ini adalah model bobot terbuka tunggal yang dijalankan oleh penyedia independen melalui antarmuka kompatibel OpenAI. Ini bukan API resmi dari vendor model mana pun.

Berapa biaya sesi roleplay?

Dengan jendela konteks 30.000 token dan balasan 300 token, satu giliran berharga sekitar $0,00465, sehingga 100 giliran menghabiskan sekitar $0,47. Konteks yang lebih kecil memangkas angka tersebut.

Bisakah saya menggunakannya untuk roleplay dewasa?

Model ini disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, dalam aplikasi fiksi dan pendamping. Konten seksual yang melibatkan anak di bawah umur tidak pernah diizinkan.

Mengapa saya mendapatkan kesalahan 429 di obrolan grup?

Obrolan grup mengirimkan beberapa permintaan sekaligus, dan kunci uji coba hanya mengizinkan 2 permintaan paralel. Tunggu hingga balasan selesai atau beralih ke kunci penuh dengan 8.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API