เชื่อมต่อในห้าขั้นตอน
นี่คือเส้นทางด่วนสำหรับการตั้งค่า glm api sillytavern โดยสมมติว่าคุณได้เรียกใช้ SillyTavern อยู่แล้วและมีคีย์บนหน้า API key
- เปิดไอคอนปลั๊ก (API Connections) ที่ด้านบนของ SillyTavern
- ตั้งค่าประเภท API เป็น Chat Completion
- ตั้งค่าแหล่งที่มาของ Chat Completion เป็น Custom (OpenAI-compatible)
- วาง
https://api.glmapikey.com/v1ในช่อง endpoint แบบกำหนดเอง และวางคีย์ของคุณในช่อง API key แบบกำหนดเอง - ป้อน
uncensoredเป็น ID โมเดลแล้วกด Connect
ไฟสถานะสีเขียวและชื่อโมเดลใต้ปุ่มหมายถึงการเชื่อมต่อทำงานได้ ส่งข้อความถึงตัวละครและคำตอบควรสตรีมมิงเข้ามา ชื่อเมนูอาจเปลี่ยนไปเล็กน้อยระหว่างเวอร์ชันของ SillyTavern ดังนั้นหากป้ายชื่อแตกต่าง ให้มองหาช่องที่รับ URL endpoint; ค่าต่างๆ ยังคงเหมือนเดิม
ข้อสังเกตหนึ่งข้อเกี่ยวกับชื่อ เอนด์พอยต์นี้ไม่ใช่ GLM API ทางการจากเจ้าใดเจ้าหนึ่ง และไม่ส่งต่อไปยังโมเดลของเจ้าอื่น เป็นโมเดลแบบเปิดน้ำหนักตัวเดียวที่ให้บริการโดยผู้ให้บริการอิสระ ซึ่งปรับแต่งมาให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย สิ่งที่มันมีร่วมกับตระกูลโมเดลที่ผู้คนค้นหาภายใต้ชื่อ GLM คืออินเทอร์เฟซ: API chat completions แบบมาตรฐานสไตล์ OpenAI ที่ฟรอนต์เอนด์สำหรับเล่นบทบาทสมมติรู้จักวิธีใช้งานอยู่แล้ว
สิ่งที่คุณกำลังเชื่อมต่อถึง
ข้อเท็จจริงที่สำคัญสำหรับการเล่นบทบาทสมมติ ในที่เดียว:
| คุณสมบัติ | ค่า |
|---|---|
| เอนด์พอยต์ | POST /v1/chat/completions |
| ID โมเดล | uncensored |
| หน้าต่างบริบท | 100,000 โทเคน รวมพรอมต์และคำตอบ |
| สตรีมมิง | ใช่ เซิร์ฟเวอร์ส่งอีเวนต์ |
| Sampler ที่ส่งผ่าน | temperature, top_p, stop, seed, presence และ frequency penalties |
| ราคา | $0.15 ต่อ 1M input, $0.50 ต่อ 1M output |
| ขีดจำกัด, คีย์แบบเต็ม | 8 คำขอพร้อมกัน, 300 ต่อนาที |
| ขีดจำกัด, คีย์ทดลอง | 2 คำขอพร้อมกัน, 60 ต่อนาที |
โมเดลนี้เหมาะสำหรับนิยาย บทบาทสมมติ และแอป companion ที่ใช้โดยผู้ใหญ่ โมเดลจะคงคาแรคเตอร์และไม่หยุดฉากเพื่อมาสั่งสอนคุณ กฎเดียวที่ไม่มีข้อยกเว้นคือ บริการจะปฏิเสธเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ และการ์ดตัวละครที่พยายามสร้างสถานการณ์ดังกล่าวจะไม่สามารถใช้งานได้ เก็บการ์ดและพรอมต์ของคุณให้อยู่ในขอบเขตที่เหมาะสม
พรอมต์ไม่ถูกใช้ในการฝึก ดังนั้นตัวละครและบันทึกการแชทของคุณจะไม่ถูกป้อนกลับเข้าสู่โมเดล พรอมต์จะผ่านผู้ให้บริการเพื่อสร้างคำตอบ เช่นเดียวกับ API ที่โฮสต์ทั่วไป
การตั้งค่าที่ควรเปลี่ยนหลังจากเชื่อมต่อ
เปิดแผงการกำหนดค่าการตอบกลับของ AI (ไอคอนแถบเลื่อน) คุณไม่จำเป็นต้องปรับหลายค่า แต่ค่าบางค่าจะกำหนดความรู้สึกของแชทและค่าใช้จ่าย
ขนาดบริบท
นี่คือจำนวนโทเคนที่ SillyTavern ส่งไปกับแต่ละคำขอ: การ์ดตัวละคร ลอเร พรอมต์ระบบ และการแชทล่าสุดที่พอดี API อนุญาตให้ใช้โทเคนได้สูงสุด 100,000 โทเคน แต่คุณไม่จำเป็นต้องใช้ทั้งหมด การตั้งค่าที่ 16,000 ถึง 32,000 จะช่วยให้คำตอบอยู่ในหัวข้อและค่าใช้จ่ายต่ำลง เพิ่มค่านี้เมื่อเรื่องราวที่ยาวนานต้องการให้โมเดลจำรายละเอียดจากอดีต การคำนวณด้านล่างแสดงเหตุผลว่าทำไมเรื่องนี้จึงสำคัญ
ความยาวคำตอบสูงสุด
ตั้งค่าเพดานที่เหมาะกับสไตล์ของคุณ ค่า 300 ถึง 500 โทเคนเหมาะสำหรับการสนทนาสั้นๆ และค่า 800 ขึ้นไปเหมาะสำหรับการเขียนฉาก ค่าที่ต่ำกว่ายังช่วยลดเวลารอจนกว่าคำตอบแต่ละครั้งจะสิ้นสุดลง
สตรีมมิง
ปล่อยให้เปิดอยู่ คำตอบจะปรากฏทีละคำ และคุณสามารถหยุดคำขอที่ผิดทิศทางได้และไม่เสียเงินสำหรับส่วนที่เหลือ โปรดทราบว่าคำขอสตรีมมิงจะครอบครองสล็อตการทำงานพร้อมกันไปจนกว่าสตรีมจะสิ้นสุด
อุณหภูมิและค่าปรับ
เริ่มด้วย temperature ประมาณ 0.8 และ top_p ประมาณ 0.9 หากการตอบกลับทำซ้ำประโยค ให้เพิ่ม frequency penalty เล็กน้อย เช่น 0.3 หากโมเดลเบี่ยงเบนจากการ์ด ให้ลด temperature เหลือ 0.6 นี่คือจุดเริ่มต้นเพื่อปรับตามความรู้สึก ไม่ใช่ตัวเลขวิเศษ และพารามิเตอร์ seed จะถูกส่งผ่านหากคุณต้องการผลลัพธ์ที่ซ้ำกันได้ขณะปรับแต่ง
รูปแบบ Instruct และ Prompt
ด้วย Chat Completion source SillyTavern จะสร้างรายการข้อความเอง ดังนั้นคุณไม่จำเป็นต้องเลือกเทมเพลต instruct ใช้ prompt manager เพื่อจัดลำดับ system prompt คำอธิบายตัวละคร สถานการณ์ และประวัติการแชท และรักษาคำแนะนำสไตล์ของคุณให้สั้นและตรงไปตรงมา
ต้นทุนของเซสชันการเล่นบทบาท
Roleplay ใช้ input เป็นหลัก แต่ละเทิร์นจะส่งการ์ด lore และแชทล่าสุดกลับมา และโมเดลจะตอบกลับด้วยโทเคนไม่กี่ร้อยตัว ใช้ context ขนาด 30,000 โทเคนและการตอบกลับ 300 โทเคน:
- อินพุต: 30,000 / 1,000,000 x $0.15 = $0.0045
- ผลลัพธ์: 300 / 1,000,000 x $0.50 = $0.00015
- รวม: $0.00465 ต่อเทิร์น ดังนั้น 100 เทิร์นมีค่าใช้จ่าย $0.465
ตอนนี้เปรียบเทียบหน้าต่างบริบท 8,000 โทเคนกับการตอบกลับเดียวกัน: อินพุตคือ $0.0012 เอาต์พุตคือ $0.00015 ดังนั้น $0.00135 ต่อเทิร์น และ $0.135 สำหรับ 100 เทิร์น หน้าต่างบริบทที่เล็กกว่ามีราคาประมาณหนึ่งในสาม ข้อแลกเปลี่ยนคือโมเดลเห็นประวัติการสนทนาน้อยลง ดังนั้นอาจลืมรายละเอียดจากเมื่อหนึ่งชั่วโมงก่อน รายการใน Lorebook และสรุปย่อแบบต่อเนื่องช่วยให้คุณสามารถเก็บข้อเท็จจริงที่คุณสนใจไว้ในหน้าต่างบริบทขนาดเล็กได้
ตัวเลขที่ใหญ่กว่าก็ยังถือว่าไม่สูง เครดิตทดลองใช้ $0.50 ครอบคลุมเทิร์นประมาณ 107 เทิร์นที่ context 30,000 โทเคน ($0.50 / $0.00465) ซึ่งเพียงพอที่จะประเมินว่าโมเดลเหมาะกับตัวละครของคุณหรือไม่ หลังจากนั้นคุณสามารถเติมเงินด้วยจำนวนเต็มใดๆ ตั้งแต่ $20 ถึง $500 และเครดิตจะไม่หมดอายุ โบนัสเริ่มที่ $50 (+5%), $100 (+10%) และ $200 (+15%) ตัวเลขทั้งหมดดูได้ที่ หน้าราคา
แชทกลุ่มและขีดจำกัดการทำงานพร้อมกัน
แชทกลุ่มของ SillyTavern ส่งคำขอหนึ่งคำขอสำหรับแต่ละตัวละครที่พูด ฟีเจอร์เช่น swipes regenerate และสรุปผลในพื้นหลังก็สามารถเริ่มคำขอได้ต่อเนื่องกัน หากหลายคำขอซ้อนทับกัน คุณอาจเห็นข้อผิดพลาด 429 พร้อมรหัส concurrency ซึ่งหมายถึงมีคำขอทำงานพร้อมกันมากเกินไป ไม่ใช่ปัญหาที่คีย์ของคุณ
คีย์ทดลองอนุญาตให้คำขอพร้อมกัน 2 คำขอและ 60 คำขอต่อนาที คีย์ที่เติมเงินแล้วอนุญาตให้ 8 คำขอและ 300 คำขอ เพื่อให้อยู่ภายในขีดจำกัดที่ต่ำกว่า:
- รอให้คำตอบเสร็จสิ้นก่อนที่คุณจะ regenerate
- ในกลุ่ม ให้รักษาลำดับการตอบกลับของตัวละครแบบแมนนวลหรือแบบลำดับแทนที่จะปล่อยให้ตัวละครหลายตัวตอบพร้อมกัน
- ปิด extension ที่ส่งคำขอในทุกข้อความ เช่น auto-summaries จนกว่าคุณจะมีคีย์ที่เติมเงินแล้ว
API ยังส่ง 429 พร้อม header Retry-After: 5 เมื่อระบบถูก overload ชั่วคราว ในกรณีนั้น ให้รอห้าวินาทีแล้วกด generate อีกครั้ง คำขอที่ล้มเหลวและถูกปฏิเสธจะไม่ถูกคิดเงิน ดังนั้นจึงไม่มีค่าใช้จ่ายในการลองอีกครั้ง
การแก้ไขปัญหา
หากปุ่ม Connect ล้มเหลว ให้ทดสอบคีย์ภายนอก SillyTavern เพื่อให้คุณรู้ว่าฝั่งใดมีปัญหา:
curl https://api.glmapikey.com/v1/models \
-H "Authorization: Bearer $API_KEY"
รายการ JSON ที่รวม uncensored หมายความว่าคีย์และ URL ถูกต้อง และข้อผิดพลาดอยู่ในฟิลด์ของ SillyTavern
- Status ยังคงเป็นสีแดงหรือคุณเห็น 404 endpoint น่าจะมี path ต่อท้ายหรือขาด
/v1ใช้https://api.glmapikey.com/v1ให้ถูกต้อง - ข้อผิดพลาด 401 คีย์ถูกวางพร้อมช่องว่างหรือบรรทัดใหม่ วางคีย์อีกครั้ง
- คำตอบถูกตัดกลางประโยค ความยาวการตอบกลับสูงสุดของคุณต่ำเกินไป ให้เพิ่มค่านี้
- คำตอบเพิกเฉยต่อตัวละคร การ์ดน่าจะถูกตัดออกเนื่องจากขนาด context เล็กเกินไปสำหรับการ์ดนั้น เพิ่ม context หรือทำให้การ์ดสั้นลง
- คีย์หยุดทำงานหลังจากผ่านไปสักระยะ เครดิตทดลองใช้ มีอายุ 7 วัน ดังนั้นให้เติมเงินเพื่อดำเนินการต่อ
- SillyTavern บนโทรศัพท์หรืออุปกรณ์อื่นไม่สามารถเชื่อมต่อได้ ตรวจสอบว่าอุปกรณ์มีการเข้าถึงอินเทอร์เน็ตและ URL ถูกพิมพ์อย่างถูกต้อง จากนั้นรันการทดสอบ curl จากอุปกรณ์นั้น
สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับฟิลด์และเฮดเดอร์ของคำขอ ดูเอกสาร หากต้องการเข้าใจวิธีการรับคีย์ตั้งแต่แรก ตัวอธิบายคีย์ GLM จะอธิบายขั้นตอนไว้
