पांच चरणों में कनेक्ट करें
यह glm api sillytavern सेटअप के लिए तेज़ मार्ग है। यह मानता है कि आप पहले से SillyTavern चला रहे हैं और API कुंजी पेज पर एक कुंजी बना चुके हैं।
- SillyTavern के शीर्ष पर plug आइकन (API Connections) खोलें।
- API प्रकार को Chat Completion पर सेट करें।
- Chat Completion स्रोत को Custom (OpenAI-compatible) पर सेट करें।
- कस्टम एंडपॉइंट फ़ील्ड में
https://api.glmapikey.com/v1पेस्ट करें और अपनी कुंजी को कस्टम API कुंजी फ़ील्ड में दर्ज करें। - मॉडल ID के रूप में
uncensoredदर्ज करें और कनेक्ट पर क्लिक करें।
बटन के नीचे हरी स्टेटस लाइट और मॉडल नाम दिखने का अर्थ है कि कनेक्शन काम कर रहा है। एक किरदार को संदेश भेजें और प्रतिक्रिया स्ट्रीम होनी चाहिए। मेनू के नाम SillyTavern रिलीज़ के बीच थोड़े बदल जाते हैं, इसलिए यदि कोई लेबल अलग है, तो उस फ़ील्ड को खोजें जो एक endpoint URL लेता है; मान वही रहेंगे।
नाम पर एक ईमानदार नोट। यह एंडपॉइंट किसी भी विक्रेता की आधिकारिक GLM API नहीं है, और यह अन्य विक्रेताओं के मॉडलों तक रूट नहीं करता है। यह एक स्वतंत्र प्रदाता द्वारा चलाया जाने वाला एकमात्र ओपन-वेट मॉडल है, जिसे वैध वयस्क उपयोग के लिए बिना सामग्री अस्वीकार किए उत्तर देने हेतु ट्यून किया गया है। GLM नाम के नीचे लोगों द्वारा खोजे जाने वाले मॉडल परिवारों के साथ इसमें समान इंटरफ़ेस है: एक मानक OpenAI-शैली chat completions API, जिससे रोलप्ले फ्रंट-एंड पहले से बात करना जानते हैं।
आप किससे कनेक्ट कर रहे हैं
रोलप्ले के लिए महत्वपूर्ण तथ्य, एक जगह पर:
| संपत्ति | मान |
|---|---|
| एंडपॉइंट | POST /v1/chat/completions |
| मॉडल ID | uncensored |
| कॉन्टेक्स्ट विंडो | 100,000 टोकन, प्रॉम्प्ट और जवाब मिलाकर |
| स्ट्रीमिंग | हाँ, सर्वर-सेंट इवेंट्स |
| पास-थ्रू सैम्पलर्स | temperature, top_p, stop, seed, presence और frequency पेनल्टी |
| कीमत | 1M इनपुट प्रति $0.15, 1M आउटपुट प्रति $0.50 |
| सीमाएँ, पूर्ण कुंजी | 8 समानांतर, प्रति मिनट 300 |
| सीमाएँ, ट्रायल कुंजी | 2 समानांतर, प्रति मिनट 60 |
मॉडल वयस्कों द्वारा उपयोग किए जाने वाले कथा-साहित्य, रोलप्ले और कम्पैनियन ऐप्स के लिए है। यह किरदार में बना रहेगा और आपको उपदेश देने के लिए दृश्य नहीं तोड़ेगा। एक नियम में कोई अपवाद नहीं है: सेवा नाबालिगों से जुड़ी किसी भी यौन सामग्री को अस्वीकार करती है, और जो कैरेक्टर कार्ड ऐसा परिदृश्य बनाने का प्रयास करते हैं वे काम नहीं करेंगे। अपने कार्ड और प्रॉम्प्ट इस सीमा के सही ओर रखें।
प्रॉम्प्ट्स को प्रशिक्षण के लिए उपयोग नहीं किया जाता है, इसलिए आपके किरदार और चैट लॉग किसी मॉडल में वापस नहीं भेजे जाते हैं। वे किसी होस्टेड API की तरह एक जवाब उत्पन्न करने के लिए प्रदाता से गुजरते हैं।
कनेक्ट करने के बाद बदलने योग्य सेटिंग्स
AI रिस्पॉन्स कॉन्फ़िगरेशन पैनल खोलें (स्लाइडर्स आइकन)। आपको बहुत कुछ बदलने की जरूरत नहीं है, लेकिन कुछ मान तय करते हैं कि चैट कैसी लगेगी और इसमें क्या खर्च आएगा।
कॉन्टेक्स्ट विंडो का आकार
यह वह टोकन की संख्या है जिसे SillyTavern प्रत्येक अनुरोध के साथ भेजता है: कैरेक्टर कार्ड, लोर, सिस्टम प्रॉम्प्ट और जितनी हालिया चैट समा सके। API 100,000 टोकन तक अनुमति देता है, लेकिन आपको उसका सभी उपयोग करने की आवश्यकता नहीं है। 16,000 से 32,000 की सेटिंग प्रतिक्रियाओं को विषय पर रखती है और बिल छोटा रखती है। जब किसी लंबी कहानी में मॉडल को दूर के विवरण याद रखने की आवश्यकता हो तो इसे बढ़ाएं। नीचे दी गई गणना दिखाती है कि यह क्यों महत्वपूर्ण है।
अधिकतम प्रतिक्रिया लंबाई
अपने स्टाइल के अनुसार एक छत सेट करें। 300 से 500 टोकन छोटी अदला-बदली के लिए उपयुक्त हैं, और 800 या उससे अधिक दृश्य-लेखन के लिए उपयुक्त हैं। एक निम्न मान प्रत्येक जवाब के समाप्त होने से पहले की प्रतीक्षा को भी कम करता है।
स्ट्रीमिंग
इसे चालू रखें। जवाब शब्द-दर-शब्द प्रकट होते हैं, और आप एक ऐसे जवाब को रोक सकते हैं जो गलत दिशा में गया है और उसके शेष हिस्से के लिए भुगतान नहीं करना पड़ता। ध्यान रखें कि एक स्ट्रीमिंग अनुरोध स्ट्रीम समाप्त होने तक एक कॉन्करेंसी स्लॉट पकड़े रखता है।
तापमान और पेनल्टीज़
तापमान को लगभग 0.8 और top_p को लगभग 0.9 से शुरू करें। यदि उत्तर वाक्यांशों को दोहराते हैं, तो 0.3 जैसे छोटे frequency पेनल्टी जोड़ें। यदि मॉडल कार्ड से भटक जाता है, तो तापमान को 0.6 तक कम करें। ये अनुभव के आधार पर समायोजन के लिए प्रारंभिक बिंदु हैं, जादुई संख्याएँ नहीं, और seed पैरामीटर तब पास किया जाता है यदि आप ट्यूनिंग के दौरान दोहराए जाने वाले आउटपुट चाहते हैं।
निर्देश और प्रॉम्प्ट प्रारूप
Chat Completion स्रोत के साथ, SillyTavern संदेश सूची स्वयं बनाता है, इसलिए आपको किसी instruct टेम्पलेट को चुनने की आवश्यकता नहीं है। प्रॉम्प्ट प्रबंधक का उपयोग सिस्टम प्रॉम्प्ट, कैरेक्टर विवरण, परिदृश्य और चैट इतिहास को व्यवस्थित करने के लिए करें, और अपने शैली निर्देशों को छोटा और सीधा रखें।
एक रोलप्ले सेशन की लागत क्या है
रोलप्ले इनपुट-भारी है। प्रत्येक टर्न कार्ड, लोर और हालिया चैट को फिर से भेजता है, और मॉडल कुछ सौ टोकन के साथ उत्तर देता है। 30,000 टोकन के कॉन्टेक्स्ट और 300-टोकन के जवाब को लें:
- इनपुट: 30,000 / 1,000,000 x $0.15 = $0.0045
- आउटपुट: 300 / 1,000,000 x $0.50 = $0.00015
- कुल: प्रति टर्न $0.00465, इसलिए 100 टर्न का खर्च $0.465 है
अब उसी जवाब के साथ 8,000 टोकन के कॉन्टेक्स्ट की तुलना करें: इनपुट $0.0012 है, आउटपुट $0.00015 है, इसलिए प्रति टर्न $0.00135 और 100 टर्न के लिए $0.135। छोटा कॉन्टेक्स्ट कीमत का लगभग एक तिहाई है। इसका बदला यह है कि मॉडल कम इतिहास देखता है, इसलिए यह एक घंटे पहले के किसी विवरण को भूल सकता है। Lorebook प्रविष्टियाँ और एक छोटा चालू सारांश आपको छोटे कॉन्टेक्स्ट में उन तथ्यों को बनाए रखने में मदद करता है जो आपके लिए महत्वपूर्ण हैं।
यहाँ बड़ी राशि भी मामूली है। $0.50 का मुफ़्त ट्रायल क्रेडिट 30,000 टोकन के कॉन्टेक्स्ट के साथ लगभग 107 टर्न कवर करता है ($0.50 / $0.00465), जो यह निर्णय करने के लिए पर्याप्त है कि क्या मॉडल आपके कैरेक्टर के लिए उपयुक्त है। इसके बाद आप $20 से $500 तक किसी भी पूर्णांक राशि से टॉप-अप करते हैं, और क्रेडिट कभी समाप्त नहीं होता। $50 (+5%), $100 (+10%) और $200 (+15%) से बोनस लागू होते हैं। पूरे आँकड़े मूल्य निर्धारण पृष्ठ पर हैं।
ग्रुप चैट और concurrency लिमिट
SillyTavern ग्रुप चैट बोलने वाले प्रत्येक कैरेक्टर के लिए एक अनुरोध भेजते हैं। swipes, regenerate और background सारांश जैसे फीचर्स भी तेज़ी से अनुरोध शुरू कर सकते हैं। यदि वे एक-दूसरे के ऊपर आते हैं, तो आपको कोड concurrency के साथ 429 त्रुटि मिल सकती है। इसका मतलब है कि एक साथ बहुत सारे अनुरोध चल रहे थे, न कि यह कि आपकी कुंजी में कोई समस्या है।
एक ट्रायल कुंजी 2 समानांतर अनुरोध और प्रति मिनट 60 अनुमति देता है। एक रिचार्ज की गई कुंजी 8 और 300 अनुमति देता है। निचली सीमा के भीतर रहने के लिए:
- दोबारा जनरेट करने से पहले जवाब पूरा होने तक प्रतीक्षा करें।
- ग्रुप्स में, कैरेक्टर के उत्तरों के क्रम को मैन्युअल या क्रमिक रखें, इसके बजाय कि कई कैरेक्टर एक साथ उत्तर दें।
- जब तक आपके पास रिचार्ज की गई कुंजी न हो, auto-summaries जैसे हर संदेश पर अनुरोध शुरू करने वाले एक्सटेंशन बंद रखें।
API अस्थायी रूप से ओवरलोड होने पर 429 भी Retry-After: 5 हेडर के साथ लौटाता है। उस स्थिति में, पाँच सेकंड प्रतीक्षा करें और फिर से जनरेट करें। विफल और अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है, इसलिए दोबारा कोशिश करने का कोई खर्च नहीं है।
ट्रबलशूटिंग
यदि Connect बटन विफल रहता है, तो SillyTavern के बाहर कुंजी का परीक्षण करें ताकि आपको पता चले कि किस पक्ष में समस्या है:
curl https://api.glmapikey.com/v1/models \
-H "Authorization: Bearer $API_KEY"
एक JSON सूची जिसमें uncensored शामिल है, इसका मतलब है कि कुंजी और URL सही हैं, और त्रुटि SillyTavern फ़ील्ड्स में है।
- स्टेटस लाल रहता है या आपको 404 दिखता है। एंडपॉइंट में शायद एक ट्रेलिंग पाथ है या
/v1गायब है। बिल्कुलhttps://api.glmapikey.com/v1का उपयोग करें। - 401 त्रुटि। कुंजी स्पेस या लाइन ब्रेक के साथ पेस्ट हो गई थी। इसे फिर से पेस्ट करें।
- प्रतिक्रियाएँ वाक्य के बीच में कट जाती हैं। आपकी अधिकतम प्रतिक्रिया लंबाई बहुत कम है। इसे बढ़ाएँ।
- प्रतिक्रियाएँ किरदार को नज़रअंदाज़ करती हैं। कार्ड संभवतः इस कारण काटा जा रहा है कि कॉन्टेक्स्ट साइज़ उसके लिए बहुत छोटा है। कॉन्टेक्स्ट बढ़ाएँ या कार्ड छोटा करें।
- कुंजी कुछ समय बाद काम करना बंद कर देती है। मुफ़्त ट्रायल क्रेडिट 7 दिनों के लिए होता है, इसलिए जारी रखने के लिए टॉप-अप करें।
- फ़ोन या किसी अन्य डिवाइस पर SillyTavern कनेक्ट नहीं हो पाता। जाँच करें कि डिवाइस को इंटरनेट एक्सेस है और URL सही टाइप किया गया है, फिर उसी डिवाइस से curl टेस्ट चलाएँ।
रिक्वेस्ट फ़ील्ड और हेडर के बारे में अधिक जानकारी के लिए, दस्तावेज़ीकरण देखें। यदि आप यह समझना चाहते हैं कि पहली बार में कुंजी कैसे प्राप्त करें, GLM कुंजी गाइड इसे समझाता है।
