Çalıştırmadan önce
Bir anahtara ve başka hiçbir şeye ihtiyacınız yok. API anahtarı sayfası üzerinde bir tane oluşturun; yeni hesaplar tek tıkla, kart gerekmeden $0,50 deneme kredisi talep edebilir. Örneklerin okuması için dışa aktarın:
export API_KEY="YOUR_KEY"
pip install openai
npm install openai
API, OpenAI chat completions formatını takip eder. POST /v1/chat/completions ve GET /v1/models uç noktalarını açar, Authorization: Bearer kabul eder ve ID'si uncensored olan tek bir modeli sunar. Bu model, bağımsız bir sağlayıcı tarafından yürütülen ve yasal yetişkin kullanımı için içerik reddetmeleri olmadan yanıt verecek şekilde ayarlanmış bir open-weight modeldir. Herhangi bir model satıcısının resmi API'si değildir. Sadece metin işler: resim, ses, embedding veya fine-tuning yok.
Aşağıdaki örnekler en basit çağrıdan fonksiyon çağırmaya kadar gider. Sadece anahtarınızın çalıştığını kontrol etmek için en kısa yolu arıyorsanız, ilk curl komutu yeterlidir.
İlk curl isteği ve önemli parametreler
curl https://api.glmapikey.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "What is a mutex, in one sentence?"}
],
"temperature": 0.3,
"max_tokens": 80
}'
Yanıt, cevabı içeren choices[0].message.content ve prompt_tokens ile completion_tokens içeren bir usage nesnesi içeren bir JSON nesnesidir. Yanıt başlıkları X-Request-Id, X-Balance-USD ve iki X-RateLimit-Limit başlığını içerir. Bunları görmek için curl'a -i ekleyin.
temperature, top_p, stop, seed alanları ve varlık ile sıklık cezaları modele iletilir. max_tokens isteğe bağlıdır. Belirtilmezse, tamamlama işlemi isteminizden sonra 100.000 tokenlik pencerede kalan her şeyi kullanabilir.
Chat completions gövdesinde birçok isteğe bağlı alan vardır ancak beşi işin çoğunu yapar. Hepsi modele iletilir.
| Alan | Ne yaptığı | Tipik kullanım |
|---|---|---|
temperature | Daha yüksek değerler daha çeşitli sözcükler verir | Çıkarma için 0.2, kurgu için 0.8 |
top_p | Örnekleme en olası tokenlarla sınırlanır | Ayarlayana kadar varsayılanda bırakın |
stop | Bir dize göründüğünde yanıtı sonlandırır | Boş satır gibi bir ayırıcıda kes |
seed | Örneklemeyi en iyi çabayla tekrarlanabilir hale getirir | İki istem versiyonunu karşılaştırma |
presence_penalty, frequency_penalty | Token tekrarını azaltır | Metin döngüye girdiğinde 0.3 gibi küçük değerler |
Değişikliklerin hangisinin işe yaradığını ayırt edebilmek için her seferinde yalnızca bir değeri değiştirin ve istemi aynı tutun. Sınıflandırma veya ayıklama gibi kod üretimi gerektiren işler için düşük bir temperature ve sabit bir seed kullanın; böylece testi yeniden çalıştırıp aynı sonucu görebilirsiniz. Yaratıcı yazım için temperature değerini artırın ve tekrarları cezalarla yönetin.
max_tokens alanı burada isteğe bağlıdır. Belirtilmezse, yanıt 100.000 tokenlik pencerede kalan tüm alanı kullanabilir; bu genellikle tek satırlık bir cevap için istenen bir durum değildir. Cevabın ne kadar uzun olması gerektiğini biliyorsanız bu alanı ayarlayın.
Python: Hafızalı bir sohbet
API durumsuz olduğundan sohbeti siz yönetirsiniz ve her seferinde gönderirsiniz. Bu döngü bir mesaj listesi tutar ve her iki tarafın mesajlarını da ekler:
from openai import OpenAI
client = OpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
)
messages = [{"role": "system", "content": "You are a helpful assistant."}]
while True:
user = input("you> ")
if not user:
break
messages.append({"role": "user", "content": user})
resp = client.chat.completions.create(model="uncensored", messages=messages)
reply = resp.choices[0].message.content
messages.append({"role": "assistant", "content": reply})
print("bot>", reply)
Her çağrı tam sohbet geçmişini yeniden gönderdiği için, girdi tokenları sohbetin uzunluğuyla birlikte artar. 1 milyon girdi token başına $0,15 fiyatla bu ucuzdur, ancak uzun oturumlarda birikerek maliyeti artırır. Ödeme yapmak istediğiniz boyutu aşan eski mesajları kesip atın. fiyatlandırma sayfası örnekler içerir.
Python ve Node ile akış
stream: true ayarlayın; sunucu, tokenlar üretildikça bunları sunucu gönderme olayları üzerinden gönderir. Python'da:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write four lines about the sea."}],
stream=True,
)
text = ""
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
text += piece
print(piece, end="", flush=True)
if getattr(chunk, "usage", None):
print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
Akış, kullanım bilgisiyle sona erer; bu yüzden döngü bunu kontrol eder. Node ile aynı şey:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.glmapikey.com/v1",
apiKey: process.env.API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write four lines about the sea." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}
Limitler hakkında bir detay: akışlı bir istek, akış sonlanana kadar eşzamanlılık slotunu korur. Bir akış başlatır ve sonuna kadar okumazsanız, o slot meşgul kalır. Akışı her zaman tüketin veya kapatın.
Yapılandırılmış çıktı için JSON modu
Kodunuzun cevabı ayrıştırması gerektiğinde, response_format ile bir JSON nesnesi isteyin. Ayrıca istemde istediğiniz yapıyı belirtin, çünkü format bayrağı geçerli JSON sözdizimini garanti eder, özel şemanızı değil.
import json
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply only with JSON: {\"title\": string, \"tags\": [string]}."},
{"role": "user", "content": "Suggest a title and three tags for a post about home espresso."},
],
temperature=0.2,
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])
Kullanmadan önce ihtiyacınız olan anahtarların var olduğundan emin olun ve ayıklama işleri için temperature değerini düşük tutun. Bir ayrıştırma hatası olursa, aynı girdiyle bir kez yeniden denemek genellikle işe yarar ve başarısız istekler ücretlendirilmez.
Araç çağırma: Tam bir dönüş
Fonksiyon çağırma, modelin kodunuzun bir fonksiyonu çalıştırmasını sağlar. Fonksiyonu tools içinde tanımlarsınız, model tool_calls girişiyle yanıt verir, siz bunu çalıştırırsınız ve sonucu role: "tool" mesajı olarak geri gönderirsiniz.
import json
def get_weather(city: str) -> dict:
return {"city": city, "temp_c": 18, "sky": "cloudy"}
tools = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get current weather for a city",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
messages = [{"role": "user", "content": "Is it warm in Lisbon right now?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(get_weather(**args)),
})
final = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools
)
print(final.choices[0].message.content)
else:
print(msg.content)
Buradaki fonksiyon sabit veri döndürür, bu yüzden gerçek bir veri tabanı sorgusu ile değiştirin. Araç argümanları bir JSON dizgesi olarak gelir, bu yüzden eyleme geçmeden önce her zaman bunları ayrıştırın ve değerleri doğrulayın. stream: true ile tool_calls parçalar halinde gelir; bunları ayrıştırmadan önce birleştirin. Belirli bir aracı zorlamak için tool_choice kullanın.
Örneklerin maliyeti ve bir saat harcamaya neden olan hatalar
Örnekleri çalıştırmak çok az maliyet gerektirir ancak aritmetiği bir kez görmek faydalıdır. 1M girdi token başına $0,15 ve 1M çıktı token başına $0,50 fiyatla:
- Sohbet döngüsü, 1.200 tokenlik bir istem ve 300 tokenlik bir yanıtla: Girdi için $0,00018, çıktı için $0,00015 toplam $0,00033 eder. Bin dönüş $0,33 eder.
- Araç dönüşü iki çağrı yapar. İlk çağrı 400 token girdi ve 60 çıktı kullanırsa ve ikincisi 500 girdi ve 150 çıktı kullanırsa, toplamlar 900 girdi ve 210 çıktı olur: $0,000135 artı $0,000105 toplam $0,00024 eder.
- Akış, aynı token sayısına sahip normal bir çağrı ile aynı maliyete sahiptir. Sadece metnin ne zaman göründüğünü değiştirir, maliyeti değil.
$0,50 deneme kredisi, bu boyuttaki sohbet döngüsünün 1.500'den fazla dönüşünü öder ($0,50 / $0,00033), bu yüzden bakiye yüklemeden önce özgürce deneyebilirsiniz. Başarısız ve reddedilen istekler ücretlendirilmez; bu, ayrıştırma hatanızın bir çağrıyı yeniden çalıştırmanıza neden olursa, başarısız denemeler için size ücret yansıtılmayacağı anlamına gelir.
- Yanlış base URL.
/v1ile bitmelidir. Bir SDK base URL'sine/chat/completionseklemek, SDK yolu eklediği için 404 hatası verir. - Farklı bir model adı. Diğer platformlardan kopyalanan adlar burada mevcut değildir. ID
uncensored'dir. - Bellek beklemek. API önceki çağrıları hatırlamaz. Geçmişi her seferinde gönderin.
- Modelin JSON çıktısını korumasız ayrıştırmak.
json.loadsçağrısını bir try bloğu içine alın ve kötü bir yanıt durumunda bir planınız olsun. - Akışları açık bırakmak. Tamamlanmamış bir akış, bir eşzamanlılık slotunu meşgul eder ve deneme anahtarının yalnızca iki slotu vardır.
- Anahtarı ön uç koduna koymak. Anahtarı bir sunucuda tutun.
Hâlâ yanlış görünen bir şey varsa, curl ile bir istek gönderin ve kodunuzun ürettiği sonuçla karşılaştırın. curl ile gönderilen istek SDK'yı ortadan kaldırır ve gövdedeki farkları belirginleştirir.
Kullanım, bakiye ve hataları okuma
Python SDK'sından gelen başlıkları görmek için ham yanıt sarmalayıcısını kullanın:
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Say ok."}],
)
print("request id:", raw.headers.get("x-request-id"))
print("balance usd:", raw.headers.get("x-balance-usd"))
print("rpm limit:", raw.headers.get("x-ratelimit-limit-requests"))
completion = raw.parse()
print(completion.usage.total_tokens)
Her çağrı için istek kimliğini günlüğe kaydedin, böylece daha sonra tek bir isteğe işaret edebilirsiniz. Bakiye başlığını kullanarak kredi bitmeden önce bildirim verin.
Bir limite ulaştığınızda API HTTP 429 döndürür ve hata kodu hangisi olduğunu belirtir:
| Kod veya başlık | Ne yapmalı | Ne yapmalı |
|---|---|---|
rate_limited | Dakika başına çok fazla istek (tam anahtarda 300, deneme anahtarında 60) | Geri çekilin ve çağrıları eşit aralıklarla dağıtın |
concurrency | Aynı anda çok fazla istek (tam anahtarda 8, deneme anahtarında 2) | Çalışan bir isteğin bitmesini bekleyin |
Retry-After: 5 | Geçici aşırı yüklenme | Beş saniye sonra tekrar deneyin |
Başarısız veya reddedilen istekler ücretlendirilmez. İstek gövdesi 8 MB'ı geçemez. Tam referans ve mevcut istemci kodunun nasıl yeniden kullanılacağı için belgeler bölümüne bakın. Anahtarın nasıl alınacağına dair adım adım kılavuz için GLM API anahtarı makalesi bölümüne bakın.
