まず統合パターンを選択する
ほとんどのGLM API統合作業は4つのパターンのいずれかに分類され、その選択はシークレットの保管場所、バーストの処理方法、ユーザーにとっての失敗の見た目すべてに影響します。
| パターン | 適した用途 | 主なリスク |
|---|---|---|
| バックエンドプロキシ | 独自のユーザーを持つWebアプリおよびモバイルアプリ | 誰でも枯渇させられるオープンエンドポイント |
| キューワーカー | ボット、バッチジョブ、大量テキスト処理 | リクエストが制限を超えた場合のバックログ |
| チャットボット | Discord、Telegram、Matrixのキャラクターや相棒 | 長い履歴によるコストの膨張 |
| 自動化ツール | HTTPまたはOpenAIノードを提供するツール内のワークフロー | ステップのエラーによるサイレント失敗 |
すべて同じ呼び出しを使用します: POST /v1/chat/completions を https://api.glmapikey.com/v1 で、ベアラーキーとモデル uncensored を指定して実行します。このAPIはOpenAI互換のため、OpenAI SDKをそのまま利用できます。SDKがない場合は生のHTTPでも動作します。これは独立したプロバイダが運営する単一のオープンウェイトモデルであり、ベンダー公式APIやルーターではありません。そのため、1つのモデルの動作に合わせて構築してください。テキストのみ対応です: 画像や埋め込みも必要な場合は、それらの部分用に別のプロバイダを計画してください。
ドキュメントページにはエンドポイントとヘッダーの一覧が記載されており、GLMキーの記事ではキーの取得方法が説明されています。
バックエンドプロキシ:クライアントからキーを隠す
ブラウザやアプリバンドルで実行されるものはすべて検査可能です。もしAPIキーがそこに含まれる場合、誰でもそれをコピーしてクレジットを使い果たすことができます。解決策は、キーを保持し、独自のルールを適用してリクエストを転送する軽量なサーバールートです。
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI
from pydantic import BaseModel
app = FastAPI()
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
)
class Ask(BaseModel):
prompt: str
@app.post("/ask")
async def ask(body: Ask):
async def gen():
stream = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": body.prompt[:4000]}],
max_tokens=600,
stream=True,
)
async for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
yield chunk.choices[0].delta.content
return StreamingResponse(gen(), media_type="text/plain")
ルートはプロンプトを切り詰め、応答の長さに上限を設けます。これは最低限の対策です。本番公開前に実際の制御を追加してください: ユーザー認証、ユーザーごとの日次トークン予算、IPまたはアカウントごとのリクエストレート制限。APIは呼び出しごとに使用状況を提供するため、データベースでユーザーごとのトークンをカウントし、割り当てを超えたリクエストを拒否できます。
プロキシを介したストリーミングには1つの確認が必要です:リバースプロキシがレスポンスをバッファリングしないことを確認してください。そうしないと、テキストが単語ごとにではなく、最後に1つのブロックとして届きます。
キューワーカー:同時実行数の制限を尊重する
制限はキーごとに適用されます。フルキーは8つの同時リクエストと1分あたり300リクエストを許可します。トライアルキーは2および60を許可します。ジョブの安定したストリームの場合、通常は同時実行数が最初に制限値に達します。各リクエストは完了するまでスロットを占有し、ストリーミングの場合はストリーム終了まで占有するためです。
制限に合わせてサイズ設定されたワーカープールが最もクリーンな解決策です。ジョブは429エラーで失敗するのではなく、キューで待機します:
import asyncio
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(
base_url="https://api.glmapikey.com/v1",
api_key="YOUR_KEY",
max_retries=0,
)
WORKERS = 8 # use 2 on a trial key
async def run_job(prompt: str) -> str:
for attempt in range(5):
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=500,
)
return r.choices[0].message.content
except RateLimitError as e:
delay = float(e.response.headers.get("retry-after", 2 * (attempt + 1)))
await asyncio.sleep(delay)
raise RuntimeError("gave up after repeated 429 responses")
async def worker(queue: asyncio.Queue, results: list):
while True:
prompt = await queue.get()
try:
results.append(await run_job(prompt))
finally:
queue.task_done()
async def main(prompts):
queue, results = asyncio.Queue(), []
for p in prompts:
queue.put_nowait(p)
tasks = [asyncio.create_task(worker(queue, results)) for _ in range(WORKERS)]
await queue.join()
for t in tasks:
t.cancel()
return results
429レスポンスボディのエラーコードは停止された理由を示します: 1分あたりのリクエスト数はrate_limited、一度に多すぎる場合はconcurrency、短い過負荷の場合はヘッダーRetry-After: 5を伴う通常の429です。ヘッダーを尊重することは、遅延を推測するよりも簡単です。失敗したおよび拒否されたリクエストは課金されないため、再試行にはコストがかかりません。
ボットとキャラクター
チャットボットは、通常、予期せぬコストが発生しやすい場所です。履歴を保持するボットは、メッセージごとにそれを再送信するためです。履歴のどの程度のメッセージを保持するかを早期に決定し、APIは呼び出し間で状態を保持しないため、履歴を自分で保存してください。
予算の例でこの点を明確にします。ボットが500人のアクティブユーザーを持ち、それぞれが1日あたり20メッセージを送信すると仮定します。すべてのメッセージには1,500の入力トークン(ペルソナ、短い履歴、新しい行)が含まれ、250トークンを返します:
- メッセージごと:1,500 / 1,000,000 x $0.15 = $0.000225 入力、250 / 1,000,000 x $0.50 = $0.000125 出力、合計 $0.00035
- 1日あたり:500 x 20 = 10,000メッセージ、つまり $3.50
- 30日間:$105
代わりに12,000トークンのコンテキストウィンドウが埋まるまで履歴を成長させると、メッセージごとの入力は8倍の12,000トークンに増加し、入力のみで$0.0018かかり、月額の計算もそれに伴って増加します。ローリングウィンドウと古いイベントの短い要約を使用することで、より低いコストでペルソナの一貫性を維持できます。
相棒やロールプレイボットの場合、製品ルールを独自のレイヤーに保持してください。このモデルは、合法的な成人利用に対してコンテンツ拒否なしで応答するようにチューニングされており、唯一の厳格な制限は未成年者を含む性的コンテンツで、サービスはそれを拒否します。ボットがパブリックサーバー上にある場合は、年齢制限とプラットフォームに合わせたチャンネルルールを追加してください。
自動化ツールとノーコードワークフロー
構成可能なベースURLを持つOpenAIスタイルのノードを提供するワークフローツールは、3つのフィールドを変更することでこのAPIを使用できます:URLをhttps://api.glmapikey.com/v1、キーとモデル名をuncensoredに変更します。ジェネリックHTTPリクエストノードしかないツールは、代わりに生のリクエストを送信できます:
curl https://api.glmapikey.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Classify this ticket: printer offline"}], "response_format": {"type": "json_object"}}'
別のステップにフィードするワークフローステップでは、次のノードが解析可能なテキストを受け取るようにJSONモードを使用する価値があります。APIを呼び出すすべてのステップにエラーブランチを追加してください。429および5xxレスポンスは時々発生し、ワークフローの中間でのサイレント失敗は後で見つけるのが難しいためです。そのノードに短い待機付きのリトライを設定し、並列ブランチがキーが許可する同時リクエスト数を超えないようにしてください。
ユーザーが失敗時に何を見るか
すべての統合にはアンハッピーパスの計画が必要であり、ユーザー表示部分はリトライコードと同様に重要です。実際には3つの状況が発生します。
1つ目は短い過負荷です:Retry-After: 5を含む429です。静かにリトライし、その間にタイピングインジケーターを表示し、ユーザーにはエラーではなく少し遅い返信が表示されるようにします。2つ目は独自のプール制限に達することです。8つのスロットがすべてビジーの場合、メッセージをキューに入れ、ユーザーに待機中であることを伝えます。これは空白の画面よりも優れています。3つ目はクレジットの枯渇で、これはリトライでは解決できません。残高ヘッダーを監視し、しきい値で自身にアラートを送信し、気づかずに枯渇した日に備えて代替メッセージを準備してください。
エンドユーザーに生のAPIエラーを表示しないでください。リクエストIDでログに記録し、何が起こり、次に何をするべきかを示すプレーンな文を表示します。ユーザーが読めるものには、キー、ベースURL、スタックトレースを絶対に含めないでください。
金銭、監視、および公開チェック
課金は前払い制です。$20から$500までの任意の整数額をチャージでき、$50以上で+5%、$100以上で+10%、$200以上で+15%のボーナスが付きます。クレジットは期限切れにならず、サブスクリプションもありません。暗号資産(TRC20上のUSDT、Base上のUSDC)でお支払いください。新規ユーザーは、APIキーページでワンクリックで$0.50の無料トライアルクレジットを請求でき、7日間有効です。これにより、資金投入前に統合をテストできます。料金は料金ページをご覧ください。
本番環境で監視すべきもの:
- 残高レスポンスから
X-Balance-USDを読み取り、選択したしきい値を下回ったときにアラートを発します。 - リクエストID各ジョブの横に
X-Request-Idを保存し、1つの失敗をトレースできるようにします。 - トークン使用量 ユーザーごと、機能ごとの
usageの合計を確認し、どこにお金が使われているか把握しましょう。 - 429 レートカウントが増加している場合、プールがキーの制限を超えていることを意味します。
短いリリースリスト:本番ホストから実際のリクエストを1つ実行、ステージング環境で強制429をテスト、ユーザーが認証なしでAPIに到達できないことを確認、APIに到達できない場合にサービスが何を表示するかを記録します。プロンプトはトレーニングに使用されないため、これは自分のユーザーに渡すことができますが、プライバシーポリシーに、テキストが返信を生成するためにサードパーティプロバイダに送信されることを記載してください。
