トークンとリクエストの説明

リクエストとトークンは同じものではありません

アン APIリクエスト エンドポイントへの 1 回の呼び出しです。 トークン は、その呼び出し内のテキストの単位です。 1 つのリクエストで数個のトークン、または数十万のトークンが送信されることがあります。 LLM プロバイダーはトークンによって請求します。他の多くの API (支払い、マップ、SMS) はリクエストごとまたはアクションごとに請求されます。この 2 つを混同することは、予算編成で最もよくある間違いです。

各モデルが適用される場所

建てる前に見積もりをする方法

LLM 機能の場合、次のように推定します。 通話あたりのトークン × ユーザーあたりの通話 × ユーザー数。チャットの返信は、最大 500 個の入力トークンと最大 300 個の出力トークンになる可能性があります。毎月の会話を乗算してトークンの量を取得し、価格を設定します。リクエストごとのトークン数は大幅に変化するため、これは「リクエストごと」に推測するよりもはるかに正確です。

よくある質問

トークンと API リクエストの違いは何ですか?

API リクエストはエンドポイントへの 1 回の呼び出しです。トークンは、その中のテキストの単位です。 1 つのリクエストには、ごく少数のトークン、または数十万のトークンが含まれる場合があります。 LLM はトークンごとに請求されますが、他の多くの API はリクエストごとに請求されます。

一般的なチャットボット メッセージはどれくらいのトークンですか?

短いユーザー メッセージとシステム プロンプトは、多くの場合、数百の入力トークン、応答は数百の出力トークンになります。これは、プロンプトの長さや応答の冗長さによって異なりますが、交換ごとにおよそ 500 ～ 1,000 トークンになります。

毎月のトークン使用量を見積もるにはどうすればよいですか?

通話あたりのトークンとユーザーあたりの通話をユーザー数で乗算します。入力トークンと出力トークンの価格は異なるため、個別に見積もり、選択したモデルのトークン コスト計算ツールで合計を実行します。