エージェントの罠: 1 つの質問に見えるタスクが、実際には 5 ～ 20 回の LLM コールに相当します。 チャットボットは 1 回応答します。エージェントは推論し、ツールを呼び出し、ステップごとに自身の成長するコンテキストを再読み取りします。そのため、チャット メッセージあたり 1 セントの数分の費用がかかる同じモデルでも、エージェント タスクあたりのコストは 10 ～ 50 倍になる可能性があります。この計算機はそれを適切に乗算します。
このエージェントの最安モデル
同じワークロードで、すべてのモデルが月額コストでランク付けされています。
| モデル | 月額料金 | タスクごと |
|---|
エージェントのコストが実際にどのように加算されるか
式は タスク × ステップ × (入力トークン × 入力価格 + 出力トークン × 出力価格)。人々が忘れている乗数は ステップ: リサーチ エージェントは 12 ループ、コーディング エージェントは 20 以上かかる可能性があります。そして、ほとんどのエージェントは蓄積された会話をステップごとに再送信するため、 タスクの進行に応じてステップを登るごとにトークンを入力します — 上で入力した数値はループ全体の平均です。通常、ステップごとの出力 (短い考えやツールの呼び出し) は小さいため、 入力がエージェントの請求額の大部分を占める そして、プロンプト キャッシュとコンテキスト トリミングが他のどこよりもここで重要である理由もわかります。
切り方
4 つのレバー、衝撃の順序: (1) モデルルーティング — 日常的なステップには小さなモデルを使用し、難しいステップにはフロンティア モデルのみを使用します。 (2)ステップキャップ — 暴走ループを阻止します。 (3) コンテキストのトリミング — ステップごとに履歴全体を再送信しないでください。 (4) プロンプトキャッシング 静的システム プロンプトとツール定義の場合。を参照してください。 プロンプト キャッシュ ガイド そして キャッシュ節約計算機。エージェントの代わりにチャットボットを構築しますか?を使用します。 チャットボットのコスト計算ツール。アプリ全体?の AI アプリのコスト見積りツール。同じタスクで複数のエージェントを実行していますか?ファンアウト、ディベート、スーパーバイザー、または群パターン?この計算ツールは 1 つのエージェントの価格を計算します。を使用してください AI エージェント群のコスト計算ツール オーケストレーション パターンが上に追加する乗数を確認します。