この計算機の仕組み
4 つのアーキテクチャはそれぞれ、同じ共有料金から価格設定されています。 ループごとのトークン したがって、それらの間でコストが変わるのはワークフローの形状だけであり、ステップごとの価格ではありません。 反応する は単一エージェントのベースラインです。 reactLoops × tokensPerLoop — 1 つのエージェント、1 つのループ、完了したら完了。 思考の木 同じループごとのコストを両方で乗算します。 分岐因子 そして 深さ — branching × depth × tokensPerLoop — 3 つの深さレベルで 3 つの分岐を探索することは、1 ループではなく、およそ 9 ループに相当する推論を実行することを意味するためです。 マルチエージェントの討論 独自のラウンドですべてのディベート エージェントを実行します。 agents × rounds × tokensPerLoop — 次に、裁判官が読まなければならないトークンを追加します。つまり、すべてのエージェントの最終回答と裁判官自身の推論です。 agents × answerTokens + judgeTokens.
プランナー/オーケストレーター 最も関与しているのはオーケストレーターです。 計画トークン 前に、その後、いくつかの サブエージェント、それぞれが独自の完全な内部ループを独立して実行します。 subagents × subagentLoops × tokensPerLoop — そしてそれぞれは圧縮されたもののみを報告します まとめ オーケストレーターが読み取る、 subagents × summaryTokens。オーケストレーター自体のコンテキストは小さいままです。サブエージェントの完全なトレースではなく概要のみを参照するためです。ただし、パイプライン内のすべてのモデル呼び出しで実際に請求されるシステム全体のトークンの合計使用量には、各サブエージェントが内部で生成したすべてのトークンが含まれます。無駄のないオーケストレーターとは、安価なシステムを意味するものではありません。高価な部分がオーケストレーターのコンテキスト ウィンドウから、同じように請求される一連の並列サブエージェント ループに移動されたことを意味します。すべてのアーキテクチャのコストは次のとおりです。 totalTokens / 1,000,000 × pricePerMillion、各非 ReAct パターンの乗数は、単にその合計トークンを ReAct ベースラインの合計トークンで割ったものです。
よくある質問
この計算ツールでは、「スマート」プランナー/オーケストレーター パターンが最終的に 1 つの ReAct エージェントよりもコストがかかるのはなぜですか?
オーケストレーターが効率的であることと、システムが安価であることは別のことであるためです。プランナー/ワーカー パターンでは、中央のオーケストレーターは各サブエージェントから圧縮された概要 (数百のトークン) のみを読み取ります。これにより、オーケストレーターの独自のコンテキストが小さくなり、コンテキスト ウィンドウの上限をはるかに下回ります。しかし、これらのサブエージェントはすべて、タスクの一部を実際に実行するために、考える、行動、観察するステップの完全な内部ループを依然として実行しており、オーケストレーターがそれらを直接見ることはなくても、これらのループ トークンはすべて生成され、どこかで請求されます。 3 つのサブエージェントがそれぞれループあたり 3,000 トークンで 4 つのループを実行します。つまり、36,000 トークンのサブエージェント作業が脇で行われ、さらにオーケストレーター独自の計画トークンと要約が返されます。実行されているループは 1 つだけであり、オーケストレーター ループと 3 つの並列サブエージェント ループではなく、1 つの ReAct エージェントが同じタスクの 5 つのループを実行する場合に発生するシステム全体の費用は決して支払う必要がありません。
思考の木や複数のエージェントによる議論には、追加のコストを支払う価値があるでしょうか?
はい、ただし、乗数を支払うケースは、生のトークンのコスト以外のものに依存する必要があります。トークンのみでは、両方のパターンが毎回 1 つの ReAct ループに負けるためです。タスクに非常に大きな解決空間があり、1 つの推論パスに早まってコミットすると、最初からやり直さなければならない間違った答えが生成される可能性が高い場合、思考の木は 1.8 倍 (さらに悪いことに、分岐や深さが高くなると) になります。追加の分岐は、無料のアップグレードではなく、より高価な再試行に対する保険です。マルチエージェントの議論は、一か八かの分類や敵対的レビューなど、単一のモデル自体の自己一貫性が実際のリスクとなる場合にコストが発生します。独立したエージェントが別々に回答に到達し、その後判断されることで、単独パスでは見逃してしまうエラーが発見されます。タスクが 1 人のエージェントの信頼できる範囲内に十分収まる場合、どちらのパターンも乗数に値しません。必要のない保険にお金を払っていることになります。
プロンプト キャッシュによって、どのアーキテクチャが最も安価かは変わりますか?
これにより、順序を変更することなく、4 つのコストすべてがほぼ同じ割合で縮小されます。これは、キャッシュによって繰り返し入力トークン プレフィックス (システム プロンプト、ツール スキーマ、共有コンテキスト) が割引され、これら 4 つのパターンのいずれも、ループ、ブランチ、エージェント ターン、またはサブエージェント ステップごとにそれらのプレフィックスを再送信する必要があるためです。 ReAct の 5 つのループはそれぞれ、繰り返されるプレフィックスをキャッシュすることで部分的に恩恵を受けており、tree-of-thought のブランチ、ディベートのエージェントごとのラウンド、および各プランナーのサブエージェントの内部ループも同様です。割引は、あるパターンの形状を別のパターンより優先するのではなく、全面的にほぼ均等に適用されます。キャッシュでは行われないのは、基礎となるループ数の計算の変更です。プランナーが 3 つのサブエージェントを生成し、それぞれが 4 つのループを実行するプランナーは、単一の 5 ループ ReAct エージェントよりもはるかに多くの合計生成 (出力) トークンを生成します。また、出力トークンは通常、キャッシュ入力割引の対象になりません。そのため、この計算ツールのアーキテクチャ パターンのランキングは、キャッシュの設定に関係なく保持されます。
これは、このサイトにすでにあるエージェント ループの予算計算ツールや AI エージェント フレームワークのコスト計算ツールとどう違うのですか?
3 つの価格のエージェント トークンはすべて、同じスタックの異なるレイヤーで使用されます。エージェント ループ バジェット カリキュレーターは、単一のエージェント自身のループ反復バジェットの価格を計算します。ループごとのトークン コストと支出上限を考慮して、1 つのエージェントが終了するまでに思考、行動、観察のターンを何回実行できるかを考慮します。この値は、アーキテクチャ間で比較されることはなく、1 つのエージェントが得られるターン数でのみ比較されます。 AI エージェント フレームワークのコスト計算ツールは、CrewAI、LangGraph、カスタム ループなど、さまざまなフレームワークで特定のエージェント ワークロードを実行する場合のツールとインフラストラクチャのオーバーヘッドを比較します。これは、同じアーキテクチャ パターンで、異なる配管の下で価格が設定されています。この計算機は両方の 1 つ上の層にあります。フレームワークとループごとのコストを一定に保持し、代わりに、同じタスクを解決するための 4 つの異なるアーキテクチャ パターン (単一エージェントの ReAct、思考ツリーの分岐、マルチエージェントのディベート、サブエージェントが分離されたプランナー/オーケストレーター) を比較して、フレームワークの選択やループの予算設定が問題になる前に、選択したパターンによってトークンの支出が増加することを示します。