安価なモデルではさらに 1 ドルが高くなります
1 ドルあたりのトークンで考えると、モデルの選択が明確になります。大量の重要ではない作業の場合、小規模モデルは 10 ~ 20 倍のトークンを購入します。での通話ごとの比較 LLM トークンコスト計算ツール.
1 ドルあたりのトークン: クロスモデルのショッピング単位
100 万トークンあたりの価格を 1 ドルあたりのトークンに反転すると、モデル ショッピングが具体的になります。100 万個の入力トークンあたり 0.15 ドルで、1 ドルで 670 万個のトークンが購入できます。つまり、およそ 500 万語の単語、または 50 冊の文脈の小説が購入できます。 100 万あたり 15 ドルで、同じドルで 67,000 個のトークンが購入できます。フロンティア モデルとバジェット モデル間の 100 倍のスプレッドは、ほとんどの LLM アプリにおける全体的なコスト最適化の機会です。簡単なクエリの 80% を安価なモデルにルーティングし、高価なクエリをハードケース用に確保することで、品質の損失を最小限に抑えながら、混合コストを 5 ~ 10 倍削減します。出力トークンの価格は、ほとんどのプロバイダーで入力の 2 ~ 5 倍です。チャットが多いワークロードでは、どちらの数値よりも比率が重要です。