Токены мышления оплачиваются по выходной ставке и скрываются от ответа. Вызов p50 (типичный) и вызов p99 (жесткий) для одной и той же модели выполняют идентичный код, но в счетах оказываются далеко друг от друга. Разрыв, а не средний показатель, разрушает ежемесячный бюджет.
Наивная оценка против типичной против хвоста
«Наивная» строка — это то, что говорит вам простой калькулятор токенов — он полностью игнорирует скрытое мышление. Разница в типичном ряду — это премия за мышление, которую вы фактически заплатите; разрыв до хвостового ряда – это бюджетный риск.
| Сценарий | Жетоны мышления | Стоимость/звонок | Стоимость / месяц | против наивного |
|---|
Бюджетный диапазон по серьезности хвоста
Насколько велик может колебаться ваш ежемесячный счет, зависит от того, насколько тяжелым станет хвост жесткой подсказки. Выберите хвостовой кратный, который соответствует тому, насколько изменчивы ваши подсказки.
| Хвост кратный | жетоны мышления p99 | Стоимость/звонок | Стоимость / месяц |
|---|
Почему единая цифра стоимости звонка лжет о моделях рассуждения
Модель без рассуждений близка к детерминированной по стоимости: вы отправляете N входных жетонов, получаете обратно M выходных жетонов, умножаете на ставки и все готово. Модели рассуждения нарушают это. Между подсказкой и ответом модель запускает частную цепочку мыслей — жетоны мышления — и вам выставляется счет за каждый из них по исходящей ставке, даже если они никогда не появляются в ответе. Важно отметить, что счет зависящий от данных: на простую классификацию может уйти несколько сотен, на сложное многоэтапное доказательство или на планирование агентного инструмента — десятки тысяч. Таким образом, истинная стоимость звонка — это не число, а распределение, и указание только его медианы (p50) скрывает ту часть распределения, которая на самом деле раздувает бюджеты: хвост.
Распространение p50/p99 и налог на рассуждения
Стоимость звонка составляет вход×входная_цена + (видимый_выход + мышление)×выходная_цена. Держите все фиксированным, кроме мышления, и все будет вращаться вокруг этой единственной переменной. При обычном подсчете вы получаете стоимость в 50 песо; Умножьте мышление на хвостовой коэффициент для случая жесткой подсказки, и вы получите p99. При серьезном рассуждении они могут находиться на расстоянии 3–5 раз друг от друга, что означает, что один и тот же ежемесячный объем может выставляться в любом месте в этом диапазоне, в зависимости только от того, насколько сложными оказались подсказки в этом месяце. обоснование налога — та часть счета, которая думает, а не отправленные вами данные или полученный ответ, — обычно очищает 70–80% при тяжелых рабочих нагрузках. Вы платите в основном за работу с нуля. Обычно именно в тот момент, когда команды видят эту долю, они добавляют ограничения на мышление.
Как уменьшить группу
Три рычага перемещают его. Ограничьте усилия рассуждения или жетоны максимального мышления, чтобы хвост физически не мог убежать — это немного меняет качество ответов на самые сложные подсказки на жесткий потолок затрат. Маршрут по сложности: отправьте легкое большинство к дешевой модели, не требующей рассуждений, и оставьте модель рассуждения для подсказок, которые действительно в ней нуждаются. И следите за p99, а не за средним, потому что пакет жестких подсказок поднимает хвост задолго до того, как он сдвинет среднее значение. Обратите внимание, что быстрое кэширование отсекает входную сторону, но не мыслительную сторону, поэтому в интенсивном потоке рассуждений решающее значение имеет ограничение мышления. Соедините его с Калькулятор плоских рассуждений для точечной оценки и Калькулятор бюджета цикла агента для многошагового случая.
Как работает этот калькулятор
Он оценивает вызов рассуждения как вход × входная_цена + (видимый_выход + мышление) × выходная цена за миллион токенов, вычисляя три точки: наивная оценка, игнорирующая мышление, типичный (p50) вызов с вашим типичным количеством мыслей и хвостовой вызов (p99) с p50 мышления × вашего хвостового кратного. В нем сообщается налог на обоснование (доля мышления в счете P50), типичные и хвостовые ежемесячные итоги для вашего объема звонков, а также таблица чувствительности для хвостовых кратных, чтобы вы могли видеть полный бюджетный диапазон.
Часто задаваемые вопросы
Почему модели рассуждения настолько непредсказуемы для бюджета?
Они испускают жетоны скрытого мышления, которые считаются выходными, и их количество колеблется от нескольких сотен при простой подсказке до десятков тысяч при сложной. Определите бюджет типичного звонка, и «хвост» сможет выставить счет за звонок в 3–5 раз больше.
Как рассчитать стоимость токена рассуждения?
Стоимость звонка = вход × входная_цена + (видимый_выход + мышление) × выходная_цена, за миллион токенов. Мышление оплачивается по объему выпуска, оно невидимо и изменчиво — оцените типичное значение и хвостовой множитель, а затем оцените и то, и другое.
Каков налог на обоснование?
Доля вашего счета, которая представляет собой скрытое мышление, а не ввод или ответ. В аргументированных звонках он обычно превышает 70–80% — за черновую работу вы платите больше, чем за видимый разговор.