дешевле за правильный
премиум / правильный
дешевле / правильно
точность безубыточности

Цена стикера vs цена результата

Каждая модель оценивается двумя способами: чистая стоимость за вызов и эффективная стоимость после деления на точность для оплаты повторных попыток. Столбец «Повторные попытки» указывает на точность — сколько попыток в среднем требуется, чтобы получить один хороший ответ. Строка с самой низкой стоимостью за правильность выделяется; это не всегда самая дешевая наклейка.

Модель$/звонокТочностьПопытки/правильные$/правильноЕжемесячно

Какая точность нужна более дешевой модели

Эффективная стоимость более дешевой модели в диапазоне точности по сравнению с фиксированной стоимостью за исправление модели премиум-класса. Ряд, в котором они пересекаются, представляет собой точность безубыточности: выше него выигрывает более дешевая модель, ниже — ее повторные попытки делают ее более дорогим выбором.

Более дешевая точностьДешевле $/правильноПремиум $/правильноПобедитель

Скидка, которая стоит вам денег

Каждая информационная панель выбора модели сортирует по цене за миллион токенов, и каждая из них отвечает не на тот вопрос. Стоимость, которая попадает в ваш счет, — это не стоимость звонка, а стоимость звонка, который вы действительно можете использовать — и в тот момент, когда ваша задача имеет правильный и неправильный ответ, эти две цифры расходятся. Модель, которая на 30% дешевле за один вызов, но менее точна на десять пунктов, не будет дешевле на 30%; как только вы повторите попытку или отбросите ошибки, вы покупаете больше попыток за каждый полезный результат, и арифметика может полностью перевернуть рейтинг. Решение состоит в одном делении: возьмите стоимость попытки, разделите ее на вероятность того, что попытка окажется удачной, и сравните на этом модели. Безубыточность, которую печатает этот калькулятор, — это все решение, выраженное в одном числе: точность, которую должна обеспечить более дешевая модель, прежде чем ее скидка станет реальной, а не налог, который вы платите при повторных попытках. Это предполагает, что вы можете отличать правильное от неправильного и просто повторно запускать ошибки, что является именно той ситуацией, когда у вас есть набор тестов, верификатор или проверка человеком; если плохие ответы отправляются незамеченными, дешевая модель еще хуже, потому что теперь вы также платите за ошибку в дальнейшем. Сначала оцените один звонок с помощью калькулятор стоимости токена, сравните цены на необработанные модели на страница сравнения моделей, а если вы связываете вызовы с агентом, определите размер записи токена полной задачи с помощью Калькулятор стоимости ИИ-агента.

Разместите свой проект:DigitalOcean — 200 долларов бесплатно ↗Хостингер VPS
Стоимость токенаЦена/производительностьСтоимость A/B-тестированияСтоимость ИИ-агентаСравнение моделей