При каждом повороте чат пересылается — узнайте, почему длинный разговор стоит гораздо дороже, чем его слова.
Повторная отправка истории каждый ход означает, что длинные чаты стоят гораздо дороже, чем слова в них. Обрезаем повторяющийся префикс с кешированием — видим безубыточность на графике подскажите калькулятор кэша — и проверьте, что промежуточная сумма соответствует окну на контекстное окно калькулятора.
The Калькулятор стоимости разговора оценивает, сколько на самом деле стоит запуск многоходового чата, а не только цену нового текста, который набирает пользователь. Вы входите в поворотов за разговор, новые жетоны за ход, твой разговоров в месяци смешанная цена за миллион токенов. Поскольку большинство чат-систем повторно отправляют растущую историю разговоров на каждом ходу, каждый ход снова оплачивает все предыдущие ходы. Калькулятор суммирует повторяющийся контекст между ходами, чтобы получить стоимость за разговор и общую сумму за месяц, показывая, почему чат может стоить гораздо больше, чем жетоны, которые он явно добавляет.
Ключевым компромиссом, на который стоит обратить внимание, является продолжительность разговора. Поскольку недовольный контекст накапливается, стоимость растет быстрее, чем можно предположить по одному лишь количеству оборотов, поэтому длинные потоки доминируют в ваших счетах. Практический шаг — ограничить историю, суммировать предыдущие ходы или начать новые сеансы, чтобы сохранить небольшой контекст недовольства.
Потому что модель не имеет состояния: каждый ход вы повторно отправляете весь предыдущий разговор в качестве входных данных. К восьмому ходу вы платите за первый ход восемь раз. Общее количество выставленных счетов токенов растет примерно пропорционально квадрату числа оборотов, поэтому длина, а не только размер сообщения, определяет стоимость.
Обрезайте или суммируйте старые повороты вместо того, чтобы отправлять все заново, используйте кэширование подсказок, чтобы повторный префикс выставлялся со скидкой, ограничивайте продолжительность разговора и перенаправляйте простые повороты на более дешевую модель. Они атакуют повторно отправленный контекст, что делает длинные чаты дорогостоящими.