При каждом повороте чат пересылается — узнайте, почему длинный разговор стоит гораздо дороже, чем его слова.
Повторная отправка истории каждый ход означает, что длинные чаты стоят гораздо дороже, чем слова в них. Обрезаем повторяющийся префикс с кешированием — видим безубыточность на графике подскажите калькулятор кэша — и проверьте, что промежуточная сумма соответствует окну на контекстное окно калькулятора.
Обмены
Инструменты и хостинг
Бесплатный калькулятор стоимости разговора — смоделируйте, как повторная отправка контекста при каждом ходе приводит к тому, что стоимость многоходового чата намного превышает стоимость добавляемых токенов.
Потому что модель не имеет состояния: каждый ход вы повторно отправляете весь предыдущий разговор в качестве входных данных. К восьмому ходу вы платите за первый ход восемь раз. Общее количество выставленных счетов токенов растет примерно пропорционально квадрату числа оборотов, поэтому длина, а не только размер сообщения, определяет стоимость.
Обрезайте или суммируйте старые повороты вместо того, чтобы отправлять все заново, используйте кэширование подсказок, чтобы повторный префикс выставлялся со скидкой, ограничивайте продолжительность разговора и перенаправляйте простые повороты на более дешевую модель. Они атакуют повторно отправленный контекст, что делает длинные чаты дорогостоящими.