Накладные расходы на определение инструментов/функций при каждом вызове.
Определения инструментов используются в качестве входных токенов при каждом запросе. Десять многословных инструментов могут добавить тысячу токенов за звонок, за который вы платите постоянно. Кэшируйте их — см. быстрый калькулятор кэширования.
Обмены
Инструменты и хостинг
Бесплатный калькулятор стоимости вызова функций — определения инструментов добавляют токены к каждому запросу; посмотрим, чего стоят эти накладные расходы.
Да. Схема JSON для ваших инструментов отправляется в качестве входных токенов при каждом запросе независимо от того, используется инструмент или нет. При наличии большого количества инструментов или подробных описаний эти накладные расходы значительны при больших объемах.
Предоставляйте только те инструменты, которые могут потребоваться для вызова, сохраняйте описания краткими и кэшируйте статический блок инструментов с кэшированием подсказок, чтобы вам не взималась полная стоимость за его повторную отправку каждый раз.