A sobrecarga de token das definições de ferramenta/função em cada chamada.
As definições de ferramentas acompanham como tokens de entrada em cada solicitação. Dez ferramentas detalhadas podem adicionar mil tokens por chamada pela qual você paga constantemente. Armazene-os em cache - veja o calculadora de cache imediata.
Trocas
Ferramentas e hospedagem
Calculadora de custos de chamada de função gratuita — as definições da ferramenta adicionam tokens a cada solicitação; veja quanto custa essa sobrecarga.
Sim. O esquema JSON das suas ferramentas é enviado como tokens de entrada em cada solicitação, independentemente de uma ferramenta ser usada ou não. Com muitas ferramentas ou descrições detalhadas, essa sobrecarga é significativa em volumes elevados.
Exponha apenas as ferramentas que uma chamada pode precisar, mantenha as descrições concisas e armazene em cache o bloco de ferramentas estáticas com cache de prompt para que você não seja cobrado o preço total para reenviá-lo todas as vezes.