A sobrecarga de token das definições de ferramenta/função em cada chamada.
As definições de ferramentas acompanham como tokens de entrada em cada solicitação. Dez ferramentas detalhadas podem adicionar mil tokens por chamada pela qual você paga constantemente. Armazene-os em cache - veja o calculadora de cache imediata.
O Calculadora de custo de chamada de função estima o gasto mensal da API adicionado pelas definições de ferramenta enviadas com cada solicitação. Cada chamada que inclui esquemas de chamada de função carrega esses tokens de definição de ferramenta além de seus outros tokens de entrada, e você paga por eles em cada solicitação. Usando suas entradas – chamadas por mês, tokens de definição de ferramenta por chamada, outros tokens de entrada por chamada, tokens de saída por chamada e os preços de entrada e saída por milhão de tokens – ele multiplica os tokens de entrada pela taxa de entrada e os tokens de saída pela taxa de saída e, em seguida, dimensiona por volume de chamadas para mostrar o custo total e, em particular, quanto a sobrecarga de definição de ferramenta por si só contribui.
A principal compensação a observar é que as definições de ferramentas têm custos indiretos fixos pagos em cada chamada, portanto, seu custo aumenta diretamente com o volume de solicitações, mesmo quando o modelo nunca invoca uma ferramenta. Cortar funções não utilizadas, encurtar descrições ou dividir grandes conjuntos de ferramentas para que cada solicitação carregue apenas os esquemas necessários pode reduzir essa cobrança recorrente. Modele a diferença aqui antes de se comprometer: em altos volumes de chamadas, algumas centenas extras tokens de definição por solicitação pode dominar silenciosamente sua conta.
Sim. O esquema JSON das suas ferramentas é enviado como tokens de entrada em cada solicitação, independentemente de uma ferramenta ser usada ou não. Com muitas ferramentas ou descrições detalhadas, essa sobrecarga é significativa em volumes elevados.
Exponha apenas as ferramentas que uma chamada pode precisar, mantenha as descrições concisas e armazene em cache o bloco de ferramentas estáticas com cache de prompt para que você não seja cobrado o preço total para reenviá-lo todas as vezes.