La sobrecarga del token de las definiciones de herramientas/funciones en cada llamada.
Las definiciones de herramientas funcionan como tokens de entrada en cada solicitud. Diez herramientas detalladas pueden agregar mil tokens por llamada que pagas constantemente. Guárdelos en caché: consulte el calculadora de almacenamiento en caché rápida.
Herramientas y alojamiento
El Calculadora de costos de llamadas a funciones estima el gasto mensual de API agregado por las definiciones de herramientas que envía con cada solicitud. Cada llamada que incluye esquemas de llamada a funciones lleva esos tokens de definición de herramientas además de sus otros tokens de entrada, y usted paga por ellos en cada solicitud. Usando sus entradas (llamadas por mes, tokens de definición de herramientas por llamada, otros tokens de entrada por llamada, tokens de salida por llamada y los precios de entrada y salida por millón de tokens), multiplica los tokens de entrada por la tasa de entrada y los tokens de salida por la tasa de salida, luego escala según el volumen de llamadas para mostrar el costo total y, en particular, cuánto contribuye la sobrecarga de definición de herramientas por sí sola.
La contrapartida clave a tener en cuenta es que Las definiciones de herramientas son gastos generales fijos que se pagan en cada llamada., por lo que su costo crece directamente con el volumen de solicitudes incluso cuando el modelo nunca invoca una herramienta. Recortar funciones no utilizadas, acortar descripciones o dividir grandes conjuntos de herramientas para que cada solicitud solo incluya los esquemas que necesita puede reducir este cargo recurrente. Modele la diferencia aquí antes de comprometerse: con un gran volumen de llamadas, unos cientos de llamadas adicionales fichas de definición por solicitud puede dominar silenciosamente su factura.
Sí. El esquema JSON para sus herramientas se envía como tokens de entrada en cada solicitud, independientemente de si se utiliza una herramienta o no. Con muchas herramientas o descripciones detalladas, esa sobrecarga es significativa en grandes volúmenes.
Exponga solo las herramientas que una llamada pueda necesitar, mantenga descripciones concisas y almacene en caché el bloque de herramientas estáticas con un almacenamiento en caché rápido para que no se le facture el precio completo por reenviarlo cada vez.