La sobrecarga del token de las definiciones de herramientas/funciones en cada llamada.
Las definiciones de herramientas funcionan como tokens de entrada en cada solicitud. Diez herramientas detalladas pueden agregar mil tokens por llamada que pagas constantemente. Guárdelos en caché: consulte el calculadora de almacenamiento en caché rápida.
Intercambios
Herramientas y alojamiento
Calculadora de costos de llamadas de funciones gratuita: las definiciones de herramientas agregan tokens a cada solicitud; vea lo que cuestan esos gastos generales.
Sí. El esquema JSON para sus herramientas se envía como tokens de entrada en cada solicitud, independientemente de si se utiliza una herramienta o no. Con muchas herramientas o descripciones detalladas, esa sobrecarga es significativa en grandes volúmenes.
Exponga solo las herramientas que una llamada pueda necesitar, mantenga descripciones concisas y almacene en caché el bloque de herramientas estáticas con un almacenamiento en caché rápido para que no se le facture el precio completo por reenviarlo cada vez.