Costo de mantener N solicitudes por segundo en el tamaño de sus tokens.
Las solicitudes por segundo generalmente se analizan para los límites de velocidad, pero también es una tasa de costo. Convierte tu tráfico en una factura mensual y no habrá sorpresas. Ver límites en el calculadora de límite de tasa.
Herramientas y alojamiento
El Calculadora de costos de solicitudes simultáneas estima lo que cuesta un flujo constante de tráfico API a lo largo del tiempo. Entras tu solicitudes por segundo, el promedio fichas de entrada y fichas de salida por solicitud, y el de su proveedor Precios de insumos y productos por millón de tokens.. A partir de estos, proyecta el rendimiento total de los tokens y lo multiplica por las tasas por token para mostrar el gasto por hora, día y mes. Los principales impulsores del costo son la tasa de solicitudes y el tamaño del token: duplicar las solicitudes por segundo duplica la factura, y las indicaciones largas o las respuestas detalladas la aumentan de la misma manera, ya que fichas de salida a menudo tienen un precio más alto que el de los insumos.
Un consejo práctico es probar cada entrada por separado para ver cuál mueve más el total. Recortar el contexto del aviso, limitar la duración de la respuesta o suavizar los picos de tráfico generalmente reduce los costos más rápido que cambiar de proveedor. La contrapartida clave es el rendimiento versus el gasto: una mayor concurrencia sirve a más usuarios pero el costo escala linealmente, por lo que debe ajustar su tasa de solicitudes a la demanda real en lugar de a un máximo teórico.
Costo por solicitud × solicitudes por segundo × segundos. Para obtener una cifra mensual con carga constante, multiplíquela por 86 400 (segundos/día) × 30. La respuesta es "¿cuánto cuesta este rendimiento para funcionar las 24 horas del día, los 7 días de la semana?"
El RPS máximo es el techo del peor de los casos; la carga promedio es lo que realmente pagas. Dimensione la infraestructura para las horas pico, pero el presupuesto se acerque más al promedio, ya que el tráfico rara vez es constante durante todo el día.
📚 ¿Nuevo aquí? Descubra cómo funcionan los límites de velocidad y el rendimiento →