Calculadora de ahorros en cascada de LLM

Un modelo barato primero no es una factura barata por defecto

El atractivo de una cascada es obvio: la mayoría de las solicitudes son fáciles, un modelo pequeño las resuelve correctamente y pagar precios elevados por un trabajo sencillo es un desperdicio. Ejecute primero el modelo económico, mantenga las respuestas que pasen la verificación y escale solo las que no lo hagan; el resultado de FrugalGPT demostró que esto puede igualar la calidad de un modelo de frontera a una fracción del costo. La trampa es tratar el modelo barato como el coste total. Lo pagas por cada solicitud, ya sea que la respuesta sobreviva o no. También paga a un verificador por cada solicitud, porque algo tiene que decidir qué se intensifica, y ese algo suele ser otra llamada modelo. Y en la proporción que aumentas, pagas el modelo premium además del intento barato que ya hiciste. Sume esto y el panorama cambia: la cascada ahorra generosamente cuando la escalada es baja, se reduce a medida que la escalada sube y, más allá de una tasa de equilibrio, cuesta más que simplemente llamar al modelo premium para todo, porque ha pagado el modelo barato y el verificador por nada y aun así ha pagado el precio premium completo. Esta calculadora valora los tres tramos a partir de sus propios recuentos y tarifas de tokens, compara la cascada con siempre premium y con una división de tráfico simple que nunca paga dos veces, y marca la tasa de escalada donde la aritmética cambia. Si dirige cada solicitud a un solo modelo por adelantado en lugar de escalarla, fíjela con el calculadora de enrutador modelo; para apilar el almacenamiento en caché, el procesamiento por lotes y otras palancas en la parte superior, use el calculadora de optimización de costos; y para comparar los dos modelos, consulte la comparación de modelos.