Reintegración de la base de conocimientos
Repetición del ajuste fino
Tiempo de ingeniería y pruebas
Gasto mensual actual versus nuevo
| Componente de costo | Cantidad | % del total |
|---|
La dependencia del proveedor es prácticamente invisible
La diferencia de precios de API entre proveedores es fácil de ver. El costo de la migración no lo es. La mayoría de los equipos subestiman entre 3 y 5 veces porque solo presupuestan tiempo de ingeniería y olvidan:
- Las incrustaciones no son portátiles. Cada documento debe volver a incrustarse en el espacio vectorial del nuevo modelo.
- Los modelos ajustados no se transfieren. Datos de entrenamiento, hiperparámetros y puntos de control: todos se vuelven a ejecutar desde cero.
- Las indicaciones necesitan reelaborarse. Las indicaciones del sistema ajustadas para un modelo a menudo funcionan mal en otro.
- Se necesita tiempo para encontrar regresiones. El control de calidad en los resultados de LLM es más lento que el control de calidad en código determinista.
Esto no significa quedarse quieto para siempre, sólo que el período de recuperación es real y debe calcularse antes de comprometerse. Comparar proveedores en Comparación de precios de LLM. Si sólo desea cubrir, consulte Costo del enrutador modelo AI.