Was kostet die Durchführung einer LLM-as-Judge-Bewertungssuite pro Durchgang?
Die Generierung und Benotung von LLM-als-Richter-Bewertungen zahlt sich aus, sodass sich die Token in CI schnell stapeln. Ein günstiger Richter und ein enger goldener Satz halten es erschwinglich. Größe der zugrunde liegenden Anrufe auf der LLM-Token-Kostenrechner.
Kostenloser Kostenrechner für die LLM-Evaluierung – Testfälle, verglichene Modelle und Beurteilung der Kosten eines Evaluierungslaufs.
Die Kosten betragen Testfälle mal Modelle mal Token pro Fall, einschließlich des Vorlesens jeder Antwort durch das Richtermodell. Ein LLM-Richter verdoppelt ungefähr die Anzahl der Token, da jede generierte Antwort auch bewertet wird. Wenn Sie die Suite bei jedem Commit ausführen, vervielfacht sich dieser Wert im Laufe des Monats.
Verwenden Sie ein kleineres, günstigeres Modell als Richter, behalten Sie ein fokussiertes goldenes Set anstelle von Tausenden von Fällen bei und führen Sie jeden Abend die gesamte Suite mit einem schnellen Smoke-Set bei jedem Commit durch. Sie müssen nicht jedes Modell bei jedem Versuch bewerten.