abgestimmte Genauigkeit (N)
1 Probe / richtig
N Proben / richtig
günstiger pro richtig

Genauigkeit und Kosten bei jedem N

Die gewählte Genauigkeit steigt schnell an und flacht dann ab. Die Kosten pro richtiger Antwort betragen N Stichproben dividiert durch diese Genauigkeit. Die Zeile mit dem günstigsten Wert pro Richtigkeit wird hervorgehoben – es handelt sich fast immer um ein niedriges N. Das von Ihnen gewählte N ist markiert.

N ProbenAbgestimmte GenauigkeitKosten/Anfrage$/richtigMonatlich

Durch Abstimmungen erkauft man sich Genauigkeit, aber fast nie Einsparungen

Selbstkonsistenz ist einer der billigsten Genauigkeitstricks im Buch und einer der am leichtesten zu verkennenden Tricks in einer Tabellenkalkulation. Der Mechanismus ist ehrlich: Stellen Sie dem Modell ein paar Mal die gleiche Frage bei einer realen Temperatur, nehmen Sie die Antwort, die am häufigsten auftaucht, und Sie verlassen sich auf die Tatsache, dass ein anständiges Modell in jeder Hinsicht konsistenter richtig als falsch ist. Die Genauigkeit steigt tatsächlich. Was schneller geht, ist die Rechnung, denn für die zweite, dritte oder fünfte Probe gibt es keinen Rabatt – es handelt sich jeweils um einen Vollpreis-Anruf. Und die Genauigkeitskurve ist unfreundlich: Sie springt von einer Probe auf drei, von drei auf fünf erhalten Sie merklich weniger, und bei der siebten Probe zahlen Sie die volle Fracht für einen Rundungsfehler der Verbesserung. Dividieren Sie die N-fachen Kosten durch die Abstimmungsgenauigkeit, und die Kosten pro richtiger Antwort steigen normalerweise, nicht sinken – weshalb Abstimmungen ein Genauigkeitsinstrument und kein Sparinstrument sind. Es gibt auch eine Falle am unteren Ende: Wenn Ihre Einzelstichprobengenauigkeit unter 50 % liegt, rettet Sie die Mehrheitsentscheidung nicht, sondern zieht Sie nach unten, weil die Mehrheit jetzt für die falsche Antwort stimmt. Die einzige Zahl, die Ihnen dieser Rechner nicht anzeigen kann, ist, wie viel ein Fehler kostet; Das ist die Zahl, die darüber entscheidet, ob sich die zusätzlichen Proben lohnen. Kosten Sie zunächst einen Einzelanruf mit dem Token-Kostenrechner, wägen Sie ein billiges, aber falsches Modell gegen ein teureres, aber richtiges Modell ab Kosten-pro-richtige-Antwort-Rechner, und wenn Sie Anrufe an einen Agenten verketten, bei dem Fehler kaskadieren, dimensionieren Sie den gesamten Lauf mit dem Kostenrechner für KI-Agenten.

Hosten Sie Ihr Projekt:DigitalOcean – 200 $ kostenlos ↗Hostinger VPS
Kosten pro richtiger AntwortToken-KostenArgumentationsmarkenKosten für KI-AgentenModellvergleich