Bei jeder Runde wird der Chat erneut gesendet – erfahren Sie, warum ein langes Gespräch weit mehr kostet als seine Worte.
Wenn Sie den Verlauf jedes Mal neu laden, kosten lange Chats weitaus mehr als die darin enthaltenen Wörter. Schneiden Sie das wiederholte Präfix mit Caching ab – siehe Break-Even auf der Prompt-Cache-Rechner – und überprüfen Sie, ob die laufende Summe in das Fenster passt Kontextfensterrechner.
Kostenloser Kosten-pro-Konversations-Rechner – modellieren Sie, wie das erneute Senden des Kontexts in jeder Runde dazu führt, dass ein Chat mit mehreren Runden weitaus mehr kostet als die hinzugefügten Token.
Weil das Modell zustandslos ist: In jeder Runde wird die gesamte vorherige Konversation erneut als Eingabe gesendet. In der achten Runde zahlen Sie achtmal für die erste Runde. Die Gesamtzahl der in Rechnung gestellten Token wächst ungefähr mit dem Quadrat der Anzahl der Runden, sodass die Länge und nicht nur die Nachrichtengröße die Kosten bestimmt.
Schneiden Sie alte Abbiegevorgänge ab oder fassen Sie sie zusammen, anstatt alles erneut zu senden. Verwenden Sie Prompt-Caching, damit das wiederholte Präfix mit einem Rabatt abgerechnet wird, begrenzen Sie die Gesprächsdauer und leiten Sie einfache Abbiegevorgänge an ein günstigeres Modell weiter. Diese greifen den erneut gesendeten Kontext an, was lange Chats teuer macht.