So funktioniert dieser Rechner
Der Confidential Computing (TEE) KI-Inferenzkostenrechner beginnt bei Ihnen monatliche Anfragen × durchschnittliche Token pro Anfrage zu bekommen total monthly tokens – Standardmäßig entspricht 1.000.000 × 500 500.000.000 Token. Teilen Sie das durch 1.000.000 und multiplizieren Sie es mit Standardkosten (nicht vertraulich) pro 1 Mio. Token gibt die monatliche Standardkosten – 1.000,00 $ bei der Standardeinstellung von 2,00 $/1 Mio. $. Der vertrauliche/TEE-Modus fügt darüber hinaus kein flaches Markup hinzu – er reduziert den effektiven Durchsatz, da die GPU Zyklen für Speicherverschlüsselung und kryptografische Bestätigung aufwendet und mit eingeschränktem Zugriff auf Hardware-Leistungsindikatoren arbeitet, die zur Optimierung verwendet werden. Dieser Rechner modelliert das als vertraulichComputeCost = standardMonthlyCost ÷ (1 − Overhead % ÷ 100), was mathematisch dasselbe ist, als würde man sagen, dass die GPU die gleiche Arbeit in kürzerer nutzbarer Zeit erledigt – bei der Standardeinstellung von 12 % sind 1.000 $ ÷ 0,88 = 1.136,36 $.
Zusätzlich zu den Rechenkosten berechnen einige Anbieter eine geringe Gebühr Bescheinigungsservicegebühr pro Anfrage um den kryptografischen Handshake abzudecken, der beweist, dass die Arbeitslast tatsächlich in einem verifizierten TEE ausgeführt wird, bevor vertrauliche Daten gesendet werden – bei der Standardeinstellung 0,0001 $/Anfrage × 1.000.000 Anfragen sind das 100,00 $/Monat. Das Addieren der Rechenkosten und der Attestierungskosten ergibt Folgendes: Gesamtkosten für vertrauliche Datenverarbeitung (1.236,36 $ bei den Standardwerten) und das Subtrahieren der Standardkosten ergibt die Prämie in US-Dollar (236,36 US-Dollar) und Prozent (23,6 %) – entsprechend steigen die effektiven Kosten pro 1 Million Token von 2,00 US-Dollar Standard auf etwa 2,47 US-Dollar vertraulich. Der Overhead-Prozentsatz ist der Input, den man am genauesten beobachten sollte: TEE-Implementierungen haben sich erheblich verbessert, wobei sich die Branchenberichte von etwa 70–75 % Effizienz (25–30 % Overhead) bei H100 Confidential-Computing- und frühen TDX/SEV-SNP-Stacks der Ära 2024 auf etwa 85–92 % Effizienz (8–15 % Overhead) bei H100/H200-Hardware der aktuellen Generation und ausgereifteren Treiber-Stacks bewegt haben – sehen Sie sich die Empfindlichkeitstabelle unten an, um zu sehen, wie Diese einzelne Annahme verschiebt Ihre monatliche Rechnung erheblich.
Häufig gestellte Fragen
Was ist Confidential Computing für KI-Inferenz?
Confidential Computing für KI-Inferenz führt Ihr Modell und Ihre Daten in einer hardwareisolierten Trusted Execution Environment (TEE) aus, sodass Speicherinhalte – Eingabeaufforderungen, Modellgewichtungen, Aktivierungen – auch vom eigenen Betriebssystem, Hypervisor und Administratoren des Cloud-Anbieters verschlüsselt bleiben. NVIDIA implementiert dies als vertraulichen Rechenmodus auf H100- und H200-GPUs, bei dem der GPU-Speicher verschlüsselt ist und ein kryptografischer Nachweis dem Client beweist, dass die Arbeitslast tatsächlich in einem echten, unveränderten TEE ausgeführt wird, bevor vertrauliche Daten gesendet werden. Auf der CPU-Seite sorgen Intel TDX (Trust Domain Extensions) und AMD SEV-SNP (Secure Encrypted Virtualization) für die entsprechende Isolation für den Host-Rechner, der die GPU koordiniert. Der praktische Effekt besteht darin, dass ein Krankenhaus, eine Bank oder eine Regierungsbehörde Patientenakten oder Finanzdaten an Inference senden kann, die auf der gemeinsam genutzten GPU-Flotte einer Cloud eines Drittanbieters ausgeführt werden, mit einer hardwaregestützten Garantie, dass der Anbieter selbst die Klartextdaten nicht lesen oder proprietäre Modellgewichte herausfiltern kann, weshalb regulierte Branchenbereitstellungen dies zunehmend als Kontrollkästchen neben Standardkontrollen wie Verschlüsselung während der Übertragung und Zugriffsprotokollierung erfordern.
Wie viel mehr kostet TEE/vertrauliche Schlussfolgerung?
Bei den Standardeinstellungen dieses Rechners – Standardkosten von 2,00 US-Dollar pro 1 Mio. Token, 12 % Leistungsaufwand, 0,0001 US-Dollar Bescheinigungsgebühr pro Anfrage, 1.000.000 monatliche Anfragen mit durchschnittlich jeweils 500 Token – kostet die Inferenz im vertraulichen Modus etwa 1.236,36 US-Dollar pro Monat im Vergleich zu 1.000,00 US-Dollar pro Monat im Standard, was einer Prämie von etwa 236,36 US-Dollar entspricht 23,6 %, was die effektiven Kosten von 2,00 $ auf etwa 2,47 $ pro 1 Mio. Token erhöht. Der größte Teil dieser Lücke ist auf den Rechendurchsatz-Overhead zurückzuführen (die GPU führt unabhängig von der Anforderungsgröße die gleiche Verschlüsselungs- und Bescheinigungsarbeit durch, sodass sie im vertraulichen Modus weniger Token pro Sekunde verarbeitet), nicht auf die pauschale Bescheinigungsgebühr, die vergleichsweise gering ist, es sei denn, das Anforderungsvolumen ist bei kleinen Nutzlasten sehr hoch. Der Overhead-Prozentsatz ist die Eingabe, die Sie im Auge behalten sollten: Er variiert erheblich je nach GPU-Generation und Anbieter. Daher sollte dieser Dollar-Aufschlag als Beispiel betrachtet werden, bis Sie den tatsächlichen Overhead bestätigt haben, den Ihre spezifische Anbieter- und Hardware-Kombination liefert.
Ist der Overhead für jede GPU gleich?
Nein. Der Overhead für vertrauliche Berechnungen hängt von der GPU-Generation, der spezifischen Arbeitslast (Stapelgröße, Sequenzlänge, Modellarchitektur) und davon ab, wie der Anbieter die Bescheinigung und Schlüsselverwaltung um ihn herum implementiert. Frühere TEE-fähige Beschleuniger und Software-Stacks der ersten Generation im vertraulichen Modus meldeten eine Effizienz im Bereich von etwa 70–75 % im Vergleich zum nicht vertraulichen Modus – was einen Overhead von 25–30 % bedeutet –, da frühe Speicherverschlüsselungs- und Nachweispfade erhebliche Serialisierungs- und Bandbreitenkosten verursachten. Neuere H100/H200-Implementierungen für vertrauliche Berechnungen und ausgereiftere Treiber- und Firmware-Stacks haben die Effizienz auf etwa 85–92 % gesteigert, d. Kleinere Batchgrößen und kürzere Sequenzen führen tendenziell zu einem proportional höheren Overhead, da sich die festen Kosten für die Bescheinigung und Verschlüsselung pro Anfrage über weniger tatsächliche Rechenleistung amortisieren, während Arbeitslasten mit großen Batches und langen Kontexten diese Fixkosten verwässern und den Overhead eher am unteren Ende des Bereichs anzeigen.
Wann lohnt es sich, die TEE-Prämie zu zahlen?
Die TEE-Prämie lohnt sich immer dann, wenn ein Regulierungsrahmen, eine vertragliche Datenverarbeitungsvereinbarung oder eine interne Risikorichtlinie einen hardwaregestützten Nachweis erfordert, dass ein Dritter während der Inferenz nicht auf Klartextdaten oder Modellgewichte zugreifen kann – Arbeitslasten im Gesundheitswesen, die PHI berühren, Finanzdienstleistungen, die Konto- oder Transaktionsdaten verarbeiten, Regierungs- und Verteidigungseinsätze sowie alle B2B-KI-Anbieter, deren Unternehmenskunden dies in einem Sicherheitsfragebogen verlangen, sind die klarsten Fälle. Es ist viel schwieriger, interne Tools, Prototyping, öffentliche oder bereits anonymisierte Daten oder jede Arbeitslast zu rechtfertigen, bei der eine unterzeichnete Datenverarbeitungsvereinbarung und Standardkontrollen für die Verschlüsselung im Ruhezustand/während der Übertragung bereits Ihren Compliance-Verpflichtungen genügen, da sich eine Kostensteigerung von 10–25 % schnell in der Größenordnung summiert und keinen Nutzen bringt, wenn niemand tatsächlich die Hardware-Bescheinigung benötigt. Bei der Entscheidung handelt es sich in der Regel überhaupt nicht um eine Frage der Kostenoptimierung – es geht darum, ob eine bestimmte Compliance-Anforderung oder ein Kundenvertrag TEE vorschreibt. In diesem Fall ist die Prämie einfach der Preis für die Erlaubnis, diese Arbeitslast bedienen zu dürfen, und dieser Rechner dient dazu, diesen Preis zu beziffern, anstatt Sie von der Zahlung abzubringen.