What is confidential computing for AI inference?

Confidential computing for AI inference runs your model and your data inside a hardware-isolated Trusted Execution Environment (TEE) so that memory contents — prompts, model weights, activations — stay encrypted even from the cloud provider's own operating system, hypervisor and administrators. NVIDIA implements this as a confidential-compute mode on H100 and H200 GPUs, where the GPU memory is encrypted and a cryptographic attestation proves to the client that the workload is actually running inside a genuine, unmodified TEE before any sensitive data is sent. On the CPU side, Intel TDX (Trust Domain Extensions) and AMD SEV-SNP (Secure Encrypted Virtualization) provide the equivalent isolation for the host machine coordinating the GPU. The practical effect is that a hospital, bank or government agency can send patient records or financial data to inference running on a third-party cloud's shared GPU fleet with a hardware-backed guarantee that the provider itself cannot read the plaintext data or exfiltrate proprietary model weights, which is why regulated-industry deployments increasingly require it as a checkbox alongside standard controls like encryption-in-transit and access logging.

How much more does TEE/confidential inference cost?

At this calculator's defaults — $2.00 per 1M tokens standard cost, 12% performance overhead, a $0.0001 per-request attestation fee, 1,000,000 monthly requests averaging 500 tokens each — confidential-mode inference costs about $1,236.36/month versus $1,000.00/month standard, a premium of roughly $236.36 or 23.6%, pushing effective cost from $2.00 to about $2.47 per 1M tokens. Most of that gap is the compute-throughput overhead (the GPU does the same encryption and attestation work regardless of request size, so it processes fewer tokens per second in confidential mode), not the flat attestation fee, which is comparatively small unless request volume is very high with small payloads. The overhead percentage is the input to watch: it varies meaningfully by GPU generation and provider, so this dollar premium should be treated as illustrative until you've confirmed the actual overhead your specific provider and hardware combination delivers.

Is the overhead the same for every GPU?

No. Confidential-compute overhead depends on the GPU generation, the specific workload (batch size, sequence length, model architecture) and how the provider implements attestation and key management around it. Earlier TEE-capable accelerators and first-generation confidential-mode software stacks reported efficiency in roughly the 70-75% range relative to non-confidential mode — meaning 25-30% overhead — because early memory-encryption and attestation paths added substantial serialization and bandwidth cost. Newer H100/H200 confidential-compute implementations and more mature driver and firmware stacks have pushed that up to roughly 85-92% efficiency, i.e. an overhead closer to 8-15%, as vendors optimized the encryption engines and reduced the attestation checks that sit on the hot path. Smaller batch sizes and shorter sequences tend to show proportionally higher overhead because the fixed per-request attestation and encryption cost is amortized over less actual compute, while large-batch, long-context workloads dilute that fixed cost and show overhead closer to the low end of the range.

When is the TEE premium worth paying?

The TEE premium is worth paying whenever a regulatory framework, contractual data-processing agreement, or internal risk policy requires hardware-backed proof that a third party cannot access plaintext data or model weights during inference — healthcare workloads touching PHI, financial services handling account or transaction data, government and defense deployments, and any B2B AI vendor whose enterprise customers demand it in a security questionnaire are the clearest cases. It's much harder to justify for internal tooling, prototyping, public or already-anonymized data, or any workload where a signed data-processing agreement and standard encryption-at-rest/in-transit controls already satisfy your compliance obligations, because a 10-25% cost increase compounds fast at scale for no benefit if nobody is actually requiring the hardware attestation. The decision usually isn't really a cost-optimization question at all — it's whether a specific compliance requirement or customer contract mandates TEE, in which case the premium is simply the price of being allowed to serve that workload, and this calculator exists to size that price rather than to argue you out of paying it.

Калькулятор стоимости выводов AI для конфиденциальных вычислений (TEE)

✓ Последняя проверка: 11 августа 2026 г.· Показанные цифры накладных расходов и комиссий являются иллюстративными значениями по умолчанию, а не реальными котировками поставщиков.· Справочная смета — сообщить об изменении →

Конфиденциальные вычисления позволяют сделать вывод LLM внутри аппаратно изолированного Доверенная среда выполнения (TEE) — Режим конфиденциальных вычислений NVIDIA H100/H200 в сочетании с Intel TDX или AMD SEV-SNP на хосте — так что даже облачный провайдер, на котором работает оборудование, не сможет видеть ваши подсказки, выходные данные или веса модели в открытом виде. Эта изоляция становится все более жестким требованием для развертывания искусственного интеллекта в здравоохранении, финансовых услугах и правительстве, но она не бесплатна: шифрование памяти, криптографическая аттестация и ограниченный доступ к счетчикам производительности оборудования добавляют реальные накладные расходы на каждый токен плюс, у некоторых провайдеров, плату за аттестацию за каждый запрос. Этот калькулятор рассчитывает конкретную премию за TEE — он отличается от нашего Калькулятор стоимости облака графического процессора, Калькулятор стоимости вывода графического процессора и Калькулятор стоимости аренды графического процессора, в котором все цены указаны по стандартным, неконфиденциальным графическим часам, а также от калькулятор Edge vs Cloud, что представляет собой компромисс между устройством и облаком, не связанный с TEE.

Чувствительность к допущению о накладных расходах

Все остальное, сохраняя значения, указанные выше, учитывало накладные расходы на производительность TEE, поскольку это единственный вход, наиболее зависящий от поставщика и поколения оборудования. Выделенная строка наиболее близка к текущей настройке накладных расходов.

Накладные расходы

Конфиденциальная стоимость

Премиум ($)

Премиум (%)

Как это связано с другими инструментами

Этот калькулятор оценивает одно конкретное решение: насколько больше затрат на вывод в конфиденциальном/TEE-режиме по сравнению со стандартным неконфиденциальным выводом для той же рабочей нагрузки. Если вам нужно оценить базовую стандартную стоимость графического процессора в час или стоимость токена, к которой добавляется эта надбавка, используйте Калькулятор стоимости облака графического процессора, Калькулятор стоимости вывода графического процессора или Калькулятор стоимости аренды графического процессора — ни один из них не моделирует надбавку за конфиденциальные вычисления, они оценивают стандартные часы графического процессора. Если ваш вопрос о соответствии на самом деле касается того, где физически выполняется вывод, а не того, как он изолирован в памяти, то калькулятор Edge vs Cloud охватывает этот отдельный компромисс между устройством и облаком. И если движущей силой необходимости TEE вообще является воздействие нормативных требований ЕС, то Калькулятор стоимости соответствия Закону ЕС об искусственном интеллекте учитывает более широкую стоимость программы соответствия, поскольку требование TEE часто представляет собой всего лишь одну позицию внутри.

Как работает этот калькулятор

The Калькулятор стоимости выводов AI для конфиденциальных вычислений (TEE) начинается с твоего ежемесячные запросы × среднее количество токенов за запрос получить общее количество токенов за месяц — по умолчанию 1 000 000 × 500 — это 500 000 000 токенов. Разделив это на 1 000 000 и умножив на стандартная (неконфиденциальная) стоимость за 1 миллион токенов дает стандартная ежемесячная стоимость — 1000,00 долларов США по умолчанию 2,00 доллара США/1 миллион долларов США. Режим «Конфиденциальный/TEE» не добавляет к этому плоской разметки — он снижает эффективную пропускную способность, поскольку графический процессор тратит циклы на шифрование памяти, криптографическую аттестацию и работает с ограниченным доступом к аппаратным счетчикам производительности, используемым для оптимизации. Этот калькулятор моделирует это как конфиденциальныйComputeCost = StandardMonthlyCost ÷ (1 − % накладных расходов ÷ 100), что математически то же самое, что сказать, что графический процессор выполняет ту же работу за меньшее полезное время — при значении по умолчанию 12% $1000 ÷ 0,88 = $1136,36.

Помимо стоимости вычислений, некоторые провайдеры взимают небольшую плату. плата за услугу аттестации за запрос для покрытия криптографического подтверждения, которое доказывает, что рабочая нагрузка действительно выполняется внутри проверенного TEE перед отправкой конфиденциальных данных — при значении по умолчанию 0,0001 доллара США/запрос × 1 000 000 запросов, это составляет 100 долларов США в месяц. Сложение стоимости вычислений и стоимости аттестации дает общая стоимость конфиденциальных вычислений ($1236,36 по умолчанию), и вычитание стандартной стоимости дает премия в долларах (236,36 долларов США) и процентах (23,6%) — эквивалентно, эффективная стоимость за 1 миллион токенов возрастает со стандартных 2,00 долларов США до конфиденциальных примерно 2,47 долларов США. процент накладных расходов Это входные данные, за которыми следует внимательно следить: реализации TEE существенно улучшились: по отраслевым отчетам эффективность выросла с примерно 70–75 % (25–30 % накладных расходов) в конфиденциальных вычислениях H100 эпохи 2024 года и ранних стеках TDX/SEV-SNP до примерно 85–92 % эффективности (8–15 % накладных расходов) на аппаратном обеспечении H100/H200 текущего поколения и более зрелых стеках драйверов — используйте таблицу чувствительности ниже, чтобы увидеть, насколько это важно. Одно предположение меняет ваш ежемесячный счет.

Часто задаваемые вопросы

Что такое конфиденциальные вычисления для вывода ИИ?

Конфиденциальные вычисления для вывода ИИ запускают вашу модель и ваши данные в аппаратно-изолированной доверенной среде выполнения (TEE), так что содержимое памяти — подсказки, веса модели, активации — остается зашифрованным даже от собственной операционной системы, гипервизора и администраторов облачного провайдера. NVIDIA реализует это как режим конфиденциальных вычислений на графических процессорах H100 и H200, в котором память графического процессора шифруется, а криптографическая аттестация доказывает клиенту, что рабочая нагрузка действительно выполняется внутри подлинного, немодифицированного TEE, прежде чем будут отправлены какие-либо конфиденциальные данные. Со стороны ЦП Intel TDX (расширения домена доверия) и AMD SEV-SNP (безопасная зашифрованная виртуализация) обеспечивают эквивалентную изоляцию хост-машины, координирующей работу графического процессора. Практический эффект заключается в том, что больница, банк или государственное учреждение может отправлять записи пациентов или финансовые данные для вывода, работающего на общем парке графических процессоров стороннего облака, с аппаратной гарантией того, что сам поставщик не сможет прочитать данные в виде открытого текста или извлечь весовые коэффициенты проприетарных моделей, поэтому развертывания в регулируемых отраслях все чаще требуют его в качестве флажка наряду со стандартными элементами управления, такими как шифрование при передаче и регистрация доступа.

Сколько стоит TEE/конфиденциальный вывод?

При настройках по умолчанию этого калькулятора — стандартная стоимость 2,00 доллара США за 1 миллион токенов, накладные расходы на производительность 12 %, плата за аттестацию каждого запроса — 0,0001 доллара США, 1 000 000 ежемесячных запросов, в среднем по 500 токенов каждый — стоимость вывода в конфиденциальном режиме составляет около 1 236,36 долларов США в месяц по сравнению со стандартными 1 000,00 долларов США в месяц, надбавка составляет примерно 236,36 долларов США или 23,6%, в результате чего эффективная стоимость выросла с 2,00 долларов США до примерно 2,47 долларов США за 1 миллион токенов. Большая часть этого разрыва — это накладные расходы на вычислительную пропускную способность (графический процессор выполняет одну и ту же работу по шифрованию и аттестации независимо от размера запроса, поэтому он обрабатывает меньше токенов в секунду в конфиденциальном режиме), а не фиксированную плату за аттестацию, которая сравнительно невелика, если объем запросов не очень велик с небольшой полезной нагрузкой. Процент накладных расходов — это входные данные, на которые следует обратить внимание: они существенно различаются в зависимости от поколения графического процессора и поставщика, поэтому эту долларовую надбавку следует рассматривать как иллюстративную, пока вы не подтвердите фактические накладные расходы, которые обеспечивает ваш конкретный поставщик и комбинация оборудования.

Одинаковы ли накладные расходы для каждого графического процессора?

Нет. Накладные расходы на конфиденциальные вычисления зависят от поколения графического процессора, конкретной рабочей нагрузки (размера пакета, длины последовательности, архитектуры модели) и того, как поставщик реализует аттестацию и управление ключами вокруг нее. Более ранние ускорители с поддержкой TEE и программные стеки первого поколения для конфиденциального режима сообщали об эффективности примерно в диапазоне 70–75 % по сравнению с неконфиденциальным режимом, что означает 25–30 % накладных расходов, поскольку ранние пути шифрования памяти и аттестации добавляли значительные затраты на сериализацию и полосу пропускания. Новые реализации конфиденциальных вычислений H100/H200 и более зрелые стеки драйверов и встроенного ПО увеличили эффективность примерно до 85–92 %, то есть накладные расходы приближаются к 8–15 %, поскольку поставщики оптимизировали механизмы шифрования и сократили количество проверок аттестации, которые находятся на горячем пути. Меньшие размеры пакетов и более короткие последовательности, как правило, приводят к пропорционально более высоким накладным расходам, поскольку фиксированные затраты на аттестацию и шифрование каждого запроса амортизируются за счет меньшего количества фактических вычислений, в то время как большие пакетные рабочие нагрузки с длинным контекстом уменьшают эти фиксированные затраты и показывают накладные расходы ближе к нижней границе диапазона.

Когда стоит платить премию TEE?

Надбавку за TEE стоит платить всякий раз, когда нормативная база, договорное соглашение об обработке данных или политика внутренних рисков требуют аппаратного подтверждения того, что третья сторона не может получить доступ к открытым текстовым данным или весам модели во время вывода. Наиболее яркими примерами являются рабочие нагрузки в сфере здравоохранения, касающиеся PHI, финансовых услуг, обрабатывающих данные счетов или транзакций, правительственные и оборонные развертывания, а также любого поставщика искусственного интеллекта B2B, чьи корпоративные клиенты требуют этого в анкете безопасности. Гораздо труднее оправдать использование внутреннего инструментария, прототипирования, общедоступных или уже анонимизированных данных или любой рабочей нагрузки, в которой подписанное соглашение об обработке данных и стандартные средства управления шифрованием при хранении и передаче уже удовлетворяют ваши обязательства по соблюдению требований, поскольку увеличение затрат на 10–25 % быстро увеличивается в масштабе и не приносит никакой пользы, если никто на самом деле не требует аттестации оборудования. Решение обычно вообще не является вопросом оптимизации затрат — речь идет о том, требует ли TEE конкретное требование соответствия или договор с клиентом, и в этом случае надбавка — это просто цена за разрешение обслуживать эту рабочую нагрузку, и этот калькулятор существует для определения этой цены, а не для того, чтобы отговаривать вас от ее оплаты.