Каждый графический процессор в удобное для вас время
Ежемесячная стоимость часов и количества графических процессоров указана выше — по запросу и одновременно.
| графический процессор | видеопамять | По требованию $/час | Спот $/ч | Ежемесячно (ваш уровень) |
|---|
Арендованный графический процессор выставляет счет за каждый час включения.
Что удивляет команды, переходящие от API к собственным графическим процессорам, так это то, что счетчик никогда не останавливается. API для каждого токена ничего не стоит, когда трафик тихий; Арендованный H100 стоит одинаково, независимо от того, загружен он или загружен на 2%, потому что вы платите за час, а не за работу. Вот почему самым важным фактором, влияющим на ваши счета, является не выбор графического процессора, а количество часы вы держите его в рабочем состоянии. H100, который вам нужен всего восемь часов в день, стоит треть от того, который работает круглосуточно. Этот калькулятор ясно показывает это: установите реальные часы, а не теоретический максимум, и наблюдайте за изменением месячного числа. Раскрывающийся список с быстрой настройкой охватывает общие шаблоны — постоянный вывод, блок обучения в рабочий день, пакетные запуски на выходных.
Уровень — второй рычаг. Емкость по требованию гарантируется до тех пор, пока она у вас есть, и предоставляется по более высокой цене; Спотовые, общественные и прерываемые инстансы — это свободные мощности, которые продаются на 20–50 % дешевле, с той загвоздкой, что провайдер может забрать их обратно. Для обучения с контрольными точками или отказоустойчивых пакетных заданий спот близок к бесплатным деньгам; для конечной точки вывода, которая не может мигать, надбавка по требованию дает вам стабильность. В таблице показаны обе ставки для каждой карты, поэтому компромисс перед вами. Когда у вас есть номер аренды, реальный вопрос заключается в том, действительно ли владение часами использования графического процессора превосходит оплату за токен — решите это с помощью самостоятельный калькулятор LLM и API, а затем оцените пропускную способность, которую обслуживает ваша модель с калькулятор выхода облаков и конечные точки вывода сами по себе Калькулятор стоимости бессерверных функций.
Как его использовать
1. Выберите свой графический процессор — его типичные ставки по требованию и спотовые ставки загружаются автоматически.
2. Выберите «по требованию» или «спот» и укажите, сколько графических процессоров вы используете.
3. Установите количество часов в месяц или используйте раскрывающийся список быстрой настройки для общего рабочего цикла.
4. Прочтите ежемесячные затраты и экономию места и сравните каждый графический процессор в таблице.
Распространенные ошибки
Предполагая, что он всегда включен. 730 часов — это максимум, а не ваше использование — для большинства рабочих нагрузок требуется гораздо меньше. Забывая о счетах за простой. Графический процессор, оставленный работающим между заданиями, по-прежнему стоит полной ставки; выключите его или используйте автомасштабирование. Выбираем самую большую карту. L4 или 4090 часто служат небольшой модели за небольшую часть стоимости H100 — подберите графический процессор к модели. Игнорирование хранилища и выхода. Тома, снимки и передача данных — отдельные статьи; добавьте хранилище выше и цену за исходящий трафик отдельно.
Часто задаваемые вопросы
Какой графический процессор мне нужен для моей модели?
Примерно: модели 7–13B подходят для L4, RTX 4090 или A100 40 ГБ; Для моделей класса 70B требуется карта A100/H100 емкостью 80 ГБ или несколько карт. Больше не значит дешевле, если карту меньшего размера справляется с нагрузкой — сопоставьте VRAM с моделью и размером партии.
Сколько часов в режиме «всегда включен»?
Около 730 — это 24 × 365 ÷ 12. Все, что меньше непрерывного использования, должно устанавливать реальные часы, поскольку стоимость линейно зависит от них.
Почему цены у разных поставщиков так сильно различаются?
Специализированные облака (RunPod, Vast.ai, Lambda) и общественные/спотовые рынки значительно подрывают гиперскейлеры для того же кремния. Тарифы здесь представляют собой среднерыночную комбинацию — актуальная цена вашего провайдера имеет значение.
Включает ли это стоимость самого API модели?
Нет — это чистая аренда графического процессора. Чтобы сравнить аренду и самостоятельный хостинг с API для каждого токена, используйте Калькулятор самостоятельного размещения и API.
Только оценить. Цены на графические процессоры постоянно меняются и различаются в зависимости от поставщика и региона — проверяйте текущие цены, прежде чем полагаться на них.