Простаивающие графические процессоры — это скрытые затраты
Аренда графического процессора обходится дешево в час и дорого в час простоя. Он превосходит API только тогда, когда загрузка высока и стабильна. Сравните с ценами за токен на Калькулятор самостоятельного размещения и API.
Аренда графического процессора: загрузка — это реальная цена
Арендная плата Cloud H100 составляет 2–10 долларов в час в зависимости от уровня поставщика — гиперскейлеры вверху, базовые торговые площадки внизу. Но указанная ставка имеет меньшее значение, чем ваша загрузка: графический процессор стоимостью 3 доллара в час, выполняющий обучающие задания 20% времени, стоит 15 долларов за продуктивный час. Цены на спотовые/прерываемые решения снижаются на 50–70 % для рабочих нагрузок с контрольными точками. Кроссовер между сборкой и арендой: сервер с графическим процессором стоимостью 30 тысяч долларов с трехлетней амортизацией превосходит стоимость аренды в 2,50 доллара в час при устойчивом использовании примерно 40 % — без учета нагрузки на эксплуатацию. В частности, предложения бессерверных графических процессоров с оплатой за токен обычно превосходят необработанную аренду с количеством запросов ниже нескольких миллионов в месяц.