Совокупная стоимость — подсказка против тонкой настройки
Общие затраты после N запросов, включая обучение и хостинг. В кроссовере ведущую роль играет тонкая настройка.
| Запросы | Итого | Точная настройка всего | Дешевле |
|---|
Реальный компромисс: платить за звонок или платить один раз
Заставить модель работать в узкой задаче обычно начинается с подсказки — вы помещаете в подсказку инструкции, несколько проработанных примеров и, возможно, руководство по стилю, и отправляете эту преамбулу при каждом запросе. Это работает, но вы арендуете его навсегда: счета за эти токены с несколькими выстрелами выставляются по входной ставке при первом вызове и десятимиллионном вызове. Точная настройка предлагает другую сделку. Вы заносите поведение в веса один раз за фиксированную стоимость обучения, а затем отправляете только фактическую задачу — длинная преамбула исчезает из каждого последующего вызова. Загвоздка в том, что за пользовательскую модель часто взимается надбавка за токен, а некоторые провайдеры взимают плату за ее размещение, поэтому более короткое приглашение не является чистой прибылью.
Это создает классический уровень безубыточности. Первоначальные затраты на подсказки практически нулевые, но стоимость звонка выше; тонкая настройка требует реальных первоначальных затрат, но более низкой стоимости звонка. Отобразите оба показателя как совокупные расходы, и они пересекаются при определенном количестве запросов — ниже этого значения подсказки обходятся дешевле; над ним точная настройка движется вперед и никогда не оглядывается назад. Этот калькулятор находит это пересечение ваших чисел: жетоны, которые вы сэкономите за звонок, стоимость обучения, любую надбавку за вывод и хостинг. Введите их, и вы узнаете, сколько запросов вам нужно, прежде чем тонкая настройка станет более дешевой машиной — и сколько месяцев это займет при вашем текущем объеме.
Как его использовать
1. Выберите базовую модель (она устанавливает ставки ввода, вывода и обучения) и ежемесячный объем запросов.
2. Введите жетоны ввода задачи, которые отправляют оба подхода, и отдельно жетоны нескольких выстрелов/инструкций, которые позволяет отбросить точная настройка.
3. Добавьте выходные токены, любую точно настроенную надбавку за вывод, количество обучающих токенов (размер набора данных × эпохи) и дополнительный хостинг.
4. Прочтите количество запросов на безубыточность и ежемесячную стоимость каждого пути, а затем просмотрите таблицу в поисках точки пересечения.
Когда число лжет тебе
Чистая стоимость – это только половина решения. Точная настройка может повысить качество и согласованность выполнения специализированной задачи, а за счет сокращения подсказки также сокращается задержка — чем короче ввод, тем быстрее первый токен. Эти преимущества могут оправдать точную настройку задолго до того, как затраты окупятся, особенно в чувствительных к задержкам или высококачественных продуктах. И наоборот, если ваша задача продолжает меняться, стоимость обучения будет повторяться каждый раз, когда вы переобучаетесь, что увеличивает безубыточность дальше, чем предполагает одно первоначальное число. Используйте этот инструмент для решения денежного вопроса, а затем взвесьте качество, задержку и частоту переобучения. Если вы пытаетесь только уменьшить подсказки, быстрый калькулятор кэширования Это более дешевый первый эксперимент: кэширование фиксированного префикса дает значительную экономию без каких-либо затрат на обучение.
Распространенные ошибки
Игнорирование премии за вывод. Если точно настроенная модель стоит больше за токен, более короткое приглашение экономит меньше, чем кажется — точка безубыточности уходит. Забывая о переподготовке. Каждый раз, когда задача отклоняется и вы переобучаетесь, вы снова платите аванс; модель, которая никогда не стабилизируется, может никогда не стать безубыточной. Завышение сэкономленных жетонов. Будьте честны в том, сколько на самом деле устраняет точная настройка преамбулы: если вам все еще нужна большая часть контекста, экономия невелика. Сначала пропустим бесплатный выигрыш. Оперативное кэширование часто обеспечивает ту же экономию при нулевых затратах на обучение; попробуйте, прежде чем приступать к точной настройке.
Часто задаваемые вопросы
Что считается «жетонами обучения»?
Примерно размер вашего набора данных в токенах, умноженный на количество эпох. Набор данных из 500 тысяч токенов, обученный в течение 4 эпох, составляет около 2 миллионов обучающих токенов, оплачиваемых по тарифу обучения поставщика.
Почему точная настройка вообще экономит деньги, если логический вывод стоит дороже?
Потому что он удаляет длинную подсказку с несколькими выстрелами из каждого звонка. Даже с премией за каждый токен удаление более 1000 входных токенов за запрос быстро накапливается в масштабе — достаточно, чтобы превысить затраты на обучение за пределы безубыточности.
Как мне оценить количество жетонов, которые я бы сэкономил?
Подсчитайте блок инструкций и примеры, которые вы сейчас добавляете к каждому приглашению, которые больше не нужны точно настроенной модели. Это число необходимо ввести в поле «Сохраненные токены» — сами входные данные задачи остаются в обоих путях.
Должен ли я производить точную настройку только ради стоимости?
Только выше вашего безубыточного объема. Ниже него хорошее приглашение или кэширование приглашений обходится дешевле. Выполните точную настройку качества, согласованности или задержки — и пусть показатель безубыточности покажет вам, является ли это также экономией.
Только оценить. Цены на тонкую настройку, надбавки и сборы за хостинг различаются в зависимости от провайдера и изменяются — проверяйте их перед составлением бюджета.