Накладные расходы токена на принудительное получение JSON/структурированных ответов.
Стоимость токена в режиме JSON невелика по сравнению со стоимостью анализа нестабильного вывода произвольного текста. Сохраняйте схемы компактными, и это выгодная сделка. Оцените весь звонок на Калькулятор стоимости токена LLM.
Обмены
Инструменты и хостинг
Бесплатный калькулятор стоимости структурированного вывода — схема JSON и форматирование добавляют токены; посмотрите, сколько стоят структурированные ответы.
Немного. Вы отправляете схему JSON в качестве дополнительных входных токенов, и структурированные ответы, как правило, более подробны, чем свободный текст. При больших объемах это складывается, хотя обычно окупается меньшим количеством ошибок синтаксического анализа.
Почти всегда — надежный, анализируемый вывод экономит время разработки и количество неудачных запросов. Просто сохраняйте минимальную схему и не запрашивайте поля, которые вы не будете использовать.