A sobrecarga de token de forçar respostas JSON/estruturadas.
O custo do token do modo JSON é pequeno comparado ao custo de análise de saída de texto livre instável. Mantenha os esquemas simples e isso é uma pechincha. Estime toda a chamada no Calculadora de custo de token LLM.
O Calculadora de custos de saída estruturada (JSON) estima o gasto mensal da API para obter respostas do modelo em um formato JSON estruturado. Você insere seu ligações por mês, os tokens consumidos pelo JSON esquema e outras entradas em cada chamada, o tokens de saída por chamada e seus preços de entrada e saída por milhão de tokens. Ele multiplica cada contagem de tokens por sua taxa e pelo volume de chamadas para produzir um valor mensal. O ponto que isso torna concreto é que a saída estruturada não é gratuita: a definição do esquema, os nomes dos campos e as instruções de formatação adicionam tokens de entrada ao todo chamada, e as respostas formatadas rigidamente geralmente carregam mais tokens de saída do que o texto simples.
A principal compensação é entre confiabilidade e custo. Um esquema detalhado torna as respostas mais fáceis de analisar e validar, mas como esses tokens de esquema se repetem em cada chamada, eles são dimensionados diretamente com o volume – uma pequena sobrecarga por chamada torna-se um grande item de linha em milhões de chamadas. A alavanca prática é manter os esquemas magro: use nomes de campos curtos, elimine descrições desnecessárias e evite estruturas profundamente aninhadas que você nunca lê. Separe os dois números que a calculadora informa, uma vez que a entrada e a saída geralmente têm preços diferentes, e verifique se o corte da verbosidade do esquema ou do comprimento da saída movimenta mais o seu total. Execute alguns cenários antes de confirmar um formato em toda a sua carga de trabalho.
Um pouco. Você envia o esquema JSON como tokens de entrada extras, e as respostas estruturadas tendem a ser mais detalhadas do que o texto livre. Em volumes altos, isso aumenta, embora geralmente se pague com menos erros de análise.
Quase sempre — resultados confiáveis e analisáveis economizam tempo de engenharia e solicitações com falha. Apenas mantenha o esquema mínimo e não solicite campos que você não usará.