Объяснение токенов и запросов

Запрос и токен — это не одно и то же

Ан API-запрос это один вызов конечной точки. Токены — это единицы текста внутри этого вызова. Один запрос может содержать несколько токенов или сотни тысяч. Поставщики LLM выставляют счета в токенах; многие другие API (платежи, карты, SMS) выставляют счет за запрос или за действие. Смешение этих двух факторов является наиболее распространенной ошибкой при составлении бюджета.

Где применяется каждая модель

Как оценить перед строительством

Для функции LLM оцените: токенов на звонок × звонки на пользователя × пользователей. Ответ в чате может составлять ~500 входных + ~300 выходных токенов; умножьте на ежемесячные разговоры, чтобы получить объем токенов, а затем оцените его. Это гораздо точнее, чем угадывание «по запросу», поскольку количество токенов на запрос сильно варьируется.

Часто задаваемые вопросы

В чем разница между токеном и запросом API?

Запрос API — это одиночный вызов конечной точки; токены — это единицы текста внутри него. Один запрос может содержать очень мало или сотни тысяч токенов. LLM выставляют счет за токен, в то время как многие другие API выставляют счет за запрос.

Сколько токенов содержит типичное сообщение чат-бота?

Короткое сообщение пользователя плюс системное приглашение часто составляет несколько сотен входных токенов, а ответ — несколько сотен выходных токенов — примерно 500–1000 токенов на обмен, хотя это зависит от длины приглашения и многословности ответа.

Как оценить ежемесячное использование токенов?

Умножьте токены за вызов на количество вызовов на пользователя и на количество пользователей. Оцените входные и выходные токены отдельно, поскольку они оцениваются по-разному, а затем просчитайте общую сумму с помощью калькулятора стоимости токенов для выбранной вами модели.