Что такое токен? (И почему вам выставляется счет за это)

Токен — это фрагмент текста, а не слово.

Токен — это единица, которую языковая модель читает и записывает. Обычно это фрагмент слова, а не целое слово. Общие короткие слова, такие как the или and представляют собой один токен, но более длинные или более редкие слова делятся на несколько частей. Например, слово tokenization может быть взломан на token + ization, два жетона.

Широко используемое грубое правило для английского языка заключается в том, что 1 токен содержит около 4 символов или примерно 0,75 слова.. Это означает, что 1000 токенов — это где-то около 750 слов, а одна страница текста (около 500 слов) — это примерно 650–700 токенов. Это приближения, а не гарантии, поскольку точное разделение зависит от токенизатора модели.

Пробелы, знаки препинания и разрывы строк тоже учитываются. Даже невидимая структура вашего приглашения потребляет токены.

Почему модели используют токены вместо слов

Языковые модели не понимают буквы или слова напрямую. Они преобразуют текст в числа, а токен является мостом. Каждый токен сопоставляется с записью в словаре модели, и модель выполняет все математические операции с этими пронумерованными частями.

Такая конструкция позволяет модели обрабатывать любой язык, код, смайлик или выдуманное слово без фиксированного словаря полных слов. Редкий технический термин, который модель никогда не видела целиком, все же можно представить как последовательность знакомых частей. Компромисс заключается в том, что в необычном тексте, коде или неанглийских языках часто используется больше токенов на слово, чем в простой английской прозе.

Входные токены и выходные токены оцениваются по-разному.

Почти каждый провайдер взимает два отдельных тарифа: один за входные токены (все, что вы отправляете, включая приглашение, системные инструкции и историю разговоров) и один для выходные токены (все, что модель генерирует обратно). Выходные токены обычно в несколько раз дороже входных токенов.

Вот наглядный пример, показывающий механику (цифры придуманы для ясности, а не реальные цены): если вход стоит 1 доллар за миллион токенов, а выход стоит 5 долларов за миллион токенов, то вызов, отправляющий 2000 входных токенов и получающий 500 выходных токенов, будет стоить (2 000 / 1 000 000 x 1 доллар США) + (500 / 1 000 000 x 5 долларов США) = 0,002 доллара США + 0,0025 доллара США = 0,0045 доллара США. Небольшая сумма за звонок, но умножьте ее на сотни тысяч звонков и это имеет значение.

Чтобы увидеть реальные расценки для каждой модели, на странице сравнения моделей и на страницах /models указаны текущие цены на входные и выходные данные для каждого поставщика, чтобы вы не гадали.

История разговоров тарифицируется на каждом шагу

Наиболее распространенной неожиданностью при выставлении счетов является то, что модели чата не имеют состояния. Модель не запоминает ваши предыдущие сообщения между звонками. Чтобы сохранить контекст, ваше приложение повторно отправляет всю историю разговоров при каждом новом повороте.

Это означает, что долгий чат становится дороже с каждым сообщением, поскольку растущая расшифровка каждый раз повторно отправляется в качестве входных токенов. Разговор из 20 сообщений может незаметно отправить десятки тысяч входных токенов на своем последнем этапе. Если ваши расходы растут во время длительных сессий, обычно именно поэтому. Оперативное кэширование (описанное в отдельном руководстве) — один из способов решить эту проблему.

Как оценить счет перед началом строительства

Вы можете получить работоспособную оценку, используя три числа: среднее количество входных токенов на вызов, среднее количество выходных токенов на вызов и количество ожидаемых вызовов в день или месяц. Умножьте количество каждого токена на его ставку за токен и сложите их вместе.

• Оценить количество токенов взяв реалистичный образец приглашения и ответа, а затем разделив количество символов на 4 или воспользуйтесь инструментом токенизатора для точности.
• Умножить на объём чтобы получить дневной или ежемесячный показатель.
• Добавить буфер 20–30 % за повторные попытки, более длительные, чем ожидалось, выходные данные и растущую историю чата.

Калькулятор стоимости LLM выполнит эту математику за вас: введите количество токенов и объем вызовов, выберите модель, и он вернет ориентировочную ежемесячную стоимость, чтобы вы могли сравнить варианты перед написанием какого-либо кода.

Практические способы использования меньшего количества токенов

Если вы начнете мыслить жетонами, экономия станет очевидной. Подсказки системы Trim, которые дословно повторяют одни и те же инструкции при каждом вызове. Обобщите старые разговоры, а не пересылайте их полностью. Запрашивайте краткий вывод, когда вам не нужны длинные ответы, поскольку токены вывода стоят дороже всего.

Выбор меньшей модели для простых задач зачастую является самым большим рычагом из всех, поскольку разница в цене за токен между флагманской и облегченной моделью может составлять 10 и более раз. Подбирайте модель в соответствии со сложностью работы, а не выбирайте по умолчанию самую мощную модель.

Продолжить обучение

Сопутствующие инструменты

Часто задаваемые вопросы

Сколько токенов содержит типичное предложение?

Короткое английское предложение из 15–20 слов обычно состоит из 20–30 токенов. Как правило, на один токен приходится примерно 0,75 слов, поэтому количество токенов немного превышает количество слов.

Плачу ли я за токены в ответе модели?

Да. Выходные токены оплачиваются отдельно от входных токенов и обычно являются более дорогими из двух, поэтому более длинные ответы стоят заметно дороже.

Почему текст на неанглийском языке стоит дороже?

Большинство токенизаторов оптимизированы для английского языка, поэтому другие языки и код часто разделяются на большее количество токенов на слово. То же значение на некоторых языках может стоить в 1,5–2 раза дороже.