Что такое токены в нейросетях?

Как текст делится на токены

Перед обработкой текст разбивается токенизатором по словарю частых фрагментов. Частые английские слова часто — один токен, а русские слова с приставками и окончаниями распадаются на 2–4 части. Числа, эмодзи и редкие символы могут занимать несколько токенов каждый.

Именно поэтому модели иногда ошибаются в подсчёте букв в слове: они видят не буквы, а куски слова.

Где токены влияют на вас

• Лимиты сообщений в бесплатных тарифах часто считаются в токенах.
• Контекстное окно — сколько токенов модель видит за раз.
• Цена API — за миллион токенов входа и выхода.
• Длина ответа ограничена максимальным числом токенов.

Как экономить токены

• Давайте модели только нужные фрагменты, а не весь документ.
• Просите короткие ответы, если нужен результат, а не рассуждение.
• Не повторяйте длинные инструкции в каждом сообщении — используйте системные инструкции.

Пример

Фраза «Перенесите встречу на пятницу» — 4 слова, но для модели это может быть 8–10 токенов: «Пере», «несите», « встре», «чу» и так далее. Та же фраза на английском «Move the meeting to Friday» — около 6 токенов. Поэтому один и тот же объём смысла на русском занимает больше места в контексте и стоит дороже в API.

Как это устроено в Fast Notes

В Fast Notes расход ИИ считается в кредитах: например, текстовая заметка — несколько кредитов, вопрос к заметкам — тоже. Бесплатно — 100 кредитов в месяц.