Токен — это: правильный ответ на вопрос теста про нейросети

Токен — это минимальный кусок текста, с которым работает языковая модель: слово, часть слова, знак препинания или символ. Модель сначала делит текст на токены, а затем каждому токену сопоставляет набор чисел — вектор, то есть его «координаты». Поэтому в тестах правильным обычно считают вариант «часть текста, для которой известны координаты» или «фрагмент текста, на которые модель делит запрос». Вариант «готовый ответ, сохранённый в памяти модели» — неверный.

Обновлено

Подробно

Как текст делится на токены

Частые слова часто становятся одним токеном, редкие и длинные делятся на части. Русский текст обычно дробится на больше токенов, чем английский того же смысла, поэтому одна и та же фраза на русском «стоит» больше токенов.

Посмотреть, как конкретная модель делит текст, можно в токенизаторах, например в инструменте OpenAI Tokenizer.

Практика

Почему токены важны пользователю

Тест

Разбор неверных вариантов

Вопросы

Частые вопросы по теме

Сколько токенов в слове?

По-разному: частое слово — один токен, редкое русское слово — два-три и больше.

Чем токен отличается от эмбеддинга?

Токен — кусок текста, эмбеддинг — числовой вектор, которым этот кусок описывается внутри модели.

Источники

Источники