Токен — это: правильный ответ на вопрос теста про нейросети
Токен — это минимальный кусок текста, с которым работает языковая модель: слово, часть слова, знак препинания или символ. Модель сначала делит текст на токены, а затем каждому токену сопоставляет набор чисел — вектор, то есть его «координаты». Поэтому в тестах правильным обычно считают вариант «часть текста, для которой известны координаты» или «фрагмент текста, на которые модель делит запрос». Вариант «готовый ответ, сохранённый в памяти модели» — неверный.
Обновлено
Как текст делится на токены
Частые слова часто становятся одним токеном, редкие и длинные делятся на части. Русский текст обычно дробится на больше токенов, чем английский того же смысла, поэтому одна и та же фраза на русском «стоит» больше токенов.
Посмотреть, как конкретная модель делит текст, можно в токенизаторах, например в инструменте OpenAI Tokenizer.
Почему токены важны пользователю
- Лимиты контекста считаются в токенах: длинный документ может не поместиться целиком.
- Платные сервисы списывают оплату за токены запроса и ответа.
- Модель «видит» токены, а не буквы — поэтому иногда ошибается в подсчёте букв в слове.
Разбор неверных вариантов
- «Готовый ответ, сохранённый в памяти модели» — модель генерирует ответ заново, токен — это кусок текста, а не ответ.
- «Пароль для доступа к нейросети» — так называют ключ или токен доступа к API, но в вопросах о работе модели имеется в виду кусок текста.
- «Одно слово» — неточно: токен может быть и частью слова, и знаком препинания.
Частые вопросы по теме
Сколько токенов в слове?
По-разному: частое слово — один токен, редкое русское слово — два-три и больше.
Чем токен отличается от эмбеддинга?
Токен — кусок текста, эмбеддинг — числовой вектор, которым этот кусок описывается внутри модели.
Источники
Похожие вопросы
Что такое токены в нейросетях?
Токен — кусочек текста, которым оперирует модель: целое короткое слово, часть длинного слова, знак препинания или…
02Что такое эмбеддинг: правильный ответ на вопрос теста
Эмбеддинг — это представление текста (слова, фразы или документа) в виде вектора, то есть списка чисел, которые…
03Что такое контекстное окно нейросети?
Контекстное окно — это максимальный объём текста в токенах, который модель обрабатывает за один запрос: ваш вопрос…
04Почему нейросеть плохо считает?
Языковая модель генерирует цифры как текст, а не вычисляет их: она предсказывает, как обычно выглядит ответ. На простых…
05Почему нейросеть выдумывает факты?
Языковая модель не ищет ответ в базе фактов, а продолжает текст самым вероятным образом. Если точного знания нет, она…
06Почему ИИ так уверенно ошибается?
Уверенный тон — это стиль текста, а не степень знания. Модель учится писать как хорошие ответы в интернете, а они…