Что такое контекстное окно нейросети?

Почему размер окна важен

Чем больше окно, тем больше материалов можно дать модели за раз: целую книгу, договор, стенограмму встречи или сотни заметок. Маленькое окно заставляет делить документ на части и терять связи между ними.

Но большое окно не означает идеальное понимание. Чем длиннее контекст, тем дороже и медленнее ответ и тем выше шанс, что модель упустит деталь из середины.

Как это связано с поиском по заметкам

Даже миллион токенов не вместит всю личную базу за годы. Поэтому сервисы, которые отвечают по вашим документам, сначала находят несколько самых подходящих фрагментов (поиск по смыслу), а в окно кладут только их. Этот подход называют RAG — генерация с опорой на найденные источники.

Сколько это в страницах

• Русский текст — примерно 2–4 символа на токен, английский — около 4.
• 100 тысяч токенов — это порядка 150–250 страниц русского текста.
• Часовая стенограмма встречи — обычно 10–20 тысяч токенов.

Пример

Вы загружаете в чат договор на 60 страниц и стенограмму совещания на час и просите найти противоречия. Если окно модели 32 тысячи токенов, всё это не поместится — часть текста просто не будет учтена, и модель пропустит противоречия в отрезанной части. С окном на сотни тысяч токенов оба документа войдут целиком, а ответ станет полнее, но медленнее и дороже.