Что такое большая языковая модель (LLM) простыми словами?

Как модель «понимает» текст

Текст разбивается на токены — кусочки слов. Модель превращает их в числа и через миллиарды параметров вычисляет, какой токен вероятнее следующим с учётом всего предыдущего текста. Параметры настраиваются при обучении так, чтобы предсказания совпадали с реальными текстами. Понимание здесь статистическое: модель выучила закономерности языка и знаний, а не хранит энциклопедию.

Что модель умеет и чего не умеет

• Умеет: писать и редактировать тексты, объяснять, переводить, резюмировать, писать код.
• Умеет с инструментами: искать в интернете, считать кодом, работать с файлами.
• Не умеет сама: знать события после даты обучения, гарантированно не ошибаться, помнить вас между чатами без специальной памяти.

Почему «большая»

Большой её называют из-за числа параметров — миллиарды и больше — и объёма обучающих данных. С ростом масштаба у моделей появлялись новые способности: следовать инструкциям, рассуждать по шагам, работать с кодом. Но рост масштаба не убирает основные ограничения вроде выдумывания фактов.

Частые ошибки в восприятии

• Считать модель поисковиком — она генерирует, а не ищет, если поиск не подключён.
• Считать её разумным собеседником с намерениями.
• Считать, что она учится на каждом вашем сообщении в реальном времени.

Пример

Вы пишете «Составь письмо арендодателю о задержке оплаты на неделю». Модель не ищет шаблон в базе — она по шагам генерирует самый вероятный текст делового письма с вашими деталями. Поэтому письмо каждый раз немного разное, но всегда в правильном жанре.