Как обучают нейросети вроде ChatGPT?

Этапы подробнее

1. Предобучение: тексты из интернета, книг, кода — модель усваивает язык и знания.
2. Дообучение на инструкциях: пары «запрос — хороший ответ».
3. Обучение с обратной связью: ответы сравниваются, модель поощряется за лучшие.
4. Настройка безопасности: модель учат отказывать в опасных запросах.

Откуда берутся особенности поведения

• Угодничество — людям нравились ответы, которые с ними соглашаются.
• Уверенный тон — так звучат хорошие ответы в данных.
• Выдумывание — модель поощряли за ответ, а не за «не знаю».
• Осторожность — результат настройки безопасности.

Учится ли модель на ваших сообщениях

Во время разговора — нет: параметры модели не меняются. Но провайдер может использовать переписку для обучения будущих версий, если вы это разрешили или не отключили в настройках. В бизнес-версиях и API данные для обучения обычно не используются.

Частые заблуждения

• Модель копирует тексты из интернета — она генерирует новые, хотя может воспроизводить частые фрагменты.
• Модель знает всё, что есть в интернете, — только то, что было в обучающих данных до даты отсечки.
• Модель учится прямо сейчас на всех пользователях — нет, обучение идёт отдельными циклами.

Пример

На этапе предобучения модель могла бы продолжить вопрос «Как испечь хлеб?» ещё тремя вопросами — так часто выглядят форумы. После дообучения на диалогах она отвечает рецептом, а после обучения на оценках — рецептом понятным, по шагам и с предупреждением про горячую духовку.