Почему нейросеть выдумывает факты?

Как это устроено

Модель обучалась предсказывать следующее слово в огромном количестве текстов. Она хорошо усвоила, как обычно звучат ответы, но не хранит «таблицу правды». Когда вопрос редкий или сформулирован размыто, самые вероятные слова складываются в уверенный, но неверный ответ.

Исследования OpenAI показывают ещё одну причину: при обучении и оценке модели чаще поощряют за попытку ответить, чем за честное «не знаю». Поэтому модель склонна угадывать.

Когда галлюцинаций больше всего

• Точные цифры, даты, цитаты и названия статей.
• Редкие темы, о которых мало текстов в интернете.
• Свежие события после даты обучения модели.
• Просьбы «дай ссылку на источник» без подключённого поиска.
• Длинные цепочки рассуждений, где ошибка в начале тянет за собой следующие.

Как снизить выдумки

• Давайте модели источник: текст документа, заметки, ссылку — и просите отвечать только по нему.
• Прямо разрешайте ответ «не знаю» в запросе.
• Просите указывать, из какого фрагмента взят каждый факт.
• Включайте поиск в интернете для вопросов о свежих событиях.
• Проверяйте цифры и цитаты по первоисточнику.

Как это устроено в Fast Notes

В Fast Notes ИИ отвечает по вашим собственным заметкам и показывает, из каких записей взят ответ, — так любой факт можно проверить одним нажатием.

Источники

• РБК Тренды: что такое галлюцинации искусственного интеллекта
• vc.ru: почему нейросети галлюцинируют — исследование OpenAI