Почему ИИ так уверенно ошибается?

Почему модель не сомневается вслух

У модели нет встроенного чувства «я этого не знаю». Она выбирает слова по вероятности, и фраза «точно известно, что…» часто вероятнее, чем «я не уверен». Сомнения появляются, только если их явно попросить или если модель специально обучали признавать неуверенность.

Ещё один эффект — модель подстраивается под вопрос. Если вопрос содержит ложную предпосылку («почему Evernote ушёл из России?»), она может начать объяснять несуществующее событие.

Признаки, что ответ стоит перепроверить

• Очень точные цифры без указания источника.
• Названия книг, законов, статей и имён, которые вы не встречали.
• Ответ на вопрос с подвохом звучит слишком гладко.
• При повторном вопросе модель даёт другой факт.

Как заставить модель показывать неуверенность

Добавьте в запрос: «Если не уверен — так и скажи; для каждого факта оцени уверенность». Или спросите дважды разными словами: расхождение ответов — хороший признак, что модель угадывает. Для важных решений просите источник и проверяйте его сами.

Пример

Вы спрашиваете: «В каком году вышел закон о запрете X?» Модель уверенно называет год и номер закона — всё в правильном формате, с официальным названием. Проверка показывает, что такого закона нет: модель собрала правдоподобный ответ из похожих формулировок. Если бы вопрос звучал «Существует ли закон о запрете X? Если не уверен — скажи», шанс честного ответа был бы заметно выше.

Источники

• vc.ru: почему нейросети галлюцинируют — исследование OpenAI
• РБК Тренды: что такое галлюцинации искусственного интеллекта