Почему нейросеть плохо считает?

Откуда ошибки в арифметике

Числа разбиваются на токены неравномерно: «123456» может стать двумя-тремя кусками. Модель не видит разрядов так, как их видит человек в столбик. Плюс ошибка на одном шаге рассуждения переносится в следующий, и в длинном расчёте итог уезжает.

Как получить правильный расчёт

• Попросите «посчитай с помощью кода» — если у ассистента есть интерпретатор, он выполнит вычисление.
• Попросите расписать решение по шагам и проверьте каждый.
• Для денег, налогов и процентов используйте калькулятор или таблицу, а ИИ — для объяснения формулы.

Где ИИ полезен с цифрами

• Составить формулу для таблицы.
• Объяснить, как считается показатель.
• Найти ошибку в готовом расчёте.
• Вытащить цифры из текста в таблицу — но их тоже стоит сверить.

Пример

Просите: «Сколько будет 17,5% от 1 284 360 рублей?» Модель без инструментов пишет «224 763» — похоже на правду, но ошибка в несколько рублей или разрядов вполне возможна. Та же модель с включённым выполнением кода напишет вычисление и получит точные 224 763 рубля. Разница в том, считает она или «вспоминает, как выглядит ответ».