Почему нейросеть отвечает по-разному на один и тот же вопрос?

Что такое температура

Температура — это настройка разнообразия. При низкой модель почти всегда берёт самое вероятное слово и отвечает предсказуемо; при высокой — чаще выбирает менее вероятные варианты, текст становится креативнее, но и ошибок больше. В чат-приложениях её обычно не видно, а в API её можно задать.

Кроме температуры на ответ влияют история чата, скрытые инструкции приложения, память о вас и даже обновления модели на стороне провайдера.

Как использовать разброс с пользой

• Для идей: сгенерируйте несколько вариантов и выберите лучшие.
• Для фактов: если два ответа расходятся — проверьте по источнику.
• Для стабильности: давайте чёткий формат и пример ответа.

Почему ответ отличается у меня и у коллеги

У вас могут быть разные модели или версии, разные настройки, включённая или выключенная память и поиск, а также разная история чата. Всё это меняет контекст, а значит и ответ.

Пример

Вы трижды спрашиваете: «Придумай название для кофейни у метро». Каждый раз новые варианты — это нормально и полезно. А на вопрос «Сколько стоит патент для ИП в Москве?» вы получаете три разные суммы — это сигнал, что модель не знает точного ответа и угадывает. Первый случай — творческая задача, где разброс нужен, второй — фактическая, где разброс говорит «проверь».