Можно ли запустить нейросеть у себя на компьютере?

Когда локальная модель хороша

• Нужна максимальная приватность: медицинские, юридические, личные тексты.
• Нет доступа к облачным сервисам или стабильного интернета.
• Много однотипных задач: переформулировать, классифицировать, извлечь поля.
• Эксперименты и обучение.

Когда лучше облачная

• Сложные рассуждения и длинные документы.
• Работа с кодом высокого уровня.
• Нет мощного компьютера.
• Нужна расшифровка речи или картинки высокого качества.

Частые ошибки

• Скачать слишком большую модель — компьютер «задыхается».
• Ждать качества ведущих облачных моделей от маленькой локальной.
• Забыть, что модели занимают десятки гигабайт на диске.

Пример

Юрист разбирает договоры с персональными данными клиентов и не хочет отправлять их в облако. Локальная модель на рабочем ноутбуке с 32 ГБ памяти выделяет в договоре сроки и штрафы — медленнее облачной, но данные не покидают компьютер.

Как сделать

1. Установите Ollama или LM Studio.
2. Выберите модель подходящего размера (для ноутбука — 3–8 миллиардов параметров).
3. Скачайте модель — это несколько гигабайт.
4. Запустите чат в программе или подключите модель к приложению, например к плагину Obsidian.

Источники

• Ollama: запуск моделей локально