Локальная нейросеть: как запустить модель на своем компьютере или сервере

Языковую модель можно запустить на своей машине, и тогда запросы никуда не уходят. Здесь собрано, какие программы для этого есть, сколько нужно памяти и чем приходится платить за независимость от облака.

Обновлено 13 октября 2026 года. Текст подготовил ООО «ФИИ», источники в конце страницы.

Что такое локальная нейросеть

Локальная нейросеть это языковая модель, которая работает на вашем компьютере или сервере, а не у поставщика в облаке. Вы скачиваете файл с весами модели и запускаете его программой, которая умеет такие модели исполнять. Ответ считается на вашем процессоре или видеокарте.

Для этого нужны модели с открытыми весами. Их выпускают многие разработчики. Например, у моделей Qwen3-8B и Qwen3.6-35B-A3B в карточках на Hugging Face указана лицензия Apache 2.0. Лицензию проверяют у каждой модели отдельно, по ее карточке: у разных моделей она разная.

Чаще всего локальные модели распространяют в формате GGUF. Hugging Face описывает его как двоичный формат, рассчитанный на быструю загрузку и работу модели. В одном файле лежат и веса, и сведения о модели.

Зачем запускать модель у себя

Главная причина: данные не уходят наружу. Разработчики программ пишут об этом прямо. В документации LM Studio сказано, что ничего из введенного в чат с моделью не покидает устройство. В ответах на вопросы Ollama сказано, что при локальной работе разработчики не видят ни запросов, ни данных.

Есть оговорка. У Ollama есть и облачные модели: запросы к ним обрабатываются на серверах Ollama. Если нужно работать строго у себя, облачные функции отключают, это описано в той же документации.

Для российских компаний есть и правовая сторона. Часть 5 статьи 18 закона о персональных данных (152-ФЗ, в редакции закона от 28.02.2025 № 23-ФЗ) не допускает запись, хранение и другую обработку персональных данных граждан России с использованием баз данных за пределами страны, за исключениями, которые перечислены в законе. Если в запросах к модели бывают такие данные, отправку их в зарубежный облачный сервис стоит обсудить с юристом. Локальная модель убирает зарубежный сервис из цепочки: текст не покидает вашу машину.

Вторая причина: работа без интернета. LM Studio, по его документации, после скачивания модели может работать полностью офлайн.

Программы для запуска: Ollama, LM Studio, llama.cpp и vLLM

Все четыре программы умеют отдавать модель другим программам через интерфейс, совместимый с API OpenAI (Ollama поддерживает его часть). Поэтому приложение, написанное под облачную модель, обычно можно переключить на локальную сменой адреса. Различаются они тем, для кого сделаны.

LM Studio. Приложение с окном чата для Mac, Windows и Linux. Модели ищет и скачивает с Hugging Face прямо из интерфейса, исполняет их через llama.cpp. Умеет включить сервер для других программ на этом компьютере или в локальной сети. Самый простой вход для одного компьютера.
Ollama. Программа-сервер: запускается командой и отвечает другим программам по REST API. По умолчанию слушает только адрес 127.0.0.1, порт 11434, то есть недоступна с других машин, пока вы это не измените. В числе движков называет llama.cpp. Ключ API Ollama нужен для доступа к ее облаку, локальный сервер в примерах документации вызывается без ключа.
Движок llama.cpp. На нем построены LM Studio и Ollama. Написан на C и C++ без зависимостей, распространяется по лицензии MIT. Работает на процессорах и на видеокартах NVIDIA, AMD и Apple. Если модель не помещается в видеопамять, часть слоев можно оставить на процессоре. В комплекте есть сервер llama-server, который обслуживает нескольких пользователей одновременно.
Библиотека vLLM. Сделана для серверов, где модель обслуживает много запросов сразу. Склеивает входящие запросы в общие пакеты на лету и ставит целью наибольшую пропускную способность. Работает под Linux, Windows напрямую не поддерживает. От видеокарт NVIDIA требует вычислительную возможность (compute capability) 7.5 и выше.

Упрощенно: для пробы на своем компьютере берут LM Studio, для подключения модели к своим программам Ollama или llama-server, для сервера с потоком запросов от многих пользователей vLLM.

Сколько нужно памяти и что такое квантование

Модель должна поместиться в память целиком: в видеопамять, если считать на видеокарте, или в оперативную, если на процессоре. Размер зависит от числа параметров и от того, сколько бит отведено на каждый параметр.

В исходном виде модели обычно хранят по 16 бит на параметр. Квантование уменьшает точность весов, например до 4 бит. Документация llama.cpp объясняет, что от этого модель становится меньше и может работать быстрее, но может потерять в точности.

Пример из той же документации, модель Llama 3.1 на 8 млрд параметров:

Формат	Бит на параметр	Размер
F16	16	14,96 ГиБ
Q8_0	8,5	7,95 ГиБ
Q4_K_M	4,9	4,58 ГиБ

Отсюда простой расчет: число параметров умножить на число бит на параметр и разделить на 8, получится размер в байтах. Для модели на 70 млрд параметров та же документация дает 43,1 ГБ в Q4_K_M. Такой модели одной видеокарты с 24 ГБ уже мало.

Сверх весов память занимает окно контекста: чем длиннее текст, который модель держит в голове, тем больше нужно. По документации Ollama потребность в памяти растет с длиной контекста и числом одновременных запросов. Кэш контекста тоже можно квантовать: вариант q8_0, по той же документации, занимает примерно половину памяти от f16 при очень небольшой потере точности.

Для компьютера с Windows LM Studio советует не меньше 16 ГБ оперативной памяти и от 4 ГБ видеопамяти. Для Mac с 8 ГБ та же документация советует ограничиться небольшими моделями и коротким контекстом. Это нижняя граница для небольших моделей, а не для моделей на десятки миллиардов параметров.

Как развернуть локальную нейросеть: порядок шагов

Выберите модель и проверьте ее лицензию в карточке.
Посчитайте память: веса в выбранном квантовании плюс запас на контекст. Сравните с видеопамятью и оперативной памятью машины.
Поставьте программу: LM Studio для работы в окне, Ollama или llama.cpp для работы с программами.
Скачайте модель. Это единственный шаг, где нужен интернет: поиск и скачивание моделей в LM Studio, например, обращаются к Hugging Face.
Проверьте длину контекста. У Ollama по умолчанию окно 4096 токенов, для длинных документов его увеличивают настройкой.
Если модель нужна другим программам, включите локальный сервер. По умолчанию Ollama и llama-server слушают только адрес 127.0.0.1. Открывать сервер в сеть стоит только за защитой.
Для работы строго у себя отключите облачные функции программы, если они есть.

Что мы держим сами

Мы сами работаем с локальными моделями.

На странице нейросети для текста отвечает открытая модель Qwen3.6-35B-A3B, а когда она выключена, модель поменьше Qwen3-8B. Модели работают в нашем дата-центре в Новосибирске, ни один шаг не обращается наружу. 1 октября 2026 года шесть заданий через эту службу получили ответ за время от 21 секунды до трех с половиной минут.

Для работы с кодом мы держим Qwen3.6-35B-A3B на одной видеокарте с 24 ГБ памяти, через llama.cpp. У модели 35 млрд параметров всего и 3 млрд активных. Мы взяли 4-битную сборку UD-IQ4_XS, окно контекста 32 768 токенов и кэш контекста в q8_0. Так модель занимает около 17 ГБ видеопамяти, а остаток карты делят другие наши задачи.

У этого выбора есть цена. Разработчики Qwen3.6 советуют держать окно не меньше 128 тысяч токенов, чтобы сохранить режим рассуждения. У нас окно вчетверо меньше, потому что больше не помещается рядом с другими задачами на той же карте.

Ограничения локальной модели

Она слабее больших облачных моделей. На странице нашей нейросети для текста мы так и пишем: модели не самые большие в мире, на сложных задачах слабее больших чатов и ошибаются в фактах. Даты, имена и цифры в ответах нужно проверять.
Квантование экономит память ценой точности. Чем меньше бит на параметр, тем выше риск потерь.
Память ограничивает все сразу: размер модели, длину контекста и число одновременных пользователей. Каждый выбор делается за счет другого.
Нужен уход. Программы и модели обновляются, за сервером надо следить, видеокарта может отказать. В облаке это делает поставщик, здесь вы.
Настройки по умолчанию рассчитаны на пробу, а не на работу. Окно контекста, адрес сервера и облачные функции стоит проверить до того, как давать модель людям.

Сибирь.ИИ: своя модель с нуля

Ollama, LM Studio, llama.cpp и vLLM запускают уже обученные модели. Сибирь.ИИ решает другую задачу: это программа, которая строит русскоязычные языковые модели с нуля, без сторонних весов, так что происхождение модели можно доказать. Наибольшая обученная в ней модель имеет 1 млрд параметров.

Обученная модель порождает текст через программный интерфейс по HTTP. При обучении и выводе программа не обращается к внешним службам: наборы, словари и контрольные точки хранятся у пользователя. Для работы нужен графический ускоритель NVIDIA с CUDA от 12 ГБ видеопамяти. Корпоративная лицензия предусматривает развертывание в инфраструктуре лицензиата.

Разработку по заданию мы не ведем: ООО «ФИИ» не принимает заказы на разработку программного обеспечения по заданию третьих лиц и работает по лицензии на собственные продукты.

Другие разборы

Источники

Страницы открыты 13 октября 2026 года.

Частые вопросы

Что такое локальная нейросеть

Языковая модель, которая работает на вашем компьютере или сервере. Файл с весами модели скачивается один раз, дальше ответы считаются на вашем оборудовании, и запросы никуда не уходят.

Можно ли запустить нейросеть на обычном ПК

Да, небольшую. Для Windows LM Studio советует от 16 ГБ оперативной памяти и от 4 ГБ видеопамяти, процессор должен поддерживать AVX2. Модель на 8 млрд параметров в 4-битном квантовании занимает около 4,6 ГиБ.

Что выбрать: Ollama, LM Studio, llama.cpp или vLLM

LM Studio для работы в окне на одном компьютере. Ollama или llama-server, чтобы подключить модель к своим программам. vLLM для сервера, который обслуживает много запросов сразу.

Сколько видеопамяти нужно для локальной модели

Примерно число параметров, умноженное на число бит на параметр и деленное на 8, плюс запас на контекст. Модель на 8 млрд параметров занимает около 15 ГиБ в 16 битах и около 4,6 ГиБ в 4 битах, модель на 70 млрд в 4 битах около 43 ГБ.

Работает ли локальная нейросеть без интернета

Да, после того как модель скачана. Интернет нужен для поиска и скачивания моделей и обновления программы.