Сибирь AI

LM Studio: как установить и запустить модель

LM Studio это приложение с окном чата, в котором открытую языковую модель можно скачать и запустить на своем компьютере, а потом включить для нее сервер API. Здесь требования, установка и первые шаги по официальной документации.

Обновлено . Текст подготовил ООО «ФИИ», источники в конце страницы.

Что такое LM Studio

LM Studio это приложение для macOS, Windows и Linux, в котором можно скачать и запустить локальную языковую модель, например gpt-oss, Llama или Qwen, и разговаривать с ней в окне, похожем на ChatGPT. Модели приложение скачивает с Hugging Face, исполняет через llama.cpp, а на Mac с Apple Silicon еще и через MLX.

У LM Studio три части: приложение с окном, версия без окна для серверов под названием llmster и инструмент командной строки lms, который работает с обеими.

Приложение выпускает Element Labs, Inc. По условиям использования лицензия дается для личных и внутренних деловых целей, перед работой в компании условия стоит прочитать целиком. Инструмент lms распространяется по лицензии MIT.

Что такое локальная модель, сколько ей нужно памяти и чем LM Studio отличается от Ollama, llama.cpp и vLLM, разобрано на странице о локальной нейросети. Здесь только LM Studio.

Системные требования

  • Mac: процессор Apple Silicon (M1/M2/M3/M4), macOS 14.0 или новее. Рекомендуется от 16 ГБ памяти. На Mac с 8 ГБ работать можно, но с небольшими моделями и коротким контекстом. Mac на процессорах Intel пока не поддерживаются.
  • Windows: системы на x64 и ARM (Snapdragon X Elite). Для x64 процессор обязан поддерживать набор инструкций AVX2. Рекомендуется не меньше 16 ГБ оперативной памяти и не меньше 4 ГБ выделенной видеопамяти.
  • Linux: приложение распространяется как AppImage, нужна Ubuntu 20.04 или новее. Версии Ubuntu новее 22, по словам разработчиков, проверены плохо.

Как установить LM Studio

Установщик для своей системы скачивается на странице lmstudio.ai/download. Вместе с приложением ставится и lms, отдельно его устанавливать не нужно. Но перед первой командой lms приложение нужно хотя бы раз запустить.

Для сервера, облачной машины или CI есть llmster, версия без окна. Для нее приложение скачивать не нужно. Установка на Mac и Linux:

curl -fsSL https://lmstudio.ai/install.sh | bash

На Windows:

irm https://lmstudio.ai/install.ps1 | iex

Запуск llmster: lms daemon up.

Как скачать модель и начать чат

  1. Откройте вкладку Discover и выберите модель из подборки или найдите по названию. Модель скачивается с Hugging Face. Чтобы модель работала у вас, нужны ее веса, чаще всего это один или несколько файлов с расширением .gguf.
  2. Выберите вариант. У одной модели бывает несколько копий с пометками вроде Q3_K_S или Q_8. Буква Q означает квантование: файл меньше, но качество немного ниже. Документация советует брать 4 бита или больше, если машина тянет.
  3. Загрузите модель. На вкладке Chat откройте загрузчик моделей и выберите скачанную. Загрузка означает, что под веса модели выделяется оперативная память.
  4. Пишите в чат. Модель не учится на ваших разговорах, она знает только то, что есть в чате и в настройках вроде системного промпта.

К чату можно приложить файлы .docx, .pdf и .txt. Если документ длинный, LM Studio находит в нем нужные куски и подает модели только их. Этот прием называется RAG.

Команды lms

  • Скачать модель в нужном квантовании: lms get llama-3.1-8b@q4_k_m
  • Список скачанных моделей: lms ls
  • Оценить память до загрузки: lms load --estimate-only с именем модели. Для gpt-oss-120b документация показывает оценку 65,68 ГБ видеопамяти.
  • Запустить сервер: lms server start

Пример из документации: скачать модель, загрузить ее и запустить сервер.

lms get openai/gpt-oss-20b
lms load openai/gpt-oss-20b
lms server start

Если LM Studio не запущена, команда lms запустит ее сама.

Где хранятся модели

Модели лежат в каталоге моделей LM Studio, туда же попадает все, что скачано командой lms get. Документация описывает такую структуру:

~/.lmstudio/models/
└── publisher/
    └── model/
        └── model-file.gguf

Каталог меняется на вкладке My Models. Модель, скачанную вне LM Studio, можно подключить, положив ее файл в эту структуру.

Как включить сервер и подключиться по API

Сервер включается на вкладке Developer переключателем Start server или командой lms server start. По умолчанию он слушает http://localhost:1234. Другой порт задается так: lms server start --port 3000.

Сервер совместим с клиентами OpenAI: в существующем клиенте достаточно сменить базовый адрес с серверов OpenAI на LM Studio. В примере документации для Python это base_url="http://localhost:1234/v1". При включенной загрузке по требованию (JIT) запрос к незагруженной модели сам загрузит ее в память.

По умолчанию LM Studio не требует аутентификации для запросов к API. Включить ее можно переключателем в Developers Page > Server Settings, это работает начиная с LM Studio 0.4.0.

Доступ из локальной сети

Режим Serve on Local Network делает сервер доступным другим устройствам в той же локальной сети. Из командной строки:

lms server start --bind 0.0.0.0

По умолчанию сервер слушает только 127.0.0.1. Документация предупреждает: любой другой адрес открывает сервер за пределы компьютера, и в этом случае стоит включить аутентификацию.

LM Studio умеет подключать MCP-серверы и давать их инструменты локальной модели. Документация предупреждает, что часть MCP-серверов может выполнять произвольный код, читать локальные файлы и ходить в сеть. Что это за серверы, разобрано на странице о MCP-сервере.

Что остается на компьютере

  • Без интернета работают чат, разговор с документами и локальный сервер.
  • По документации ничего из введенного в чат с моделью не покидает устройство.
  • Запросы к локальному серверу идут в формате OpenAI, но остаются на машине.
  • Интернет нужен для поиска и скачивания моделей, скачивание требует стабильного соединения.

LM Studio и Ollama, LM Studio в агенте

Обе программы запускают локальные модели и отдают их по API, совместимому с OpenAI. LM Studio проще всего начинать с приложения, а без окна работает llmster. У Ollama тоже есть приложение, но она работает в фоне как сервер с командной строкой, ее код открыт по лицензии MIT. Порт по умолчанию у LM Studio 1234, у Ollama 11434.

Раз сервер LM Studio понимает клиентов OpenAI, его можно подставить вместо облачной модели в своего агента. Как собрать агента по шагам, разобрано на странице как создать ИИ-агента.

У нас

LM Studio запускает уже обученные модели. Вот что есть у нас рядом с этой задачей.

  • Сибирь.ИИ строит русскоязычные языковые модели с нуля, наибольшая обученная модель 1 млрд параметров. При обучении и выводе программа не обращается к внешним службам, наборы и контрольные точки хранятся у пользователя. Корпоративная лицензия предусматривает развертывание в инфраструктуре лицензиата, нужен ускоритель NVIDIA с CUDA от 12 ГБ видеопамяти.
  • Сибирь.Диалог включает справочного помощника по базе знаний организации: поиск по загруженным документам и ответ с указанием источников. Данные эксплуатанта размещаются в его инфраструктуре.
  • Генерация текста бесплатно и без регистрации: отвечают открытые модели Qwen в нашем дата-центре в Новосибирске, ни один шаг не обращается наружу. Модель ошибается в фактах, проверяйте даты и цифры. Служба может быть временно на обслуживании, тогда ответа не будет.

Частые вопросы

Можно ли пользоваться LM Studio на работе

Условия использования Element Labs дают лицензию для личных и внутренних деловых целей. Перед работой в компании прочитайте условия целиком: цену и ограничения мы здесь не разбирали.

Сколько памяти нужно для LM Studio

Для Windows рекомендуется не меньше 16 ГБ оперативной памяти и 4 ГБ выделенной видеопамяти. На Mac рекомендуется от 16 ГБ, на 8 ГБ подойдут только небольшие модели с коротким контекстом.

Работает ли LM Studio без интернета

Да, после скачивания модели. Чат, документы и локальный сервер работают без сети. Интернет нужен для поиска и скачивания моделей.

Какой порт у сервера LM Studio

По умолчанию сервер слушает http://localhost:1234. Другой порт задается флагом --port, например lms server start --port 3000.

Где LM Studio хранит модели

В каталоге моделей, по документации это ~/.lmstudio/models/ с подкаталогами издателя и модели. Каталог меняется на вкладке My Models.