Ollama: как установить и запустить модель

Ollama запускает открытые языковые модели на вашем компьютере и отвечает другим программам по API. Здесь установка, первые команды, где хранятся модели и как подключиться к локальному серверу, все по официальной документации.

Обновлено 14 октября 2026 года. Текст подготовил ООО «ФИИ», источники в конце страницы.

Что такое Ollama

Ollama это программа для запуска открытых языковых моделей. Разработчики описывают ее так: открытые модели локально или в облаке. Внутри работает движок llama.cpp, а наружу программа отдает REST API для запуска моделей и управления ими. Код открыт по лицензии MIT.

У Ollama два режима. Локальный: модель скачивается на ваш компьютер и считается на нем. Облачный: запрос уходит на серверы Ollama, для этого нужен ключ API, а сама программа не обязательна.

Что такое локальная модель, сколько ей нужно памяти и чем Ollama отличается от LM Studio, llama.cpp и vLLM, разобрано на странице о локальной нейросети. Здесь только Ollama.

Системные требования

Windows: Windows 10 22H2 или новее, редакции Home или Pro. Для видеокарты NVIDIA драйвер 551.61 или новее. Поддерживаются видеокарты NVIDIA и AMD Radeon.
Место на Windows: не меньше 4 ГБ под саму программу, права администратора не нужны, по умолчанию она ставится в домашний каталог. Модели требуют места отдельно, они могут занимать от десятков до сотен гигабайт.
Mac: macOS Sonoma (v14) или новее. На Apple M работают и процессор, и видеокарта, на x86 только процессор.
Видеокарты NVIDIA: compute capability 5.0 и выше, драйвер 550 и новее.

Сколько нужно памяти, зависит от модели. Для модели Gemma 4 E2B из быстрого старта документация называет скачивание около 7,2 ГБ и рекомендует 8 ГБ свободной видеопамяти или объединенную память на Mac. Если видеопамяти меньше, Ollama использует оперативную память, но отвечает медленнее. На странице скачивания предупреждение прямое: большие модели без сильной видеокарты работают медленно.

Как установить Ollama

Установщики для macOS, Windows и Linux лежат на странице ollama.com/download.

Windows. Проще всего через установщик OllamaSetup.exe. Второй способ, команда в PowerShell из описания проекта:

irm https://ollama.com/install.ps1 | iex

После установки Ollama работает в фоне, а API отвечает на адресе http://localhost:11434.

macOS. Документация советует смонтировать образ ollama.dmg и перетащить приложение в папку Applications. Есть и команда:

curl -fsSL https://ollama.com/install.sh | sh

Linux. Та же команда установки. Для ручной установки документация дает архив и шаги по созданию службы systemd. Служба включается, запускается и пишет журнал так:

sudo systemctl enable ollama
sudo systemctl start ollama
journalctl -e -u ollama

Проверить, что программа работает, можно командой ollama -v.

Ollama в Docker

Официальный образ ollama/ollama лежит на Docker Hub. Запуск только на процессоре:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Для видеокарт NVIDIA сначала ставится NVIDIA Container Toolkit, затем контейнер запускается с доступом к видеокартам:

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Модель внутри контейнера запускается так:

docker exec -it ollama ollama run llama3.2

Модели в этих командах хранятся в томе ollama, он подключен к каталогу /root/.ollama внутри контейнера.

Первые команды

Скачать модель и сразу начать чат: ollama run gemma4. Выход из чата командой /bye.
Только скачать модель: ollama pull gemma4. Конкретный вариант модели указывается после двоеточия, например ollama pull gemma4:e2b.
Список скачанных моделей: ollama ls.
Какие модели сейчас в памяти: ollama ps.
Выгрузить модель из памяти: ollama stop gemma4.
Удалить модель с диска: ollama rm gemma4.
Запустить сервер вручную: ollama serve. На Linux это нужно, если служба еще не запущена. Список переменных окружения показывает ollama serve --help.

Загруженная модель по умолчанию держится в памяти 5 минут, потом выгружается.

Где хранятся модели

Пути по умолчанию из ответов на частые вопросы:

Windows: C:\Users\%username%\.ollama\models
Mac: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models

Модели могут занимать от десятков до сотен гигабайт. Если в домашнем каталоге не хватает места, каталог моделей переносят. Для этого задают переменную окружения OLLAMA_MODELS с нужным путем. На Windows ее создают в переменных окружения своей учетной записи, после чего Ollama нужно перезапустить.

Как подключиться по API на localhost

Ollama по умолчанию слушает адрес 127.0.0.1 и порт 11434. Локальный API не требует аутентификации, ключ не нужен. Запрос к локальной модели из быстрого старта:

curl http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma4:e2b",
    "messages": [
      {
        "role": "user",
        "content": "Say hello in one sentence."
      }
    ],
    "stream": false
  }'

Ollama поддерживает часть API OpenAI, поэтому подойдет и обычный клиент OpenAI, он ставится командой pip install openai. Адрес меняется на локальный, а ключ клиент требует, но Ollama его не проверяет:

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1/',
    api_key='ollama',  # required but ignored
)

Для Python есть и своя библиотека: pip install ollama.

Ключ API Ollama: когда он нужен

Чаще всего про Ollama ищут API и ключ. Ответ из документации: локальным запросам ключ не нужен, облачным нужен. Прямые запросы к облаку на адреса ollama.com/api и ollama.com/v1 требуют ключа, и для них Ollama даже не нужно устанавливать.

Где взять ключ: войти или создать учетную запись на ollama.com и создать ключ в настройках, раздел API keys.
Срок: ключи не истекают, ненужный отзывают в тех же настройках.
Хранение: не в коде, который выполняется в браузере, и не в системе контроля версий.
Как отличить облачную модель: в командной строке ее имя кончается на :cloud, например gemma4:cloud.

Про данные. При локальной работе, по словам разработчиков, они не видят ни запросов, ни данных. Облачные запросы и ответы Ollama обрабатывает у себя и, по документации, не использует для обучения моделей. Если нужно работать строго у себя, облачные функции отключают переменной OLLAMA_NO_CLOUD=1.

Доступ из сети и длина контекста

Чтобы к Ollama подключались с других машин, адрес меняют переменной OLLAMA_HOST. Учтите, что локальный API пароля не спрашивает: открытый в сеть порт доступен каждому, кто до него дотянется. Открывать его стоит только за защитой.

Окно контекста по умолчанию 4096 токенов, меняется переменной OLLAMA_CONTEXT_LENGTH. Для агентов, поиска в интернете и инструментов для кода документация советует не меньше 64 000 токенов. Чем длиннее окно, тем больше памяти требует модель.

Ollama в агенте и в редакторе кода

Локальная модель в Ollama может работать мозгом агента. В примерах LangChain Ollama стоит среди поставщиков моделей с пометкой, что для локального варианта она должна быть запущена. Порядок сборки агента, от описания задачи до испытаний, разобран на странице как создать ИИ-агента.

Для инструментов программиста у Ollama есть команда ollama launch, которая настраивает и запускает внешние приложения, например ollama launch claude. Для таких задач стоит заранее увеличить окно контекста, как сказано выше.

У нас

Ollama запускает уже обученные модели. Вот что есть у нас рядом с этой задачей.

Сибирь.ИИ строит русскоязычные языковые модели с нуля, наибольшая обученная модель 1 млрд параметров. При обучении и выводе программа не обращается к внешним службам, наборы и контрольные точки хранятся у пользователя. Корпоративная лицензия предусматривает развертывание в инфраструктуре лицензиата, нужен ускоритель NVIDIA с CUDA от 12 ГБ видеопамяти.
Сибирь.Диалог включает справочного помощника по базе знаний организации: поиск по загруженным документам и ответ с указанием источников. Данные эксплуатанта размещаются в его инфраструктуре.
Генерация текста бесплатно и без регистрации: отвечают открытые модели Qwen в нашем дата-центре в Новосибирске, ни один шаг не обращается наружу. Модель ошибается в фактах, проверяйте даты и цифры. Служба может быть временно на обслуживании, тогда ответа не будет.

Другие разборы

Источники

Страницы открыты 14 октября 2026 года.

Частые вопросы

Нужен ли ключ API для Ollama

Для локального сервера нет: API на localhost не требует аутентификации. Ключ нужен для облачных моделей и прямых запросов к ollama.com, его создают в настройках учетной записи.

На каком порту работает Ollama

По умолчанию на адресе 127.0.0.1 и порту 11434, то есть только для этого компьютера. Адрес меняется переменной окружения OLLAMA_HOST.

Где Ollama хранит модели

На Windows в C:\Users\%username%\.ollama\models, на macOS в ~/.ollama/models, на Linux в /usr/share/ollama/.ollama/models. Другой каталог задается переменной OLLAMA_MODELS.

Можно ли запустить Ollama в Docker

Да, есть официальный образ ollama/ollama. Контейнер публикует порт 11434 и хранит модели в томе ollama. Для видеокарт NVIDIA нужен NVIDIA Container Toolkit и флаг --gpus=all.

Отправляет ли Ollama мои данные

При локальной работе, по словам разработчиков, нет: они не видят ни запросов, ни данных. Облачные модели обрабатывают запросы на серверах Ollama. Облачные функции отключаются переменной OLLAMA_NO_CLOUD=1.