Локальные нейросети с Ollama в Linux: установка и выбор модели

Ollama в Linux ставится одной командой и запускает языковые модели прямо на вашем компьютере без отправки данных в облако. Модель выбирают по объёму видеопамяти: на 8 ГБ комфортны модели 7-8B, без видеокарты - до 4B. Ниже установка, проверка ускорения, таблица моделей под задачи и безопасная настройка службы.

Что такое Ollama и потянет ли её ваш компьютер

Ollama - программа, которая скачивает открытые языковые модели и запускает их локально. Внутри работает движок на основе llama.cpp, снаружи - простая команда ollama и HTTP API на порту 11434. Данные никуда не уходят, интернет нужен только для загрузки модели.

Главное ограничение - память. Модель целиком должна поместиться в видеопамять, иначе часть слоёв уйдёт на процессор и скорость упадёт в разы. Грубое правило для типичного 4-битного сжатия: на каждый миллиард параметров нужно около 0,6-0,7 ГБ памяти плюс запас под контекст. Модель на 4 миллиарда параметров весит примерно 3 ГБ, на 8 миллиардов - около 5 ГБ, на 20-30 миллиардов - от 13 до 20 ГБ.

• Без видеокарты, 8-16 ГБ ОЗУ: работают модели 1-4B. Отвечают медленно, но для перевода, пересказа и простых вопросов хватает.
• Видеокарта на 8 ГБ: комфортны модели 7-8B.
• 12-16 ГБ видеопамяти: модели 12-20B, в том числе неплохие для программирования.
• 24 ГБ и больше: модели около 30B и крупные MoE-модели.

Если вы только выбираете железо, сравнение вариантов разобрано в статье какую видеокарту взять для локальных нейросетей. Свободного места на диске стоит держать хотя бы 30-50 ГБ: модели быстро накапливаются.

Установка Ollama в Linux

Официальный способ один для всех дистрибутивов: установочный скрипт. Он кладёт программу в /usr, создаёт системного пользователя ollama, службу systemd и проверяет, есть ли NVIDIA или AMD. Скрипт исполняется с правами root, поэтому разумно сначала его прочитать:

curl -fsSL https://ollama.com/install.sh -o ollama-install.sh
less ollama-install.sh
sh ollama-install.sh

Если доверяете источнику, то же самое одной строкой:

curl -fsSL https://ollama.com/install.sh | sh

В Arch Linux есть пакеты в официальном репозитории, отдельно под разные ускорители. Службу после установки нужно включить самостоятельно:

sudo pacman -S ollama        # только процессор
sudo pacman -S ollama-cuda   # NVIDIA
sudo pacman -S ollama-rocm   # AMD
sudo systemctl enable --now ollama

Проверка, что всё живо:

ollama -v
systemctl status ollama

Вариант для тех, кто не хочет ставить ничего в систему, - контейнер. С NVIDIA нужен NVIDIA Container Toolkit и флаг --gpus=all:

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
docker exec -it ollama ollama run gemma3:4b

Если Docker ещё не настроен, начните со статьи про Docker Compose plugin.

NVIDIA и AMD: как убедиться, что работает видеокарта

Для NVIDIA нужен проприетарный или открытый драйвер NVIDIA, полный CUDA Toolkit для запуска обычно не нужен: библиотеки CUDA лежат в комплекте Ollama, в каталоге /usr/lib/ollama. Проверьте, что драйвер видит карту:

nvidia-smi

Если команда не найдена или выдаёт ошибку, сначала разберитесь с драйвером по инструкции как установить драйвер NVIDIA, иначе Ollama тихо будет считать на процессоре.

Для AMD используется ROCm. Документация Ollama на момент написания рекомендует ROCm 7 и свежий драйвер Radeon, а архив с библиотеками ROCm при ручной установке ставится отдельно. Поддерживаются не все карты: старые и бюджетные модели Radeon могут не попасть в список.

Самый надёжный индикатор - ollama ps при загруженной модели. Столбец PROCESSOR покажет 100% GPU, если модель целиком в видеопамяти, или долю вроде 48%/52% CPU/GPU, если она не влезла. Во втором случае возьмите модель поменьше или с более сильным сжатием.

Первая модель и основные команды

Для первого знакомства подойдёт Gemma 3 на 4 миллиарда параметров: около 3 ГБ, работает даже без видеокарты.

ollama run gemma3:4b

Команда скачает модель и откроет чат прямо в терминале. Выход из чата - /bye, список команд внутри - /?. Остальное управление:

ollama pull qwen3:8b     # скачать без запуска
ollama list              # что установлено
ollama ps                # что загружено в память сейчас
ollama stop gemma3:4b    # выгрузить из памяти
ollama rm qwen3:8b       # удалить с диска
ollama show gemma3:4b    # параметры, контекст, лицензия

Имя модели состоит из семейства и тега: qwen3:8b, gemma3:12b. Тег часто указывает размер, но бывают и варианты сжатия вроде q8_0. Без тега скачается вариант по умолчанию, обычно средний по размеру.

Какую модель выбрать под задачу и память

Библиотека на ollama.com/library меняется каждый месяц, поэтому ниже не рейтинг, а ориентиры по проверенным семействам. Размеры примерные, для стандартных тегов.

В 2026 году в библиотеке появились и новые поколения, например Gemma 4 и следующие версии Qwen. Перед загрузкой посмотрите на странице модели реальный размер файла и длину контекста. Для русского языка семейства Qwen и Gemma обычно заметно лучше маленьких Llama, но проверяйте на своих задачах: дайте двум моделям один и тот же текст и сравните.

Настройка: где модели, контекст и доступ по сети

Параметры задаются переменными окружения службы. Удобнее всего через дополнение к юниту, его не затрёт обновление:

sudo systemctl edit ollama
# в редакторе:
[Service]
Environment="OLLAMA_MODELS=/data/ollama/models"
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_KEEP_ALIVE=15m"

sudo systemctl daemon-reload
sudo systemctl restart ollama

• OLLAMA_MODELS - каталог моделей. По умолчанию при установке скриптом это /usr/share/ollama/.ollama/models. Новому каталогу нужны права для пользователя ollama: sudo chown -R ollama:ollama /data/ollama.
• OLLAMA_CONTEXT_LENGTH - окно контекста. По умолчанию оно небольшое, и длинный документ модель просто не увидит целиком. Больше контекст - больше памяти.
• OLLAMA_KEEP_ALIVE - сколько модель держится в памяти после последнего запроса, по умолчанию 5 минут.
• OLLAMA_HOST - адрес. По умолчанию 127.0.0.1:11434, то есть только локально.

С OLLAMA_HOST=0.0.0.0:11434 сервер станет доступен всей сети. Учтите: у API Ollama нет паролей, любой, кто достучится до порта, сможет запускать модели и загружать новые. Открывайте порт только для своей подсети через nftables или подключайтесь к домашней машине через VPN. Разбор параметров systemd-юнитов есть в статье про systemctl.

API и графические интерфейсы

Сервер отвечает по HTTP, это удобно для скриптов:

curl http://localhost:11434/api/generate -d '{
  "model": "gemma3:4b",
  "prompt": "Объясни, что делает команда chmod 755",
  "stream": false
}'

Есть и совместимый с OpenAI адрес http://localhost:11434/v1/. Его понимают многие редакторы кода, плагины для IDE и клиенты чатов: в настройках указываете этот адрес и имя модели, ключ API можно оставить любым.

Если хочется окна как у облачных чат-ботов, популярен Open WebUI. Его обычно запускают в контейнере и направляют на локальный Ollama. Для генерации картинок Ollama не предназначена, для этого есть отдельные инструменты вроде ComfyUI.

Обновление, журналы и удаление

Обновляется Ollama повторным запуском того же установочного скрипта. В Arch - обычным pacman -Syu. Модели при обновлении не удаляются.

Если модель не загружается, падает или работает подозрительно медленно, первым делом смотрите журнал службы. Там видно, какой ускоритель найден и сколько памяти выделено:

journalctl -e -u ollama

Типичные причины: не тот драйвер видеокарты, нехватка видеопамяти из-за большого контекста, переполненный диск в каталоге моделей. Временное включение подробного журнала - Environment="OLLAMA_DEBUG=1" в том же дополнении к юниту.

Полное удаление после установки скриптом, по официальной документации:

sudo systemctl disable --now ollama
sudo rm /etc/systemd/system/ollama.service
sudo rm -r $(which ollama | tr 'bin' 'lib')
sudo rm $(which ollama)
sudo userdel ollama
sudo groupdel ollama
sudo rm -r /usr/share/ollama

Последняя команда удаляет и все скачанные модели. Если перенесли их в свой каталог через OLLAMA_MODELS, удалите его отдельно.

Частые вопросы

Документация и источники

• Ollama on Linux, Ollama Docs, 2026
• Ollama FAQ, Ollama Docs, 2026
• Ollama model library, Ollama, 2026

Команды проверены на актуальных версиях дистрибутивов на момент обновления. Перед изменением системных настроек сделайте резервную копию.