🤖 Как я установил Ollama на Ubuntu 24.04 и начал обучать локальную LLM под свои задачи
В какой-то момент я понял, что хочу иметь свой личный ChatGPT прямо на ноутбуке — локальный, безопасный, работающий без интернета и полностью под моим контролем.
У меня обычная рабочая машина:
- Ubuntu 24.04.3 LTS (noble)
- x86_64
- AMD Radeon Vega (Cezanne)
А значит, классические CUDA-модели мне не подходят — NVIDIA нет, но я всё равно хотел нормальную LLM у себя локально.
Решение — Ollama, движок для запуска локальных LLM-моделей в один клик. Расскажу, как я его установил, какие модели поставил и как дальше можно обучать её под свои задачи.
🛠 Установка Ollama на Ubuntu 24.04
Установка максимально простая:
1. Скачиваем и запускаем установщик
Ollama автоматически поставит:
- бинарный движок,
- серверную часть,
- менеджер моделей.
После установки сервис сам стартует:
🧪 Проверка системы
Посмотрим базовую информацию:
Процессор:
Видеокарта:
❗ Это важно: Ollama умеет работать с AMD GPU только через ROCm, но Vega официально не поддержана. Значит — модель будет работать на CPU, без ускорения GPU.
Не проблема — современные модели на 3B–7B спокойно работают на CPU, если память позволяет.
🧩 Какую модель я поставил
Я начал с небольшой, но умной модели:
Почему именно она:
- 7B параметров — хорошо работает на CPU,
- низкие требования к RAM,
- отлично пишет код (Python/JS),
- хорошо но не “перегружено” отвечает,
- быстрые ответы даже без GPU.
Также попробовал:
🔹 Phi-3 Mini (3.8B)
Идеальна для ноутбуков. Очень низкое потребление, быстрые ответы.
🔹 Llama 3.1 8B
Чуть тяжелее, но значительно умнее. Для аналитики и разработки — отличный выбор.
🚀 Как запускать модель
Пример диалога:
Ollama запускает модель локально, изолированно, без отправки данных наружу.
🧠 Можно ли обучить модель под свои задачи?
Да! Ollama поддерживает дообучение (fine-tuning) и добавление собственного контекста (modelfile).
Есть 2 варианта:
1 Полноценное дообучение (сложный путь)
2 Обогащение модели своим знанием через Modelfile (быстрый путь)
📘 Вариант 1: Быстрое обучение через Modelfile
Ты создаёшь файл:
Modelfile
И запускаешь:
Теперь можно запускать:
Это уже «твоя личная LLM», настроенная под твой стиль задач.
🧬 Вариант 2: Настоящий Fine-Tuning (дообучение)
Ollama официально поддерживает fine-tuning для:
- Llama 3
- Mistral
- Phi-3
Процесс (упрощённо):
- Подготовить датасет в формате
2. Запустить fine-tuning:
3. Дождаться, пока обучится.
4.Запуск:
Этот метод позволяет обучить модель:
- документации своего проекта,
- структуре кода,
- стилю ответов,
- собственным API,
- внутренним правилам команды.
💻 Можно ли обучать на AMD Vega?
Да и нет.
- Полное GPU-обучение на Vega невозможо → ROCm не поддерживает архитектуру Cezanne.
- Но CPU-обучение работает.
- Маленькие датасеты для дообучения — реально.
- Небольшие модели (3B–4B) — обучатся нормально.
🔒 Почему локальная LLM — это круто
- работает без интернета,
- не отправляет код и данные третьим лицам,
- не стоит ни копейки,
- можно менять как угодно,
- можно обучать под свои проекты,
- приватная среда для всех экспериментов.
Я использую Ollama как локальный «рабочий ИИ», который знает мои проекты, умеет анализировать логи, писать тесты и разбирать архитектуру.
🧠 Итог
Я установил себе Ollama на Ubuntu 24.04 и протестировал несколько моделей. Несмотря на AMD GPU, всё работает стабильно на CPU, а небольшие модели дают отличную скорость.
Сейчас я:
- запускаю модели локально,
- использую их для разработки,
- постепенно обучаю их под свои задачи,
- экспериментирую с персональными AI-инструментами.
Если вы хотите свой ChatGPT на ноутбуке — попробуйте Ollama. Это реальный шаг в сторону локального, приватного и кастомного ИИ.
Опыт установки Ollama и запуска моделей на моей системе показал, что локальные LLM уже перешли в разряд практичных инструментов. Они не требуют мощных серверов, дорогих видеокарт и сложной инфраструктуры — достаточно ноутбука и желания экспериментировать.
Дальше — только развитие: обучение на собственных данных, кастомные Modelfile, интеграции с проектами. Возможности уже здесь, нужно просто начать ими пользоваться.
И самое удивительное — это проще, чем кажется. Стоит только один раз попробовать, и сложно вернуться к работе “как раньше”.