Как запустить нейросеть на своём компьютере

Справочник · Искусственный интеллект · 2 минуты чтения

Самый простой путь — программа Ollama: она бесплатная, с открытым кодом и работает в Windows, macOS и Linux. Три шага: установить программу, скачать модель, начать разговор.

Шаг 1. Проверьте компьютер

Видеокарта с видеопамятью от 8 ГБ — модели на 7–8 миллиардов параметров будут работать быстро.
Без видеокарты — тоже можно, но берите маленькую модель (1–4 миллиарда параметров) и оперативной памяти от 8 ГБ. Ответы будут печататься медленнее.
Место на диске — от нескольких гигабайт на каждую модель.

Сколько памяти нужно для модели нужного размера — в справке Сколько видеопамяти нужно для нейросети.

Шаг 2. Установите Ollama

В Windows и macOS скачайте установщик с официального сайта ollama.com и запустите его. В Linux — команда со страницы загрузки:

Bash

curl -fsSL https://ollama.com/install.sh | sh

Команда скачивает и сразу выполняет скрипт установки, а он ставит программу в систему с правами администратора. Запускайте такие команды только с официального сайта программы.

Шаг 3. Запустите модель

Откройте терминал (в Windows — PowerShell) и выполните:

Bash

ollama run llama3.2

При первом запуске модель скачается (эта — около 2 ГБ), потом появится приглашение: напишите вопрос и нажмите Enter. Выход — команда /bye. После загрузки модель работает и без интернета.

Другие модели — в каталоге на сайте Ollama: имя подставляется вместо llama3.2. Для русского языка лучше подходят модели покрупнее — если видеопамяти хватает.

Проверьте, что работает видеокарта

Bash

ollama ps

В столбце PROCESSOR должно быть 100% GPU. Если там есть доля CPU, модель не поместилась в видеопамять: возьмите модель поменьше. Если видеокарта не используется вовсе, обновите её драйвер с сайта производителя.

Подводные камни

Облачные модели. В каталоге Ollama есть модели с пометкой cloud — они работают не у вас, а на серверах Ollama. Для приватности выбирайте модели без этой пометки.
Порт службы. Ollama принимает подключения по адресу 127.0.0.1:11434 — только с этого компьютера. Не открывайте этот порт в сеть: у службы нет пароля.
Место на диске. Ненужную модель удаляет ollama rm имя-модели, список скачанных — ollama list.
Качество. Маленькие модели заметно слабее больших серверных: чаще ошибаются и хуже пишут по-русски. Проверяйте ответы так же, как ответы любого чат-бота.

Тем, кому нужно больше настроек, подойдёт llama.cpp — программа, которая запускает файлы моделей в формате GGUF. Общие шаги для неё и подробности о размерах моделей — в уроке Локальные модели.