Сколько видеопамяти нужно для нейросети
Короткий ответ: для языковой модели, сжатой до 4 бит, нужно примерно 0,6–0,7 ГБ видеопамяти на каждый миллиард параметров плюс 1–2 ГБ запаса на контекст и служебные нужды. Модель на 8 миллиардов параметров (8B) — около 5 ГБ файла, видеокарты на 8 ГБ хватает.
Таблица
Числа примерные: точный размер зависит от модели и способа сжатия.
| Модель | Файл при 4 битах, примерно | Видеопамять, примерно |
|---|---|---|
| 1B–4B | 1–3 ГБ | от 4 ГБ |
| 7B–8B | 4,5–5 ГБ | от 8 ГБ |
| 12B–14B | 7,5–9 ГБ | от 12 ГБ |
| 27B–32B | 16–20 ГБ | от 24 ГБ |
| 70B | около 40 ГБ | 48 ГБ и больше: несколько видеокарт |
Как посчитать самому
Каждый параметр модели — число. Сколько оно занимает, зависит от точности хранения:
| Точность | Байт на параметр | Модель 8B, примерно |
|---|---|---|
| 16 бит (исходная) | 2 | 16 ГБ |
| 8 бит | 1 | 8 ГБ |
| 4 бита | около 0,6 | 5 ГБ |
У 4-битных вариантов вроде Q4_K_M часть весов хранится точнее, поэтому выходит чуть больше половины байта на параметр. Самый точный ориентир — размер файла модели: видеопамяти нужно столько же плюс запас.
Куда уходит запас
- Контекст. Модель держит в памяти весь текст разговора. Чем длиннее контекст в настройках, тем больше памяти: при контексте в десятки тысяч токенов он может занять несколько гигабайт.
- Служебная память программы и драйвера видеокарты.
- Рабочий стол. Если к видеокарте подключён монитор, часть памяти занята системой.
Если памяти не хватает
- Возьмите модель меньше или сжатую сильнее (например,
Q3вместоQ4) — качество при этом падает. - Уменьшите контекст в настройках программы.
- Модель, которая не поместилась целиком, программа делит между видеокартой и оперативной памятью. Работать будет, но медленнее — иногда в разы.
- Без видеокарты модель работает в оперативной памяти: её нужно больше размера файла модели, с запасом для системы.
Как узнать свою видеопамять
- NVIDIA — команда
nvidia-smiв терминале (в Windows — в PowerShell) показывает объём памяти и сколько занято. - Windows — Диспетчер задач, вкладка «Производительность», раздел видеокарты (графического процессора): нужна строка про выделенную память — это и есть видеопамять.
- Mac с процессором Apple — отдельной видеопамяти нет: модель использует общую память компьютера, поэтому считайте по её объёму, оставляя часть системе и программам.
А для картинок?
Генераторы картинок считают иначе: требования зависят от модели и размера картинки и указаны на странице модели. Как правило, старым небольшим моделям хватает меньше памяти, чем новым крупным.
Подробнее о размерах моделей и квантовании — в уроке Локальные модели.