Сколько VRAM нужно для локальной нейросети: гайд по видеокартам и памяти
Сколько видеопамяти реально нужно для локальной модели на 7B, 14B и 30B, обязательна ли видеокарта и можно ли обойтись обычной оперативной памятью. Практический разбор без маркетинга.
Перед запуском локальной модели почти все упираются в один вопрос: а потянет ли моё железо и нужна ли вообще видеокарта. Ответ не такой страшный, как кажется в обсуждениях, где советуют покупать дорогие карты. Разберём по-честному: сколько памяти нужно под разные модели и когда без видеокарты вполне можно обойтись.
Главное, от чего всё зависит
Локальной модели важна не столько «мощность» железа, сколько память, в которую она помещается. Модель целиком загружается в память и там работает. Если помещается — работает; если нет — не запустится или будет мучительно тормозить.
Память бывает двух видов, и оба подходят. Видеопамять (VRAM) на видеокарте — быстрый вариант. Обычная оперативная память (RAM) — медленнее, но тоже рабочий. Об этом чуть ниже, а сначала цифры.
Сколько памяти под какую модель
Ориентиры для популярных размеров в удобной квантизации (про то, что такое квантизация и Q4_K_M, есть отдельный разбор). Цифры примерные — зависят от конкретной модели и версии:
| Размер модели | Нужно памяти (Q4_K_M) | На что хватает |
|---|---|---|
| ~7–8B | 6–8 ГБ | Рутина, чат, работа с документами |
| ~13–14B | 10–12 ГБ | Более сложные задачи, код |
| ~30B+ | 20 ГБ и выше | Близко к облачным, но нужно серьёзное железо |
Практический вывод: модель на 7–8B запускается почти на любом современном ноутбуке, а для 30B уже нужна мощная видеокарта или много оперативной памяти.
Нужна ли вообще видеокарта
Частый миф — что без дискретной видеокарты локальный ИИ не запустить. Это не так. Модель может считаться и на обычном процессоре, используя оперативную память. Разница в скорости: на видеокарте ответы приходят быстрее, на процессоре — медленнее, но работать можно.
Поэтому для начала не обязательно ничего покупать. Если у тебя 16 ГБ оперативной памяти, модель среднего размера пойдёт и без видеокарты — просто не мгновенно. Захочешь быстрее и крупнее — тогда уже смотришь в сторону видеокарты с достаточным объёмом VRAM.
Не спеши покупать железо «под ИИ». Сначала запусти локальную модель на том, что есть, и посмотри, устраивает ли скорость. Часто оказывается, что имеющегося ноутбука хватает для рутины, а апгрейд нужен только если захочется гонять большие модели быстро.
На что смотреть при выборе видеокарты
Если решил брать карту именно под локальные модели, главный параметр — объём видеопамяти, а не абстрактная игровая производительность. Модель должна помещаться в VRAM целиком, поэтому 12 ГБ памяти на карте полезнее для этой задачи, чем более быстрая, но с 8 ГБ. Чем больше VRAM, тем более крупную модель ты запустишь с комфортной скоростью.
Как это упрощает Дока
Чтобы не гадать вручную, Дока при первом запуске сама смотрит на твоё железо и подбирает подходящую модель — ту, что точно поместится. Она же определяет, считать на видеокарте или на процессоре. Так что стартовать можно, вообще не разбираясь в характеристиках: приложение подберёт разумный вариант, а дальше при желании переключишься на модель побольше.
Главное по железу
Для локальной нейросети важнее всего память, в которую она помещается: 6–8 ГБ под небольшую модель, 20+ под крупную. Видеокарта ускоряет, но не обязательна — на процессоре и оперативной памяти тоже работает, просто медленнее. Начни с того железа, что есть, а апгрейд планируй по факту. Скачать Доку можно бесплатно, модель она подберёт сама.