Формат GGUF простыми словами: что за файлы и какую квантизацию выбрать

Если ты хоть раз скачивал локальную модель, то видел файлы с расширением .gguf и пометками вроде Q4_K_M или Q8_0 в названии. Выглядит как шифр, а на деле за этим простая логика. Разберём, что это за формат, что значат все эти буквы с цифрами и какой вариант брать под свою машину.

Что такое GGUF

GGUF — это формат файла, в котором хранится локальная языковая модель. Одна модель — один файл, который ты скачиваешь и запускаешь у себя. Формат придумали для того, чтобы модели удобно было гонять на обычном железе, а не только на серверных видеокартах.

Главное, что стоит понять: .gguf — это уже готовая к запуску, ужатая версия модели. «Ужатая» — ключевое слово, и вот тут начинается самое интересное.

Зачем нужна квантизация

Модель в оригинале весит очень много и требует дорогого железа. Квантизация — это способ уменьшить её, огрубив числа внутри. Грубо говоря, вместо очень точных значений модель хранит чуть более округлённые. Файл становится в разы меньше и запускается на обычном ноутбуке, а качество падает не так сильно, как можно было бы подумать.

Именно поэтому один и тот же GGUF-файл модели существует в нескольких вариантах: от сильно ужатых и лёгких до почти нетронутых и тяжёлых. Ты выбираешь баланс между размером и качеством под своё железо.

Что значат Q4_K_M, Q5, Q8 и прочие

Теперь расшифруем метки. Цифра после Q — это глубина сжатия: чем она меньше, тем сильнее ужата модель и тем меньше файл.

• Q8 — почти оригинал. Самый тяжёлый вариант, качество максимальное, но и памяти нужно много.
• Q5 — золотая середина ближе к качеству. Заметно легче Q8, разница в ответах небольшая.
• Q4 (например Q4_K_M) — самый популярный выбор. Хороший баланс: модель уже ощутимо лёгкая, а качество для большинства задач более чем достойное.
• Ниже Q4 (Q3, Q2) — совсем лёгкие, но качество начинает заметно проседать; брать стоит только если иначе модель не помещается.

Буквы K_M в Q4_K_M — это разновидность метода сжатия; для практики достаточно знать, что K_M это современный сбалансированный вариант, его и берут по умолчанию.

А что за «instruct» в названии

Ещё одна частая пометка. Instruct (или chat) в имени модели означает, что она дообучена выполнять инструкции и вести диалог, — то есть отвечать на твои запросы, а не просто продолжать текст. Для чата и работы нужна именно такая версия; вариант без instruct — это базовая модель, она ведёт себя иначе.

Как запустить GGUF-модель

Скачать .gguf можно с Hugging Face — крупнейшего каталога моделей. Дальше файл нужно чем-то открыть, и вот тут выбор способа определяет всё удобство.

Можно поднять модель через инструменты для разработчиков с командной строкой. А можно — как обычное приложение: Дока умеет загружать свой .gguf-файл через менеджер моделей, без терминала. Выбрал файл, активировал — модель работает локально.

Если возиться с выбором файла не хочется, у Доки есть встроенные модели, которые ставятся автоматически под твоё железо, — а .gguf подключишь отдельно, когда захочешь конкретную модель. Про запуск локальной нейросети в целом есть отдельный разбор.

Как понять, какой размер потянет твой компьютер

Простое правило: модель работает в памяти, поэтому смотри на объём файла и свою RAM (или видеопамять, если считаешь на видеокарте). Модель должна помещаться с запасом. Если Q8-версия не влезает — спускайся к Q5 или Q4_K_M, файл станет меньше. Про то, сколько памяти нужно под разные модели, есть отдельный гайд.

Главная мысль

GGUF — это формат готовых к запуску локальных моделей, а метки вроде Q4_K_M всего лишь говорят, насколько модель ужата. Больше цифра — выше качество и вес, меньше — легче и проще для железа. Для старта бери Q4_K_M и версию с instruct в названии. Запустить всё это можно без командной строки — скачай Доку и загрузи свой файл.