Локальная модель вместо облачного API: Ollama, LM Studio и Qwen в агенте

Большинство ИИ-агентов по умолчанию ходят в облачный API: каждый запрос уходит к провайдеру, и за это ты платишь по токенам. Но модель у агента можно поменять на локальную — и тогда она работает на твоём железе, бесплатно и приватно. Разберём, зачем это нужно и как подключить локальную модель через Ollama, LM Studio или напрямую.

Зачем менять облако на локальную модель

Три причины, по которым люди уходят с облачного API на локальный.

Первая — деньги. Облачный API считает токены, и на активной работе счёт набегает быстро. Локальная модель бесплатна, сколько бы ты её ни гонял. Вторая — приватность: код, файлы и переписка не уходят на чужие серверы. Третья — независимость: не нужен ни зарубежный аккаунт, ни карта, ни VPN, а работать можно даже офлайн.

Взамен ты жертвуешь частью мощности — топовая облачная модель на пике сильнее локальной. Но для большой доли задач локальной хватает с запасом, а разница в цене и приватности ощутимая.

Ollama, LM Studio и свой файл — в чём разница

Есть несколько способов держать локальную модель, и они дополняют друг друга.

Ollama — инструмент, который запускает модель и отдаёт её по локальному API. Удобно, когда ты уже с ним работаешь и хочешь, чтобы агент просто к нему подключился.

LM Studio — приложение с графическим интерфейсом и каталогом моделей; тоже умеет отдавать модель по API. Дружелюбнее к тем, кто не любит командную строку.

Свой .gguf — можно вообще обойтись без прослойки и загрузить файл модели прямо в агента. Про то, что такое GGUF и какую версию выбрать, есть отдельный разбор.

Как это работает в Доке

Дока поддерживает все три пути, и это её штатный режим, а не костыль.

Проще всего — встроенные модели: при первом запуске Дока сама скачивает подходящую под твоё железо, и она уже локальная. Хочешь конкретную модель — загрузи свой .gguf через менеджер моделей. А если у тебя уже поднят Ollama или LM Studio, подключи их во вкладке «API»: указываешь адрес локального сервера, и агент начинает ходить к нему вместо облака.

Какую модель выбрать

Зависит от задачи и железа. Для кода берут кодовые модели вроде Qwen Coder, для общих задач — универсальные, для приватных данных внутри компании — российские вроде GigaChat. А размер подбирают под память: чем её больше, тем крупнее и умнее модель ты потянешь.

Не только модель, но и агент вокруг неё

Стоит помнить, зачем всё это. Локальная модель сама по себе только отвечает текстом. Ценность появляется, когда вокруг неё есть агент, который даёт ей доступ к файлам и терминалу. Тогда ты получаешь не просто локальный чат, а локального исполнителя, который делает работу и при этом ничего не отправляет наружу.

Что важно

Локальную модель можно поставить в агента вместо облачного API — через Ollama, LM Studio или свой .gguf — и перестать платить за токены, не теряя приватности. Мощность чуть скромнее топового облака, зато бесплатно, без аккаунтов и офлайн. Скачать Доку можно бесплатно, все три способа поддерживаются.