Сервер для локальной LLM: нужен ли отдельный компьютер под модель
Что такое LLM-сервер, когда отдельная машина под модель оправдана, сколько это стоит на деле и почему для одного пользователя обычный компьютер обычно выигрывает.
Идея выглядит логично: собрать отдельную машину с видеокартой, поставить туда модель и ходить на неё с ноутбука. Ноутбук не греется, модель всегда доступна, железо используется по назначению.
Иногда так и надо делать. Но чаще выясняется, что задача решается без отдельного компьютера, а понимаешь это уже после покупки.
Что вообще называют LLM-сервером
Термин используют в двух разных смыслах, и путаница начинается здесь.
Программа-сервер. Процесс, который держит модель в памяти и отвечает на запросы по HTTP:
llama-server, Ollama, vLLM. Запускается на любой машине, включая ту, за которой ты сидишь.
Разбор одного из них есть в статье про llama-server.
Отдельная физическая машина под эту программу. Системный блок с видеокартой, который стоит в углу и работает круглосуточно.
Когда спрашивают «нужен ли сервер для локальной LLM», обычно имеют в виду второе, а находят в поиске статьи про первое. Отвечать надо на второй вопрос, и ответ зависит не от модели, а от того, как ты работаешь.
Когда отдельная машина оправдана
Первый случай очевидный: моделью пользуется несколько человек. Один сервер на команду — ровно та ситуация, под которую сделаны и vLLM, и многопользовательские интерфейсы вроде Open WebUI. Держать по видеокарте на каждом рабочем месте дороже.
Второй: задачи идут пачками и долго. Обработка очереди документов, регулярные ночные прогоны, что-то, что не должно занимать рабочий компьютер.
Третий: у тебя ноутбук, а модель нужна большая. Здесь отдельная машина — единственный вариант, потому что нужную видеопамять в ноутбук не поставить.
И четвёртый, самый приятный: железо уже есть. Старый системник с приличной картой, который всё равно простаивает, — лучший повод не покупать ничего.
Когда не оправдана
Если пользователь один и он же сидит за машиной с видеокартой, отдельный сервер добавляет проблем, не решая ни одной.
Появляется сеть между тобой и моделью: адреса, порты, файрвол, «почему не подключается».
Появляется вторая система, которую надо обновлять. Появляется вопрос доступа снаружи, а вместе
с ним — риск открыть модель в интернет. Про то, чем опасен --host 0.0.0.0 без пароля,
написано отдельно.
И главное: скорость ответа не вырастет. Она определяется видеокартой и моделью, а не тем, в каком корпусе всё это стоит.
Прежде чем собирать сервер, посчитай, сколько часов в сутки модель реально работает. Если это двадцать минут в день, отдельная машина под задачу — это покупка железа ради того, чтобы оно простаивало в другом месте.
На чём экономить нельзя
Если решил собирать, приоритеты такие.
Видеопамять важнее скорости чипа, и это главное. Модель либо помещается в память целиком, либо начинает частично считаться на процессоре, а тогда падение скорости измеряется разами, а не процентами. Более старая карта с большим объёмом почти всегда лучше свежей с маленьким; подробный разбор — в статье про видеокарту для локальных нейросетей.
Оперативной памяти нужен запас, особенно под модели, которые в видеопамять целиком не влезают. И не экономь на блоке питания с охлаждением: машина под нагрузкой круглосуточно — совсем не тот режим, что игровой компьютер по вечерам.
На чём можно экономить: процессор (при работе на видеокарте он почти не участвует), корпус, всё остальное.
Промежуточный вариант, который часто лучше
Прежде чем покупать железо, стоит честно посмотреть на структуру своих задач. Обычно она такая: девяносто процентов — обычная работа, где хватает небольшой модели, и десять процентов — что-то тяжёлое, где не хватает никакой домашней карты.
Под первые девяносто процентов сервер не нужен: они идут на том компьютере, за которым ты работаешь. Под оставшиеся десять сервер тоже не поможет — там нужна модель, которая не влезет и в него. Логичнее закрывать их точечным подключением облачной модели по своему ключу.
Дока собрана под эту схему. Локальная модель ставится из интерфейса и подбирается под имеющееся железо, облачную можно подключить отдельно на тяжёлые задачи, а работа идёт с файлами и терминалом того компьютера, за которым ты сидишь, — то есть без сети между тобой и результатом. Расписания при этом никуда не деваются: регулярные задачи запускаются на своей же машине.
Короткий ответ
Отдельный сервер под локальную модель нужен, если пользователей несколько, задачи идут непрерывно или модель принципиально не помещается в твою машину. Во всех остальных случаях это покупка железа вместо решения задачи.
Проверить дёшево: поставь агента на текущий компьютер и поработай неделю. Станет видно, чего именно не хватает — а иногда выясняется, что не хватало не мощности, а того, кто доведёт задачу до конца.