Локальные LLM для бизнеса: когда нейросеть должна жить на вашем сервере

14 октября 2026 · 9 мин чтения

«В ChatGPT это отправлять нельзя» - фраза, на которой останавливается немало проектов с ИИ. Говорит её юрист, служба безопасности или собственник, и часто по делу: в запросах клиентские данные, договоры, медицинские записи, внутренняя переписка. Следом вопрос: а можно поставить нейросеть у себя, чтобы данные никуда не уходили?

Можно. Но у локальной модели своя цена: качество ниже облачных флагманов, железо дорогое, а обслуживать контур кто-то должен. Разберём, когда она нужна, что тянут открытые модели, во что это обходится в рублях и как совместить её с облаком.

Короткий ответ: локальная LLM нужна, когда данные нельзя передавать никакой внешней компании, а не только за рубеж. Если ограничение сводится к 152-ФЗ, часто хватает российской облачной модели с данными в РФ. Открытые модели на одной видеокарте хорошо справляются с типовыми задачами, но уступают флагманам в сложных рассуждениях. Аренда сервера с одной RTX 4090 в российском облаке - около 60 тыс. ₽ в месяц и выше, и при небольшом объёме запросов облачный API дешевле. Нередко лучший вариант - гибрид.

Когда облачный API действительно нельзя

Первое, что стоит выяснить: что именно запрещено. «Нельзя за рубеж» и «нельзя никуда наружу» - разные требования, и решения у них разные.

• Персональные данные и 152-ФЗ. Закон требует вести базы с персональными данными россиян на территории РФ и иметь основания для обработки. Это ограничение про страну и правила, а не обязательно про собственный сервер: российские модели в облаке на территории РФ закрывают вопрос локализации. Подробно - в разборе данных и 152-ФЗ при внедрении ИИ.
• Коммерческая тайна и договоры. Если в компании введён режим коммерческой тайны или договор с клиентом запрещает передавать его документы третьим лицам, облачный сервис - уже третье лицо, где бы он ни находился.
• Отраслевые тайны. Банковская, врачебная, адвокатская. Здесь к закону добавляются требования регуляторов и внутренние политики, и они нередко прямо запрещают внешние сервисы для таких данных.
• Политика безопасности компании. Бывает, что закон позволяет, а служба безопасности - нет, и с этим тоже приходится считаться.

Практический вывод: прежде чем покупать видеокарту, сформулируйте ограничение письменно и согласуйте с юристом. Если запрет только на зарубежные сервисы, рассмотрите российские модели - их сравнение по качеству и цене в статье GigaChat, YandexGPT или OpenAI.

Что реально тянут открытые модели на своём железе

Открытые модели - те, чьи веса можно скачать и запустить у себя. Самые известные семейства - Qwen, Llama, Mistral, Gemma, DeepSeek, gpt-oss. Веса публикуют и российские компании, в том числе Яндекс, Сбер и Т-Банк. Новые версии выходят каждые несколько месяцев, поэтому конкретное название важно меньше, чем проверка на ваших задачах.

Справляются уверенно

• Классификация и маршрутизация обращений: тема, срочность, отдел.
• Извлечение полей из документов: реквизиты из счёта, сроки и суммы из договора, данные из заявки - в таблицу или CRM.
• Краткие пересказы переписки и звонков. Распознавание речи тоже можно запустить у себя.
• Ответы по базе знаний, когда модель опирается на найденные фрагменты документов, а не на собственную память. Как подготовить для этого документы - в статье про базу знаний для ИИ.
• Поиск и замена персональных данных в тексте перед дальнейшей обработкой.

Справляются с оговорками

• Длинные документы целиком: объём текста за один запрос ограничен памятью видеокарты.
• Длинные тексты на хорошем русском: небольшие модели пишут по-русски заметно хуже флагманов.
• Многошаговые агентные сценарии с вызовом инструментов: работают, но ошибаются чаще и требуют больше проверок.

Пока лучше отдавать флагманам

Сложные рассуждения, тонкий юридический или финансовый анализ, нетиповой код. Разрыв с флагманами здесь заметен, и без проверки человеком результат использовать нельзя.

Дообучение на своих данных для ответов по документам нужно реже, чем кажется: обычно хватает поиска по базе знаний. Разница разобрана в статье RAG или дообучение.

Ориентир по железу - память видеокарты для моделей в 4-битном сжатии, так их обычно и запускают. Точная цифра зависит от модели, длины контекста и числа одновременных запросов.

Во что это обходится: сервер с GPU против API

У облака и своего сервера разная структура расходов. API оплачивается за объём текста: нет запросов - нет счёта. Сервер стоит одинаково при любой загрузке, плюс время инженера на обслуживание. Цифры ниже - ориентир по открытым прайсам на октябрь 2026, они меняются.

• Российский облачный API. У GigaChat по открытому тарифу Сбера для юрлиц - от 0,065 ₽ за 1000 токенов у младшей модели до 0,65 ₽ у старшей, с НДС. Токены - объём текста на входе и выходе.
• Аренда сервера с GPU в российском облаке. По открытому прайсу одного из GPU-провайдеров: сервер с одной RTX 4090 на 24 ГБ - около 60-105 тыс. ₽ в месяц в зависимости от процессора и памяти, с RTX 5090 на 32 ГБ - около 95-117 тыс. ₽, с A100 на 80 ГБ - около 150 тыс. ₽, с H100 - около 250 тыс. ₽.
• Свой сервер. Одна RTX 5090 на 32 ГБ по ценам одного из российских магазинов в октябре 2026 стоит 810-890 тыс. ₽ - примерно как 7-9 месяцев аренды сервера с такой картой. К карте добавляются остальной сервер, электричество, место и обслуживание.

Мини-расчёт на явных допущениях

Допустим, ИИ-ассистент поддержки отвечает на 500 обращений в день, и на каждое уходит около 3 000 токенов вместе с найденными фрагментами базы знаний. Это 1,5 млн токенов в день, около 45 млн в месяц. По тарифу старшей модели GigaChat (0,65 ₽ за 1000 токенов) - около 29 тыс. ₽ в месяц, по тарифу средней (0,5 ₽) - 22,5 тыс. ₽. Аренда сервера с одной RTX 4090 - около 60 тыс. ₽ в месяц в минимальной конфигурации, и это без часов инженера.

Точка, где аренда сравнивается с оплатой по тарифу старшей модели: 60 000 ₽ ÷ 0,65 ₽ × 1000 - около 92 млн токенов в месяц, или примерно 1 000 таких обращений в день. Ниже этого объёма облако дешевле в деньгах. Выше - свой сервер выигрывает по цене, но на одной карте на 24 ГБ работает модель слабее облачного флагмана, поэтому сравнивать нужно не только рубли, но и качество на ваших примерах.

И главная оговорка: если требование - данные не покидают контур, сравнение с API теряет смысл. Тогда выбор идёт между арендой выделенного сервера и своим железом. Учтите, что арендованный сервер логически ваш, но физически стоит у провайдера: одним службам безопасности этого достаточно, другим нет.

Гибридная схема: локальная модель плюс облако

Часто выгоднее не переносить всё к себе, а разделить работу. Локальная модель работает там, где лежат чувствительные данные, а сложную часть задачи решает облачная модель на обезличенном тексте.

1. Локальная модель и правила находят в тексте имена, телефоны, номера документов и заменяют их метками.
2. Обезличенный текст уходит в облачную модель на сложную часть: разбор, черновик ответа, анализ.
3. Ответ возвращается, и метки заменяются исходными данными уже на вашем сервере.
4. В журнал пишется, что именно уходило наружу.

Вторая разновидность гибрида - маршрутизация: запросы с персональными данными или документами под тайной обрабатываются локально, общие вопросы без чувствительных данных идут в облако. Слабое место обеих схем - само обезличивание: имя в необычной форме или адрес внутри фразы модель может пропустить. Поэтому нужны тесты на реальных текстах, а обезличивание снижает риск, но не всегда снимает требования закона.

Типовые грабли

• Ожидание качества флагмана. Прежде чем покупать железо, прогоните 30-50 реальных примеров через модели-кандидаты на арендованном сервере: с почасовой оплатой такая проверка обходится в несколько дней аренды, а не в покупку сервера.
• Обслуживание. Драйверы, сервер запуска моделей, мониторинг, резервные копии, обновления безопасности. У контура должен быть владелец: сотрудник или подрядчик с договором на поддержку.
• Обновления моделей. Локальная модель сама не обновляется. Это плюс - поведение стабильно - и минус: через год она отстанет. Каждая замена модели означает повторную проверку промптов и качества.
• Нагрузка. Одна карта обслуживает ограниченное число одновременных запросов. Если в пиковый час с ассистентом работает весь отдел, появится очередь. Нагрузку стоит измерить до запуска.
• Безопасность самого сервера. Популярный инструмент Ollama по умолчанию слушает только локальный адрес, но встроенной авторизации у его API нет: открыли порт наружу ради удобства - и моделью может пользоваться любой, кто его нашёл. Доступ - только через закрытую сеть или прокси с авторизацией. Общие правила - в статье про безопасность автоматизации.
• Лицензии. У открытых моделей они разные: часть разрешает коммерческое использование без оговорок, у части есть ограничения, и читать их нужно до выбора.

Итог

Локальная LLM - инструмент под конкретное требование к данным, а не способ сэкономить. Порядок такой: сформулировать, что именно запрещено; проверить, не решает ли задачу российское облако; если нет - прогнать свои примеры через открытые модели на арендованном сервере; посчитать стоимость вместе с обслуживанием; рассмотреть гибрид. Покупать железо имеет смысл последним шагом, когда понятны модель, нагрузка и владелец контура.

Такой контур под ключ собирается в рамках услуги RAG-агент по базе знаний компании: модель выбирается под требования к данным.

Не готовы обсуждать проект? Оцените выгоду сами: калькулятор ROI автоматизации - 1 минута, без контактов. Или заберите чек-лист «Что автоматизировать первым».