Локальные LLM для агентов: догоняют ли российские модели

Спрос на локальные языковые модели вырос из простой причины: данные не хотят отправлять во внешние API. Юристы, банки, разработчики внутренних сервисов ставят модель на свой сервер или в закрытый контур и строят поверх неё агента¹ — систему, которая не просто отвечает текстом, а сама вызывает инструменты: ходит в базу, дёргает функции, запускает поиск. И тут выясняется, что бенчмарк на одиночный вопрос и работа внутри агента — разные виды спорта.

Разберём, из чего сегодня реально собрать локального агента на русском языке: закрытые российские модели с локальным развёртыванием, открытые веса, которые можно скачать и запустить самому, и чем всё это отличается от связки с GPT-4o или Claude через облако.

Что вообще значит «локальная модель для агента»

Локальная в этом контексте — не всегда «на вашем ноутбуке». Чаще это модель, которая работает в вашем контуре: на арендованном GPU-сервере, в закрытом облаке провайдера или на своём железе. Ключевое — данные не уходят к вендору за пределы согласованного периметра.

Для агента к модели предъявляют требования жёстче, чем к чат-боту:

• Function calling — модель должна возвращать структурированный вызов инструмента (имя функции и аргументы в JSON), а не текстовое описание того, что она бы вызвала.
• Стабильность формата — если раз в двадцать вызовов JSON ломается, агент падает, и пользователь этого не прощает.
• Длинное контекстное окно² — история диалога, результаты предыдущих вызовов и системный промпт быстро съедают тысячи токенов.
• Следование инструкциям на нескольких шагах — агент часто делает 3–5 итераций подряд, и модель не должна «забывать» исходную задачу к третьему шагу.

Одиночный ответ модель может выдать блестяще, а на цепочке из пяти вызовов начать галлюцинировать имена функций. Именно это отличает пригодную для агента модель от просто хорошего собеседника.

Что доступно на русском рынке

Закрытые российские: GigaChat и YandexGPT

GigaChat (Сбер) и YandexGPT (Яндекс) — две основные закрытые линейки. Обе доступны через API и обе развиваются в сторону агентных сценариев: заявлена поддержка вызова функций и работы с инструментами. Полностью локального развёртывания в вашем контуре в общем случае они не дают — это облачный сервис вендора, хотя для крупных клиентов возможны отдельные схемы размещения. Актуальные версии, лимиты контекста и условия сверяйте на страницах разработчиков, они меняются быстро.

Открытые веса, которые можно скачать

Настоящая «локальность» — это открытые модели, которые вы разворачиваете сами. На русском языке разумно себя ведут:

• Qwen (Alibaba) — линейка с сильной поддержкой function calling и хорошим русским для азиатской модели.
• Llama (Meta*) — де-факто стандарт открытых весов; русский слабее английского, но дообучаемость выручает. *Meta признана в России экстремистской организацией, её деятельность запрещена.
• Русскоязычные дообучки — сообщество выпускает варианты открытых базовых моделей, дополнительно обученные на русском корпусе. Качество сильно разнится от версии к версии, проверяйте на своей задаче.

Сравнение подходов

Точные бенчмарки агентной надёжности для русского языка публикуются редко и часто на закрытых наборах, поэтому единого числа «кто на сколько процентов лучше» дать честно нельзя. Проверять приходится на своей задаче.

Модель, которая на одиночном вопросе выглядит на голову выше конкурента, в агенте с пятью инструментами может проиграть той, что стабильнее держит JSON. Для агента предсказуемость важнее пиковой сообразительности.

Где локальные модели реально проседают

Главная слабость открытых моделей поменьше — не знание фактов, а дисциплина формата на длинной цепочке. Типичные сбои:

• лишний текст вокруг JSON, из-за которого парсер агента падает;
• выдуманное имя инструмента, которого нет в списке доступных;
• потеря исходной цели после нескольких промежуточных вызовов;
• деградация на длинном контексте — модель хуже «видит» начало диалога, когда окно почти заполнено.

Часть этих проблем лечится не сменой модели, а обвязкой: строгой схемой ответа, валидацией JSON с повторным запросом при ошибке, ограничением числа доступных инструментов на каждом шаге. Хорошая инженерия агента вытягивает среднюю модель заметно выше её «голого» уровня.

Кому это пригодится и кому нет

Локальные открытые веса подойдут, если:

• вы обрабатываете персональные данные или коммерческую тайну и не можете отправлять их во внешнее облако;
• у вас есть GPU-инфраструктура или бюджет на её аренду и инженер, который умеет её обслуживать;
• задача повторяемая и её стоит один раз хорошо настроить: обработка обращений, извлечение данных из документов, внутренний ассистент.

Российские закрытые API подойдут, если:

• нужен сильный русский и низкий порог входа без своего железа;
• важна прямая оплата из РФ и договор с локальным юрлицом;
• периметр данных допускает облако вендора.

Локальная модель — плохой выбор, если:

• у вас разовый прототип и нет времени поднимать инфраструктуру — быстрее взять готовый API;
• агенту нужны сложные многошаговые рассуждения на уровне топовых закрытых моделей, а бюджета на большое железо нет;
• объём запросов маленький — тогда содержание своего GPU дороже, чем оплата по токенам.

Как выбирать под свою задачу

1. Соберите 20–30 реальных сценариев вашего агента с ожидаемыми вызовами инструментов.
2. Прогоните на них каждую модель-кандидат и считайте не «правильность ответа», а долю корректных структурированных вызовов.
3. Проверьте поведение на длинной истории — заполните контекст на 70–80 процентов и посмотрите, держится ли формат.
4. Оцените стоимость: для открытых весов — аренда GPU в месяц против оплаты токенов у API при вашем объёме.
5. Заложите обвязку: валидацию JSON, ретраи, ограничение инструментов. Без неё сравнение моделей необъективно.

¹ Агент — программа на базе LLM, которая не только генерирует текст, но и сама решает, какие инструменты вызвать (поиск, базу, функцию), получает результат и продолжает работу до достижения цели.

² Контекстное окно — максимальный объём текста в токенах, который модель удерживает за один запрос: системный промпт, история диалога и результаты вызовов вместе. Переполнение окна ведёт к потере ранних сообщений.