Свой стек агентов вместо облака: что реально ставить у себя

Компании, которые год назад строили агентов поверх облачных API, всё чаще пробуют перенести их к себе. Причины прозаичны: счёт за токены растёт вместе с числом запросов, а прогонять клиентские данные и внутренние документы через чужой сервис соглашаются не все. Ответ — self-hosted стек: открытые модели, локальный движок инференса, оркестратор агентов и векторное хранилище на собственных серверах или в арендованном GPU-облаке. Собрать такой стек в 2024 году стало заметно проще, чем в 2023-м, но бесплатным он не становится — платёж просто перемещается из строки «API» в строку «инфраструктура и инженеры».

Из чего собирается стек

Self-hosted агент — это не одна программа, а несколько слоёв, каждый из которых можно заменить. Минимальный набор выглядит так.

• Модель. Открытые веса: семейства Llama от Meta*, Qwen от Alibaba, Mistral, Gemma от Google, DeepSeek. Лицензии у них разные — часть разрешает коммерческое использование почти без ограничений, часть вводит пороги по числу пользователей. Лицензию нужно читать до, а не после внедрения.
• Движок инференса. vLLM и Ollama для запуска, TGI (Text Generation Inference) от Hugging Face, llama.cpp для работы на слабом железе и CPU.
• Оркестратор агентов. LangGraph, LlamaIndex, CrewAI, Autogen — то, что связывает вызовы модели, инструменты и логику ветвления.
• Хранилище для RAG**. Векторные базы Qdrant, Weaviate, Milvus, pgvector как расширение PostgreSQL.

*Meta признана в России экстремистской организацией и запрещена; речь идёт только о модели с открытыми весами. **RAG — retrieval-augmented generation, подход, при котором модель перед ответом достаёт релевантные фрагменты из вашей базы и опирается на них, а не только на то, что запомнила при обучении.

Сколько это стоит на самом деле

Главная иллюзия self-hosted — что «своё бесплатно». Модель и софт действительно открыты, но железо, электричество и люди — нет. Для модели на 70 млрд параметров в приемлемом качестве нужна видеопамять, которую в одиночку не закрывает бытовая видеокарта: речь про профессиональные ускорители уровня A100 или H100 либо про несколько потребительских карт с распараллеливанием. Аренда такой машины в GPU-облаке стоит от нескольких сотен рублей в час и выше — конкретную ставку смотрите у провайдера на дату запроса, она сильно скачет.

Self-hosted выгоден не тем, кто делает сто запросов в день, а тем, кто делает миллион: экономика переворачивается только на объёме, когда фиксированная плата за железо становится дешевле переменной платы за токены.

Ниже — грубая логика выбора, без привязки к конкретным цифрам, потому что тарифы и облаков, и API меняются ежеквартально.

Self-hosted против облачного API

Разрыв в качестве между открытыми моделями и закрытыми флагманами реально сократился за последний год, но говорить, что открытая модель «догнала» проприетарную, без конкретного бенчмарка нельзя. Если для вас важны точные цифры — сверяйтесь с публичными таблицами вроде LMArena и техническими отчётами самих моделей, а не с маркетинговыми слайдами.

Кому это пригодится, а кому нет

Стоит присмотреться

• Компаниям с чувствительными данными. Медицина, финансы, юрдокументы, персональные данные клиентов — там, где отправка текста во внешний сервис создаёт регуляторный риск или прямо запрещена внутренними правилами.
• Продуктам с высоким и стабильным объёмом. Если агент обрабатывает потоки обращений или документов круглосуточно, фиксированная плата за железо обгоняет поштучную оплату токенов.
• Тем, кто хочет тонкой настройки. Дообучение* открытой модели под свой домен даёт контроль, который закрытый API не предоставляет.

*Дообучение (fine-tuning) — дополнительное обучение готовой модели на своих данных, чтобы она лучше работала в узкой задаче.

Не стоит связываться

• Стартапу на стадии проверки гипотезы. Пока непонятно, взлетит ли продукт, тратить недели на инфраструктуру — способ сжечь время. Облачный API даёт результат в тот же день.
• Командам без DevOps- и ML-компетенций. Self-hosted стек требует, чтобы кто-то следил за GPU, обновлениями и падениями. Без этого человека система тихо ломается в самый неподходящий момент.
• Задачам, где нужен только топовый reasoning. Если качество рассуждений на пределе критично, а объём небольшой — закрытые флагманы пока дают его проще.

Как подступиться, если решились

1. Возьмите одну реальную задачу и прогоните её сначала на облачном API — так вы получите планку качества, к которой стремиться.
2. Запустите открытую модель среднего размера через Ollama или vLLM на арендованной GPU-машине и сравните ответы с планкой.
3. Добавьте RAG поверх своей базы знаний — часто это даёт больше прироста, чем переход на модель побольше.
4. Оберните всё в оркестратор и подключите инструменты, только когда базовое качество вас устроит.
5. Посчитайте месячную стоимость железа против прогноза расходов на API при вашем объёме — и принимайте решение по цифрам, а не по идеологии.

Гибридный вариант тоже жив: дешёвые и частые запросы уходят на локальную модель, а редкие сложные — на внешний флагман. Так вы не платите за топовую модель там, где хватает открытой, и не остаётесь без сильного reasoning там, где он нужен.

Self-hosted стек агентов — это не победа над облаком, а другой профиль затрат и рисков. Он снимает зависимость от чужих цен и правил, но взамен требует людей, железа и постоянного внимания. Выбор между «своим» и «облачным» решается не модой, а вашим объёмом запросов, чувствительностью данных и наличием инженера, готового всё это поддерживать.