Агенты выходят в физический мир: что показали VLA-модели

За последний год связка «большая языковая модель плюс робот» перестала быть демо-роликом и превратилась в отдельный класс систем — vision-language-action (VLA) модели. Google DeepMind в 2024 году показала Robotics Transformer 2 (RT-2), которая переносит знания из веб-данных в управление манипулятором, а в марте 2025-го — семейство Gemini Robotics, где модель Gemini напрямую выдаёт команды движения. Параллельно стартап Physical Intelligence выпустил модель π0 (pi-zero), а Figure и другие компании перевели гуманоидов на собственные end-to-end системы. Общий сдвиг один: агент, который раньше жил в браузере, теперь получает руки.

Что именно изменилось

Классический промышленный робот работает по жёстко запрограммированной траектории: он не понимает, что перед ним, и падение детали на пару сантиметров в сторону ломает весь цикл. VLA-подход убирает этот разрыв. Модель получает на вход картинку с камеры и текстовую инструкцию вроде «убери красный кубик в левый ящик», а на выходе выдаёт последовательность действий — углы суставов, положение схвата, силу.

Ключевое слово — обобщение¹. RT-2 в статье DeepMind показывала способность выполнять команды с объектами, которых не было в обучающем наборе для робота, потому что знание о том, что такое «банан» или «динозаврик», модель вынесла из веб-данных. Это принципиально отличается от предыдущего поколения, где каждый новый предмет требовал отдельного сбора демонстраций.

Робот перестаёт быть механизмом с программой и становится агентом с телом: он рассуждает о задаче теми же весами, которыми модель рассуждает о тексте и картинках.

Как это устроено внутри

Упрощённо конвейер выглядит так:

1. Камеры и датчики дают модели поток изображений и данных о положении суставов.
2. Мультимодальный трансформер обрабатывает картинку вместе с текстовой инструкцией — тем же механизмом, которым чат-модель обрабатывает промпт.
3. Модель предсказывает действие: либо как токены (RT-2 кодирует движения как текст), либо непрерывным потоком через отдельную «action head».
4. Контроллер робота исполняет команду, новый кадр возвращается в модель — цикл повторяется десятки раз в секунду.

Physical Intelligence в π0 добавила поверх языковой модели диффузионный компонент для генерации плавных движений — подход, который они называют flow matching. Это позволяет модели выдавать не дискретные шаги, а непрерывные траектории, что важно для тонкой моторики вроде складывания белья.

Сравнение подходов

Ниже — то, что известно из официальных публикаций компаний. Единого стандартного бенчмарка для роботов, сопоставимого с MMLU для текста, пока нет, поэтому прямое сравнение «в цифрах» некорректно — сравниваю по архитектуре и доступности.

Обратите внимание: почти всё это либо исследовательские проекты, либо системы для партнёров и внутреннего использования. Купить робота с такой моделью в магазине бытовой техники сегодня нельзя.

Кому это пригодится и кому нет

Где это уже осмысленно

• Складская и производственная логистика. Сортировка, перекладка, работа с неотсортированным потоком товаров — там, где раньше нужна была жёсткая фиксация детали, VLA-модель терпима к разбросу.
• Исследовательские лаборатории. Быстрая проверка гипотез о переносе знаний из веба в моторику — сейчас это главный полигон.
• Компании, готовые к пилоту с вендором. Если у вас есть инженерная команда и вы согласны на долгую отладку под свою среду.

Где ещё рано

• Дом. Гуманоид, который надёжно моет посуду в незнакомой кухне без присмотра, — пока демо, а не продукт. Вопросы безопасности рядом с человеком не решены на массовом уровне.
• Задачи, где цена ошибки высока. Медицина, работа с людьми, критическая инфраструктура: end-to-end модель непредсказуема в редких ситуациях, и объяснить её решение сложно.
• Малый бизнес без бюджета на интеграцию. Стоимость самого гуманоида плюс месяцы настройки делают порог входа высоким.

Что мешает

Три ограничения повторяются во всех публикациях. Первое — данные: демонстраций реальных движений на порядки меньше, чем текста в интернете, и собирать их дорого. Второе — надёжность: модель, ошибающаяся в 2% случаев в чате, в физическом мире эти 2% превращает в разбитую посуду или травму. Третье — скорость: цикл «увидел — подумал — подвигал» должен укладываться в доли секунды, иначе робот движется рывками.

Поэтому громкие ролики с гуманоидами стоит смотреть с поправкой: почти всегда это отобранные дубли в подготовленной среде. Это не обесценивает прогресс, но отделяет его от готового продукта.

¹ Обобщение (generalization) — способность модели правильно работать с объектами и ситуациями, которых не было в обучающих данных. Для роботов это ключевая метрика: именно она отличает гибкую систему от запрограммированного автомата.