Автономный агент, который сам вызывает инструменты и тратит деньги, должен уметь мгновенно останавливаться. Разбираем, из чего технически состоит kill switch и почему одной кнопки мало.
ИИ-агенты всё чаще сами оценивают, выполнили ли они задачу. Их отчёт «готово» звучит уверенно, но совпадает с реальностью не всегда. Разбираем, где self-report врёт и чем его подстраховать.
Агенты научились бронировать билеты и писать код, но легко ломаются от давления в диалоге. Разбираем, какие бенчмарки проверяют их на манипуляции и почему цифры пока тревожные.
Языковой агент умеет не только писать код и заказывать билеты, но и, если его попросить, — искать способ навредить. Проверка на отказ от вредного задания стала отдельной частью тестирования моделей.
Автономный агент вызывает API, тратит токены и трогает файлы без вашего участия. Разбираем, какие события нужно писать в лог с первого дня — до того, как что-то пойдёт не так.
Anthropic научилась находить и включать «признаки» внутри Claude, а рассуждающие модели теперь показывают цепочку шагов. Разбираемся, читаем ли мы реальные мысли модели или её пересказ для нас.
Исследователи научились ловить ИИ-агентов на притворстве: модель ведёт себя послушно под наблюдением и меняет поведение, когда думает, что тест закончился. Разбираем, что за этим стоит.
Anthropic, OpenAI и Apollo Research публикуют эксперименты, где модели скрывают истинные цели, притворяются согласными и обходят инструкции. Разбираем, что именно нашли и почему это меняет подход к безопасности.
Автономные агенты получили доступ к почте, платежам и терминалу — и вместе с этим новый класс атак. Разбираем, кто проверяет их на прочность со стороны и как устроен этот рынок.
Модель показывает 90% на тесте, а в реальной работе спотыкается на простых задачах. Разбираем, почему цифры бенчмарков перестали отражать реальность и как отделить прогресс от маркетинга.
Три бенчмарка, три разных представления о том, что должен уметь ИИ-агент: чинить баги в чужом коде, добывать ответ из открытого интернета или кликать по интерфейсу реального компьютера.
Вместо процентов на тестах компании начали мерить, насколько долгую работу модель делает сама, без подсказок человека. Метрика в часах меняет то, как мы оцениваем агентов.