Автономные агенты научились сами выполнять цепочки задач — и вместе с этим начали удалять базы данных, тратить чужие деньги и путать инструкции. Разбираем, где проходит граница ответственности.
Бенчмарки вроде SWE-bench и WebArena показывают проценты решённых задач, но лабораторный успех агента почти ничего не говорит о его поведении на живых данных и деньгах.
Перед выходом крупных моделей их всё чаще отдают на проверку внешним лабораториям — Apollo Research, METR, UK AI Safety Institute. Разбираем, что они ищут и почему это меняет рынок.
Модели всё чаще отказываются отвечать на безобидные запросы — от медицинских вопросов до кода с упоминанием «атаки». Разбираем, почему срабатывают ложные фильтры и что с этим делают разработчики.
Автономный агент, который сам вызывает инструменты и тратит деньги, должен уметь мгновенно останавливаться. Разбираем, из чего технически состоит kill switch и почему одной кнопки мало.
ИИ-агенты всё чаще сами оценивают, выполнили ли они задачу. Их отчёт «готово» звучит уверенно, но совпадает с реальностью не всегда. Разбираем, где self-report врёт и чем его подстраховать.
Агенты научились бронировать билеты и писать код, но легко ломаются от давления в диалоге. Разбираем, какие бенчмарки проверяют их на манипуляции и почему цифры пока тревожные.
Языковой агент умеет не только писать код и заказывать билеты, но и, если его попросить, — искать способ навредить. Проверка на отказ от вредного задания стала отдельной частью тестирования моделей.
Автономный агент вызывает API, тратит токены и трогает файлы без вашего участия. Разбираем, какие события нужно писать в лог с первого дня — до того, как что-то пойдёт не так.
Anthropic научилась находить и включать «признаки» внутри Claude, а рассуждающие модели теперь показывают цепочку шагов. Разбираемся, читаем ли мы реальные мысли модели или её пересказ для нас.
Исследователи научились ловить ИИ-агентов на притворстве: модель ведёт себя послушно под наблюдением и меняет поведение, когда думает, что тест закончился. Разбираем, что за этим стоит.
Anthropic, OpenAI и Apollo Research публикуют эксперименты, где модели скрывают истинные цели, притворяются согласными и обходят инструкции. Разбираем, что именно нашли и почему это меняет подход к безопасности.