Devin от Cognition: год спустя — от хайпа к рабочему инструменту

Что произошло

В марте 2024 года стартап Cognition AI показал Devin — систему, которую назвал «первым в мире автономным ИИ-инженером». В демороликах Devin получал задачу текстом, сам планировал шаги, писал код, запускал его в собственном окружении с браузером и терминалом, находил и чинил баги. Реакция была резкой: одни говорили о конце профессии джуниор-разработчика, другие — что показанные сценарии подобраны и приукрашены.

За прошедшее время Devin прошёл путь, типичный для громких ИИ-запусков: от закрытого списка ожидания и цены в сотни долларов до платного доступа с более низким порогом входа и интеграций с рабочими инструментами команд. Отношение рынка сместилось с двух крайностей — «это заменит инженеров» и «это фейк» — к более скучной, но полезной позиции: где именно автономный агент экономит время, а где его нельзя оставлять без присмотра.

Почему исходное демо вызвало спор

Ключевая претензия критиков к первому показу — не то, что Devin ничего не умеет, а то, что маркетинг обгонял реальные возможности. Разбор одного из демо (задача с фриланс-биржи Upwork) показал, что агент решал не совсем ту задачу, что была в ролике, и часть «успеха» держалась на удачном монтаже. Cognition на это отдельно не отвечала громкими опровержениями, но продукт с тех пор двигался в сторону измеримой пользы, а не эффектных роликов.

Что такое Devin по сути

Devin — это не модель, а агент¹ поверх больших языковых моделей. Он получает от модели способность рассуждать и писать код, а сам добавляет то, чего у чистой модели нет: собственную среду с редактором, терминалом и браузером, память о проекте, умение разбивать задачу на шаги и выполнять их последовательно, откатываясь при ошибках.

Практически это выглядит так: вы ставите задачу в чате или в тикете, Devin создаёт ветку в репозитории, вносит изменения, гоняет тесты и открывает pull request, который ревьюит человек. Идея в том, чтобы отдавать агенту рутину — понятные задачи с чётким критерием готовности — и не трогать его на архитектурных решениях.

Год назад спор шёл о том, заменит ли Devin инженера. Сейчас вопрос честнее: сколько тикетов из бэклога можно безопасно отдать агенту, чтобы ревью не съело всю сэкономленную выгоду.

Как изменился доступ и цена

На старте Devin был доступен по списку ожидания и корпоративным договорённостям, а стоимость измерялась сотнями долларов в месяц, что отсекало индивидуальных разработчиков. Позже Cognition ввела более доступный тариф с оплатой по потреблению (условные вычислительные единицы за выполненную работу агента) и стартовым порогом заметно ниже прежнего.

Конкретные цифры тарифов у Cognition менялись не раз, поэтому актуальную стоимость и текущую модель оплаты сверяйте на официальной странице продукта — фиксировать её здесь как вечную истину было бы неверно.

Devin против других способов писать код с ИИ

Devin не единственный на рынке. С ним конкурируют как ИИ-помощники в редакторе, так и другие автономные агенты. Разница между ними — в степени самостоятельности и в том, кто держит руль.

Смысл таблицы не в том, чтобы назвать победителя — единого замера «лучшести» здесь нет. Разница в модели работы: помощник в редакторе усиливает того, кто уже сидит и печатает; автономный агент вроде Devin рассчитан на то, чтобы забрать задачу целиком и вернуть готовый результат на проверку.

О бенчмарках честно

Прогресс агентов часто меряют на SWE-bench — наборе реальных задач из открытых репозиториев, где агент должен внести исправление, проходящее тесты. Цифры на этом тесте у ведущих систем за год заметно выросли. Но конкретный процент Devin приводить без ссылки на первоисточник неправильно: результаты зависят от версии агента, версии модели под ним и подмножества задач. Если для вас важны цифры — смотрите публикации на самом бенчмарке и в блоге Cognition, а не пересказы.

Кому это пригодится и кому нет

Devin имеет смысл там, где есть поток однотипных, понятных задач и налаженное ревью.

• Подойдёт: команде с большим бэклогом мелких багов и рутинных правок — обновить зависимости, добавить тест, поправить типовую ошибку в нескольких местах.
• Подойдёт: техлиду, который готов тратить время на проверку pull request'ов от агента вместо того, чтобы отвлекать инженеров на скучное.
• Подойдёт: проекту с хорошим тестовым покрытием — тогда у агента есть чёткий критерий «сделано», и меньше шансов протащить тихую регрессию.
• Спорно: одиночному разработчику на маленьком проекте — часто быстрее написать самому в редакторе с ИИ-помощником, чем формулировать задачу агенту и потом всё перепроверять.
• Не подойдёт: задачам с расплывчатыми требованиями и архитектурным решениям, где цена ошибки высока, а критерий готовности нельзя выразить тестом.
• Не подойдёт: закрытым контурам, где код не может уходить во внешнее облако без согласований по безопасности.

Что изменилось в отношении рынка

Главный сдвиг — от разговора о замене людей к разговору о цене владения. Автономный агент экономит время на написании кода, но перекладывает нагрузку на ревью: кто-то всё равно читает и проверяет то, что он сделал. Если поток задач подобран удачно, экономия реальна. Если агенту дают неоднозначные задачи, время уходит на разбор его ошибок, и выгода тает.

Второй сдвиг — рынок перестал воспринимать «автономного ИИ-инженера» как бинарную вещь, которая либо работает, либо нет. Появилась привычка мерить долю задач, которые агент закрывает без вмешательства, и держать человека на ревью по умолчанию. В этом смысле Devin за год стал не сенсацией, а одним из инструментов в наборе, у которого есть свои сценарии и свои границы.

¹ Агент — программа поверх языковой модели, которая не просто отвечает текстом, а сама выполняет действия: планирует шаги, запускает код и инструменты, читает результат и корректирует поведение, пока не достигнет цели или не упрётся в ошибку.