ИИ-ассистенты вредят программистам вместо того, чтобы помогать. Они замедляют разработку почти на 20%. Опрос

Помощники или вредители

Виртуальные помощники программиста, расплодившиеся за последние четыре года, могут оказывать разработчикам ПО медвежью услугу. Исследование независимой аналитической команды METR показало, что ИИ-программисты снижают производительность своих живых коллег, притом в среднем на 19%.

METR провела рандомизированное контролируемое исследование, набрав 16 опытных разработчиков ПО с открытым исходным кодом и поручив им выполнить 246 реальных задач в крупных репозиториях кода, в которые они регулярно вносят свой вклад. В описании к примерно половине задач из этого списка стояло примечание «Разрешено использование ИИ», что позволяло разработчикам обращаться за помощью к виртуальным ассистентам при их выполнении. В других задачах применение таких инструментов прямо запрещалось

Таких ассистентов сейчас действительно очень много – к самым известным относятся Copilot корпорации Microsoft, а также Cursor. В России тоже есть подобные сервисы, например GigaCode за авторством Сбербанка. В основе таких проектов всегда лежит нейросеть, а то и не одна. Многие проекты задействуют нейронки от OpenAI, Google DeepMind, Anthropic и xAI.

Неожиданные результаты

Участники эксперимента с самого начала были крайне оптимистично настроены по отношению к тому, как на самом деле ИИ-помощники повлияют на процесс программирования. Между тем, полученными входе опыта результаты оказались гораздо хуже спрогнозированных, притом намного.

Программисты не сомневались, что нейросети сократят время выполнения поставленных перед ними задач (с соответствующей пометкой) в среднем на 24%, но этого и близко не произошло. Судя по всему, даже авторы исследования не ожидали, что получат настолько шокирующие результаты, идущие вразрез со всем тем, что вещают авторы ИИ-ассистентов, привлекая пользователей и продвигая платные версии своих нейросетей.

«Удивительно, но мы обнаружили, что использование ИИ фактически увеличивает время выполнения на 19% – разработчики работают медленнее, когда используют инструменты ИИ», – заявили исследователи.

Когда опыт бесполезен

Как пишет TechCrunch, среди участников эксперимента больше половины имели опыт работы с Cursor – таковых набралось 56%. Авторы проекта предлагали подопытным использовать именно его. Исследователи отмечают, что разработчики прошли обучение работе с Cursor в рамках подготовки к исследованию.

При этом почти все программисты (94% испытуемых) хотя бы раз пользовались нейронками при выполнении работы.

Результаты исследования наглядно демонстрируют, что даже отточенное умение делать правильные запросы нейросетям никак не ускоряет процесс создания программы. Это означает, в том числе, что так называемый «вайбкодинг» вовсе не повышает темпы разработки.

Зачем работать, когда можно не работать

Вайбкодинг – новейший термин. Так называется процесс программирования, в котором весь код за автора пишет нейросеть, а сам разработчик лишь вводит новые запросы, притом на обычном, естественном языке, полируя код.

Такое «программирование» позволяет разработчикам зарабатывать, фактически не работая. Как сообщал CNews, вайбкодинг стал набирать популярность сравнительно недавно, в начале 2025 г.

Исследователи METR указывают на несколько потенциальных причин, по которым ИИ замедляет работу разработчиков, а не ускоряет ее. В числе прочего, они уверены, что написание корректных промптов (запросов) к нейросети и ожидание ответа в совокупности отнимает больше времени, нежели написание кода вручную.

Кроме того, ИИ, как правило, испытывает трудности в больших и сложных кодовых базах. Они как раз и использовалось в исследовании.

Все не так однозначно

Авторы исследования стараются не делать каких-либо однозначных выводов из этих результатов, прямо отмечая, что, по их мнению, системы ИИ в настоящее время не способны ускорить работу многих или большинства разработчиков программного обеспечения. Вероятно, конкретные выводы они не делают потому, что подобные исследования проводились и раньше, и многие из них показывали противоположные результаты, отмечает TechCrunch. В них говорилось как раз, что инструменты программирования на основе ИИ действительно ускоряют рабочие процессы инженеров-программистов.

В METR также отмечают, что в последние годы ИИ добился значительного прогресса, и что они не ожидают аналогичных результатов даже через три месяца. При этом не стоит забывать, что написанный ИИ код крайне далек от идеала. Другие исследования показали, что современные инструменты программирования на основе нейросетей могут допускать ошибки и, в некоторых случаях, создавать «дыры» безопасности.

Ольга Михеева, Product Owner ELMA365 Service Desk, сообщила CNews: «На мой взгляд, использование ИИ-ассистентов программистами – очень спорный момент. Если посмотреть с одной стороны, то они могут помочь быстро разобраться в логике кода без привлечения разработчиков или повторить ранее написанный код, то с другой стороны – остаются открытые вопросы по безопасности корпоративных данных и потенциальным ошибкам джун-разработчиков. Джунов ИИ может запутать и будет только мешать в работе, так как им не хватит опыта отличить верный ответ от ошибочного. В любом случае, скорость разработки будет зависеть от уровня разработчика, используемых им инструментов и наличия критического мышления при использовании ИИ для помощи в разработке. На практике многие разработчики используют ИИ только в качестве ассистентов, из которых можно почерпнуть новые идеи и бест-практис. Так как на текущий момент уровень доверия к таким инструментам недостаточно высок. Если говорить о качественном взаимодействии с ИИ, то корректный промпт определенно имеет большое значение и является одним из ключевых навыков работы с ИИ. Если тема для запроса достаточно широко раскрыта, на неё есть множество источников знаний, а пользователь уверенно работает с ИИ, то скорость взаимодействия и качество полученных ответов будут очень высокими. При этом сложно однозначно утверждать, что на нынешнем этапе развития ИИ медлительны и делают ошибки, потому что ИИ бывают разные и их развитие не стоит на месте. Какие-то из них действительно глупые в самых простых вопросах, но некоторые могут удивлять своей скоростью и качеством ответа. Например, если рассматривать задачу аналитика «понять логику куска кода», не отвлекая при этом разработчиков от работы, то это действительно экономия времени, так как расшифровка с помощью ИИ занимает не более двух минут, а встреча с разработчиком – в среднем не менее 30 минут каждого из участников».