Искусственный интеллект замедляет опытных разработчиков: исследования METR

Искусственный интеллект (ИИ) может показаться тем инструментом, который ускоряет работу, однако для опытных программистов его использование иногда оказывается не таким эффективным, как ожидалось.

Исследования, проведенные исследовательским институтом ИИ METR, показали, что внедрение нейросетей в процесс разработки может замедлить выполнение задач, несмотря на ощущение повышенной продуктивности.

ИИ: помощник или преграда для опытных программистов?

В эксперименте, организованном METR, приняли участие 16 опытных разработчиков, каждый из которых имел более 10 лет стажа. Участникам было предложено решить 246 задач в крупных open-source репозиториях, с которыми они хорошо знакомы.

Задачи решались как с использованием ИИ, так и без него, при этом выбор метода был случайным. Программисты надеялись, что нейросети смогут значительно ускорить их работу.

Результаты эксперимента: ИИ не всегда помогает ускорить процесс

Хотя разработчики ожидали, что использование ИИ позволит ускорить их работу на 24%, на практике решение задач с помощью нейросетей заняло на 19% больше времени. Основное время ушло на подготовку запросов к ИИ, ожидание его ответов и проверку предложенного кода.

Программисты, тем не менее, уверяли, что искусственный интеллект все-таки помог им работать быстрее, утверждая, что продуктивность увеличилась на 20%. В то же время сторонние эксперты прогнозировали, что эффект от использования нейросетей мог бы составить почти 40%.

Причины замедления: уверенность в ИИ подводит

Исследователи считают, что причина замедления работы кроется в чрезмерной уверенности разработчиков в возможностях ИИ. Ответы нейросетей часто оказываются неточными или малополезными, особенно в случаях, когда речь идет о репозиториях, которые программисты знают наизусть.

Узкое контекстное окно и сложности в обработке большого объема информации сказываются на качестве сгенерированного кода, что в итоге требует дополнительных усилий для его исправления и адаптации.

Когда ИИ действительно помогает: преимущества для новичков

Тем не менее, авторы исследования подчеркивают, что ИИ не всегда снижает продуктивность. В других исследованиях было установлено, что нейросети значительно ускоряют работу в небольших проектах, а также помогают быстрее освоиться с незнакомыми задачами и кодовыми базами. Такой эффект особенно заметен у начинающих и менее опытных программистов, которые могут извлечь большую пользу из использования ИИ.

Для более опытных разработчиков искусственный интеллект может сделать процесс программирования проще и приятнее, что, как оказалось, играет важную роль в психоэмоциональном восприятии работы. В этом контексте удобство и удовольствие от работы часто оказываются важнее, чем прямое улучшение скорости выполнения задач.