ChatGPT: умный помощник или опасность для программистов?

Но насколько хорошо искусственный интеллект справляется с вопросами по программированию? В этом вызвался разобраться аналитик Cauvo Capital Дмитрий Берник.

Заинтересовавшись этим, исследователи Университета Пердью в Соединенных Штатах провели эксперимент, согласно которому задали ChatGPT 517 вопросов по программированию, используя Stack Overflow — известный веб-ресурс. Критериями оценки ответов искусственного интеллекта были логичность, полнота содержания, краткость и, конечно, правильность. Результаты опубликованы в журнале IEEE.

Как выяснилось, всего 48% ответов ChatGPT были верными, а 77% — слишком подробными. Исследователи же могли распознать ошибку в ответе ChatGPT только в том случае, если она была очевидной. Например, 2 из 12 участников эксперимента предпочитали доверять ChatGPT, даже когда он был абсолютно неверным, поскольку ИИ «говорил» с ними приятным, уверенным и позитивным тоном. Из-за того, что ChatGPT писал свои ответы подробно и поучительно, пользователи часто думали, что он прав, даже когда тот ошибался.

Исследование показало, что искусственный интеллект не является надежным источником информирования, ведь составление алгоритмов — это очень сложная область, которая требует не только знания языков программирования, но и логики, структуры данных и других аспектов. ChatGPT не был специально обучен для решения таких задач, а использовал общий набор информации, который включал в себя разные темы и диалоги.

И всё же, это не значит, что ChatGPT бесполезен для программистов. Так, на сайте BetterProgramming.pub есть статья под названием «How to Use ChatGPT in Programming», в которой автор дает советы, как использовать бот в виде ресурса для программирования. Автор рекомендует использовать ChatGPT как архитектора, а не писателя кода. То есть вместо того, чтобы просить ChatGPT написать каждый отдельный скрипт для вас, вы должны поинтересоваться у него общим походом и написать код самостоятельно. Таким образом можно улучшить навыки программирования и лучше понять свой код, считает Дмитрий Берник.