Почему пользователи предпочитают ответы ChatGPT ответам экспертов. Хотя знают, что чат-бот часто ошибается
Программисты всегда разговаривали друг с другом, чтобы прояснить какие-то моменты кодирования и использования продуктов. Но теперь у людей появилась альтернатива: можно говорить не с человеком, а с чат-ботом. И очень многие этим воспользовались, хотя чат-боты ошибаются чаще, чем люди.
Stack Overflow — уважаемое интернет-сообщество, объединяющее 20 млн зарегистрированных пользователей, которые делятся советами и решениями вопросов по всем аспектам программирования. С момента основания в 2008 году участники задали более 24 млн вопросов и получили более 35 млн ответов.
Однако в этом году популярность этого сайта упала. Сайт «пострадал» от стремительного роста популярности чат-ботов, таких как ChatGPT, хотя Stack Overflow по-прежнему остается незаменимым ресурсом для многих.
В мае аналитическая компания сообщила, что с начала года на Stack Overflow несколько месяцев подряд происходит падение посещаемости, в среднем на 6% в месяц. В апреле падение составило 17,7% по сравнению с мартом. Почему это происходит?
Согласно исследованию Университета Пердью отказ такого большого количества пользователей от проверенных годами экспертов, это может быть не самым лучшим решением.
Неверно, зато спокойно
Исследователи обнаружили то, о чем многие уже догадывались: значительное число ответов ChatGPT на вопросы по программированию были неточными и даже откровенно неправильными. Однако, как ни странно, когда испытуемых попросили сравнить ответы экспертов Stack Overflow и ChatGPT, 40% ответили, что предпочитают ответы ChatGPT. Почему? Из-за «полноты» и убедительного «внятного стиля изложения» ответов ChatGPT.
Исследователи отметили, что 52% из 512 ответов ChatGPT на вопросы были некорректными. Причем среди ответов, которые предпочли участники тестирования, 77% оказались некорректными.
По словам Самии Кабир, соавтора работы, «участники исследования не обращали внимания на некорректность, если считали ответ ChatGPT содержательным. Вежливый язык, артикулированные и развернутые ответы в стиле учебника, их полнота приводят к тому, что совершенно неправильные ответы кажутся правильными».
Исследователи отметили, что большие языковые модели способны перевернуть старые способы получения информации о программировании. На таких сайтах, как Stack Overflow, пользователи, ищущие помощи, получают неоценимую обратную связь от сообщества экспертов. Однако на этих сайтах часто приходится ждать несколько часов или дней, прежде чем ответ будет получен. Причем ответ не всегда будет вежливым, а комментарий может быть довольно язвительным для спрашивающего. У эксперта редко есть достаточно времени для подробных объяснений.
ChatGPT может предоставить сложный код за считанные секунды, и вступить в человеческий диалог для более глубокого изучения вопроса. Однако знание возможностей чат-ботов по получению и распространению ошибочной информации «создает риски для конечных пользователей, у которых нет возможности проверить фактические несоответствия», — говорит Кабир.
Озабоченность возможностью «загрязнения» информационных пулов ложными данными привела к тому, что в начале этого года Stack Overflow запретил у себя на сайте приводить любые ответы, полученные с помощью ChatGPT.
Исследователи из Университета Пердью назвали преобладание неправильных ответов «тревожным». Они призвали разработчиков ChatGPT не ограничиваться кратким отказом от ответственности, который чат-бот размещает на каждом ответе, предупреждая пользователей о возможности ошибки, но указывать уровень некорректности и неопределенности. Но, как оценить уровень «некорректности», пока неясно
«Необходимо изучить, как сообщить об уровне некорректности ответов», — говорится в отчете исследователей, -«ИИ наиболее эффективен, когда он контролируется человеком. Поэтому мы призываем к ответственному использованию ChatGPT для повышения продуктивности взаимодействия человека и ИИ».