Общение с виртуальными помощниками больше не является сюжетом научной фантастики, но безопасность таких систем сильно отстает от темпов их развития. Проблема заключается не столько в качестве работы нейросетей, сколько в долгосрочном влиянии этих контактов на психику человека и общество в целом.
Отношения между ИИ и человеком больше не фантастика, и они связаны с определенными рисками

Статистика инцидентов, связанных с ошибками ИИ, дипфейками и опасными заблуждениями из-за привязанности к ботам, стремительно растет. Склонность ИИ во всем соглашаться с пользователем представляет особую опасность в период всеобщей эпидемии одиночества. Подстраиваясь под собеседника, чат-боты создают иллюзию идеального понимания. Люди начинают перенимать манеру речи своих цифровых компаньонов, копируя их ритм и характерные слова. Это затягивает уязвимых пользователей в эмоциональную ловушку, постепенно отдаляя их от реального социума и перекладывая принятие решений на алгоритмы.
Как отмечает соавтор исследования Андрейя Тейшейра: «Проблема заключается не столько в производительности ИИ, сколько во влиянии этих длительных взаимодействий на нас самих... и в том, как со временем это может повлиять на общество в целом». По ее мнению, без контроля человек рискует оказаться в полной изоляции. Работа опубликована в журнале Nature Machine Intelligence.
Опасность эхо-камеры и необходимость контроля
Длительное взаимодействие с алгоритмами создает эффект «эхо-камеры для одного», где взгляды и эмоции человека лишь зеркально отражаются обратно. Такая ситуация критически опасна для детей и людей с депрессией или повышенной тревожностью, которым жизненно необходим взгляд со стороны для предотвращения опасных психологических срывов. Естественные конфликты и разногласия, возникающие между людьми, необходимы для развития устойчивости и умения адаптироваться к жизненным вызовам. ИИ же лишает пользователя этого опыта.
Для решения проблемы ученые призывают объединить усилия психологов, социологов и когнитивистов. Параллельно юристы настаивают на жестком правовом регулировании. Первыми шагами должны стать прозрачные предупреждения об ограничениях ИИ и запреты на симуляцию ботами медицинских работников, а в будущем необходима строгая система тестирования и отзыва дефектных ИИ-продуктов, пока наносимый ими вред не стал необратимым.


