Ранее предполагалось, что системы способны интерпретировать каламбуры, но эксперименты показали обратное. Например, когда модели встречают конструкции вроде: «Постаревшие X не умирают – они просто X», они склонны считать их забавными, даже если такие шутки на самом деле несмешные и не содержат какого-то подтекста.
Искусственный интеллект все еще притворяется, что понимает шутки: новое исследование
Современные большие языковые модели только делают вид, что разбираются в шутках и каламбурах, выяснили ученые в новом исследовании. В ходе эксперимента специалисты проверяли, насколько ИИ способен распознавать парономазии – разновидность игры слов, основанную на фонетическом сходстве или двойных значениях. Эта тема стала актуальной после предположений, что такие системы уже способны разбираться в юморе не хуже человека.
Freepik
Однако интеллект этих систем все еще остается иллюзией.
Для более точной оценки команда ученых усовершенствовала старые базы данных и создала новые тесты, в которых заменила каламбуры на бессмыслицу. Результаты показали существенное снижение точности распознавания и ошибки при определении того, что является шуткой, а что – обычным предложением. Анализ выявил, что фонетические и контекстные ориентиры, которыми пользуется ИИ, еще недостаточно точны.
ИИ переоценивает себя
При столкновении с незнакомой игрой слов точность определения юмора у моделей падает до 20%, что значительно хуже, чем уровень случайного угадывания – 50%. Также было замечено, что системы зачастую переоценивают свои способности: даже при отсутствии реального понимания они уверенно делают выводы, что «запомнили» смешное.
Авторы подчеркивают, что использовать такие модели в задачах, требующих креативности и эмпатии – например, интерпретации культурных шуток или тонкостей юмора – нужно с большой осторожностью. Несмотря на успехи в развитии ИИ, у них все еще отсутствует истинная человеческая интуиция и способность к креативному мышлению.
Будущие работы ученых будут посвящены расширению области исследования: тестированию систем на задачах, связанных с оригинальностью и самосознанием. Основная цель – добиться развития таких систем, которые смогут осознавать свои собственные ограничения и различать, что они по-настоящему понимают, а что только имитируют.