Исследователи из ВШЭ выяснили: современные ИИ-модели, включая ChatGPT и Claude, систематически переоценивают уровень логичности человеческих решений.
Ученые ВШЭ: ИИ переоценивает интеллект людей и из-за этого ошибается
Искусственный интеллект считает людей более рациональными, чем они есть на самом деле. Из-за этого ИИ проигрывает им в стратегических играх. К такому выводу пришли специалисты, изучив поведение крупных языковых моделей.
Unsplash
В результате, пытаясь «играть слишком умно», алгоритмы чаще ошибаются при прогнозировании поведения людей.
ИИ переоценивает рациональность людей
Новая работа опубликована в журнале Journal of Economic Behavior & Organization и основана на классическом эксперименте, известном как «конкурс красоты» Джона Мейнарда Кейнса.
- Эта модель используется в экономике для анализа ситуаций, где успех зависит не от личных предпочтений, а от способности предугадать ожидания большинства.
Суть эксперимента проста: участники выбирают число от 0 до 100, а побеждает тот, чье значение ближе всего к определенной доле среднего результата всех игроков. Рациональная стратегия требует учитывать не собственное мнение, а уровень рассуждений других — и то, насколько глубоко они сами прогнозируют чужие действия.
- Команда под руководством Дмитрия Дагаева предложила нескольким популярным ИИ-моделям сыграть в этот эксперимент.
- Команда смоделировала 16 реальных сценариев с участием людей — от первокурсников-экономистов до ученых, посещающих конференции по теории игр.
- Алгоритмам заранее описывали характеристики «оппонентов»: опыт, аналитические способности и даже эмоциональное состояние.
Результаты показали, что ИИ действительно адаптируется к контексту. Против опытных игроков модели выбирали числа, близкие к нулю, а против студентов — заметно выше.
- Однако ключевая проблема заключалась в другом: ИИ исходил из предположения, что люди рассуждают более рационально, чем это происходит на практике. Именно эта переоценка логичности и приводила к проигрышам.
Авторы отмечают: подобные ошибки важны не только для теории игр. «Конкурс красоты» давно используют для объяснения ценовых колебаний на финансовых рынках, где участники ориентируются не на фундаментальную стоимость, а на ожидания других.
Если ИИ неверно моделирует человеческое мышление, его решения в экономике и управлении могут оказаться неэффективными.
По словам Дагаева, по мере замещения людей алгоритмами ключевой задачей становится не максимальная рациональность ИИ, а его способность мыслить «по-человечески». Именно это направление, считают исследователи, станет одним из центральных в экономике и ИИ-исследованиях в ближайшие годы.