Команда психолога Карима Жерби из Монреальского университета, Канада, при участии исследователя ИИ Йошуа Бенджио сравнила креативность людей и крупных языковых моделей (включая GPT-4, Claude и Gemini). Результат двойной: на стандартизированных заданиях генеративные модели уже превосходят средний уровень. Однако «верхний этаж» человеческого воображения им пока недоступен.
Кто креативнее — ИИ или люди? Научный эксперимент дал интересный ответ!
ИИ впервые обошел «среднего» человека в тестах на креативность. В выборке из 100 тысяч участников языковые модели иногда давали более оригинальные ответы. Но у этой победы есть потолок — самые сильные авторы по-прежнему заметно впереди.
Unsplash
Особенно ИИ лажает там, где важны стиль, смысл и цельность текста.
ИИ обошел людей в тестах на креативность
Сравнение ИИ и людей строилось на одном и том же инструменте для всех — Divergent Association Task (DAT).
- Это быстрый психологический тест на дивергентное мышление.
- Участнику дают задание назвать десять слов, максимально не связанных по смыслу.
- Чем «дальше» друг от друга эти слова, тем выше оценка.
Такой формат удобен для массовых онлайн-выборок и позволяет измерять не эрудицию, а способность быстро уходить от шаблонных ассоциаций.
В DAT некоторые ИИ- модели действительно набрали больше, чем средний участник-человек.
- Но когда исследователи посмотрели не на «среднюю температуру по больнице», а на людей с более высоким уровнем креативности, картина перевернулась.
Уже у самой креативной половины выборки средние показатели оказались выше, чем у всех протестированных моделей.
А разрыв с топ-10% стал еще заметнее.
Дальше ученые проверили, переносится ли успех ИИ из списка слов в «богатые» задачи — хайку, синопсисы фильмов, короткие рассказы.
- И снова тот же рисунок: ИИ может быть лучше среднего, но самые сильные человеческие работы стабильно выигрывают по оригинальности и выразительности.
Отдельный вывод — «креативность» модели можно подкручивать. Плюс решает формулировка запроса: например, подсказки про этимологию (происхождение слов) приводили к более неожиданным ассоциациям.
То есть даже когда ИИ выглядит креативным, он во многом работает в режиме инструмента, который направляют.