«Словесный нонсенс» — главная проблема ИИ! Но это поможет понять обработку речи у людей
Началась эра чат-ботов с искусственным интеллектом (ИИ), которые, кажется, понимают и используют язык так же, как люди. Однако новое исследование показало, что большие языковые модели по-прежнему подвержены риску ошибочно принимать бессмыслицу за нормальный язык. По мнению группы исследователей из Колумбийского университета, это недостаток, который со временем приведет к улучшению производительности чат-ботов и поможет понять, как люди обрабатывают речь.
«Словесный нонсенс» ИИ и обработка речи людей
- Ученые описывают, как они проверяли девять различных языковых моделей с помощью сотен пар предложений.
- Для каждой пары люди, участвовавшие в исследовании, выбирали, какое из двух выражений, по их мнению, было более естественным (то есть его с большей вероятностью будут читать или слышать в повседневной жизни).
- Затем исследователи протестировали модели, чтобы увидеть, будут ли они оценивать каждую пару предложений так же, как люди.
В прямых тестах более сложные ИИ, основанные на том, что исследователи называют нейронными сетями-трансформерами, имели тенденцию работать лучше, чем более простые модели рекуррентных нейронных сетей и статистические модели, которые просто подсчитывают частоту пар слов, найденных в Интернете или в онлайн-базах данных. Но все модели допускали ошибки, иногда выбирая предложения, которые для человеческого уха звучат как ерунда.
«То, что некоторые большие языковые модели работают хорошо, предполагает, что они отражают что-то важное, чего не хватает более простым моделям», — отметил доктор Николаус Кригескорте, главный исследователь Колумбийского института Цукермана. «То, что даже лучшие модели, которые мы изучали, все еще можно обмануть бессмысленными предложениями, показывает, что в их вычислениях чего-то не хватает».