Команда ученых под руководством Ариэля Голдстайна (Еврейский университет в Иерусалиме) вместе с исследователями из Google Research и Принстона записывала активность мозга людей, пока те слушали длинный аудиорассказ. Затем эту динамику сопоставили с тем, как обрабатывают текст ИИ-модели вроде GPT-2 и Llama 2.
Эксперты: мозг человека может работать почти как ИИ
Ученые сравнили, как мозг «собирает» смысл из речи, и как это делают современные языковые модели. Неожиданно оказалось: понимание тоже выстраивается слоями — от простого к сложному, шаг за шагом.
Unsplash
Новую научную статью опубликовали в журнале Nature Communications.
Мозг понимает речь «слоями», как ИИ
Исследователи использовали электрокортикографию — метод, при котором сигналы снимают прямо с поверхности коры.
Участники слушали примерно 30-минутный подкаст, а исследователи отслеживали, где и когда в мозге возникают ответы на речь. Ключевая идея такая: смысл не «включается» мгновенно.
- Сначала мозг реагирует на более простые характеристики речи и слов, затем — на контекст, интонацию и общую картину высказывания.
- В языковых ИИ-моделях устроено похоже: ранние слои кодируют базовые признаки, а более глубокие объединяют информацию в связное значение.
- В данных человека нашлось похожее совпадение по времени: ранние нейронные ответы лучше соответствовали «ранним» слоям моделей, а более поздние — «глубоким».
Особенно заметно это было в известных языковых зонах, включая область Брока: там пик ответа приходился позже и сильнее «стыковался» с более высокоуровневым представлением смысла.
- Ученые трактуют это как аргумент против представления, будто понимание речи опирается прежде всего на жесткие правила и фиксированные «кирпичики» языка.
В их анализе традиционные единицы вроде фонем и морфем объясняли мозговую динамику хуже, чем контекстные представления, которые дают языковые модели.
- Проще говоря: мозг, похоже, больше «считывает поток контекста», чем раскладывает речь по строгой схеме.
Отдельно исследователи выложили открытый набор данных: записи нейронной активности и языковые признаки.
Это может стать базой для новых работ — и для проверки конкурирующих теорий о том, как рождается смысл.