Механизм формирование памяти ИИ поразительно похож на работу памяти мозга
Междисциплинарная группа ученых, состоящая из исследователей Центра познания и социальности и Группы науки о данных Института фундаментальных наук (IBS), выявила сходство между обработкой памяти моделями искусственного интеллекта (ИИ) и гиппокампом человеческого мозга.
Для разработки общего искусственного интеллекта (AGI), которой сегодня занимаются такие влиятельные организациями, как OpenAI и Google DeepMind, понимание и воспроизведение человеческого интеллекта является важным моментом. Важное место в технологии ИИ занимает архитектура трансформера, которая во многом обеспечила прорыв в Больших языковых моделях, таких ChatGPT.
Команда сравнила механизм обучения человеческого мозга с работой ИИ. Особое внимание ученые сосредоточили на консолидации памяти через рецептор NMDA в гиппокампе. И нашли разительное сходство.
Живое и кремниевое
Рецептор NMDA похож на умную дверь в мозге, которая облегчает обучение и формирование памяти. Когда в мозге присутствует химическое вещество, называемое глутаматом, нервная клетка возбуждается. С другой стороны, ион магния действует как привратник, блокирующий дверь. Только когда этот ионный привратник отходит в сторону, вещества могут поступать в клетку. Это процесс, который позволяет мозгу создавать и сохранять воспоминания, и роль привратника (иона магния) в этом процессе весьма специфична.
Команда показала, что архитектура трансформера, похоже, использует процесс контроля, аналогичный рецептору NMDA в мозге. Это открытие побудило исследователей выяснить, можно ли контролировать консолидацию памяти моделью с архитектурой трансформера с помощью механизма, аналогичного процессу пропускания рецептора NMDA.
Известно, что в мозгу животных низкий уровень магния ослабляет функцию памяти. Исследователи обнаружили, что долговременную память трансформера можно улучшить, имитируя рецептор NMDA.
Точно так же, как и в мозге, где изменение уровня магния влияет на силу памяти, настройка параметров ИИ по аналогии с рецептором NMDA, привела к улучшению памяти в модели ИИ. Это предполагает, что то, как обучаются модели ИИ, можно объяснить с помощью нейробиологии.
Если это действительно так (а чтобы это подтвердить нужно еще много работы), то совершено удивительное открытие. Архитектура трансформера — это просто кусок кода. Она была создана исключительно для увеличения производительности нейросети. Никто из ее создателей не думал о нейробиологии. Если сходство подтвердится, то можно будет сказать, что найден универсальный вычислительный узел, который подходит и биологическим и кремниевым системам. А это серьезно.
Нейробиолог К. Джастин Ли говорит: «Это исследование делает важный шаг в развитии искусственного интеллекта и нейронауки. Оно позволяет нам глубже понять принципы работы мозга и разработать более совершенные системы искусственного интеллекта».
Соавтор работы Ча Миёнг отмечает: «Человеческий мозг уникален тем, что он работает с минимальными затратами энергии, в отличие от Больших языковых моделей ИИ, которые требуют огромных ресурсов. Наша работа открывает новые возможности для разработки недорогих, высокопроизводительных систем ИИ, которые изучают и запоминают информацию, как люди».
Совместное исследование когнитивных механизмов человека и конструкции ИИ не только обещает создание недорогих и высокопроизводительных систем ИИ, но и дает ценную информацию о работе мозга и возможности его моделирования с помощью ИИ.