Исследователи из Датского технического университета обнаружили удивительное сходство между процессами обучения искусственного интеллекта и человеческого мозга. Ключевым открытием стало выявление свойства выпуклости в глубоких нейронных сетях — того же математического принципа, который помогает людям формировать понятия и обобщать знания. Работа опубликована в журнале Nature Communications.
Мышление ИИ и человека имеют одинаковую скрытую геометрию
Исследователи из Датского технического университета показали, что искусственный интеллект формирует понятия так же, как человеческий мозг. Ученые обнаружили в глубоких нейронных сетях математическое свойство выпуклости — тот же принцип, который помогает людям быстро обучаться и обобщать знания.
Как мы понимаем, что все это кошки? https://petcubes.com/
Латентное пространство — это внутренняя «карта» искусственного интеллекта, где он размещает все изученные понятия. Представьте огромную комнату, где каждый предмет, слово или идея имеет свое место. Похожие вещи стоят рядом — все коты в одном углу, все машины в другом. ИИ использует эту «карту» для понимания и создания нового контента. Если все коты или все машины в этом латентном пространстве образуют «овалы», то такое пространство характеризуется как пространство с высоким уровнем выпуклости. Мозг человека — это как раз пример пространства с высоким уровнем выпуклости, поэтому мы почти никогда кошку с машиной не путаем.
Команда под руководством профессора Ларса Кая Хансена исследовала внутренние представления ИИ — «латентные пространства», в которых машины организуют свое понимание мира. Ученые обнаружили, что искусственные нейронные сети формируют выпуклые области для понятий, причем это происходит естественным образом в процессе обучения на различных типах данных: изображениях, тексте, аудио, медицинских данных.
Обнаружена устойчивая связь между человеческим и машинным обучением. Концептуальные области в человеческом познании долгое время моделировались как выпуклые. Теперь ученые показали, что выпуклость играет аналогичную роль в ИИ. Так называемое предварительное обучение с помощью постепенной доводки приводит к выпуклости концептуальных областей, и чем выпуклыми являются области, тем лучше модель обучается заданной специализированной задаче при контролируемой тонкой настройке.
Ученые показали, что по уровню выпуклости в предварительно обученной модели можно предсказать, насколько хорошо она будет работать после специальной настройки на конкретную задачу. Это открывает путь к созданию более эффективных ИИ-систем, которые формируют выпуклые концептуальные области уже на этапе обучения.
Что такое выпуклость латентного пространства
Представьте, что у вас есть коллекция фотографий собак. Искусственный интеллект «видит» каждую фотографию как точку в многомерном пространстве — как если бы каждая собака была звездочкой на карте неба. Все эти точки-собаки образуют некую область в этом пространстве.
И это все собаки
«Уровень выпуклости» характеризует то, насколько это облако похоже на правильную геометрическую фигуру без «вмятин» и «выступов». Если облако собак образует что-то вроде ровного овала — это высокая выпуклость. Если же оно изрезанное, с «заливами» и «мысами» — выпуклость низкая.
Исследователи обнаружили, что чем более «ровным овалом» располагаются понятия в памяти ИИ, тем лучше ИИ потом обучается новым задачам с этими понятиями. Можно сказать, если в мозгу машины собаки уже образуют четкое, выпуклое облако, то научить ее отличать овчарок от такс будет легче, чем если это облако размазано и изрезано.
Это похоже на то, как работает человеческий мозг — мы тоже лучше учимся новому, когда у нас уже есть четкое, организованное представление о базовых понятиях.
Открытие имеет важные практические последствия для создания более надежного искусственного интеллекта, особенно в критически важных областях, таких как здравоохранение и образование.