Исследователи из Лаборатории информационных и решающих систем MIT и Гарвардского университета попытались оценить насколько предсказательные ИИ-модели способны по имеющимся у них данным строить «картину мира». Ученые разработали новый подход к оценке того, насколько глубоко предсказательные системы понимают предметную область и могут ли применять знания из одной сферы в близких областях.
Может ли ИИ представить себе реальный мир по эмпирическим данным
Исследователи из Массачусетского технологического института и Гарварда разработали новый метод оценки того, насколько глубоко ИИ-системы понимают реальный мир. Оказалось, что современные модели хорошо делают предсказания, но плохо строят модели мира для решения новых задач.
ИИ хорошо предсказывают положения планет, но вывести закон всемирного тяготения не могут. Public Domain
Современные системы искусственного интеллекта научились делать точные предсказания, подобно тому, как Иоганн Кеплер в XVII веке рассчитывал орбиты планет. Но обладают ли они глубоким пониманием принципов, лежащих в основе этих предсказаний, как это было у Ньютона с его законами всемирного тяготения? Вывод довольно неутешительный: нет. По крайней мере пока.
Результаты, представленные на Международной конференции по машинному обучению в Ванкувере, оказались в целом неутешительными. В большинстве изученных примеров ИИ-системы показали ограниченные способности к обобщению знаний. Работа размещена на сайте конференции.
«Люди всегда умели переходить от хороших эмпирических предсказаний к моделям мира», — говорит ведущий автор исследования Кейон Вафа. Команда задавалась вопросом:
«Удалось ли базовым моделям — ИИ — совершить этот скачок от предсказаний к моделям мира?». Ученые подчеркнули, что они изучают модели, существующие сегодня и не готовы делать какие-то прогнозы.
Модели мира
Для проверки того, насколько модель приближается к реальной картине мира, исследователи создали новую метрику под названием «индуктивное смещение». Метрика оценивает тенденцию к ответам, отражающим реальность на основе больших объемов конкретных данных.
Команда протестировала системы разной сложности. Простейший уровень рассмотренных учеными примеров известен как движение на решетке. Вафа сравнивает модель с лягушкой, прыгающей с кувшинки на кувшинку, причем все кувшинки расположены на одной прямой. Совершая любое действие, лягушка «кричит», что она делает: «прыгаю направо», «прыгаю налево» или «стою». Достигнув последней кувшинки в ряду, лягушка вынуждена остановиться или вернуться назад.
Допустим, ИИ-система не видит ни кувшинки, ни лягушку, но слышит ее крики, сможет ли она определить конфигурацию «мира», то есть количество кувшинок и текущее положение лягушки? При одномерной задаче ответ — да. При двумерной задаче (кувшинки расположены не в один ряд, а на плоскости) модель тоже справилась неплохо. Но при увеличении размерности задачи способность к обобщению быстро исчезла.
Ошибочные предсказания положения фишек на доске при игре Отелло.
Более сложный пример — игра Отелло, где модели точно предсказывают допустимые ходы, но плохо определяют общую конфигурацию фишек на доске.
ИИ-модель научилась точно вычислять орбиты планет, то есть вполне справилась с выводом эмпирических законов Кеплера. Тогда ее попросили вывести на этом основании законы Ньютона, то есть обобщить данные. Но здесь модель не справилась.
Каждая пара панелей иллюстрирует траекторию планеты в Солнечной системе и векторы гравитационных сил, сравнивая истинные ньютоновские силы (слева) с предсказанными силами, полученными с помощью модели трансформаторного основания, предварительно обученной на орбитальных последовательностях и настроенной на предсказание сил. Несмотря на то, что модель отлично справляется с точным предсказанием траекторий планет, она не находит истинной ньютоновской механики; более того, ее предсказания сил восстанавливают довольно нелепый закон тяготения.
Главное достижение ученых, это разработанная учеными метрика, которая показывает степень понимания и представления картины мира.
«Наша работа предполагает возможность применения наших метрик для оценки того, насколько модели смещаются в сторону реальной картины мира. Мы теперь может придумать лучшие способы обучения, которые позволяют моделям лучше обобщать», — отмечает соавтор Питер Чанг из MIT.
Исследование показывает, что предстоит еще длинный путь к созданию ИИ, способного к глубокому пониманию мира, но также намечает направление этого пути через создание количественных метрик для оценки этого ИИ-понимания.