Рассуждения — процесс, в ходе которого человек мысленно обрабатывает информацию, чтобы сделать конкретные выводы или решить проблемы, — можно разделить на две основные категории. Первый тип — это дедуктивные рассуждения. В этом случае вывод делается на основе безусловных предпосылок (например, некоторых фактов) по определенным правилам.
Могут ли логично рассуждать большие языковые модели
Группа ученых из Amazon и Калифорнийского университета в Лос-Анджелесе провела исследование, посвященное изучению фундаментальных способностей к рассуждениям у больших языковых моделей. Ученые показали, что у моделей все хорошо с индукцией, а вот с дедукций пока неважно.
Есть уши у чихуахуа? Если рассуждать логически... Unsplash
Способность рассуждать человеку совершенно необходима. И это касается не только ученых. Мы постоянно принимаем решения, основываясь на своих рассуждениях, и ИИ-моделям тоже надо этому учиться.
Например, из предпосылок «у всех собак есть уши» и «чихуахуа — собаки», можно сделать вывод, что «у чихуахуа есть уши».
Вторая форма рассуждений — индуктивное рассуждение, которое сводится к некоторым обобщениям на основе конкретных наблюдений. Например, если вы видели только белых лебедей, вы можете сделать ошибочный вывод, что все лебеди белые.
Многочисленные исследования показали, как люди используют дедуктивные и индуктивные рассуждения в своей повседневной жизни. Но как системы искусственного интеллекта используют эти типы рассуждений до сих пор изучалось редко.
Владеет ли ИИ дедукцией
Обзор разработанного командой фреймворка SolverLearner для индуктивных рассуждений. SolverLearner следует двухэтапному процессу, чтобы отделить обучение функций отображения вход-выход от применения этих функций для вывода. В частности, функции применяются через внешние интерпретаторы кода, чтобы избежать использования дедуктивных рассуждений на основе LLM.
Продолжение ниже
Видео
Продолжение
Группа ученых из Amazon и Калифорнийского университета в Лос-Анджелесе провела исследование, посвященное изучению фундаментальных способностей к рассуждениям у больших языковых моделей (LLM) — крупных систем искусственного интеллекта, способных обрабатывать и генерировать тексты на человеческих языках. Результаты исследования, опубликованные на сервере препринтов "> Artificial Intelligence">arXiv,.
Чтобы четко отличить индуктивные рассуждения от дедуктивных, исследователи разработали новую модель, названную SolverLearner. Модель использует двухэтапный подход, позволяющий отделить процесс изучения правил рассуждений от процесса их применения к конкретным случаям. В частности, правила применяются с помощью внешних инструментов, таких как интерпретаторы кода.
Исследователи показали, что LLM очень хорошо справляются с заданиями на индуктивные рассуждения, однако им часто не хватало способностей к дедуктивным рассуждениям. Особенно плохо дедуктивное мышление проявлялось в сценариях, основанных на гипотетических предположениях или при редких, отклоняющихся от нормы сценариях.
LLM скорее всего знает, что бывают черные лебеди, и не сделает ошибочного индуктивного предположения, что все лебеди белые.
Давайте придумаем вид собак, которых не существует в природе, например «хуахуачи» (гипотетическое предположение). LLM, естественно, ничего о таких собаках не знает. Мы предложим модели сделать вывод на основе двух предпосылок «у всех собак есть уши» и «хуахуачи — собаки». В этом случае LLM скорее всего засомневается, есть ли у хуахуачи уши, хотя, чтобы сделать правильный дедуктивный вывод — «у хуахуачи есть уши», не нужно знать, что такие хуахуачи.
Возможно, трудности с дедукцией у LLM связаны с тем, что при дедуктивном рассуждении не имеет значения истинны или ложны предпосылки: дедукция делает вывод только о правильности самого рассуждения. Видимо, LLM пока «мыслит» слишком конкретно и предстоит большая работа, чтобы такие модели научить дедукции.
Загружаем