Alphabet: искусственный интеллект, который не только читает, но и понимает прочитанное «на уровне старшеклассника»
Языковая модель под названием Gopher смогла значительно улучшить понимание прочитанного за счет использования огромных хранилищ текстов со всей Сети
DeepMind может похвастаться тем, что его алгоритм, «сверхбольшая языковая модель», имеет 280 миллиардов параметров, которые являются мерой размера и сложности системы. Это означает, что он находится где-то между OpenAI GPT-3 (175 миллиардов параметров) и детищем Microsoft и NVIDIA под названием Megatron, который имеет 530 миллиардов параметров.
Согласно заявлению, такая система может позволить нам «безопасно и эффективно обобщать информацию, давать экспертные советы и следовать инструкциям на естественном языке».
Согласно докладу DeepMind, в ходе теста модель смогла набрать достаточно высокие баллы в тесте на понимание прочитанного, взятом прямиком из американской средней школы. Это было сделано для того, чтобы как можно более наглядно сравнить возможности машины и современного человека. Однако математические и логические способности алгоритма, как это ни странно, оставляют желать лучшего – прогресс был «куда менее значимым».
Чем больше параметров, тем точнее система обрабатывает информацию. Однако у нее есть и другие проблемы, такие как понимание прочитанного или увековечение вредных стереотипов, которые оказывается труднее преодолеть, несмотря на огромную выборку. Такие алгоритмы, как Gopher, уже использовались для коммерческих продуктов в качестве основы для цифровых помощников и переводчиков. Согласно DeepMind, в ходе теста Gopher смог вести полноценный диалог с человеком с «удивительным» уровнем согласованности.
Но DeepMind не стремится коммерциализировать свой алгоритм. «Сейчас это не в центре внимания», — сказал Fortune Корай Кавуккуогло, вице-президент DeepMind по исследованиям. В попытке опередить критику в отношении того, что его алгоритм изрыгает этнические или гендерные стереотипы − часто это прямое наследие текстов из соцсетей, которые скармливались этим алгоритмам во время обучения, − DeepMind опубликовал сопроводительный документ о шагах, предпринятых исследователями для поддержания этической целостности.
Например, команда создала инструмент под названием Retrieval-Enhanced Transformer, огромную базу данных из двух триллионов слов для перекрестных ссылок на ее источники. Но даже после этого разработчики признают, что исследование того, как языковые модели закрепляют вредные стереотипы, «все еще находится на начальной стадии».
По мере того, как инструменты ИИ становятся все лучше и лучше в вопросах интерпретации текста, исследователи все чаще обращаются к более сложным проблемам, таким как возможность распространения дезинформации или пропаганды. Даже при наличии всех текстов в Интернете помочь языковым моделям, таким как Gopher, читать между строк, оказывается намного сложнее, чем хотят признавать многие ученые – не исключено, что в будущем придется искать альтернативы.