Компания Google DeepMind представила систему под названием AlphaEvolve, которая сочетает в себе творческий потенциал большой языковой модели (LLM) с алгоритмами, которые могут тщательно анализировать выводы модели, чтобы отфильтровать и улучшить решения. Система описана в техническом документе, выпущенном компанией.
DeepMind представила научный ИИ, решающий трудные проблемы математики и информатики
Компания Google DeepMind представила систему под названием AlphaEvolve, которая сочетает в себе творческий потенциал большой языковой модели (LLM) с алгоритмами, которые могут тщательно анализировать выводы модели, чтобы отфильтровать и улучшить решения.
Компания DeepMind утверждает, что AlphaEvolve помогла улучшить дизайн чипов искусственного интеллекта. Christian Ohde/IMAGO via Alamy
Google DeepMind — это лаборатория, которая остается лидером в фундаментальных исследованиях проблем ИИ. Ее результаты не так популярны, как приложения других компаний, но DeepMind двигает науку ИИ.
«Статья весьма впечатляющая», — говорит Марио Кренн, возглавляющий Artificial Scientist Lab в Институте Макса Планка в Эрлангене, Германия. — «Я думаю, AlphaEvolve — это первая успешная демонстрация новых открытий на основе LLM общего назначения».
По словам Пушмита Кохли, главы научного отдела DeepMind в Лондоне, помимо использования системы для поиска решений открытых математических проблем, DeepMind уже применяет технику искусственного интеллекта (ИИ) для решения собственных практических задач.
Система AlphaEvolve помогла улучшить дизайн следующего поколения тензорных процессоров компании — вычислительных чипов, разработанных специально для ИИ (TPU), и нашла способ более эффективно использовать вычислительные мощности Google по всему миру, сэкономив 0,7% от общего объема ресурсов.
ИИ общего назначения
Обзор AlphaEvolve.
Большинство успешных приложений ИИ в науке, включая инструмент для проектирования белков AlphaFold, до сих пор включали алгоритм обучения, созданный вручную для решения поставленной задачи, говорит Кренн. Напротив AlphaEvolve является универсальным решением и использует возможности LLM для создания кода решения задач в широком диапазоне областей.
DeepMind называет AlphaEvolve «агентом», поскольку она предполагает использование разных взаимодействующих моделей ИИ. Однако AlphaEvolve нацелена на другой этап научного процесса, нежели многие другие «агентные» научные системы ИИ, которые использовались для изучения литературы и выдвижения гипотез.
AlphaEvolve основана на семействе LLM Gemini. Каждая задача начинается с ввода пользователем вопроса, критериев оценки и предлагаемого решения, для которого LLM предлагает сотни или тысячи модификаций. Затем алгоритм «оценщик» оценивает модификации по метрикам хорошего решения (например, в задаче о распределении вычислительных заданий Google исследователи хотят тратить меньше ресурсов).
По словам Матея Балога, ученого в области искусственного интеллекта из DeepMind, который был одним из руководителей исследования, на основании того, какие решения были признаны лучшими, LLM предлагает новые идеи, и со временем система формирует популяцию более сильных алгоритмов.
AlphaEvolve создана на основе системы FunSearch, которая в 2023 году показала, что использует аналогичный эволюционный подход, чтобы превзойти человека в решении нерешенных задач по математике. По сравнению с FunSearch, AlphaEvolve может обрабатывать гораздо большие куски кода и решать более сложные алгоритмы в широком спектре научных областей, говорит Балог.
DeepMind утверждает, что AlphaEvolve придумала способ выполнения вычислений, известных как матричное умножение, который в некоторых случаях быстрее самого быстрого из известных методов, разработанного немецким математиком Фолькером Штрассеном в 1969 году. Такие вычисления включают в себя умножение большого количества чисел и используются для обучения нейронных сетей. Несмотря на универсальность, AlphaEvolve превзошел AlphaTensor, инструмент искусственного интеллекта, описанный компанией в 2022 году и разработанный специально для матричной механики.
По словам Кренна, этот подход можно использовать для решения задач оптимизации или в любой другой области науки, где есть конкретные метрики или симуляции для оценки того, что является хорошим решением. Это может включать проектирование новых микроскопов, телескопов или даже материалов, добавляет он.
Узкий круг применения
Расширенное представление AlphaEvolve. Пользователь предоставляет исходную программу (с помеченными компонентами для эволюции), код оценки и дополнительные конфигурации (раздел 2.1). Затем AlphaEvolve запускает эволюционный цикл. Пробник Prompt использует программы из базы данных Program для создания богатых подсказок (раздел 2.2). Учитывая эти подсказки, LLM генерируют модификации кода (diffs), которые применяются для создания новых программ (раздел 2.3). Затем они оцениваются экспертами (раздел 2.4), а перспективные решения регистрируются в базе данных программ (раздел 2.5), что способствует итеративному поиску все более совершенных программ.
В математике AlphaEvolve позволяет значительно ускорить решение некоторых задач, говорит Саймон Фридер, математик и исследователь ИИ из Оксфордского университета (Великобритания). Но, по его словам, она, вероятно, будет применяться только для «узкого круга» задач, которые можно представить в виде проблем, решаемых с помощью кода.
Другие исследователи воздерживаются от суждений о полезности инструмента до тех пор, пока он не будет опробован за пределами DeepMind. «Пока системы не будут протестированы более широким сообществом, я бы оставался скептиком», — говорит Хуань Сунь, исследователь ИИ из Университета штата Огайо в Колумбусе. По словам Фридера, он будет ждать, пока исследователи воссоздадут версию с открытым исходным кодом, а не будет полагаться на запатентованную систему DeepMind, которая может быть отозвана или изменена.