Исследование Yandex Research: как запускать большие языковые модели в распределенной сети пользовательских ПК
В программу одной из авторитетных международных конференций по машинному обучению NeurIPS 2023 вошло исследование команды Yandex Research о системе Petals. Ученые Яндекса создали его совместно с коллегами из Университета Вашингтона и Hugging Face.
Freepik
Исследование демонстрирует экономически эффективный подход к запуску и тонкой настройке больших языковых моделей (LLM) благодаря использованию распределенной сети компьютеров с графическими ускорителями потребительского класса.
Помимо доклада о Petals, в программу NeurIPS 2023 вошли еще семь исследований ученых из команды Yandex Research.
- Новый алгоритм ускоренной адаптации диффузионных генеративных сетей под пользовательские изображения. С ним процесс может проходить до восьми раз быстрее.
- Новый алгоритм прореживания передовых трансформерных моделей для компьютерного зрения. Он убирает часть менее эффективных параметров, уменьшает размер модели и ускоряет ее работу без потери качества.
- Новая метрика для квантификации степени гетерофильности заданного графа. Определять наличие гетерофильности необходимо для выбора более подходящей модели.
- Оценка устойчивости передовых моделей графовых нейросетей к различным сдвигам в распределении обучающих и тестовых данных.
- Работа, которая показывает, что дизайн и протокол обучения модели можно создать таким образом, что подсказки разработчика в области нейро-алгоритмического обоснования (NAR) больше не будут нужны. Нейросеть может научиться эффективно приближать классические алгоритмы без них.
- Новая схема распределенной оптимизации для задач вариационных неравенств. Подход радикально снижает количество передаваемых по сети данных, что приводит к ускорению работы модели.
- Анализ стохастического градиентного спуска (один из основных методов обучения нейросетей) с нижними оценками на его сложность — на примере задачи с вариационными неравенствами.