Идея воздушного аддитивного производства — летающих «3D-принтеров» — привлекает исследователей уже несколько лет, но естественная нестабильность дронов в полете делает традиционное послойное изготовление практически невозможным. Чтобы преодолеть эту проблему, Амир Барати Фаримани, доцент кафедры машиностроения, оснастил дроны магнитными блоками для точной сборки методом захвата и размещения. Руководит процессом большая языковая модель, которая переводит высокоуровневые проектные задачи вроде «построй мост» в исполняемые планы. Работа подробно описана на сайте проекта.
Дроны под управлением ИИ учатся строить в труднодоступных местах
Инженеры Университета Карнеги-Меллон разработали систему воздушного строительства, объединяющую дроны, аддитивное производство и большие языковые модели. Технология позволяет беспилотникам возводить конструкции в местах, недоступных для тяжелой техники.
Дрон переносит блоки из пункта приема в пункт назначения. https://sites.google.com/andrew.cmu.edu/llm-drone
Аддитивное производство, или 3D-печать, создает объекты путем послойного наращивания материала, в отличие от традиционных методов, которые вырезают детали из заготовок. Эта технология позволяет изготавливать сложные формы без специальной оснастки. Но применение 3D-печати в воздухе сталкивается с фундаментальной проблемой: дроны постоянно колеблются из-за ветра, вибрации моторов и необходимости корректировать положение. Даже миллиметровые смещения делают точную послойную печать невозможной. Решение из Карнеги — Меллон обходит эту проблему, заменив печать на сборку из дискретных магнитных блоков, которые дрон может размещать с достаточной точностью даже при небольших колебаниях.
(a) Основные модули, необходимые для процесса аддитивного производства. (b) На основе стандартного шаблона запроса создается запрос, включающий текущую информацию о сцене и запрос на проектирование. Модуль LLM обрабатывает запрос и выдает координаты, необходимые для реализации проекта. (c) Модуль технического зрения выравнивает координаты Crazyflie с выходными координатами LLM с помощью маяка Crazyflie. (d) Дрон размещает блок, а модель технического зрения проверяет его размещение. В случае ошибки текущая сцена передается обратно в (b) для повторной подсказки, и генерируется новый набор координат для завершения проектирования. (e) Дрон Crazyflie перевозит строительный блок из пункта приема в пункт сдачи.
«Адаптивность больших языковых моделей позволяет нам генерировать и корректировать планы строительства прямо на месте. Если мы сталкиваемся с проблемами в процессе строительства, мы можем изменить подход, чтобы обеспечить эффективное и точное возведение конструкции», — отметил Барати Фаримани.
Под управлением LLM
Для тестирования новой версии воздушного аддитивного производства исследователи создали сетку 5×5 и поручили дронам проектировать определенные формы с использованием магнитных блоков. Поскольку за дронами наблюдала камера, если они роняли блок не в то место, оставляли пробел или строили неточно, большая языковая модель автономно предлагала дрону обойти ошибку, работая по новому плану, а не начинать заново. Благодаря этой замкнутой системе обратной связи успешность строительства достигла 90%.
Дроны, оснащенные магнитными блоками, обладают высокой точностью сборки. Большая языковая модель может переводить высокоуровневые цели проектирования, такие как «построить мост», в исполняемые планы для использования с такими дронами.
Команда планирует испытать свои дроны за пределами лаборатории, чтобы решить реальные задачи будущего. Исследователи намерены изучить использование больших языковых моделей для создания 3D-конструкций и работу с более динамичными строительными материалами, что дополнительно оптимизирует гибкость строительных проектов. Технология может применяться для заполнения выбоин, ремонта космических кораблей на орбите и строительства инфраструктуры в горных районах, где тяжелая техника не может пройти.