Если вы попросите этого робота собрать с пола игрушки и носки, он это сделает

Исследователи из Принстонского и Стэнфордского университетов разработали домашнего робота TidyBot, который может собрать разбросанные вещи и сложить туда, куда хочет пользователь. Интерфейсом между роботом и человеком служит ChatGPT.
Если вы попросите этого робота собрать с пола игрушки и носки, он это сделает
Уборка комнаты. https://arxiv.org/abs/2305.05658

У разных людей jчень разные предпочтения, особенно когда речь идет о наведении порядка. Роботы, помогающие людям в домашних делах, в идеале должны уметь выполнять задания с учетом этих индивидуальных предпочтений. И они постепенно участся.


Исследователи из Принстонского и Стэнфордского университетов попытались персонализировать помощь, предлагаемую домашними роботами, используя большие языковые модели (LLM). Это класс моделей искусственного интеллекта, которые становятся все более популярными после выхода ChatGPT. Подход, представленный в работе ученых, был протестирован на мобильном роботе TidyBot, предназначенном для наведения порядка в помещениях. Это не пылесос, а робот, который собирает разбросанные вещи и убирает их на место.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

«Чтобы робот изучает предпочтения пользователя, обобщает их и использует в своей работе», — пишут ученые. — «Робот собирает предметы и убирает их в предпочитаемые пользователем места хранения».

Разговоры с роботом с помощью ChatGPT

Большие языковые модели, такие как ChatGPT, умеют обобщать полученную информацию и вырабатывать рекомендации на основе обобщенных данных. Ученые использовали LLM для создания своего роды выжимки предпочтений пользователя. Основана эта выжимка на входных данных, предложенных самим пользователем. Например, пользователь может ввести текст: «одежда красного цвета идет в ящик, а белого — в шкаф», и модель сформулирует обобщенные предпочтения, которые затем могут направлять действия робота. Его не надо обучать на каждом предмете — и майки, и рубашки красного цвета пойдут в ящик.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

«Один человек предпочитает хранить рубашки в ящике, а другой — на полке. Мы стремимся создать систему, способную изучать и запоминать такие предпочтения на основе всего нескольких примеров, полученных в ходе взаимодействия с конкретным человеком. Мы показываем, что роботы могут объединить планирование и восприятие на основе LLM». То есть, и память, и планирование, и управление осуществляются на основе языка. Все как у человека.

Домашняя работа

8 реальных сценариев работы
8 реальных сценариев работы
https://arxiv.org/abs/2305.05658
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Чтобы оценить свой подход, исследователи провели серию тестов с роботом TidyBot, который убирает пол, собирает случайные предметы и помещает их в определенные места. Причем эти места места ему заранее сообщил человек с помощью текста. 85,0% объектов TidyBot разложил правильно.

Предложенный исследователями подход на основе LLM и разработанный ими робот TidyBot могут значительно продвинуть создание все более совершенных домашних роботов, способных выполнять работу по дому и наводить порядок в помещении в соответствии с предпочтениями пользователей.