Исследователи Кембриджского университета использовали машинное обучение для разработки «горячих жестов» — аналога «горячих клавиш». Приложение HotGestures позволяют пользователям строить фигуры и формы в виртуальной реальности, без использования меню или программирования. Как утверждают ученые, это помогает человеку сосредоточиться на задаче и не отвлекаться на работу с интерфейсами.
ИИ поможет человеку создавать 3D-объекты виртуального мира
Исследователи Кембриджского университета разработали приложение для виртуальной реальности, в котором инструментами 3D-моделирования можно управлять с помощью жестов.
University of Cambridge
Создание виртуальных объектов с помощью жестов уже несколько десятилетий демонстрируется в фантастических фильмах. Но теперь, эта фантастика впервые реализована в реальности.
Человек и ИИ творят виртуальный мир
Виртуальная реальность (VR) и связанные с ней приложения уже много лет рекламируются в качестве игровых технологий, но за пределами игр их возможности не полностью реализованы. «Пользователи сегодня могут научиться использовать VR, но это довольно неудобно», — говорит соавтор работы профессор Пер Ола Кристенссон. — «Человек быстро устает махать руками, устают глаза, страдает точность движений».
Большинство пользователей настольных программ знакомы с концепцией «горячих клавиш» — командных сочетаний, таких как ctrl-c для копирования и ctrl-v для вставки. Эти сочетания не требуют открытия меню для поиска нужной команды и поэтому ускоряют работу. Но это зависит от того, помнит ли пользователь нужную команду.
«Мы хотели взять концепцию "горячих клавиш" и превратить ее в нечто более значимое для виртуальной реальности — что-то, что не зависело бы от того, что пользователь уже запомнил», — говорит Кристенссон.
Вместо «горячих клавиш» Кристенссон и его коллеги разработали «горячие жесты», когда пользователь жестом руки управляет нужным ему инструментом в 3D-среде виртуальной реальности.
Например, выполнение «режущего» движения открывает инструмент «ножницы», а движение «распыления» — инструмент «баллончик». При этом пользователю не нужно открывать меню, чтобы найти нужный инструмент, или запоминать конкретную комбинацию клавиш. Пользователь может легко переключаться между различными инструментами, выполняя различные жесты во время выполнения задачи, не приостанавливая работу для просмотра меню или нажатия кнопки на контроллере или клавиатуре.
ИИ запомнит и поймет ваши жесты
В рамках исследования ученые создали нейросетевую систему распознавания жестов, которая может распознавать жесты и прогнозирует движение на основе входящего потока данных от рук человека. Сейчас система настроена таким образом, чтобы распознавать десять различных жестов, связанных с построением 3D-моделей: перо, куб, цилиндр, сфера, палитра, распыление, вырезание, масштабирование, дублирование и удаление. Этот список можно изменять и пополнять.
Команда провела два небольших исследования, в которых участники использовали HotGestures, команды меню или их комбинацию. Технология, основанная на жестах, обеспечила быстрый и эффективный выбор и использование инструментов. Участники отмечают, что HotGestures отличается быстротой и простотой использования.
Исследователи выложили исходный код и набор данных для обучения в открытый доступ, чтобы разработчики VR-приложений могли внедрить их в свои продукты. «Мы хотим, чтобы это стало стандартным способом взаимодействия с VR», — говорит Кристенссон. — «Мы уже несколько десятилетий пользуемся устаревшей метафорой картотеки. Нам нужны новые способы взаимодействия с технологией, и мы считаем, что HotGestures — шаг в этом направлении. Когда все сделано правильно, VR может быть подобна волшебству».