Координировать действия руками приходится людям самых разных занятий. Оркестр или рок-группа — самый яркий тому пример. Все время, пока существует музыка, музыканты использовали зрение и слух, чтобы синхронизировать звучание. Когда речь идет о струнных или клавишных инструментах, которые издают довольно четкие ноты, это нормально прокатывает. Но играющим на смычковых или духовых инструментах попасть в унисон куда сложнее.
Умная перчатка поможет музыкантам играть в унисон, не теряя человечности
Не бойтесь, этот экзоскелет не будет играть за вас, двигая смычком или нажимая клавиши, так что живость звука не потеряется. Устройство лишь поможет лучше чувствовать ритм партнеров — чувствовать в прямом смысле.
Scuola Superiore Sant’Anna in Pisa
Команда инженеров из Римского биомедицинского университета и Высшей школы Сант-Анна в Пизе разработала экзоскелет для руки, создающий тактильную обратную связь между людьми.
Экзоскелет, созданный в рамках проекта Conbots, задействует тактильные органы чувство. Два музыканта надевают по паре легких устройств. Встроенные датчики одной пары отслеживают движения рук и передают сигналы на устройство партнера, создающих почти физическую взаимосвязь.
При этом, система не пытается диктовать ритм или подталкивать пальцы, поэтому сохраняет естественную выразительность живых музыкантов.
Продолжение ниже
Видео
Продолжение
Звук хорошо, касание - отлично, звук+касание — полный улет
Исследователи протестировали систему на 20 дуэтах скрипачей, в том числе любительских и профессиональных. Участники играли четыре раза: в первом случае они ориентировались только на слух, затем — слух с визуальным сопровождением, слух с тактильной обратной связью через экзоскелет и с комбинацией всех трех сенсорных входов.
Оказалось, что тактильная обратная связь с помощью роборуки эффективнее поддерживает игру в унисон, чем звук.
Наилучший уровень координации был достигнут при объединении всех сенсорных модальностей — слуха, зрения и осязания. Это еще раз доказывает, как важна мультисенсорная интеграция в задачах, требующих сотрудничества.
Подтвердилось также, что экзоскелет не снижает выразительности живой игры.
Музыка, спорт и медицина
Исследователи считают, что тактильная система обратной связи будет полезна не только музыкантам. Синхронизация движений нужна во многих занятиях: в спорте, образовании, медицинской реабилитации, в сложных профессиях. Учителя или терапевты могли бы направлять учащихся, физически передавая ритм правильных движений.
Более того, это расширяет возможности удаленного обучения и исполнения. Согласитесь, трудно передать нюансы игры на той же скрипке через мессенджер или видеосвязь. Теперь это может стать проще.