У шлема смешанной реальности Apple Vision Pro нет технического механизма управления. Управляется шлем движениями глаз и жестами рук. Недавно дизайнеры Apple уточнили, какими именно жестами управляется шлем Vision Pro, и как будет работать взаимодействие с объектами, интерфейсом и т.п.

- Касание – Касание большого и указательного пальцев отвечает за тапы по виртуальным элементам на дисплее, на которые вы смотрите. Это как касание экрана
- Двойное касание – Двойное касание пальцев отвечает за двойной тап.
- Сведение и удержание – Если свести и задержать пальцы, будут выполнены опции вроде выделения текста. По сути это долгое касание или зажатие.
- Сведение и перетягивание – Сведение и перетягивание можно использовать для пролистывания и перемещения окон. Можно листать горизонтально или вертикально. Чем быстрее движется рука, тем быстрее происходит пролистывание.
- Увеличение – Увеличение – основной жест двумя руками. Нужно свети пальцы двух рук и развести руки для увеличения или свети для уменьшения изображения. Размер окон можно настраивать перетягиванием за их углы.
- Вращение – Это тоже жест двумя руками, для которого нужно свести пальцы и вращать руки для вращения виртуальных объектов.
Жесты будут работать в тандеме с движениями глаз. Многочисленные камеры Vision Pro будут отслеживать, куда вы смотрите, с огромной точностью. Позиция глаз будет отвечать за то, с чем вы будете взаимодействовать жестами рук. К примеру, когда вы посмотрите на иконку приложения на экране, она подсветится. После этого открыть приложением можно будет жестом руки.
Вам не нужно поднимать руки высоко для жестов, их можно расслабить и держать на коленях. Apple призывает делать именно так, чтобы пользователи не уставали от того, что долго держат руки на весу. Для тапа достаточно просто свести пальцы, а всё остальное отследят камеры.
Взглядом вы сможете выбирать объекты для взаимодействия, которые находятся и рядом с вами, и далеко от вас. Будут сценарии, когда для управления объектами поближе пользователь сможет использовать более обширные жесты. Вы также сможете взаимодействовать с объектами кончиками пальцев. К примеру, если у вас открыто окно Safari, вы сможете вытянуть руку и листать виртуальное окно, а не использовать жесты, держа руки на коленях.
Шлем также будет считывать движения рук для набора текста. Жесты будут работать в сочетании друг с другом. Чтобы создать рисунок, вы сможете посмотреть куда-нибудь на холсте, рукой выбрать кисть и рисовать, проводя рукой прямо по воздуху. Если вы посмотрите в другое место, курсор будет моментально передвинут туда.
Apple описала шесть основных системных жестов, но разработчики смогут придумывать и собственные жесты для своих приложений. Такие жесты должны будут отличаться от системных и не совпадать с жестами, которые люди часто совершают естественно. Кроме того, жесты должно быть легко повторять много раз, чтобы е уставала рука.
Помимо движения глаз и жестов рук, Bluetooth-клавиатур, трекпадов, мышей и игровых контроллеров, будет доступен голосовой поиск и инструменты диктовки.
Те, кто уже испытал систему управления Vision Pro, назвали её интуитивной. Пока что все отзывы положительные. Похоже, дизайнерам Apple удалось создать систему управления, которой действительно удобно пользоваться.