Как управлять играми взглядом? Eye Tracking: история и Tobii Eye Tracker 4C
Чем дальше движется индустрия, тем больше разговоров об альтернативных контроллерах. Не о стандартных геймпадах или клавиатуре с мышкой, а о таких устройствах, что способны в корне изменить наш игровой опыт. Про VR-гарнитуры мы уже говорили немало, про дополненную реальность вроде Microsoft Hololens тоже. Даже созданный работником Valve прибор, который крепился к нёбу и давал управлять компьютером с помощью языка, — и тот получил свою минуту славы.
А вот про контроллер, позволяющий влиять на происходящее с помощью взгляда, мы пока особо не рассказывали. Пора это исправлять! Технология, о которой пойдёт речь, называется Eye Tracking — она умеет следить за тем, куда и как смотрит человек. И в некоторых играх это позволяет делать очень интересные вещи.
К сожалению, достойных альтернатив Tobii Eye Tracker 4C среди айтрекеров в игровой индустрии сейчас почти нет.
Захватывая взгляды
В том, как работают наши с вами глаза, учёные разобрались относительно поздно. Лишь в 1879 году парижанин Луи-Эмиль Жаваль наконец выяснил, что человеческий взгляд перемещается от одной «цели» к другой не равномерно, а быстрыми скачками (их назвали «саккадами»). И лишь кратковременно фокусируется на каких-то объектах, делая паузы (так называемые «фиксации»), во время которых мозг и усваивает новую информацию.
Примерно по такой траектории движется наш взгляд во время чтения.
Именно открытие Жаваля позволило уже другому учёному, Эдмунду Хью, создать первый Eye Tracker ещё в начале двадцатого века. И хотя точность его была невелика, а механизм приносил людям сильный дискомфорт (на глаз надевалось что-то вроде контактной линзы, а к ней крепилась указка, которая и помогала отслеживать перемещения зрачка), начало было положено.
Уже несколько позже, в 1920-х годах, учёный из Чикаго научился отслеживать перемещение взгляда без лишних инструментов — он фиксировал отражения лучей от глаза с помощью чувствительной к свету пленки. За следующие несколько десятилетий исследователи из разных стран продвинулись даже дальше, так что уже в 1970-х появилось множество куда более точных технологий, не требующих прямого контакта с глазами человека.
К счастью, сейчас устройства для отслеживания движений глаз стали куда компактнее. И безболезненнее.
Со временем было изобретено немало самых разных техник, однако самая, пожалуй, популярная сейчас заключается в использовании инфракрасных лучей и камер. Если немного упростить, работает механизм так: устройство отправляет в сторону глаз человека лучи, создающие блики на глазном яблоке. Специальные камеры фиксируют это на видео или высокоскоростную фотокамеру, а затем расположение этих бликов на кадрах анализируется компьютером с помощью определённого алгоритма. После чего можно точно сказать, как расположены ваши глаза, куда и на что они смотрят, и так далее.
Делая мир удобнее
Сначала коммерческие организации начали использовать системы отслеживания глаз для проверки качества своего продукта. Выяснилось, что наблюдение за взглядом у фокус-группы позволяет понять, насколько эффективна реклама (на какое изображение или товар человек реагирует охотнее?), привлекателен и удобен ли сайт (проверить, какая связь существует между перемещениями взгляда и кликами). Или насколько хорошо написан тот или иной текст: какие куски трудно читать, а какие вызывают у людей интерес.
Схема работы системы. Устройство посылает инфракрасные лучи, и оно же захватывает картинку, которую потом анализирует.
Ни одному автомобилю, например, не помешала бы система, что следит за тем, насколько внимателен водитель и не заснул ли он за рулём. Ну и конечно, отслеживание взгляда может очень упростить работу с компьютером. Парализованным людям или инвалидам без конечностей она с успехом может заменить мышь, а также позволить пользоваться интернетом и набирать тексты, используя только глаза.
Но нас, само собой, куда больше интересует применение этой технологии в играх. И здесь она тоже может предложить немало интересного. Так, например, айтрекеры пригодятся в прицеливании или выборе укрытий: надо лишь сфокусировать взгляд на нужном объекте, а не мучительно дергать мышку по столу. Они же помогут быстро взаимодействовать со всем интерфейсом: от круга выбора оружия до навигации по внутриигровой карте. Да и на кнопку «паузы» можно больше не жать — игра сама остановится, как только поймёт, что на экран больше никто не смотрит.
Если бы персонажи умели отслеживать взгляды игрока и соответствующе реагировать на них, процесс мог бы стать куда интереснее. А в хоррорах айтрекинг наверняка нашёл бы себе наилучшее применение. Некоторые злодеи и так не самые приятные личности, а уж если б они могли заглядывать прямо в глаза…
Впрочем, куда интереснее выглядит возможность взаимодействовать с миром. Представьте, например, ситуацию, в которой персонаж мог бы наладить с игроком зрительный контакт и даже определять, врёт он или нет. Для ролевых игр с ветвистыми диалогами это стало бы очень интересной находкой. В условной игре про Супермена со стрельбой лазером из глаз это тоже могло бы пригодиться. А как круто было бы играть в стратегии и управлять войском, сидя за столом с голограммами и указывая на цели одним лишь взглядом!
В отличие от некоторых VR-гарнитур, при настройке которых можно свихнуться, процесс калибровки 4С на редкость быстрый: на всё про всё уходит меньше минуты.
Технологии настоящего
Причём все это существует не только на словах: тот же стол с голограммами в каком-то смысле уже реализован в The Division, например. Там с помощью одних лишь глаз можно «сёрфить» по голографической карте Нью-Йорка — очень необычные ощущения. Правда, для такого нетривиального опыта придётся купить специальное устройство.
Сейчас главный на рынке айтрекер, позволяющий прочувствовать что-то подобное, — это Tobii Eye Tracker 4C. С виду это небольшая полоска с камерами, которую можно прикрепить прямо к монитору, а оттуда она начнет отслеживать ваш взгляд.
Если раньше айтрекинг накладывал множество ограничений, то сейчас тот же Tobii Eye Tracker 4C позволяет работать хоть в очках, хоть в линзах.
Разочаровываются в работе устройства очень немногие. В играх от первого лица, вроде Dying Light, процесс вообще ощущается совсем по-новому. Ваш взгляд теперь — это взгляд героя. Так что можно целиться или взаимодействовать с предметами, лишь посмотрев в нужном направлении. Следить за тем, как фонарик повторяет движения глаз, — отдельное удовольствие.
Но самое приятное — это как преображается паркур, ведь персонаж теперь забирается туда, куда ты смотришь, почти автоматически. Да и радиус обзора с использованием айтрекера увеличивается. Что, кстати, хорошо помогает в таких мультиплеерных проектах, как For Honor, где периферийное зрение очень важно.
В Watch Dogs 2 из-за перегруженного управления то и дело возникали проблемы — особенно во время автомобильных погонь. Здесь штуки вроде айтрекеров как раз и пригодятся: с ними достаточно лишь посмотреть на нужный объект и нажать на кнопку, отвечающую за взлом.
Главное отличие Tobii Eye Tracker 4C от конкурентов в том, что трекер умеет отслеживать не только взгляд, но и повороты головы. Да и список поддерживаемых игр пока пусть и скромный, но зато радует качеством: в нём есть и Watch Dogs 2, и Deus Ex: Mankind Divided, и даже Elite: Dangerous.
И такие перемены неплохо работают на атмосферу. В той же Elite: Dangerous работа айтрекера может приятно удивить: просто представьте, как круто вертеть головой в космосе. Конечно, это всё-таки не VR, но зато не нужно крепить к голове никаких устройств, а во время игры точно не начнётся приступ тошноты.
Ubisoft — пожалуй, главный разработчик, который сейчас экспериментирует с подобными технологиями. Хочется верить, что со временем таких смельчаков станет больше, а сами эксперименты будут только интереснее.
Еще один момент, усиливающий погружение, — это возможность без ущерба для процесса убрать с экрана лишние детали HUD. Элементы интерфейса в том же Mankind Divided, например, могут автоматически становиться полупрозрачными, если вы на них не смотрите, и не мешать погружению в мир. При этом стоит только сфокусироваться на каком-то игровом элементе, как он тут же появится снова.
Прицеливаться таким образом тоже забавно. И хотя точность во время стрельбы пока ещё не идеальна, в некоторых аспектах управление взглядом превосходит даже управление мышью. Например, когда нужно зацепиться крюком-кошкой за уступ в Assassin’s Creed: Syndicate: с устройством отслеживания взгляда стоит только посмотреть на нужный объект, и вы на месте. Раньше герои то и дело пытались улететь куда угодно, только не на нужную крышу. Да и процесс бросания предметов или гранат в какой-нибудь Rise of the Tomb Raider гаджет сильно упрощает.
Крепится Eye Tracker, как правило, прямо к монитору.
Недостатки у технологии, правда, тоже есть. К примеру, область «захвата» у 4C всё-таки ограничена, так что особенно повертеться перед монитором не выйдет. А ещё устройство плохо срабатывает, когда нужно одновременно совершить два действия. Все-таки смотреть в две точки сразу — задача не из простых.
Но главный, пожалуй, недостаток Tobii Eye Tracker 4C — его цена. На рынке не то чтобы много дешёвых конкурентов, да и по качеству они все уступают гаджету шведов. Но для простого геймера 159 евро — всё-таки значительная сумма.
Игр пока тоже не особенно много: список поддерживаемых проектов пусть и впечатляет, но насчитывает меньше сотни наименований. Хотя справедливости ради надо отметить, что он постоянно расширяется. И кто знает, какие игры появятся в нем через пару лет.
Новенькая Agents of Mayhem — наверное, самый свежий пример использования Tobii Eye Tracker 4C в играх. Там, например, прохожие занятно реагируют, если начать их рассматривать. Выглядит забавно!
Следить за развитием подобных технологий действительно увлекательно: постепенно именно такие штуки могут вдохнуть жизнь в уже поднадоевшие жанры и подарить действительно новый опыт. Сейчас устройства вроде Tobii Eye Tracker 4C — продукты нишевые: подойдут не к любой игре, да и не всем по карману. Но их вполне может ждать светлое будущее.
Тем более что уже сейчас можно оценить технологию в свежей Agents of Mayhem, а скоро она появится и в Assassin’s Creed: Origins — тоже, мягко говоря, заметной игре. И хочется верить, что в дальнейшем таких проектов и интересных гаджетов будет только больше. Кто знает? Может, лет через пятнадцать-двадцать дети будут смотреть на наши мышки и клавиатуры так же, как нынешние глядят на дискеты.