Игры разума. Нейроинтерфейсы ближайшего будущего
Тук-тук, амигос! Это ваш компьютер, да. Он стучится к вам в голову, чтобы сообщить замечательнейшую новость. Возможно, вы уже читали в майском “ Новостном меридиане ” о MindBalance — простенькой компьютерной игрушке, управляемой с помощью мозга. Так вот. MindBalance — всего лишь предвестник новой эры, в которой общение людей с компьютерами, бытовой техникой и, возможно, даже друг с другом выйдет на совершенно новый качественный уровень. Всего несколько витков земного шарика вокруг Солнца — и в нашу жизнь ворвутся интерфейсы нового поколения. Интерфейсы, которым больше будут не нужны посредники в виде архаичных клавиатур и мышек. Интерфейсы, которые, возможно, перевернут весь мир, сведя управление компьютером до уровня недовольной гримасы на лице и коротенькой мысли, проскочившей где-то на задворках вашего мозга. Сегодняшняя статья расскажет вам об элементах этого нового мира — интерфейсах, которые смогут распознавать человеческие эмоции и мысли. Племянник детектора лжи Идея научить компьютер “чувствовать” человеческие эмоции лежала на поверхности. Еще в 1933 году американский полицейский Леонард Киллер изобрел первый полиграф , называемый в простонародье “детектором лжи”. Суть данного устройства проста: фиксируя незначительные изменения физиологических функций (частот пульса и дыхательных движений, потливости рук и так далее) оно с высокой вероятностью показывает, когда человек лжет. Казалось бы, достаточно “прикрутить” полиграф к компьютеру, доработать программное обеспечение — и вы сможете фиксировать различные эмоциональные состояния человека, такие, например, как страх и возбуждение. Добавьте сюда видеокамеру с микрофоном,
Внешний вид Artificial Vision System.
программные модули, фиксирующие изменения выражения лица и эмоциональной окраски речи — и вы получите полноценный “детектор эмоций”, плотной сетью окутывающий человека и улавливающий практически любое изменение его состояния. Однако все выглядит настолько просто лишь в теории. Ну а при переходе к практике, мигом начинают возникать проблемы. Дело в том, что тестирование на полиграфе обычно проводится при участии опытного специалиста, и даже несмотря на это бывали случаи, когда хитрая техника, предназначенная для того, чтобы уличать жуликов во лжи, сама начинала нагло и беззастенчиво врать. В случае же с коммерческой программой постоянное присутствие оператора вряд ли будет возможным. Да и задача, которая ставится перед “детекторами эмоций”, на порядок сложнее — ведь им приходится фиксировать не одну ложь, а очень широкий спектр непохожих друг на друга эмоций, которые, к тому же, у разных людей проявляются по-разному. У кого-то на лице мигом отображается самые мимолетные перемены настроения, а кто-то даже перед смертью “и глазом не моргнет”. Не стоит упускать из виду и то, что в идеале было бы неплохо не только фиксировать эмоции, но еще и измерять их “силу” — ведь известно, что существует и просто страх, и ужас, и, наконец, такое состояние, народное название которого на страницы нашего журнала никогда не пропустит строгая цензура. Так что нет ничего странного в том, что на сегодняшний день даже самые совершенные прототипы полноценных “детекторов эмоций” требуют сложной и продолжительной процедуры калибровки и даже после нее правильно справляются со своей задачей всего лишь в 60-80% случаев. Бетти и “Квейк” Впрочем, подобная статистика ничуть не пугает ученых — ведь разработка действительно качественного и удобного устройства не только откроет перед ними заманчивые перспективы, но еще и позволит первыми откусить внушительный кусок от многомиллионного рынка. Сегодня работы над “детекторами эмоций” ведут десятки компаний по всему миру.
Cyberlink Interface в действии.
Например, уже девять лет в расположенном в США Массачусетском технологическом институте работает Affective Computing Research Group , члены которой уже добились немалых успехов на почве распознавания человеческих эмоций. Ряд их проектов имеет непосредственное отношение к компьютерам. Один из самых ярких примеров — игра AffQuake, основанная на базе Quake II. Играют в сие чудо науки, обвешавшись кучей датчиков, благодаря которым поведение игрового персонажа во многом начинает повторять поведение управляющего им игрока. Так, к примеру, если чувствительная Бетти, завидев несущегося на нее Злого Монстра, пугается и вздрагивает, то и виртуальный боец, стараясь повторить реакцию своей хозяйки, пугается и отступает на шаг назад. Другая интересная фишка — изменение размера персонажа в соответствии с уровнем возбужденности его хозяина — весьма забавно выглядит в многопользовательских баталиях. Помимо игр цепкие ручонки ребят из Affective Computing дотянулись и многих других областей применения компьютеров — например, до виртуальных интернет-чатов. С помощью двух своих последних разработок — Expression Glasses и Affective Avatars —они планируют уже в самое ближайшее время устроить тотальный геноцид “смайликам”. Происходить это будет так. Сначала пользователь садится за компьютер. Потом надевает Expression Glasses — специальные очки-маску, умеющие “сканировать” выражение лица человека. Закончив примерку, он направляется в традиционный ареал обитания смайликов — чат. Однако не в простой чат, а в виртуальный, оснащенный Affective Avatars — специальными виртуальными аватарами, на которых отображаются эмоции, “сосканированные” Expression Glasses с лица своего владельца. Обычные смайлики, как вы понимаете, в таких антисанитарных условиях не живут. Помимо вышеперечисленных разработок, пока существующих лишь на уровне опытных образцов, у Affective Computing есть и весьма занятные вещицы, которые могут появиться в продаже уже в самое ближайшее время. Речь первым делом идет о проекте Affective Jewelry and Accessories , в рамках которого
С помощью этого устройства программа Mind Balance улавливает импульсы головного мозга. Выглядит не так уж и страшно, не правда ли?
ведется разработка украшений и одежды, меняющих внешний вид в зависимости от эмоционального состояния хозяина. Помимо чисто эстетического удовольствия, подобные вещи могут внести новый элемент в общение между людьми. Представьте, что вы идете по улице и видите, как у бросившей на вас взгляд миловидной девушки сережки зажглись бардовым. И пульсируют, пульсируют все чаще. Если вы к тому времени уже добрались до страницы 47 инструкции к новомодному гаджету, то вам сразу станет ясно, что пора красавицу брать в оборот, кормить мороженым, цветами да комплиментами — и будет вам счастье! Будет от подобных устройств и практическая польза — например, их можно обучить наблюдать за здоровьем хозяина и даже звать на помощь, если ему вдруг стало плохо. Стараются не отставать от разработчиков из Affective Computing и их коллеги из MediaLabEurope , которые, кстати, являются создателями любимого всеми нами проекта MindBalance. Как оказалось, к эмоциям и физиологическому состоянию человека эти европейские ребята питают не меньший интерес, чем к чужим мозгам. При этом интересной особенностью практически всех исследований, проводимых в MediaLabEurope, является очень тщательное изучение их медицинского эффекта. Возьмем, к примеру, Relax to Win. В этой несложной игре двум игрокам предлагается взять под контроль по маленькому дракончику, помещенному на беговую дорожку. Сказочная зверюга умеет идти медленно, бежать быстро и лететь ну очень быстро. Суть игры — привести своего подопечного на финиш раньше, чем это сделает соперник. Казалось бы, все просто — врубай дракоше полет и финишируй одновременно со сделавшим то же самое соперником. Ан нет! Скорость, с которой движется дракон, напрямую зависит от контролируемого специальным датчиком уровня расслабленности хозяина. Следовательно, и побеждает в игре тот, кто лучше всего расслабится. А сделать это в соревновательных условиях, которые обычно вызывают совершенно противоположные реакции, ой как непросто. Основная область практического применения этой забавной игрушки — лечение нервозов и фобий у детей. Так же технологию, использованную в Relax to Win, можно применять для обучения расслаблению в сложных, приближенных к стрессовым ситуациях. Чудо-шлем Теперь давайте поговорим о следующей ступени эволюции интерфейсов — устройствах, которые в фантастических романах обычно называются “нейроинтерфейсами”. Грубо говоря, после разработки первого полнофункционального “нейроинтерфейса” потребность в описанных выше “детекторах эмоций” отпадет — ведь интерфейс, работающий на уровне импульсов головного мозга, скорее всего можно будет обучить “распознавать” и мозговые процессы, ответственные за возникновение тех или иных действий, лежащих в основе эмоций. Впрочем, создание столь сложного устройства наверняка потребует еще
Эд Лэлор — один из исследователей Mind Balance.
очень и очень много времени. Отсчитывать историю “нейроинтерфейсов” принято с далекого 1967 года. Тогда ученый Эдмонд Дьюэн , вооружившись электроэнцефалографом — прибором для регистрации биоэлектрической активности головного мозга — провел весьма интересный эксперимент, в ходе которого добровольцы учились контролировать амплитуду мозгового альфа-ритма и передавать на электроэнцефалограф сигналы, соответствовавшие точкам и тире азбуки Морзе. После нескольких тренировок человеческий мозг наконец-то “произнес” свое первое слово — “кибернетика”. Положительный результат проводимых Дьюэном экспериментов привел к тому, что разработкой “нейроинтерфейсов” заинтересовались медики и военные. Первым подобные устройства были нужны для помощи людям с физическими недостатками, вторые же спали и видели в эротических снах танки и истребители, управляемые одной лишь силой мысли. В десятках отлично оборудованных лабораторий закипела работа, первые результаты которой были продемонстрированы людям уже в 90-х годах прошлого века. С помощью “нейроинтерфейсов” стало возможным перемещать курсор на экране компьютера, управлять креслом-каталкой и даже контролировать движения искусственной руки. Причем большинство разработок не требуют сложной операции по вживлению в голову человека электродов и обходятся все той же электроэнцефалограммой, считываемой датчиками, расположенными на голове человека. Технология “выделения” команд из электроэнцефалограммы весьма оригинальна — во время калибровки устройства определяется несколько удобных пользователю мысленных состояний, которые сопоставляются с определенными командами. Например, для того, чтобы двигать курсор вверх, пользователю
Схема работы Mind Balance. Вместо двух ноутбуков, кстати, можно использовать и один достаточно мощный стационарный компьютер.
совсем не обязательно думать о двигающемся вверх курсоре. Он может вообще представлять вращающийся в пространстве куб — программа же выделит из электроэнцефалограммы это состояние и сопоставит его с необходимой командой. При этом на калибровку “нейроинтерфейсов” и обучение пользователя уверенному их использованию уходит всего пара часов. Разумеется, подобная система очень далека от полноценного чтения мыслей компьютером, но алгоритмы декодирования электроэнцефалограмм постоянно совершенствуются, и возможно, со временем “нейроинтерфейсы” научатся распознавать реальные команды, а не “костыли” вроде вращающегося куба. Более того, первые положительные результаты уже есть — например, в упоминаемом на протяжении всего текста проекте MindBalance. Суть этой игры состоит в том, что игрок следит за равновесием идущего по канату компьютерного персонажа. При этом для того, чтобы наклонить бедолагу в нужную сторону, совсем необязательно представлять всякие прыгающие мячики — достаточно сосредоточиться на одном из двух мерцающих квадратов, выведенных на экран. И все! Программному обеспечению хватает всего 45 секунд на обучение, после чего она уверенно начинает находить в электроэнцефалограмме элементы, обозначающие, что пользователь обратил свое внимание на один из квадратов. И пусть сегодня MindBalance умеет распознавать только две команды — “влево” и “вправо”, — разработчики надеются уже в ближайшие годы усовершенствовать свое детище так, чтобы его возможностей хватило для полноценного управления любой компьютерной игрой. Ну а пока сие знаменательное событие не настало, можно обратиться в компанию Brain Actuated Technologies. Ее сотрудники с радостью возьмут две тысячи ваших долларов, отдав в обмен Cyberlink Interface — устройство, позволяющее управлять компьютером с помощью импульсов головного мозга, движений глаз и изменения напряжения мышц лица. После недолгого обучения можно будет сыграть в одну из простеньких, на уровне “Тетриса” , игр, погонять по экрану курсор и даже набрать с черепашьей скорость пару фраз на виртуальной клавиатуре. Обратная связь Параллельно с разработкой “нейроинтерфейсов”, распознающих получаемые из головного мозга команды, ведутся и работы над обратным процессом — передачей информации напрямую в мозг. Пожалуй, именно эта область является самой сложной и наукоемкой. В ней уже не обойтись без хирургического вмешательства — ведь требуется подключение напрямую к одному из нервов человека или даже напрямую к человеческому мозгу.
Кадр из игровой части Mind Balance.
Сегодня ученые уже научились передавать в мозг человека звуковую информацию с помощью так называемых слуховых имплантов. Данное устройство представляет собой небольшую коробочку с микрофоном и процессором, которая при помощи электрических импульсов раздражает так называемый преддверно-улитковый нерв, отвечающий за передачу в мозг человека звуковой информации. Уберите из этого импланта микрофон, поставьте на его место кабель, подключенный к звуковой плате, — и вы сможете передавать звук из компьютера напрямую в мозг человека, минуя уши. Впрочем, на данный момент подобное выглядит нерациональным, если, конечно, речь идет не о людях с нарушением слуха. Во-первых, операция по вживлению электродов очень сложна, опасна и дорога. Во-вторых, качество звука, передаваемого даже самыми совершенными слуховыми имплантами, значительно хуже того, что мы обычно слышим своими ушами. Следом за слуховыми имплантами стали появляться и первые аналогичные устройства для людей, которые потеряли зрение. Например, в разработке Добеллевского института , названной Artificial Vision System, сигнал, полученный с видеокамеры, проходит обработку в специальном компьютере и потом поступает на несколько сотен электродов, подключенных к зрительным центрам головного мозга. Характеристики изображения, которое “видят” пользователи данного импланта, способны повергнуть в ужас неподготовленного обывателя: разрешение 15х15 точек, не более 5 кадров в секунду и никаких намеков на цвет. Несмотря на это, люди, потерявшие зрение, умудряются при помощи Artificial Vision System вполне уверенно ориентироваться в пространстве. Более того — данная разработка доказывает существование возможности передачи в мозг человека визуальной информации, и, следовательно, можно надеяться на то, что со временем качество картинки вырастет до приемлемого для пользователей уровня. Ведутся работы и над передачей в мозг человека других ощущений, например, касаний или запахов. Пока речь идет больше о “костылях” вроде разнообразных костюмов, имитирующих прикосновения, но со временем наверняка появится возможность делать то же самое напрямую, воздействуя на нервную систему человека. Ведь все сенсорные системы человеческого организма (а тут вам и слух, и зрение, и обоняние, и многое другое) работают
Драконьи бега. Кадр из игры Relax to Win.
практически по одним и тем же законам. И следовательно, если был создан слуховой имплант, то со временем подоспеют и разработанные на основе его технологий устройства, воздействующие на другие сенсорные системы человека. Игра-2015 Теперь же давайте немножко пофантазируем и попробуем представить, как повлияют вышеперечисленные разработки на развитие компьютерных игр. 2008 год. Вы заполняете привычные поля Login и Password, после чего оказываетесь в новомодной MMORPG. Несколько минут блуждания по городу — и вот на экране наконец-то появляется аватар вашей боевой подруги. Вы рассказываете ей о найденном вчера подземелье, где наверняка хранится множество полезного добра, и видите, как скучающая гримаска на лице девушки стремительно меняется на выражение заинтересованности. Вж-ж-жик! Минутная стрелка на часах делает пол-оборота. Ваша двоица уже зачистила пещеру и возвращается в город, буквально сгибаясь под грузом трофеев. Однако в местном филиале Шервудского леса на вас нападает пара начинающих Робинов Гудов. Начинается сражение, в котором для победы надо не только быстро елозить мышкой по коврику, но еще и контролировать свое эмоциональное состояние. Любой, кто занервничает, будет тут же “награжден” снижением характеристик, а следовательно, и шансов на победу… 2016 год. Акции еще год назад никому не известной фирмы, выпустившей на рынок первый полнофункциональный “нейроинтерфейс” для PC, бьют все рекорды по скорости роста. Именитые разработчики игр и программного обеспечения выстраиваются в многокилометровую очередь за SDK, а вы — счастливый обладатель популярного устройства — наслаждаетесь возможностями, которые оно дает вам в играх. Вас больше не сковывают наручники из ограниченных возможностей традиционных клавиатур и мышек. Вот вы бежите по полю боя к ближайшему укрытию, ведя беспокоящий огонь по окопавшемуся где-то слева противнику, и одновременно смотрите направо в сторону леска, из которого должно появиться долгожданное подкрепление. А уже через час, сменив игру, сами решаете, куда и когда отправить помощь. Вы мысленно “произносите” в голове позывные необходимых отрядов, определяете их построения и скорость движения и указываете взглядом точки назначения на карте. На то, чтобы раздать приказы всем подчиненным, у вас уходит лишь несколько секунд…
Relax to Win. Версия для Pocket PC.
2050 год. Рождение первой в истории человечества системы виртуальной реальности. Миллионы человек получили возможность играть, отдыхать и даже работать в одном из сотен миров, по реалистичности практически не уступающих тому, что они привыкли видеть в своем родном мире. Старина Александров сидит в беседке, затерявшейся где-то на просторах прекрасной безымянной планеты, и наслаждается мягким светом двух солнц. Длинноногая синекожая аборигенка приносит ему кружку чая — самого обычного чая, из рублевого пакетика — и ставит на стол. Отпив из кружки, Александров берет в руки лист белой бумаги, на котором буквы начинают складываться в первые слова: “Нейроинтерфейсы” прошлого века: как все начиналось. *** * *** Разумеется, все сказанное в последней главе не является истиной в последней инстанции. Могут измениться даты и появиться более экзотичные способы использования описанных выше разработок. Или “взбрыкнет” человеческая физиология, выставив на пути соединения компьютера и человека ранее неизвестные барьеры. Да много чего может еще измениться. Но факт остается фактом — привычным устройствам управления компьютерами (да и не только ими — практически любой другой техникой тоже) уже совсем скоро придется потесниться. P.S. Автор выносит благодарность Евгению Головко за помощь в подготовке данной статьи.