Дополненная реальность. Все, что вы хотели узнать о технологии будущего

Очень скоро вы войдете в новую реальность. Здесь мир дополняет вас, подстраиваясь под ваше окружение, предпочтения и потребности. Реальность становится гибкой, изменчивой и высоко персонализированной; все это настраивается и управляется вами. Весь мир в одно мгновение становится изменяемым, нарушая коммуникационные барьеры и создавая новое сенсорное сознание, которое коренным образом меняет зрение, слух, осязание и обоняние. Правила старого мира больше не применимы. Портативные компьютеры, датчики и интеллектуальные системы расширяют человеческие способности и наделяют нас сверхспособностями.

Это новая Дополненная Реальность. Вы готовы?

В этой книге я расскажу вам о дополненной реальности, о возможностях и перспективах развития этой технологии. Я продемонстрирую вам возможности нового цифрового измерения и покажу, как функционирует эта среда. При этом вам не придется оставлять свою физическую реальность. Цифровые изменения уже вошли в ваш мир.

Позвольте мне объяснить. Эта книга не о виртуальной реальности (VR), но научиться различать AR и VR все же необходимо. Для использования технологии VR нужно надеть специальную гарнитуру, которая полностью блокирует физическое восприятие, заменяя реальный мир измененной компьютерной средой.

Приложение SnowWorld, разработанное в лаборатории Технологии человеческих интерфейсов (сокр. HIT, от англ. Human Interface Technology) Университета Вашингтона в 1996 году Хантером Хоффманом и Дэвидом Паттерсоном, было первой программой, погружающей в мир VR, призванной снизить болевые ощущения у взрослых и детей. SnowWorld был разработан специально для того, чтобы помочь в лечении пациентов с ожогами и уходе за ними. Хоффман объясняет[1], как технология VR помогает облегчить боль, отвлекая пациентов от реального мира:

Боль требует сосредоточения внимания. Суть VR заключается в том, что при ее использовании пользователь переносится в компьютерную среду. Погружение в другой мир задействует много когнитивных ресурсов, отвлекая мозг от обработки сигналов о боли.

Технология VR основана на иллюзии погружения в иное пространство и время, которые, как правило, сильно отличаются от реальности. В технологии AR вы не покидаете реальный мир, и виртуальная составляющая вливается в ваше окружение посредством прозрачных цифровых очков, смартфона, планшета или портативного компьютера. Вы по-прежнему будете видеть и ощущать реальный мир вокруг себя всеми органами чувств, но теперь он расширен при помощи цифровых технологий и изменяем.

Одним из первых приложений с применением технологии дополненной реальности было Word Lens[2]. Представьте себе путешествие в страну, местным языком которой вы не владеете. Заказать блюдо из меню или понять информацию на дорожных знаках без чьей-то помощи может оказаться трудной задачей. С помощью Word Lens вы можете навести ваш смартфон на напечатанный текст на иностранном языке и тут же перевести его на выбранный вами язык. И, таким образом, благодаря технологии AR вы глубже погружаетесь в новую среду.

На технологию VR есть свой специфический спрос, но AR позволяет нам глубже погружаться в реальный мир и быть с ним теснее связанными – мир, в котором мы проводим большую часть нашего времени. Как и в случае с VR, мы должны осознавать, что расходуем наши «ресурсы внимания» для восприятия информации из дополненной реальности, но вместе с тем мы не отстраняемся от окружающего мира или друг от друга. Нужно отдавать себе отчет в том, что в центре этой новой среды находится сам человек. Главная цель всего этого – не потеряться во всевозможных устройствах, но дополнить нашу действительность технологическим фоном, продолжая при этом жить реальной жизнью.

Что такое дополненная реальность?

Наиболее распространенное определение AR звучит так: цифровое наложение на реальный мир, выраженное в компьютерной графике, тексте, видео или аудио, которое является интерактивным в реальном времени. Технической оболочкой для дополненной реальности является смартфон, планшет, компьютер или AR-очки, оснащенные специальным программным обеспечением и камерой. Вы можете использовать AR, чтобы найти и идентифицировать звезды и планеты[3] в ночном небе или узнать больше про музейные экспонаты с помощью интерактивного AR-гида[4]. AR предоставляет возможность лучше понять наш мир и почувствовать его совершенно по-иному.

Краткое определение AR, используемое по настоящее время, было дано в 1997 году пионером этого направления Рональдом Азума, и звучит оно следующим образом: «AR позволяет пользователю видеть реальный мир с виртуальными объектами, наложенными полностью или частично на объекты реального мира. Поэтому AR дополняет реальность, а не полностью заменяет ее»[5].

Технология AR заключается в накладывании виртуальных образов на сфокусированный реальный предмет с помощью камеры и программного обеспечения на включенном устройстве, таком как смартфон. В качестве предметов из реальной жизни могут быть выбраны знаки, изображения, объекты, звуки, местоположение или даже человек. Исходные данные обрабатываются с помощью программного обеспечения и сравниваются с базой данных потенциально соответствующей информации. Если есть совпадения, запускается технология AR, и дополненный контент накладывается поверх реальности.

Согласно определению, данному Рональдом Азума, дополненная реальность включает в себя следующие три характеристики:

• объединяет реальный и виртуальный миры;

• интерактивна в режиме реального времени;

• обеспечивает распознавание в трех измерениях (3D).

Распознавание, третья характеристика, состоит в том, чтобы эффективно вписывать трехмерные виртуальные объекты в реальный мир. Без точного распознавания иллюзия существования виртуальных объектов в реальном мире будет нарушена и эффект реалистичности не будет достигнут. Так, если виртуальная AR-лампа парит над вашим столом, а не стоит непосредственно на столе, то такой технический сбой разрушает иллюзию того, что эта лампа действительно находится в вашем пространстве (если только не допустить, что в вашем офисе завелись призраки). Зато если к какому-то виртуальному объекту добавить, например, тень, он станет для вас более правдоподобным, поскольку будет иметь характеристики окружающей физической среды.

Как развивается AR

То, чего, по моему мнению, не хватает в этом описании сегодня и что отличает следующую волну развития AR, – это контекст. Контекстная информация преобразует наш опыт взаимодействия с AR, поскольку теперь с одинакового опыта для всех пользователей дополненная реальность сместилась в сторону персонализированного опыта, учитывающего ваши расположение, интересы и потребности. Контекст основывается на характеристиках получаемой из внешнего мира наиболее важной информации и подстраивается под вас, накладывая соответствующие образы поверх реального мира.

Контекстное распознавание технологии AR не только должно позволять лампе выглядеть так, будто она действительно находится на столе (как говорилось в определении 1997 года). Технология должна обеспечивать появление лампы тогда, когда вам требуется больше света, или выключать свет, когда вы уходите с работы. Технические аспекты этой задачи будут решены в ближайшее время, и, хотя эта сторона продолжит оставаться важной, фокус в дальнейшем сместится на вопросы значимости и эффектности получаемого пользователем опыта по дополнению реальности.

Процесс поиска целей усложняется и теперь заключается не просто в распознавании цели, выбранной из статичной библиотеки вещей, как, например, изображение динозавра в учебнике, запускающее трехмерную модель динозавра, отображаемую в дополненной реальности. Сегодня эта трехмерная модель может изменяться, подстраиваясь под такие факторы, например, как уровень знания предмета каждым из учеников или даже их индивидуальные особенности восприятия информации. Так, в следующий раз, когда ученик откроет книгу, AR изображение динозавра изменится с учетом нового изученного материала. Технология дополненной реальности становится живой, «дышащей» базой данных: взаимодействие факторов внешнего мира и дополненной среды, изменяющихся в реальном времени, позволяет технологии адаптироваться под ваши индивидуальные особенности, исходя из имеющихся данных.

Уже давно пора переосмыслить значение технологии AR и ее возможное применение, учитывая, что в настоящее время она вышла за рамки чисто теоретических рассуждений и получает все больше практического применения. Раньше для использования AR требовалось специальное оборудование, которое было громоздким и неудобным. Но сегодня, благодаря тому, что современные смартфоны оснащены огромным количеством датчиков, технология AR стала доступна практически каждому. В дальнейшем дополненная реальность будет применяться все чаще, например в незаметных портативных компьютерах, встроенных в одежду, очки или даже вшитые под кожу человека.

Крупные компании, такие как Apple, Facebook, Microsoft, Google и Intel, пристально наблюдают за дополненной реальностью и инвестируют в ее будущее, привлекая к ней массовую аудиторию. Генеральный директор Facebook Марк Цукерберг называет AR «новой коммуникационной платформой». Он пишет: «Мы считаем, что настанет день, когда дополненная реальность станет частью повседневной жизни для миллиардов людей»[6].

Генеральный директор Apple Тим Кук считает[7], что AR – это «настолько же значительная идея, как смартфон». Кук говорит: «Я думаю, что потенциал AR настолько велик, что его можно назвать огромным. Я очень впечатлен возможностями дополненной реальности, они могут улучшить жизнь многих людей и сделать ее более насыщенной». В 2017 году на ежегодной Всемирной конференции разработчиков (WWDC) компания Apple представила ARkit, передовую платформу для разработки приложений AR для iPhone и iPad. В Докладе WWDC Крейг Федериги, старший вице-президент Apple по разработке программного обеспечения, назвал ARkit «самой распространенной платформой AR в мире»[8].

AR – это расширение ощущений человека, и эта технология не будет развиваться изолированно. Реальный эффект AR будет заключаться в том, что она станет основой для создания среды, сочетающей в себе также другие новейшие технологии, такие как портативные компьютеры, датчики, Интернет вещей (сокр. IoT от англ. «Internet of Things»), машинное обучение и искусственный интеллект.

Первая волна AR, которую я называю «наложение», была связана с наложением цифровых образов поверх реальности. В качестве примеров «наложения» можно привести трехмерную модель бейсболиста, возникающую на бейсбольной карточке, или виртуальную игру-викторину, появляющуюся на картонной подставке для кружки в баре. Эти проекты практически не имели вариаций и не менялись, если вы взаимодействовали с ними повторно; типичный одинаковый контент, не вызывающий у пользователя желания обратиться к нему снова. Часто для такого рода приложений также требовалось загрузить и распечатать определенное изображение для фокусировки, распознавания и запуска дополненной реальности.

Вторую волну AR я называю «Проникновение». Это новое поколение является более захватывающим, интегрированным и интерактивным по сравнению с первым. Ключевое различие между «Наложением» и «Проникновением» (в котором собственно и заключается секрет получения впечатляющего опыта взаимодействия с AR) – это вы. Вы являетесь движущей силой в «Проникновении». Вы – это контекст, определяющий дополненную реальность.

В отличие от «Наложения», технология этой волны выходит за рамки использования напечатанных объектов к новому пониманию пространства и глубокому погружению в окружающую среду. Весь мир становится объектом трекинга. При переходе к технологии «Проникновения» снимаются ограничения «Наложения» и возникает возможность для сенсорного и более тесного взаимодействия как с внешним миром, так и друг с другом.

Новые сенсорные смартфоны, поддерживающие технологию AR, такие как Lenovo Phab 2 Pro и Asus ZenFone AR, использующие в работе технологию AR от Google под названием Tango, – отличные пример того, как работает «Проникновение». Технология Tango включает в себя отслеживание движения и восприятие глубины, позволяя устройству ориентироваться в физическом пространстве подобно тому, как это делают люди.

Когда вы держите устройство и перемещаете его по комнате, камера, распознающая глубину, фиксирует то, что расположено рядом, и может определять физические границы и местоположение предметов вокруг. Оно способно определить, где находятся стены, пол и даже мебель. В недалеком будущем такие технологии, как Tango, позволят по-новому взглянуть на привычные повседневные действия, такие как, например, рассказывание ребенку сказки на ночь. Представьте себе, что кровать превращается в виртуальный джип для сафари, и обезьяна прыгает с комода на лампу, в то время как лев крепко спит на комоде. Ваша физическая среда, переплетаясь с виртуальным дополнением, погружает вас внутрь самой истории.

Проникновение в ваши чувства

Kinect от Microsoft позволил технологии AR сделать большой шаг вперед в области распознавания целей в реальном мире. Kinect сыграл важную роль в этом, сделав человека частью AR, благодаря отслеживанию движений тела. До Kinect цели для распознавания AR были, как правило, статичными и ограничивались напечатанными изображениями. Эта технология сделала AR более интерактивной и позволила распознавать не только ваши действия, но даже выражение лица и эмоции. (В главе 2 рассказывается, как компьютерное зрение усовершенствовало AR и как оно позволяет нам по-новому взглянуть на мир через эти новые «глаза».)

Изобретатель Kinect Алекс Кипман (он же изобрел AR-гарнитуру Microsoft HoloLens) описывает[9]влияние Kinect, как «монументальный сдвиг от компьютерной индустрии из того старого мира, в котором мы должны были понимать технологии, в новый мир, где технологическая составляющая растворяется и начинает понимать нас». Технология AR не только распознает нас и окружающую среду, но и начинает распознавать нашу деятельность и реагировать на нас. Взаимодействие с технологией становится более естественным, так как технологическая составляющая исчезает и ощущения выходят на передний план. Это и есть «Присутствие».

«Присутствие» обеспечивает новый уровень погружения: от эффекта технологии «Наложения» мы переходим на новый уровень, на котором благодаря взаимодействию технологии со всеми нашими чувствами, мы оказываемся в более многомерном пространстве. Взаимодействие со всеми остальными человеческими чувствами, помимо зрения, будет играть наиболее важную роль в следующей волне AR. Например, дополненный звук часто сопрягается с визуальными эффектами, но звук может использоваться в AR и самостоятельно, без визуальной составляющей, или даже интегрироваться с элементами воздействия на другие органы чувств. В дополнение к визуальному и аудиальному восприятию, в настоящее время AR может воздействовать на осязание, обоняние, вкусовые рецепторы и даже создавать новые ощущения (более подробно об этом вы можете прочитать в главах 3, 4 и 5).

«Проникновение» – это технология AR, создающая новый гибридный режим, который объединяет реальное и виртуальное. AR наполняет физический мир цифровыми свойствами, а виртуальный мир становится осязаемым. Технология дополненных тактильных ощущений воздействует на чувство осязания человека за счет изменения давления воздуха, деформируемых экранов и специальных контроллеров. Например, AR позволяет протянуть руку и погладить виртуальную кошку, ощутив прикосновение к ее шерсти и вибрацию от мурлыкания.

Благодаря технологии AR также возможно создание вкуса и запаха с использованием таких устройств, как, например, Electronic Taste Machine[10] и Scentee – оба изобретены Эдрианом Дэвидом Чоком, профессором, изучающим полную информатизацию в Университете Лондона. Scentee – небольшое устройство, подключаемое к аудиоразъему смартфона и позволяющее отправлять сообщения, которые источают определенный запах. Electronic Taste Machine благодаря использованию металлических датчиков может передать на ваш язык разные вкусовые ощущения – от кислого до горького, соленого или сладкого, в зависимости от типа электрического тока, проходящего через электрод. В результате этого в мозг передается виртуальное ощущение вкуса.

Чокхочет, чтобы мы могли взаимодействовать с компьютерами так, как мы это делаем в реальном мире, используя при этом все пять чувств. Он объясняет[11]:

Представьте, что вы смотрите на свой рабочий стол или на свой iPhone или ноутбук, где все находится за стеклом, в окошке, и вы либо касаетесь экрана, либо наблюдаете за происходящим через него. Но в реальном мире мы можем приподнять стекло или открыть окно, прикоснуться и почувствовать вкус или запах.

Эта следующая волна AR позволяет нам «открыть окно» и расширить спектр человеческих чувств.

Человеческий мозг может воспринимать оцифрованные и электрохимические сигналы, создавая новые ощущения. Человеческий глаз не различает такие явления, как радиоволны, рентгеновские лучи и гамма-лучи, потому что у нас нет соответствующих биологических рецепторов. И дело не в том, что эти лучи невозможно увидеть; человек не может увидеть их, по крайней мере пока, потому что у нас нет соответствующих органов чувств. AR может дать людям такие сверхспособности, благодаря которым мы не только увидим больше, но и сможем использовать все остальные органы чувств, получая более насыщенный опыт и знакомясь с расширенным спектром информации и данных. Теперь у нас есть технология, позволяющая узнать этот мир намного лучше.

Различное применение AR

AR сегодня: основное внимание сконцентрировано на человеке

Когда я начала работать над технологией дополненной реальности 12 лет назад, основное внимание в этой области уделялось технологии в целом; о контенте стали задумываться уже намного позже, если вообще задумывались, и, как правило, такие размышления были запоздалыми. В то время, когда большинство исследователей и разработчиков работали над техническими проблемами AR, мне посчастливилось быть частью команды, работавшей в уникальной лаборатории в Йоркском университете Торонто (Канада), под руководством Кейтлин Фишер, где мы вместе формировали будущее повествовательной составляющей дополненной реальности. Наша лаборатория сильно отличалась от других исследовательских центров того времени: мы работали на базе факультета изобразительных искусств и кафедры кинематографии, в то время как большинство университетских исследовательских лабораторий по развитию AR базировались на кафедрах вычислительной техники. В других лабораториях, как правило, делался акцент на исследования в какой-то конкретной области AR с уклоном в разработку и совершенствование отдельных методов. В то же время наша лаборатория сосредоточила работу на создании контента и эффекте от использования этой технологии.