Ещё недавно AR/VR можно было увидеть только в высокобюджетных фантастических фильмах. Но технологии развиваются — виртуальную (VR) и дополненную реальность (AR) стали использовать в решении задач бизнеса, образования, медицины и многих других сферах.
Что такое дополненная реальность (AR)
Восприятие человека ограничено физиологическими возможностями сенсорных органов. Поэтому уже тысячи лет для познания окружающего мира, облегчения работы и быта, а также для развлечений люди используют.
Восприятие человека ограничено физиологическими возможностями сенсорных органов. Поэтому уже тысячи лет для познания окружающего мира, облегчения работы и быта, а также для развлечений люди используют.
Восприятие человека ограничено физиологическими возможностями сенсорных органов. Поэтому уже тысячи лет для познания окружающего мира, облегчения работы и быта, а также для развлечений люди используют всевозможные инструменты, дополняющие воспринимаемый мир.
В каком-то смысле оптические приборы с линейками и шкалами, подзорные трубы, секстанты, микроскопы и телескопы дополняют реальность. Но все же под технологией дополненной реальности подразумевается именно компьютерная обработка информации об окружающем мире и достраивание виртуальных объектов на основе распознанных образов.
ht_termine termine=»Дополненная реальность (Augmented reality, AR)» transcript=»это совокупность воспринимаемого человеком реального мира и встроенных в него с помощью компьютерных технологий виртуальных объектов. Дополненная реальность может расширять как визуальное, так и звуковое или тактильное восприятие.»
Развитие вычислительных технологий во второй половине XX века открыло возможность для создания систем, распознающих реальные объекты и отслеживающих их движение. Эти первые опыты в области компьютерного зрения уже позволяли встраивать простые геометрические фигуры в реальное окружение и взаимодействовать с ними.
Технология дополненной реальности
Для реализации первых AR-разработок были необходимы специальные громоздкие приборы, очки и шлемы. Современное развитие вычислительных технологий позволяет применять гораздо более компактные решения, а также использовать обычные смартфоны для взаимодействия с дополненной реальностью.
Один из используемых в AR подходов основан на внедрении в реальные объекты специальных меток для устройств считывания — смартфонов, AR-очков и т.д. Метками могут служить QR-коды, RFID или NFC-чипы.
Другой тип AR-решений позволяет дополнять любое окружение виртуальными объектами с помощью технологий компьютерного зрения. Приложение сканирует локацию с помощью камеры и размещает AR-объекты в этом пространстве. Такой подход является более универсальным, но может требовать больше вычислительных затрат.
Виртуальная и дополненная реальность
Нередко возникает путаница между двумя технологиями — VR и AR, хотя отличить их достаточно просто.
Под термином VR , или «виртуальная реальность», понимают технологию полной симуляции окружения. Через специальную аппаратуру человек получает зрительную, а также звуковую и тактильную информацию, описывающую искусственно созданную локацию.
Технология дополненной реальности подразумевает встраивание виртуальных объектов в реальной среде. Для восприятия AR обычно тоже необходимы специальные устройства, но происходит не создание окружения с нуля, а именно частичное дополнение восприятия.
Разработка дополненной реальности. История
Одним из первых устройств для виртуального погружения стал симулятор Sensorama, разработанный кинематографистом и изобретателем Мортоном Хейлигом в 1957 году. Аппарат демонстрировал человеку записанный от первого лица фильм, а также передавал вибрации и даже запахи. Хотя Sensorama работал по принципу виртуальной, а не дополненной реальности, изобретение дало импульс для развития обоих направлений.
Пользователь системы Sensorama и оператор, снимающий для материал для симуляции виртуального окружения
Первая разработка, которая позволила дополнить реальное окружение виртуальными объектами, появилась в 1968 году. Компьютерный специалист Айвен Сазерленд и его студент Боб Спраул создали AR-систему «Дамоклов меч». Испытуемый надевал на голову устройство, состоящее из очков с дисплеем, камеры и системы отслеживания взгляда. Из-за большого веса конструкции ее приходилось крепить к специальному кронштейну на потолке, благодаря которому изобретение и получило свое название. На стереоскопический дисплей очков транслировалось простое изображение геометрической фигуры, которое менялось в зависимости от движений головы и глаз.
AR-система «Дамоклов меч»
В 1974 году появилось изобретение, которое позволило работать с AR без специальных очков и шлемов. Лаборатория искусственной реальности Videoplace состояла из набора различного оборудования, в том числе камер, проекторов и т.д. Система позволяла проецировать интерактивное изображение с силуэтами людей и виртуальными объектами.
В 1981 году канадский инженер Стив Мэнн разработал первое AR-устройство EyeTap, которое полностью крепилось на человеке. Система включала очки, оборудованные камерой и дисплеем, рюкзак с портативным компьютером и блоком с батареями. Впоследствии Стив Мэнн несколько раз модифицировал разработку, делая ее более компактной и функциональной.
«Сегодня постоянно растет спрос на методы обучения и тренировки людей таким способом, чтобы исключить риски и опасность реальных ситуаций»
Что такое дополненная реальность (AR) и как развивалась эта технология
Дополненная реальность (AR) — технология, добавляющая в реальный, физический мир цифровые объекты. Например, шлем военного лётчика, со стеклом отображающим расстояние до цели, высоту полёта, различные углы и ещё кучу параметров боя; экран телефона, где изображение покемона накладывается на картинку с камеры; упаковка товара, превращающаяся в захватывающую анимацию при наведении на неё камеры.
В отличие от дополненной реальности, виртуальная реальность (VR) — это полное погружение в созданный компьютером мир. Для восприятия такой реальности нужен специальный шлем или очки.
Многие предметы и технологии изначально создавались для военных нужд: например, городской рюкзак или интернет. Не стали исключением и технологии AR и VR.
В середине XX века, когда AR и VR ещё не различали, транснациональная корпорация Philco Corporation создала первый шлем виртуальной реальности для Пентагона.
После были проекты для ЦРУ, NASA и индустрии развлечений. Тут стоит отметить так и не ставшее популярным устройство Sensorama. Это было что-то вроде 5D-кинотеатра. Аппарат не только показывал зрителю кино со звуком, но ещё и обдувал его ветром, качал на стуле и наполнял ноздри соответствующими сюжету фильма ароматами. Такой вот аналоговый VR. Но изобретение было слишком революционным и потому не вызвало интереса инвесторов.
В 1990 году учёный Том Коделл ввёл термин «дополненная реальность». С тех пор дороги AR и VR разошлись.
AR стал развиваться больше как коммерческая технология для нужд бизнеса. Это и логично, ведь чтобы испытать опыт дополненной реальности, человеку достаточно смартфона или планшета, в то время как для доступа к VR-контенту необходимо иметь дорогостоящий шлем и другие гарнитуры.
В каких сферах используют AR
С помощью AR можно решить практически неограниченный круг задач. Например, Amazon применяет AR для проверки социального дистанцирования своих работников. В самых людных местах офиса установлены мониторы, на которые транслируются изображения из закреплённых тут же камер наблюдения. Вокруг каждого человека дорисовывается круг безопасного диаметра, и если люди находятся слишком близко, круги вокруг них становятся красными. Во всех остальных случаях они зелёные:
Ещё одна необычная сфера применения — логистические центры. Компания DHL разработала специальную гарнитуру для оптимизации труда сотрудников, состоящую из сканера проектора и специальных очков. Она сканирует штрихкод упаковки и проецирует на очки всю необходимую информацию, включая место посылки на тележке:
AR активно используют в медицине. Существует устройство, считывающее сетку сосудов пациента по тепловому излучению и проецирующее её на его руку. С таким гаджетом средний медперсонал никогда не промахнётся, пока ставит капельницу или делает укол в вену:
Кроме того, AR используют в образовании, авиационной и автомобильной промышленности, машиностроении, туризме, прессе, музейном деле и других сферах.
При этом работа «на улице» зависит от условий: на ровных дорожных покрытиях или на подстриженном газоне отслеживание работает не хуже, чем в помещении. Если же поверхность земли не ровная, то проводятся тесты конкретного места на конкретном устройстве.
Сферы применения AR
В образовании AR может быть использована для воссоздания исторических событий или чтения обычных книг в 3D-проекциях. Дополненная реальность чрезвычайно полезна для педагогов в условиях занятий в классе или во время презентаций и позволяет учащимся глубже понять определенную тему. Пример уже внедренных технологий — японское приложение New Horizon, которое с помощью встроенных камер смартфона показывает прямо в учебных книгах анимированных персонажей на нужных страницах.
Еще одна сфера применения AR — здравоохранение. Приложение ARnatomy уже помогает будущим врачам изучить реальную модель скелета, а зрительное приспособление VA-ST используется людьми со значительной потерей зрения. Оно создает наброски контуров лица собеседника.
Военные тоже интересуются технологией. Американская компания BAE Systems разработала шлем под названием Striker II, в котором вместо очков используется своеобразный козырек с дисплеем. На него проецируется изображение с камеры ночного видения, а аппарат способен отслеживать движения головы оператора. Так данные всегда располагаются в направлении взгляда пользователя.
Еще одна американская компания Matterport с помощью AR создает виртуальный рынок продажи недвижимости.
Но, естественно, главные драйверы AR, как и многих других технологий, — гиганты Apple, Google и Microsoft. Они активно инвестируют средства в AR, чтобы сделать технологию более эффективной и доступной для миллиардов пользователей смартфонов.
В одном из интервью главный исполнительный директор Apple Тим Кук заявил: «AR будет так же важен, как прием пищи три раза в день». А недавно и Facebook обнародовал планы работы с цифровым моделированием 3D-объектов в соцсети, чтобы пользователи по-настоящему погружались в серфинг новостной ленты и общению с друзьями.
Что касается повторных продаж, основная идея в том, чтобы с помощью AR предоставить покупателю дополнительную бесплатную услугу и тем самым установить с ним позитивную эмоциональную связь. На этом основана механика инновационных программ лояльности.
Как работает дополненная реальность
Если откинуть совсем уж древние реализации, то ЭйАр — это распознавание образов и отслеживание маркеров.
С распознаванием образов все более-менее понятно. Если приложение должно распознавать стол, то достаточно загрузить на сервер библиотеку фотографий столов, обозначить общую структуру, цвет, произвольные параметры и присвоить этому набору данных определенное действие при обнаружении на картинке.
Вторая часть — это отслеживание маркеров. Маркерами могут выступать как специально напечатанные изображения, так и любые объекты.
Обложку журнала приложение распозна́ет по простой форме с прямыми углами и конкретному рисунку, и будет отслеживать ее положение в пространстве, отмечая смещение относительно фона. В этом случае сама обложка и есть маркер.
Со специальными маркерами все обстоит еще проще. Допустим, мы хотим примерить автомобилю новые диски. Для этого нам достаточно наклеить на диски QR-метки и система автоматически поймет, что именно в этих местах следует вставлять в картинку изображение новых колес. Еще один пример: мы кладем метку на пол и приложение понимает, что эта плоскость и есть пол, и разместит на нем произвольные объекты.
Но маркеры везде не налепишь, а сделать уникальный маркер под каждую ситуацию и унифицировать всю систему слишком сложно.
Здесь на выручку приходит SLAM — метод Одновременной Локализации и Построения Карты, используемый для построения карты в неизвестном пространстве с одновременным контролем текущего местоположения и пройденного пути.
Звучит сложно. В упрощённом виде, Слэм — это способ распознавания окружения и местоположения камеры, путем разложения картинки на геометрические объекты и линии. После чего каждой отдельной форме система присваивает точку (или много-много точек), фиксируя их расположение в пространственных координатах на последовательных кадрах видеопотока. Таким образом, условное здание раскладывается на плоскости стен, окна, грани и прочие выделяющиеся элементы. А условная комната — на плоскости (пол, потолок, стены) и объекты внутри. Благодаря тому, что алгоритм позволяет запоминать положение точек в пространстве, вернувшись в эту же комнату из другой вы увидите точки на тех же местах, где они и находились ранее.
Особенно сильный толчок этот метод получил после того как производители смартфонов начали встраивать дополнительные камеры для расчета глубины резкости в свои аппараты.
Не стоит думать, что Слэм — это продвинутая версия обычного распознавания образов и отслеживания маркеров. Скорее, это инструмент, который намного лучше подходит для ориентации систем дополненной реальности в пространстве. Он дает приложению понять, где находится пользователь. Но намного хуже подходит для опознания, например, медведя на картинке.
Для максимальной эффективности оба подхода объединяют для конкретной задачи. Что приводит нас к современной ситуации.
Настоящее: от очков к телефонам
В самом начале развития ЭйАр было понятно, что ее успех будет зависеть от того, насколько удобно будет нашим глазам.
Еще в 1984-м году в фильме «Терминатор» Джеймса Кэмерона была визуализирована концепция дополненной реальности и компьютерного зрения. Но Кэмерон сильно опередил время, т.к. встроить ЭйАр прямо в глаз в те годы не представлялось возможным даже в смелых фантазиях. Идеалом виделись форм-факторы контактных линз или очков. Первое и сейчас лишь на стадии концептов, а вот по мере удешевления и появления более тонких производственных процессов форма очков становилась все ближе. С годами к ней окончательно прилип и второй вариант реализации: с помощью ставших вездесущими смартфонов.
Самым громким событием дополненной реальности последних лет стали вышедшие в 2013-м году очки Google Glass, с которыми есть небольшая путаница. Несмотря на то, что именно они многим первыми приходят на ум, когда речь заходит о дополненной реальности, к таковой эти очки отношения почти не имели. Виртуальная среда практически не взаимодействовала с реальной. Разве что навигацию можно причислить к ЭйАр-контенту, но и она была реализована в стиле карт для телефона, а не каких-нибудь висящих над дорогой стрелок.
Зато очки умели делать фото и снимать видео по команде, с автоматической отправкой в облако. Этот не ставший массовым эксперимент все же сделал свое дело: запустил волну, дав понять другим компаниям, что можно всерьез приниматься за разработку устройств дополненной реальности для масс.
Эстафету тут же приняла Майкрософт, через пару лет завуалированно анонсировавшая (а в 2016-м и представившая) очки смешанной реальности Hololens. Правда, только для разработчиков и журналистов. Продукт сложный, его до сих пор разрабатывают. Но в интернете много восторженных обзоров, где люди делятся своим опытом взаимодействия с виртуальной средой.
Хололенс не требуют подключения к другому ПК или телефону. У очков четыре камеры, с помощью которых они анализируют комнату и совмещают виртуальные объекты с реальным миром.
Очки позволяют практически полноценно работать с Windows 10, причем, название «Виндоус» обретает новый смысл: окна системы легко вешаются на стены на манер, собственно, окон. Очки запоминают помещение, поэтому, когда пользователь возвращается в ту же самую комнату, все окна приложений и прочие элементы смешанной реальности ждут его на своих местах.
Сейчас существует около десятка наиболее перспективных разработчиков и продуктов для дополненной реальности в форм-факторе очков: Vuzix, Sony, ODG, Solos.
Но один производитель подобрался наиболее близко к тому, что может быть не только технологично, но и удобно. Это — компания Magic Leap.
Запустившись в 2010-м году в атмосфере абсолютной секретности, она уже через пару лет собрала инвестиций более чем на полмилллиарда долларов от таких гигантов как Гугл и Куалком. Никто за пределами узкого круга инвесторов не знал, чем эта компания привлекла такое внимание и что у нее за продукт.
Но информация все-таки просочилась. А позднее было официально объявлено: компания работает над продвинутой версией очков дополненной реальности, которые на голову сильнее Гугл Гласс и Хололенс. И, в отличие от других производителей, в Мэджик Лип равное внимание уделяют как железу, так и ПО и интерфейсам. Несмотря на то, что компанию больше интересует индустрия развлечений, чем прикладное применение, на сегодняшний день она является лидером в удобстве пользовательских интерфейсов.
Я уже упомянул видеоигры выше, но стоит сделать это снова, ведь один из ключевых элементов виртуальных развлечений может стать неотъемлемой частью реальной жизни. Речь идет о навигации. В играх часто появляются навигационные стрелки или значки, показывающие направление. Благодаря дополненной реальности такие «стрелки» можно перенести в жизнь.
Перспективы развития AR (в том числе и в бизнесе)
Дополненная реальность – будущее маркетинга и многих сфер бизнеса. От медицины и авиастроения до видеоигр и dating-сервисов все будет окутано AR-технологиями. Apple с Microsoft уже зацепились за эту нишу и точно будут продвигать ее в массы. Объем рынка растет, привлекаются новые инвестиции, внедрение AR становится более выгодным для бизнеса.
Рассчитывать на то, что это направление затихнет и отойдет в сторону, не приходится. Надо дождаться более подходящего потребительского оборудования по доступной цене, и тогда произойдет очередной всплеск, сравнимый с тем, что инициировал выход iPhone.
Еще более редкий, но известный благодаря футуристичности способ – очки дополненной реальности. Используются в основном на производствах, в обычной жизни вы их скорее всего не встретите. По крайней мере не сегодня.
«Безмаркерная» технология AR
«Безмаркерная» технология работает по особым алгоритмам распознавания, где на окружающий ландшафт, снятый камерой, накладывается виртуальная «сетка». На этой сетке программные алгоритмы находят некие опорные точки, по которым определяют точное место, к которому будет «привязана» виртуальная модель. Преимущество такой технологии в том, что объекты реального мира служат маркерами сами по себе и для них не нужно создавать специальных визуальных идентификаторов.
Технология на базе специальных маркеров, или меток, удобна тем, что они проще распознаются камерой и дают ей более жесткую привязку к месту для виртуальной модели. Такая технология гораздо надежнее «безмаркерной» и работает практически без сбоев.
«Пространственная» технология
Кроме маркерной и безмаркерной, существует технология дополненной реальности, основанная на пространственном расположении объекта. В ней используются данные GPS/ГЛОНАСС, гироскопа и компаса, встроенного в мобильный телефон. Место виртуального объекта определяется координатами в пространстве. Активация программы дополненной реальности происходит при совпадении координаты, заложенной в программе, с координатами пользователя.
Стараясь исключить технологические риски и обойти проблемные моменты, при разработке прототипа программного комплекса, мы остановили свой выбор на надежной и проверенной маркерной технологии дополненной реальности.
Так же, использование маркерной технологии имеет дополнительные преимущества в плане внедрения в методическую часть наглядных печатных материалов, используемых в общеобразовательных учреждениях при изучении конкретной темы и проведении практических работ по ней.
Не стоит думать, что Слэм — это продвинутая версия обычного распознавания образов и отслеживания маркеров. Скорее, это инструмент, который намного лучше подходит для ориентации систем дополненной реальности в пространстве. Он дает приложению понять, где находится пользователь. Но намного хуже подходит для опознания, например, медведя на картинке.
Очки дополненной реальности
На данный момент существует большой выбор AR-очков с ценами от 50 тысяч рублей до десятков тысяч долларов. Обзор очков может занять отдельную статью, но основная причина, по которой они обычно лежат на складах – большой разрыв между ожиданиями и реальностью. В очках дополненной реальности возникает ощущение, что перед глазами просто монитор компьютера. Это удобно в том плане, что компьютер перед глазами, а руки свободны, но до «встраивания» виртуальных объектов в реальный мир и манипуляции с ними пока далеко. Прорыв в очках виртуальной реальности случился четыре года назад, у очков дополненной реальности такой прорыв еще впереди.
Если вам нужна помощь в создании собственного приложения для дополненной реальности, то просто позвоните нам или напишите нам на почту info@helmeton.ru. Мы с радостью поможем вам!
Вокабулярий
ARCore – инструмент разработчиков и стандарт для производителей устройств на базе Android. Телефон анализирует поверхности помещения, которые видит, и запоминает их. Строит виртуальную модель вашей комнаты, поэтому даже если отвернуться от объекта, он останется там. Если выйти из комнаты и вернуться, объект останется на месте, т.к. телефон «вспомнит» эту комнату. Также отслеживается перемещение телефона в пространстве, чтобы смартфон понимал, где он находится, и отслеживает освещенность. Эту систему поддерживают телефоны на базе Android 7.0 и выше.
ARKit – инструмент разработчиков для iOS, функционал аналогичен ARCore, на уровне пользователя разница незначительна.
ARFoundation – надстройка, которая объединяет ARKit и ARCore и позволяет программистам создавать одно приложение под две платформы.
Open CV – библиотека компьютерного зрения. Здесь же распознавание лиц, здесь же и машинное обучение для распознавания чего-то другого.
Vuforia – инструмент разработчиков для создания AR на базе картинок-меток.
MediaPipe Hand Tracking – инструмент разработчиков, позволяющий отслеживать движения кисти и пальцев в реальном времени.
Список устройств с поддержкой ARCore:
содержит более 200 моделей, полный список здесь:
Список устройств с поддержкой ARKit:
iPhone SE; iPhone 6s и iPhone 6s Plus; iPhone 7 и 7 Plus; iPad Pro 9,7 и iPad Pro 12,9 (2016); iPad 9,7 (2017); iPad Pro 10,5 и iPad Pro 12,9 (2017) и все более поздние модели.
