Как работает инструмент apple arkit

Мобильный браузерный AR будет более распространённым

Мы постепенно приближаемся к тому времени, когда нативные приложения становятся наиболее распространённым источником предоставления услуг и сервиса для пользователей. Тем не менее мы также ожидаем увидеть всплеск популярности мобильной браузерной дополненной реальности.

На это имеется ряд причин. С одной стороны, не у каждого бренда есть время и ресурсы для создания и поддержки собственного приложения. С другой стороны, пользователям не придётся загружать дополнительное приложение на свой телефон.

Использование мобильной веб-страницы для AR-кампаний может дать бренду гораздо больший контроль над распространением и маркетингом их контента, который будет доступен для пользователей без необходимости загрузки приложения. Эта технология будет особенно активна в области рекламы и для оптимизации различных производственных процессов.

Комары, покемоны и бог

Корреспондент «Медузы» наводит камеру айпада на пол. Он видит на экране планшета первобытное племя. Если подойти ближе, можно разглядеть выражения лиц — человечки удивленно смотрят в камеру. Если отвести айпад на метр назад, на экране появятся пальмы, расставленные вокруг человечков. Над ними — облака, отбрасывающие тени на пол. Если поднять камеру наверх, где-то под потолком покажется солнце.

Это — «симулятор бога» ARrived от российской студии Luden.io, выросшей из компании Nival. В роли бога — игрок, он решает, что будет с его персонажами. Он может ударить молнией в дерево, чтобы появился костер и человечки согрелись. Может отодвинуть костер, если хочет взглянуть на их страдания. А может раздать им по кружке чая и посмотреть, как они пытаются его пить, соблюдая этикет.

ARrived — мобильная игра в дополненной реальности. Человечки и пальмы останутся привязанными к той точке пола, на которой они появились. Игрок может обойти их, чтобы разглядеть с другой стороны, отойти подальше или наоборот, прижаться к полу, подглядывая за персонажами из-за деревьев. Он может запустить игру на столе, на улице или в парке — тогда человечки будут играть в траве.

Кадры из игры ARrived (Кошка ничего не видит)

Первая массовая мобильная игра появилась почти 15 лет назад. В 2003 году Siemens выпустила телефон SX1 на платформе Symbian. Одна из трех установленных в ней игр — Mozzies — позволяла охотиться на комаров в реальном мире. На экран выводилось изображение с камеры, поверх которого были нарисованы комары и прицел: нужно было нацелиться на насекомых, словно парящих в комнате и расстрелять их.

Работало это довольно просто: игра оценивала, насколько влево-вправо и вверх-вниз сместилась картинка с камеры, и двигала комаров в ту же сторону, чтобы казалось, что они висят в определенной части комнаты.

AR-игры развивались вместе с телефонами. Игра Mosquitoes, выпущенная под iPhone 3GS, использовала встроенные в него сенсоры — акселерометр и цифровой компас (в предыдущих моделях айфонов компаса не было).

Игра Mosquitoes на iPhone

Самой популярной мобильной игрой, использовавшей элементы дополненной реальности, стала Pokemon Go — пик ее популярности пришелся на лето 2016 года. В ней игрок сначала ходит по реальным улицам, чтобы найти точки, где водятся виртуальные покемоны. А затем наводит камеру на дорогу (лестницу, машину, диван — как повезет), видит стоящего там покемона и ловит его.

Правда, по-настоящему дополненной реальностью в Pokemon Go можно считать только элемент с картой реального мира, по которой разбросаны виртуальные предметы. «Технически Pokemon Go не видела, где пол, — объяснил „Медузе“ главный гейм-дизайнер Luden.io Денис Поздняков. — Игра просто размещала где-то картинку покемона. Она не могла никак связать его с окружающей действительностью, не могла наложить красивую тень на пространство, и не могла увидеть, где находится сам игрок».

Глава 2

Web AR

«Все понятно, спасибо. Последний вопрос — обязательно надо скачивать приложение, да? Или можно как-то обойтись без этого?»

Есть несколько способов: просмотр контента в web напрямую из браузера или загрузка приложения напрямую на устройство.

Просмотр в браузере — пользователю достаточно перейти по ссылке для того, чтобы просмотреть ARконтент. Очень удобная механика для онлайн-магазинов, клиенты оперативно могут увидеть продукцию в реальном размере.

Так как эта технология работает на ARkit, объекты очень хорошо привязываются к плоскости. Но так же существуют ограничения — просмотр возможен начиная с iphone 6S и iOS 12.

Загрузка напрямую на устройство — отличный вариант для демонстраций и ивентов, когда у вас нет цели скачивания приложения сторонними пользователями. В этом случае приложение загружается на демонстрационное устройство, без публикации в магазинах приложений.

В 2018 году около 1.79 миллиардов людей по всему миру купили товары онлайн, и примерно 40% этих покупок были совершены с мобильного телефона. Эксперты прогнозируют рост этих показателей в предстоящем году, и это открывает еще больше перспектив для дополненной реальности в процессе онлайн-шоппинга.

Привязка к маркеру

«Хочу, чтобы рекламные материалы ожили!»

В этом случае будет использоваться маркерный способ привязки — ожившая версия рекламы появляется при наведении камеры на ее физический оригинал. Эта механика не новая, но в совокупности с хорошим сторителлингом или нестандартной подачей контента она может быть выигрышным решением!

Это означает, что AR-контент запускается, когда в поле зрения камеры появляется определенный триггер. Маркером может являться не только отдельное изображение, логотип или фото, но и звуки, объемные объекты, практически все, что угодно.

Кстати, это же касается и самого контента. Разместить можно любой медиа-контент, будь то сложная 3D анимация или кнопки с интерактивом.

Дополненная реальность станет постоянным каналом связи

Широкое распространение дополненной реальности приведет рынок к переходу от отдельных маркетинговых кампаний к постоянному прямому диалогу с аудиторией, используя как виртуальное пространство продукта, так и пользовательскую среду в режиме реального времени.

Таким образом, дополненная реальность может стать ориентиром для мира бренда, в котором события происходят постоянно. Такой подход позволит использовать дополненную реальность в качестве мощного инструмента, выполняющего информационные и образовательные функции.

Хороший пример — Air New Zealand разработала масштабную трёхмерную топографическую карту Новой Зеландии, которая была помещена в оболочку захватывающей игры для всей семьи. В неё можно играть через Magic Leap One.

Этот опыт, разработанный совместно со студией Framestore другим партнером Magic Leap, вовлекает пользователей в самые разные виды деятельности: от прыжков с банджи на вертолетах и путешествий с китами до встреч с хоббитами. В дополнение к визуальным эффектам игра также предлагает компонент викторины для привлечения пользователей в мир новозеландской культуры.

Сторителлинг выйдет на новый уровень

Сегодня пользователям интересно знать больше об истории брендов, которые они поддерживают. Как донести эту историю убедительно и содержательно, добавив ценности продукту — вызов, с которым сталкивается каждый маркетолог в перенасыщенном информацией мире цифровых технологий. Интересный факт, что происходит это вопреки призывам Amazon и других ритейл-гигантов «покупать товар», а не бренд.

Природа дополненной реальности, ориентированная на получение опыта, — отличный способ удовлетворить этот спрос. И в 2018 году мы видели, что всё больше компаний, вне зависимости от их размеров, понимают, что это тот инструмент, в который стоит инвестировать. Однако чем популярнее становится AR, тем важнее продумать креативную концепцию и последующую реализацию для этой маркетинговой кампании, которая действительно сработает на бренд, а не будет «инструментом ради инструмента».

Что такое ARKit?

ARKit является разработкой Apple и станет для разработчиков приложений основным инструментом, который возьмёт на себя основную нагрузку по разработке приложений для работы с дополненной реальностью. Для работы этой технологии, Apple использует встроенную камеру устройства, его процессор и его некоторые датчики дли анализа окружающего пространства. Устройство автоматически определяет горизонтальные поверхности и позволяет пользователям размещать на них подходящие объекты. Apple также берет на себя все вычисления, связанные с прорисовкой теней и всех передвижений при перемещении камеры.

Таким образом, для каждого разработчика AR-приложений отпадает необходимость каждый раз изобретать велосипед, можно просто воспользоваться готовым фреймворком и написать своё приложение поверх него. Также как и в случае с App Store, инструментарий ARKit позволяет разработчикам сосредоточиться на творчестве, на создании новых областей применения этой технологии.

Приложения, созданные с помощью ARKit iOS будут запускаться на устройствах, оснащённых процессорами семейства A9 и A10. В список поддерживаемых устройств относятся следующие модели устройств: iPhone 6s, iPhone 6s Plus, iPhone SE, iPhone 7, iPhone 7 Plus, 9.7 iPad (2017), 9.7 iPad Pro, 10.5 iPad Pro и 12.9 iPad Pro.

А теперь, давайте перейдём к рассмотрению уже созданных демонстрационных приложений.

Начало проекта

Один момент…

Перед тем, как начать коммуникацию с клиентом, давайте дадим определение самой технологии:

И немного цифр:

Мировой рынок технологий дополненной и виртуальной реальности в 2019 году вырастет на 68,8% относительно предыдущего года, достигнув 20,4 млрд долларов.

В 2018 году количество загрузок ARCore (Android) и ARKit (iOS) — приложений дополненной реальности, составляет 1,8 млрд. По прогнозам, к 2020 году этот показатель должен увеличиться до 4 млрд.

Итак, наш клиент — это автомобильный бренд.

Он немного слышал о технологии дополненной реальности, а после встречи с нами зажегся идеей ее использования в маркетинговой активности бренда. Отправной точкой будет его первый микро-бриф — нужно создать «оживающую рекламу». Чтобы буклеты, страницы в журналах и наружная реклама «оживали».

Не так уж подробно, но мы с вами привыкли… 🙂

Конечно же, дальше мы еще спросим на какую аудиторию нацелено приложение, в каких магазинах планируется его размещение, подробно расспросим про желаемый контент и уточним все нюансы относительно функционала.

Ну что, вот и новые вводные!

Развитие технологии

«Спасибо! В перспективе мы бы хотели развивать приложение. Есть ли какие-то новые механики, которые помогут быть бренду на гребне волны?»

Индустрия не стоит на месте. Каждый месяц появляются новые технологии, все более органично помещающие цифровые объекты в реальный мир. Это и есть фиджитал!

Еще совсем недавно сложно было представить, чтобы 3D модель привязывалась к любой плоскости, без участия маркера и не «дрожала», а сейчас обычный смартфон размещает без больших нагрузок тяжелые анимированные объекты, распознает лица, ноги, руки и даже ногти! Солдат 3D карты помещений и в риалтайме транслирует объемные фигуры живых людей. Мир меняется очень быстро!

ARKit все ещё остаётся сырой технологией

Несмотря на все плюсы технологии ARKit от Apple, у неё есть и ряд недостатков.

Например, приложение вряд ли сможет определить четкую позицию объекта в слабо освещённом пространстве. Кроме того, объект закрепляется к определённой точке.

Эта точка считывается не только камерой устройства, но и при помощи GPS-модуля. Скорее всего, многие из вас пробовали AR-игры в метро. Что у вас, в итоге, выходило? Всё игровое пространство постоянно съезжало в сторону, пытаясь иногда вернуться на исходную позицию.

Дело в том, что iPhone и iPad плохо ловят под землёй сигнал GPS, поэтому гаджет продолжает пытаться концентрироваться на определённой точке уже с помощью камеры. Увы, это работает плохо.

Пока Apple не внедрит в свои устройства специальные датчики, как в Google Tango, гаджет не сможет четко реагировать на действия пользователя, ну и, разумеется, правильно размещать объекты.

Области применения AR

Первые AR-разработки относились скорее к научным экспериментам. Но с каждым новым витком развития технологии открывались новые прикладные области. Первыми сферами, на которые разработчики ориентировали свои изобретения, были обучение и технологический процесс. С помощью дополненной реальности можно наглядно показать сложные идеи и механизмы. На производственной линии AR может существенно упростить и удешевить процесс, как это было, например, с AR-шлемами для инженеров Boeing.

Современный уровень развития электроники и компьютерных наук открывает почти неограниченный простор для применения AR. Технологию используют ученые, врачи, артисты, производители игр, маркетологи и т.д.

Дополненная реальность в медицине

AR-решения в медицине могут помочь в обучении новых специалистов. Например, приложение ARnatomy помогает в изучении скелета человека. Немецкая программа PalpSim AR обучает студентов-медиков пальпированию пациентов.

Другие разработки позволяют контролировать состояние пациента во время операции без использования сложной системы датчиков.

Кроме того, технология дополненной реальности может сделать такие процедуры, как УЗИ, максимально наглядными.

Дополненная реальность может быть полезной и для пациентов. Специальное AR-устройство VA-ST дорисовывает очертания лица собеседника для людей с существенным нарушением зрения.

Дополненная реальность в образовании

Возможность одновременно держать перед глазами большое количество разнородной информации и интерактивное управление виртуальными элементами открывают большой простор для применения AR в образовательном процессе. Технология может помочь в изучении почти любого предмета. В математике — поможет понять геометрические построения, в истории — позволит реконструировать исторические события и совместит их с картами. В AR будут гораздо нагляднее и сложные химические формулы. Конечно, использование дополненной реальности в образовании требует хорошо продумывать и структурировать материал при создании учебных пособий.

Среди примеров применения AR в образовании — приложение New Horizon от японских разработчиков. Когда камера смартфона считывает страницы учебников, приложение достраивает анимированных персонажей, которые соответствуют изучаемому материалу.

Дополненная реальность в маркетинге

Американская компания Matterport разрабатывает AR-решения на рынке недвижимости.

Некоторые журналы и издания размещают на своих страницах эффектную рекламу, которая позволяет подробно рассмотреть объемные модели автомобилей, мебели, гаджетов и любых других объектов.

Дополненная реальность и развлечения

Наиболее широко технология AR сегодня представлена в сфере развлечений

Большое внимание AR-развлечениям уделяют такие крупные игроки рынка, как компании Lego, Disney, Apple и другие

Одни из наиболее захватывающих и популярных игр в дополненной реальности — это AR-шутеры.

Основанная в 1997 году Wearable Computer Lab портировала первую 3D-игру Quake в AR. Как и в оригинальной игре, в ARQuake игрокам приходилось сражаться с монстрами, но только встроенными в реальное окружение.

https://youtube.com/watch?v=yNYfkxqiB6g

Father.IO — один из примеров шутеров от первого лица в дополненной реальности. Игроки используют смартфоны со специальным устройством, которое помогает определить противников на расстоянии 50 метров.

Сюжет игры разворачивается в 2040 году. Часть людей эволюционировали и стали существенно отличаться от обычных Homo sapiens. Зараженный вирусом искусственный интеллект пытается убить всех людей, которые не подверглись мутациям. Две команды игроков сражаются в дополненной реальности — одна состоит из мутантов, другая из обычных людей. Карта игры разделена на шестиугольники, каждый из которых контролирует одна из команд.

Участники могут стримить игру на YouTube или Facebook. Игра доступна бесплатно, но необходимо купить специальный гаджет для смартфона.

Pokemon Go — игра, которая дала мощный толчок развитию AR-направления в индустрии развлечений. Управление аватаром по виртуальной карте и поиск покестопов увлекли миллионы пользователей. Благодаря популярности игры произошло резкое увеличение прибыли и капитализации студии разработчиков Niantic, Nintendo и нескольких других связанных с игрой компаний.

Порталы

«С этим разобрались. А еще мы хотим показывать партнерам как выглядит наше новое производство. Можно как-то это сделать в том же приложении?»

В дополненной реальности возможно показать любые пространства в режиме 360.

Эта механика называется портал. Портал привязывается к плоскости и открывается пользователю в виде «двери», внутрь которой можно зайти, удерживая устройство в ее направлении.

Пространство может быть абсолютно любым — отрисованным в графике, в виде 360 фото или видео.

Внутри портала может быть целая сеть порталов, по которым можно гулять, рассматривать и взаимодействовать с объектами внутри. Если нужно показать квартиру, галерею, отель, музей или нарисованный сказочный мир — эта механика отлично подойдет!

Бонус: Новые примеры использования ARKit

ARKit Модель Тесла 3 

Модель «Тесла 3» от поклонника, который ни как не может дождаться получения этой новой модели и с помощью фреймворка ARKit создал виртуальную модель в своём реальном пространстве, и на которой можно включать головные фары и многое другое.

Заказ еды с помощью ARKit

Разработчик Alper Guler создал приложение с помощью ARKit. Оно позволяет отобразить различные блюда на вашем столе, а также позволяет производить некоторые действия с картинкой: увеличивать, размещать в разных зонах и другое.

Клип A-Ha  – Take On Me с применением ARKit

Разработчики создали довольно неплохой клип на Take On Me и сделали это с помощью новой технологии Apple – ARKit. Результат превзошёл все ожидания и стал одним из лучших демонстраций возможностей ARKit. Само видео длится меньше двух минут, но им наслаждаешься с первой до последней секунды:

Apple Maps с применением ARKit

Разработчик Эндрю Харт сделал демо-версию приложения, показывающего будущее навигации с ARKit и CoreLocation на iOS 11. Дополненная реальность будет добавлять стрелки и синюю линию прямо в реальный мир, делая путь, по которому надо идти, ясным и очевидным.

Сцена из фильма Звонок с использованием ARKit

Разработчик iOS Абишек Синг, который работает с платформой ARKit, создал новое демо, благодаря которому самая страшная сцена из фильма ужасов Звонок происходит прямо у вас в комнате. Самара полностью вылезает из телевизора и идёт по вашей комнате.

Какие виды AR-приложений ожидаете вы? В чем заключается ваша идея в создании лучшего AR-приложения? Ждём ваши комментарии.

Перспективы

Свои концепты AR-очков и шлемов разрабатывают многие крупные компании и стартапы, в числе которых Vuzix, Sony, ODG, Solos, Magic Leap и другие.

Однако сейчас наиболее востребован рынок мобильных приложений с возможностями AR, которые имеют конкретное утилитарное применение. Сложные и дорогие гаджеты вызывают энтузиазм, но пока что недоступны и не очень нужны массовому потребителю.

Среди приложений, которые уже пользуются спросом:

  • AirMeasure — виртуальная рулетка, способная определять расстояния и размеры в 3D-окружении.
  • Мобильная реализация Google Translate, которая умеет переводить текст в реальном времени.
  • Sun Seeker — приложение, которое определяет траекторию солнца на любой местности и в любое время.
  • Google Sky Map — позволяет изучить карту звездного неба.

Одной из наиболее заинтересованных в развитии AR компаний является Facebook. Сейчас корпорация внедряет в свои продукты AR-маски и другие эффекты. Также известно, что программисты Facebook разрабатывают алгоритмы трекинга всего тела, а не только лица, что позволит распознавать фигуры и позы.

На сегодняшний день большинство успешных AR-разработок сосредоточено в области развлечений, а значит, и разработчики в первую очередь ориентируются на эту сферу. Но дальнейшее развитие технологии и внедрение в науку, здравоохранение, системы безопасности и быт рядовых пользователей — лишь вопрос времени и увеличения объема инвестиций. Так что уже в ближайшие несколько лет можно ожидать повсеместного распространения дополненной реальности в самых разных продуктах и сервисах.

Реалистичность

«Может можно заменить и промоутеров на стенде на цифровых? Если да, мы бы еще разгрузили наших консультантов в дилерских центрах, добавив голографических!»

Существует несколько способов интеграции реалистичных AR-персонажей в приложение.

2D видео. Модель снимают на хромакее с ракурса человеческого роста, в графическом редакторе обрезают у видео фон и помещают в xR среду под прямым углом к зрителю. Таким образом, когда пользователь пытается обойти модель, она постоянно поворачивается к нему одним и тем же ракурсом, что создает ощущение ее объема и реалистичности.

4D съемка. Съемка в студии с набором специальных камер, которые могут захватывать объект в движении. В результате получается очень реалистичная анимированная 3D модель человека, готовая для интеграции в AR-среду.

Несметное количество игр

На конференции WWDC, во время основной презентации, Apple показала демо игру, которая была создана с помощью ARKit. И я так подозреваю, что эта технология будет в основном использоваться в этом направлении. Уже можно наблюдать появление небольших шутливых разработок, показывающих степень интерактивности AR-игр. Будет здорово поиграть в «В завоевателей космоса» или в «стрелялку» в рабочие часы в офисе!

Другой разработчик, используя ARKit, превратил парковку в настоящую видеоигру:

Современные устройства дополненной реальности

Google Glass

Компания Google представила прототип своих умных очков Google Glass в 2013 году. На самом деле этот гаджет мало относился к технологии дополненной реальности, так как виртуальные элементы не взаимодействовали с окружающей средой.

В функционал очков были интегрированы некоторые из сервисов компании: Google Now, Hangouts, навигация, поиск в сети и переводчик. Также с помощью очков можно снимать фото и видео, которые сохранялись в облако, отправлять сообщения, узнавать погоду и информацию об авиарейсе, а также получить инструкцию по оказанию первой помощи. Управление Google Glass реализовано через голосовые команды. Например, с помощью фразы ok, glass, take a picture можно сделать фото.

Разработка Google не стала популярной, но дала сигнал другим корпорациям: новый рынок и новое поле для конкуренции начали активно формироваться.

В 2015 году Google приостановила производство Glass.

Microsoft HoloLens

В 2016 году Microsoft представила свой гаджет HoloLens, который работает на специальной версии Windows 10. Для обработки огромного количества информации компания разработала специальный процессор.

HoloLens до сих пор недоступен для обычных пользователей, так как продукт в первую очередь ориентирован на бизнес-клиентов — NASA, Volvo, Disney и Universal.

Гаджет позволяет работать с обычным оконным интерфейсом в дополненной реальности и размещать окна в пространстве. Кроме того, для HoloLens реализованы несколько игр, туристическое приложение HoloTour, редактор 3D-моделей HoloStudio, а также наглядное пособие по анатомии HoloAnatomy. В устройство портированы Paint 3D и Skype.

Завершение проекта

И вот договор с нашим воображаемым клиентом подписан, ТЗ на приложение получилось заточенным под несколько бизнес-задач, подключена аналитика и совсем скоро мы увидим реальные показатели полезности решения! Это значит, что пора приступать к реализации проекта и думать над дальнейшими итерациями.

О чем еще хотите почитать?

Мы бы хотели подготовить еще несколько материалов, затронуть отдельные технологии, связанные с визуализацией и машинным обучением, а также составить witepapers, посвященные конкретным сферам применения, таким как применение фиджитал-технологий в промышленном секторе, обучении, городской среде и др.

Если у вас есть желание получить такой материал по конкретной тематике или технологии, чтобы лучше разобраться в вопросе и начать применять — пишите на почту vanya@phygitalism.com или в телеграм @youneedsky. Мы уже начали думать над темой следующей книжки!

Какие AR-приложения на базе ARKit будут доступны в ближайшее время

IKEA

Расставьте мебель по комнате еще до покупки

AR-приложение IKEA позволит экспериментировать с предметами из каталога и смотреть, как они впишутся в ваш интерьер: вы сможете помещать диваны, лампы, ковры и столы в вашу комнату, подносить смартфон ближе к обивке виртуального дивана, чтобы разглядеть ее в деталях, заглядывать под кровать, чтобы понять, достаточно ли там места для пары коробок.

The Very Hungry Caterpillar AR

Герои детских книжек в реальном мире

Современные родители знают, что с планшетом в руках ребенок спокоен и занят. Но вместе с тем он совсем не двигается и постепенно забывает, как выглядят привычные игрушки. «Очень голодная гусеница», придуманная американским писателем Эриком Карлом, в приложении The Very Hungry Caterpillar AR выходит за пределы книжных страниц в пространство вокруг маленького пользователя, и он может кормить гусеницу, укладывать ее спать, ожидая, пока та превратится в бабочку.

The Walking Dead: Our World

Стрелялки почти по-настоящему

Если из всех сериалов «Ходячие мертвецы» – ваш самый любимый, будьте готовы носиться по дому, паркам и улицам, убивая зомби из айфона. В The Walking Dead: Our World компании Next Games и AMC реалистично переносят зомби-апокалипсис в мир вокруг вас. И это, полагаем, лишь первый пример будущей адаптации популярных компьютерных игр для AR и VR.

Giphy World

Новый уровень коммуникации

Остроумными надписями, внедренными в фото, уже никого не удивишь – рисуйте поверх видео: создайте AR-слой в ваших видеороликах с помощью Giphy World, добавьте в него GIF-героев и отправьте результат по iMessage или опубликуйте ролик в Instagram.

Головоломки сложнее, чем раньше

Arise – это совершенно новый вид головоломок для iPhone и iPad в формате дополненной реальности. Угол обзора и ракурс – единственное, что вы можете контролировать, чтобы помочь вашему герою забраться на вершину острова и собрать артефакты. Куда интереснее, чем жать пальцем по сенсорному экрану.

Ссылка на основную публикацию