«Любой AR-проект завязан на (суровую) реальность»: что необходимо учесть перед его разработкой
Максим Каплевич, CEO и основатель Junto, в колонке дал советы тем, кто хочет создавать приложения с дополненной реальностью, и поделился своим кейсом по разработке.
Что мы сделали
В прошлом году мы запустили два сложных, но невероятно интересных AR-проекта: «Тайны метро» и «Москва в кино». Первое — интерактивный квест «Тайны метро» по московской подземке, который позволит найти и «оживить» легендарные достопримечательности станций метрополитена.
Второе приложение, «Москва в кино», навеяно знаковой фотосерией «Окно в прошлое», где старые черно-белые снимки совмещают с современным контекстом. Мы вместе с Роскино предложили людям в AR найти места в Москве, где происходили съемки легендарных советских фильмов, и объединить их с кадрами из кино.
В плане технологий каждое из приложений оказалось настоящим вызовом. В метро не работает геолокация, постоянно случаются проблемы с освещением (его или слишком много, или мало для камеры смартфона), и сложно с текстовыми ориентирами.
С приложением «Москва в кино» проблемы были другого плана: то нужный нам объект был затянут строительными лесами, то московская погода менялась так, что было трудно даже распознать здания.
В этом тексте мы хотели бы собрать свой опыт AR-разработки и выделить основные советы всем, кто хочет попробовать свои силы в приложениях с дополненной реальностью.
В рамках проекта «Привет, Москва!» мы ищем новые варианты взаимодействия метро с людьми. Мы хотели напомнить о том, что метро — это настоящий музей под землей, где каждая станция наполнена тайнами, красотой и интересными фактами.
Проект AR-приложения для нас был экспериментом. Но благодаря уникальной механике и действительно потрясающему объекту Московскому метрополитену, на котором она реализована, после запуска приложения «Тайны метро» мы получили множество публикаций в СМИ и тысячи постоянных пользователей.
Культурные институции часто боятся пробовать новые форматы, но в случае с квестами с дополненной реальностью мы увидели, что именно такие нестандартные механики работают как нельзя лучше.
Куратор проекта «Привет, Москва!» Оксана Бондаренко
Наймите команду скаутов (и придумайте, как ими управлять)
Любой AR-проект завязан на (суровую) реальность. Поэтому вам потребуется целая команда людей «в полях» — тех, кто сможет делать фотографии, проверять работоспособность AR на реальных объектах и тестировать новые сборки приложения.
Чтобы набрать достаточное количество исполнителей, прописать им регламенты работы и продумать систему мотивации, вероятно, вам придется нанять еще и отдельного «менеджера скаутов».
В случае с «Тайнами метро» мы одновременно координировали более 10 человек «в полях», которые в режиме онлайн предоставляли команде проекта фотографии локаций, проверяли, подойдут ли они для AR, а если нет — то быстро придумывали и обсуждали вариант замены.
Такие люди должны быть на связи сразу и с командой разработки, и с командой контент-менеджеров: чтобы быстро дорабатывать технические вещи в AR, а в случае проблем оперативно решать вопрос с заменяемым контентом.
Скауты помогут быстро реагировать на изменяющиеся природные условия, ландшафт или изменения интерьера. С ними вы сможете запараллелить разработку так, чтобы она учитывала реальность и вам не пришлось вносить много изменений после релиза приложения.
Готовьтесь к масштабному тестированию
Работая с дополненной реальностью, тестировать придется все: как на этапе подготовки проекта, так и уже после запуска. Простой пример: когда мы делали одну из локаций «Москвы в кино», вначале наш скаут сфотографировал локацию, мы стали работать над ее интеграцией в приложение.
Позже мы увидели, что объект затянули строительными лесами (спасибо скауту). Еще через неделю масштаб стройки увеличился и облик здания стало просто невозможно узнать. От локации пришлось отказаться и вырезать из приложения.
В метро сложностей было не меньше: смена освещения на станции могла привести к тому, что нужный объект будет недостаточно освещен. Или, наоборот, лампа будет светить прямо в камеру и не получится навести фокус, чтобы «оживить» картинку.
Мы до сих пор постоянно собираем новые отклики о том, что те или иные объекты в наших AR-приложениях недоступны и вынуждены быстро заменять их. Это не rocket science, но у вас должен быть бюджет на пост-релизную техническую поддержку AR-проекта.
Еще несколько важных деталей для тех, кто хочет создать проект в AR1. Выбирайте: или использовать AR Kit, или поддерживать старые смартфоны
Увы, хоть инструмент AR Kit невероятно удобен, он поддерживается только iPhone 6s и выше. Плюс, у него есть ограничения по версии iOS. Когда вы целитель в широкую аудиторию, лучше заморочиться и реализовать все через алгоритмы OpenCV (по сути, машинное зрение), чем использовать готовый инструментарий Apple.
Фото: Unsplash
Сила собственного решения еще и в том, что вы можете ее полностью кастомизировать. Если вы видите, что хотите добавить какой-то несложный объект, то для обучения машинного зрения достаточно не более 50 фотографий. Используя кастомную балансировку настроек, мы можем установить достаточный для именно нашего случая уровень погрешности.
Когда приложение видит, что у пользователя совпадает геолокация, а инструменты машинного зрения говорят, что есть вероятность, что на фото «не тот» объект (в разумных пределах), то мы скорее подтвердим, что все верно, чем откажем, — спасибо геолокации. Кастомное решение всегда дает возможность минимизировать ошибки, используя балансировку в настройках.
2. Приложения с AR много весят, и решений практически нет
По меркам мобильных приложений любые AR-квесты много весят, от 200 Мб. Увы, это данность технологии.
Проблема становится особенно критична, когда вы хотите зацепить аудиторию туристов, у которых на счету может быть каждый мегабайт. Но и тут можно применить некоторые лайфхаки.
Например, в одном из наших приложений надо было искать в AR достопримечательности в разных городах мира. Чтобы облегчить дистрибутив, мы использовали геолокацию пользователя или напрямую уточняли, какая страна и город ему нужна (куда он планирует поехать). Только после выбора нужных стран или городов, мы подгружали достопримечательности для AR — и так в разы снизили общий вес приложения.
3. AR — это не слишком быстро
Средний срок разработки AR- приложения — 4-6 месяцев. Вот на что уйдет это время:
- подготовка, согласование и детализация ТЗ — 1 месяц;
- разработка (backend, frontend, дизайн) — 2-3 месяца;
- тестирование и релиз — 1-2 месяца.
Чтобы подготовить адекватное ТЗ, придется прописывать сразу миллион нюансов — и на это нужно время. От контента и локаций, которые будут в квесте, до способов авторизации в приложении и деталей реализации AR.
Дизайн тоже не такая тривиальная задача и технически делится сразу на три:
- создать и протестировать в сыром виде фреймы (структуру, поля, кнопки),
- затем работа над брендингом, логотипами и шрифтами,
- после — объединение первого со вторым.
С разработкой чуть проще и тут процесс выстроен линейно, но из-за AR-составляющей все время приходится делать оглядку на изменения в реальности, которые отслеживают скауты.
Краткий чек-лист: как создать свое приложение в AR
- Продумайте, как будете работать с людьми «в полях». Таких людей потребуется много, и нужно понимать и как их нанимать, и как ими управлять.
- Закладывайте больше времени на тесты: в том числе и на доработки уже после релиза.
- Обсудите с разработчиками, как можно облегчить ваше приложение. Все, что связано с AR, сразу занимает прилично места на смартфоне (а дистрибутив — долго скачивается)
- Если вы хотите использовать AR Kit, забудьте о поддержке старых моделей смартфонов или устаревших iOS. А это немалая доля рынка.
- Готовьтесь потратить не меньше 4-6 месяцев на разработку