ПРОЕКТ

Навигационное ПО дополненной реальности для мобильных приложений

Разработка кастомных AR-приложений, Приложения для Android и iOS, Отображение 3D-моделей, AR-навигация, Цифровые 3D-карты, Маркерная AR, Интеграция с бэкендом

  • Отрасль: Образование
  • Чехия Местоположение: Чехия
  • Срок разработки: 16 недель
  • Технологии: JavaScript / TypeScript (Node.js), Python
4+ месяца

Этому образовательному учреждению нужны были интерактивные занятия с 3D-моделями, мультимедиа и многоязычным контентом. Также требовались AR-карты и указатели в реальном времени на территории учреждения. ПО дополненной реальности обеспечивает команду мобильным приложением для Android и iOS: оно обрабатывает распознанные изображения, модели, учебные материалы и данные о местоположении, а затем показывает пользователям интерактивный 3D-контент, карты и AR-указатели.

Краткое содержание

Проблема

Учреждению нужны интерактивные занятия, 3D-контент и указатели на территории кампуса в рамках единого мобильного опыта.

Решение

Создано AR-приложение с распознаваемым контентом, 3D-моделями, цифровыми картами и AR-навигацией.

Результат

ПО создано для поддержки интерактивных занятий и навигации в мобильном опыте учреждения.

История клиента

Клиент - образовательное учреждение из Чехии. Оно предоставляет учебный контент и использует физические пространства, где студентам и посетителям нужна понятная информация.

Учреждение тратит время на объединение учебных материалов, 3D-моделей, карт кампуса и указателей местоположения в мобильных сценариях.

Запрос был простым: создать мобильные AR-приложения для Android и iOS, поддержать позиционирование внутри помещений и на открытом воздухе, а также связать опыт с существующим контентом и сервисами.

Решение построено вокруг AR-просмотрщика с камерой, навигационной карты, каталога контента и раздела конфигурации для узнаваемых объектов и интерактивного контента.

Клиент хотел

  1. Создать AR-приложения для Android и iOS с поддержкой ARCore и ARKit.
  2. Обеспечить позиционирование, карты, маршруты, указатели, геозонирование и AR-маршруты.
  3. Связать каталоги, ресурсы, профили, платежи, обмен сообщениями и существующие системы.
  4. Использовать Unity с AR Foundation для отображения интерактивного 3D-контента.

Почему готовое ПО не подошло

Готовое ПО дополненной реальности предоставляет инструменты для создания 3D-контента и объединения мультимедиа с физической средой. Учреждению требовалось объединить распознавание, учебный контент, навигацию и мобильную поддержку в одном конкретном опыте.

Обзор проекта

Решение создано как единый мобильный AR-опыт для учебного контента, навигации по кампусу и узнаваемых физических объектов. Структура разделяет просмотр, навигацию и управление контентом.

Для интерактивных занятий создан AR-просмотрщик. Камера распознаёт изображение или объект, размещает 3D-модель в реальной среде и показывает связанный контент.

В отдельном разделе навигации отображаются цифровая 3D-карта, пункты назначения и выделенные маршруты. AR-стрелки и указатели закрытых зон сохраняют информацию о маршруте видимой в камере.

В каталоге контента для AR-просмотра доступны модули, описания и 3D-модели. Раздел конфигурации связывает маркеры, цели моделей и анимации с образовательным контентом.

Особое внимание уделено поддержке Android и iOS, существующих сервисов и собственного контента учреждения. Решение разделено на модули, чтобы позднее добавлять формы, автоматизацию или интеграции.

Основные реализованные функции

  • AR на основе распознавания изображений и объектов
  • Отображение интерактивных 3D-моделей
  • Мобильные приложения для Android и iOS
  • AR-навигационные стрелки и маршруты
  • Цифровые 3D-карты кампуса
  • Пешеходные маршруты и закрытые зоны
  • Каталог контента и моделей
  • Настройка маркеров и целей моделей
  • Предпросмотр AR-опыта через камеру

Можно добавить

+ Голосовая навигация с преобразованием текста в речь + Алгоритмы поиска маршрутов + GPS-позиционирование + Геозонирование + Кастомные маркеры карты + Мини-карты + Отслеживание лица + Взаимодействие с персонажами

Кто ещё может использовать это решение

Другие компании с похожими задачами в области контента или навигации могут адаптировать это решение под свои пространства и ресурсы.

Кампус или общественное пространство

Задача Ей нужны карты помещений или открытых пространств, ориентиры и указатели для посетителей в реальном времени.
Как помогает решение Решение связывает цифровые карты и данные о местоположении с AR-стрелками, маршрутами и маркерами мест.

Компания, продающая товары в розницу

Задача Она хочет, чтобы клиенты могли с помощью AR предварительно просматривать, настраивать или пробовать товары.
Как помогает решение Решение отображает модели товаров, варианты, описания и интерактивные изображения с камеры.

Развлекательная компания

Задача Она создаёт мультимедиа с AR на основе маркеров, местоположения или взаимодействия.
Как помогает решение Решение связывает узнаваемые объекты и физические места с моделями, наложениями, играми и эффектами.

Технологический стек

JavaScript / TypeScript (Node.js)

Разработка приложений и карт

Этот стек технологий обеспечивает мобильные приложения и модули 3D-карт.

Python

Обработка данных о местоположении

Python обрабатывает данные протокола GPS, используемые в навигации.

@justanarthur/just-map

Согласование 3D-карт и GPS

Эта библиотека JavaScript и TypeScript обеспечивает модульные 3D-карты на основе MapLibre и привязку GPS к маршрутам.

pynmeagps

Данные о местоположении NMEA

Эта библиотека Python считывает и генерирует сообщения позиционирования NMEA.

@capacitor/android

Мобильные версии для Android

Этот пакет Capacitor связывает веб-приложение с мобильными версиями для Android.

@capacitor/ios

Мобильные версии для iOS

Этот пакет Capacitor связывает веб-приложение с мобильными версиями для iOS.

opencv

Компьютерное зрение камеры

Эта библиотека обеспечивает обработку компьютерного зрения для задач распознавания и AR-позиционирования.

stl

Импорт 3D-геометрии

Эта библиотека считывает и записывает STL-геометрию для 3D-моделей, используемых в опыте.

GPS

Позиционирование по местоположению

GPS предоставляет данные о местоположении для навигации на открытом воздухе и позиционирования на карте.

Android and iOS

Поддержка мобильных платформ

Приложение работает на Android и iOS с платформенной AR-поддержкой при необходимости.

Интеграции

ARCore

AR-фреймворк Android обеспечивает платформенную поддержку размещения цифрового контента в камере.

ARKit

AR-фреймворк iOS обеспечивает платформенную поддержку размещения цифрового контента в камере.

Firebase

Firebase может предоставлять облачные сервисы для данных и ресурсов приложения.

Backend services

Существующие бэкенд-сервисы связывают приложение с данными контента, ресурсов, профилей, аутентификации, платежей, сообщений или модерации.

GPS and NMEA devices

Данные GPS-позиции для навигации и позиционирования на карте могут передаваться в сообщениях NMEA.

Результат

Интерактивный учебный контент появляется в реальной среде

AR-просмотрщик превращает распознанные изображения, объекты или поверхности в интерактивный учебный экран. Студент видит 3D-модель, её элементы управления и связанный образовательный контент в одном месте.

Информация о модели сохраняется рядом с физическим объектом, а не отделяет занятие от объекта, который оно объясняет.

Как это работает

  1. Камера распознаёт изображение или объект и определяет плоскую поверхность.
  2. AR-экран размещает 3D-модель в реальной среде.
  3. На панели контента отображаются учебные материалы, описания модели и элементы управления взаимодействием.
  • Распознанные изображения и объекты
  • Интерактивные 3D-модели
  • Панели образовательного контента
Совет: AR-просмотрщик может использовать предоставленные 3D-модели и учебные материалы в рамках AR-опыта.
AR-просмотрщик с распознанным контентом

AR-просмотрщик с распознанным контентом

Функции этого экрана
Распознать изображение Включить AR-вид Отобразить 3D-модель Определить плоские поверхности

Посетители следуют маршрутам с видимыми AR-указателями

На экране навигации объединены изображение с камеры, выделенный пешеходный маршрут и мини-карта. Маркеры пунктов назначения и ориентиры добавляют маршруту полезный контекст.

В результате создаётся навигация по внутренним или внешним пространствам учреждения, где AR-стрелки показывают направление движения.

Как это работает

  1. Пункт назначения, GPS-позиция, позиция компьютерного зрения и 3D-карта кампуса определяют вид маршрута.
  2. Карта показывает маршруты, ориентиры, здания, дорожные маркеры и закрытые зоны.
  3. В камере отображаются AR-навигационные стрелки и выделенный пешеходный маршрут.
  • Выбор пункта назначения
  • Мини-карта
  • Маркеры ориентиров и зданий
AR-навигационная карта и маршрут

AR-навигационная карта и маршрут

Функции этого экрана
Отображать AR-навигационные стрелки Создать цифровую 3D-карту Выделять пешеходные маршруты и закрытые зоны Находить ближайшие ориентиры Показывать мини-карту

Учебный контент и товары остаются организованными

Каталог объединяет модули, описания и изображения в одном месте. 3D-модели и варианты также доступны для AR-просмотра.

Действие открытия AR связывает каждый элемент каталога с его камерным опытом.

Как это работает

  1. Каталог группирует модули, товары или учебные элементы по категориям.
  2. В списке элементов отображаются названия, изображения, описания, 3D-модели и варианты товаров.
  3. Действие открытия AR связывает выбранный элемент с AR-просмотрщиком.
  • Навигация по категориям
  • Поиск или список элементов
  • Предпросмотр элемента
Каталог контента и моделей

Каталог контента и моделей

Функции этого экрана
Включить AR-вид Отобразить 3D-модель

В AR-опыте используются заданные цели и контент

Экран конфигурации связывает маркеры, цели моделей и 3D-ресурсы. Предпросмотр с камеры показывает, как они объединяются.

Анимации и образовательный или рекламный контент завершают настроенное взаимодействие.

Как это работает

  1. Конфигурация включает маркеры изображений, логотипы или цели моделей.
  2. Настройки ресурсов связывают 3D-модели, анимации и образовательный или рекламный контент.
  3. Камера предпросмотра показывает настроенный AR-опыт и его взаимодействие.
  • Настройка изображения, маркера или цели модели
  • Выбор 3D-ресурса
  • Настройки наложений и взаимодействия
Примечание: Раздел конфигурации адаптирован под образовательный контент учреждения и узнаваемые объекты.
Конфигурация AR-опыта

Конфигурация AR-опыта

Функции этого экрана
Разработка AR-приложений Создавать AR-опыты Внедрять AR-функциональность

Что обеспечивает решение

С помощью этого решения учреждение может:

  • Показывать интерактивные занятия с 3D-моделями в реальной среде.
  • Направлять студентов и посетителей внутри помещений и на открытом воздухе.
  • Хранить AR-учебные элементы, описания, изображения и модели в одном каталоге.
  • Связывать узнаваемые объекты с образовательным контентом и анимациями.
  • Обеспечивать AR-опыт на Android и iOS с платформенными AR-фреймворками.
  • По мере роста системы добавлять функции навигации, позиционирования и работы с контентом.

В заключение

В итоге решение создано, чтобы объединить учебный контент учреждения и физические пространства в интерактивных AR-занятиях и указателях.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Планируете создать похожую систему? Ознакомьтесь с ответами ниже, чтобы понять, как связаны ключевые решения в области AR, навигации, контента и разработки.