Создание туристического гида с... Заметка

Создание туристического гида с смешанной реальностью с помощью Android XR, геопространственного API и Gemini

Google объявила о предпросмотре Geospatial API в ARCore для Jetpack XR, представив свою Систему Визуального Определения Позиции (VPS) для Android XR. Эта технология позволяет цифровому контенту привязываться к физическому миру с высокой точностью и ориентацией в поддерживаемых регионах. Чтобы продемонстрировать ее потенциал, команда разработала XR Geospatial Tour, погружающийся, безрукий опыт прогулки. Этот демонстрационный вариант объединяет Geospatial API, Gemini API с Firebase AI Logic, Google Maps Grounding и Jetpack XR SDK.Geospatial API использует компьютерное зрение, чтобы обеспечить более точное местоположение и направление, чем GPS. Приложение отслеживает пороги точности, побуждая пользователей переместиться в распознаваемые открытые области, если они находятся внутри помещения или в неподдерживаемых местах. Чтобы создать маршрут экскурсии, Gemini API запрашивается с координатами пользователя, чтобы сгенерировать структурированные ответы JSON, в которых изложены ближайшие прогулочные экскурсии. Google Maps Grounding используется для привязки сгенерированных местоположений ИИ, предотвращая неточности.Динамические голосовые комментарии реализованы с помощью модели gemini-2.5-flash-tts, которая может напрямую возвращать аудиоданные. Это добавляет живой и увлекательный элемент к виртуальному туристическому гиду. Jetpack Compose для XR используется для рендеринга пространственных компонентов и оживления экскурсии в 3D. Команда разработала пользовательские компоненты, такие как InfoSphere, для отображения точек интереса интерактивно.Объединив Jetpack Compose для XR с Geospatial API и Gemini, разработчики могут создавать пространственные trải nghiệm, которые понимают как местоположение пользователя, так и контекст. Доступность Geospatial API снижает барьер для создания приложений мирового масштаба на Android. Разработчики могут подать заявку на программу Android XR Developer Catalyst, чтобы получить доступ к XREAL Project Aura devkit. Эта инициатива направлена на содействие инновациям в разработке Android XR.