使用 Android XR、地理空间 API 和 Gemin... 笔记

使用 Android XR、地理空间 API 和 Gemini 构建混合现实导游

Google 宣布在 Jetpack XR 中预览 Geospatial API,将其视觉定位系统(VPS)引入 Android XR。该技术能够在支持区域将数字内容以高精度和方向锚定于现实世界。为展示其潜力,开发团队打造了 XR 地理空间导览,这是一种沉浸式、免手持的步行导览体验。该演示结合了 Geospatial API、Gemini API 与 Firebase AI Logic、Google Maps Grounding 以及 Jetpack XR SDK。Geospatial API 利用计算机视觉提供比 GPS 更精确的位置和航向信息。该应用会监控精度阈值,若用户处于室内或不受支持的位置,则提示其移动至可识别的户外区域。为生成导览路线,Gemini API 会根据用户坐标生成结构化的 JSON 响应,详述附近的步行导览。Google Maps Grounding 用于锚定 AI 生成的位置,防止出现偏差。动态语音解说采用 gemini-2.5-flash-tts 模型实现,该模型可直接返回音频数据,为虚拟导览员增添了生动且引人入胜的元素。Jetpack Compose for XR 用于渲染空间组件,使导览体验在 3D 空间中栩栩如生。开发团队构建了自定义组合组件(composables),例如 InfoSphere,以交互式方式展示兴趣点。通过将 Jetpack Compose for XR 与 Geospatial API 和 Gemini 相结合,开发者能够创建既理解用户位置又感知上下文的空間体验。Geospatial API 的可用性降低了在 Android 上构建世界级空间应用的门槛。开发者可申请加入 Android XR 开发者催化剂计划,以获取 XREAL Project Aura 开发套件。该举措旨在推动 Android XR 开发的创新。