构建智能 Android 应用:设备端推理
本博客系列专注于利用端侧 AI 构建智能 Android 应用。演示应用 Jetpacker 将增强个性化功能。本期探讨通过 ML Kit 的 Prompt API 使用 Gemini Nano 实现端侧功能。端侧处理具有增强用户隐私、离线可靠性和节省成本等优势。为 Jetpacker 确定了三项功能:行程摘要、费用管理和语音笔记。行程摘要通过将详细的日程转换为包含准备建议的简洁概述来帮助用户。由于文本输入/输出简短且具备可扩展性,这非常适合端侧模型。Gemini Nano 是 Google 高效优化的移动端模型,为这些功能提供支持。ML Kit 的 Prompt API 便于集成和原型开发。费用管理是另一个关键领域,端侧处理确保敏感的收据数据保持私密。Gemini Nano 的多模态能力有助于从收据图像中提取信息。结构化输出 API 进一步简化了将收据数据解析为定义的 Kotlin 对象的过程。最后,语音笔记功能使用 ML Kit 的语音识别 API 进行端侧转录。随后,Prompt API 处理该转录文本以识别相关的行程活动。这种方法能够在 Android 应用中实现高效、私密且可靠的智能功能。