RSS 云博客
关注
如何使用 Gemini 和 Google ADK 构建实时语音代理
构建高级会话式 AI 现在包括实时、语音驱动的代理。这些需要低延迟的双向通信和实时信息检索。本指南将演示如何使用 Gemini 和 Google Agent Development Kit (ADK) 来构建此类代理。该过程始于一个拥有个性但没有外部工具访问权限的基础代理。这个基本代理可以使用其预先训练的知识进行聊天。为了增强功能,高级代理配备了用于访问实时数据和服务的工具。ADK 提供了 Google Search 等工具用于实时信息,以及 MCP Toolset 用于 Google Maps 集成。代理充当协调器,将任务委派给专用工具。RunConfig 对象管理通信,包括语音选择和双向流。双向流允许用户打断代理,从而促进更自然的对话。实时语音聊天使用 Python 的 asyncio 和 TaskGroup 异步管理,以同时处理听、思考和说。音频数据使用 Base64 编码传输,文本转录则进行流式传输,以便即时向用户反馈。资源包括 Google ADK、Gemini 的 Native Audio 以及 GitHub 上的项目源代码。