Nube de Blog RSS
Seguir
Cómo construir un agente de voz en tiempo real con Gemini y Kit de Desarrollo de Accesorios de Google
La construcción de inteligencia artificial conversacional avanzada ahora incluye agentes impulsados por voz en tiempo real. Estos requieren comunicación bidireccional de baja latencia y recuperación de información en tiempo real. Esta guía demuestra cómo construir tal agente utilizando Gemini y el Kit de Desarrollo de Agentes (ADK) de Google. El proceso comienza con un agente fundamental que posee una personalidad pero no tiene acceso a herramientas externas. Este agente básico puede charlar utilizando su conocimiento preentrenado. Para mejorar la funcionalidad, los agentes avanzados están equipados con herramientas para acceder a datos y servicios en vivo. El ADK proporciona herramientas como Google Search para información en tiempo real y el conjunto de herramientas MCP para la integración de Google Maps. El agente actúa como un orquestador, delegando tareas a herramientas especializadas. El objeto RunConfig gestiona la comunicación, incluyendo la selección de voz y el streaming bidireccional. El streaming bidireccional permite a los usuarios interrumpir al agente, lo que fomenta conversaciones más naturales. Las charlas de voz en tiempo real se manejan de forma asincrónica utilizando asyncio y TaskGroup de Python para manejar la escucha, el pensamiento y el habla concurrentemente. Los datos de audio se transmiten utilizando codificación Base64, mientras que las transcripciones de texto se transmiten en streaming para proporcionar retroalimentación inmediata al usuario. Los recursos incluyen el ADK de Google, el audio nativo de Gemini y el código fuente del proyecto en GitHub.