Blog de nuage RSS
Suivre
Comment créer un agent vocal en temps réel avec Gemini et le kit de développement Google ADK
La création d'IA conversationnelle avancée implique désormais des agents pilotés par la voix en temps réel. Ces derniers nécessitent une communication bidirectionnelle à faible latence et une récupération d'informations en temps réel. Ce guide montre comment construire un tel agent en utilisant Gemini et le Kit de développement d'agent Google (ADK). Le processus commence avec un agent de base possédant une personnalité mais n'ayant pas accès à des outils externes. Cet agent de base peut discuter en utilisant ses connaissances pré-entraînées. Pour améliorer les fonctionnalités, les agents avancés sont équipés d'outils pour accéder à des données et des services en direct. L'ADK fournit des outils tels que la recherche Google pour l'information en temps réel et le MCP Toolset pour l'intégration de Google Maps. L'agent agit comme un orchestrateur, déléguant des tâches à des outils spécialisés. L'objet RunConfig gère la communication, y compris la sélection de la voix et le streaming bidirectionnel. Le streaming bidirectionnel permet aux utilisateurs d'interrompre l'agent, favorisant des conversations plus naturelles. Les conversations vocales en temps réel sont gérées de manière asynchrone en utilisant asyncio et TaskGroup de Python pour gérer l'écoute, la réflexion et la parole en même temps. Les données audio sont transmises en utilisant le codage Base64, tandis que les transcriptions de texte sont diffusées pour une rétroaction immédiate de l'utilisateur. Les ressources incluent le Kit de développement d'agent Google, l'audio natif de Gemini et le code source du projet sur GitHub.