La combinaison de l’intelligence artificielle et de la réalité étendue a le potentiel de débloquer un nouveau paradigme de l’informatique intelligente immersive, mais il existe un fossé important entre les écosystèmes de ces deux domaines. Pour combler cette lacune, le cadre XR Blocks a été introduit, un cadre multiplateforme conçu pour accélérer l’IA centrée sur l’humain et l’innovation XR. XR Blocks fournit une architecture modulaire avec des composants plug-and-play pour l’abstraction de base dans l’IA et la XR, y compris l’utilisateur, le monde, l’interface, l’IA et les agents. Le cadre est conçu dans le but d’accélérer le prototypage rapide d’applications d’IA et de XR perceptives, et il s’appuie sur des technologies accessibles telles que WebXR, threejs, LiteRT et Gemini. Les choix de conception architecturale et API de XR Blocks sont guidés par trois principes : la simplicité et la lisibilité, la priorité donnée à l’expérience du créateur et le pragmatisme plutôt que l’exhaustivité. Le cadre XR Blocks accélère le prototypage d’applications d’IA et de XR en temps réel sur des simulateurs de bureau et des appareils Android XR, et il fournit une couche d’abstraction de haut niveau, centrée sur l’humain, qui sépare le quoi d’une interaction du comment de sa mise en œuvre de bas niveau. Le cadre propose un nouveau modèle de réalité composé d’abstractions de haut niveau pour guider la mise en œuvre des blocs XR, qui consistent en des modules remplaçables pour l’interaction XR. Le modèle de réalité est réalisé par le moteur modulaire Core de XR Blocks, qui fournit des API de haut niveau qui permettent aux développeurs d’exploiter des sous-systèmes tels que le pipeline de perception et d’entrée, l’IA en tant qu’utilitaire de base et la boîte à outils d’expérience et de visualisation. L’objectif de XR Blocks est de permettre aux créateurs de passer beaucoup plus rapidement d’idées de haut niveau centrées sur l’humain à des prototypes interactifs, et de permettre un avenir où toute invite déclarative pourrait être directement traduite en instructions de haut niveau dans XR Blocks. Dans l’ensemble, XR Blocks est une étape fondamentale vers un avenir où les frontières entre la programmation, le design et la conversation disparaissent, nous permettant de scénariser des réalités de manière aussi fluide que nous scénarisons des histoires.