Сочетание искусственного интеллекта и расширенной реальности может открыть новую парадигму иммерсивных интеллектуальных вычислений, но между экосистемами этих двух областей существует значительный разрыв. Чтобы преодолеть этот разрыв, была представлена платформа XR Blocks — кроссплатформенная платформа, предназначенная для ускорения ориентированного на человека искусственного интеллекта и XR-инноваций. XR Blocks предоставляет модульную архитектуру с компонентами plug-and-play для абстракции ядра в AI и XR, включая пользователя, мир, интерфейс, AI и агентов. Фреймворк разработан с целью ускорения быстрого прототипирования воспринимаемых приложений на основе искусственного интеллекта и XR и основан на доступных технологиях, таких как WebXR, threejs, LiteRT и Gemini. При выборе архитектуры и дизайна API блоков XR руководствуются тремя принципами: простота и читабельность, приоритет опыта создателя и прагматизм, а не завершенность. Платформа XR Blocks ускоряет создание прототипов приложений искусственного интеллекта и XR в реальном времени на настольных симуляторах и устройствах Android XR, а также предоставляет высокоуровневый, ориентированный на человека уровень абстракции, который отделяет «что» взаимодействия от «как» его низкоуровневой реализации. Фреймворк предлагает новую модель реальности, состоящую из высокоуровневых абстракций для управления реализацией блоков XR, которые состоят из заменяемых модулей для взаимодействия XR. Модель реальности реализуется с помощью модульного ядра XR Blocks, который предоставляет высокоуровневые API, позволяющие разработчикам использовать такие подсистемы, как конвейер восприятия и ввода, искусственный интеллект в качестве основной утилиты, а также набор инструментов для опыта и визуализации. Цель XR Blocks — позволить создателям гораздо быстрее переходить от высокоуровневых, ориентированных на человека идей к интерактивным прототипам, а также обеспечить будущее, в котором любая декларативная подсказка может быть напрямую переведена в высокоуровневые инструкции в XR Blocks. В целом, XR Blocks — это фундаментальный шаг к будущему, где границы между программированием, дизайном и разговором исчезают, позволяя нам писать реальности так же плавно, как мы пишем истории.