Sensible Agent - это фреймворк, разработанный для ненавязчивого взаимодействия с проактивными агентами дополненной реальности. Он использует мультимодальное восприятие для предвидения потребностей пользователя и предоставления контекстно-зависимой помощи, решая ограничения систем на основе голосовых команд. Система состоит из двух модулей: один определяет, какая помощь необходима, а другой решает, как ее предоставить, учитывая социальный контекст. Прототип использует анализатор контекста, генератор проактивных запросов, модуль взаимодействия и генератор ответов, все это работает на Android XR и WebXR. Пользовательское исследование сравнило Sensible Agent с базовой системой, управляемой голосом, в различных сценариях. Исследование показало, что Sensible Agent значительно снижает когнитивную нагрузку и повышает предпочтения пользователей. Время взаимодействия было немного дольше, но предпочтение Sensible Agent предполагает, что компромисс был приемлем. Проактивность меняет отношения пользователя с агентом, способствуя совместному опыту. Будущие направления включают персонализацию, масштабирование на различных устройствах и применение в умных домах и робототехнике. Исследовательская группа интегрировала мультимодальное восприятие и адаптацию в реальном времени для улучшения взаимодействия человека и агента. Авторы выражают благодарность своим соавторам, отзывам и вкладу нескольких команд в Google.