SensorLM: Изучение языка носим... Заметка
RSS Блог Google AI

SensorLM: Изучение языка носимых датчиков

Носимые устройства собирают огромные объемы персональных данных о здоровье, но понимание контекста за этими данными представляло собойchallenge. Этот пробел препятствует полному потенциалу персонализированных инсайтов о здоровье. Ручное аннотирование данных сенсоров с помощью описательных текстов является нецелесообразным из-за стоимости и времени. Для решения этой проблемы была разработана семья фундаментальных моделей SensorLM, основанных на языке сенсоров. SensorLM была предобучена на беспрецедентных 59,7 миллионах часов многомодальных данных сенсоров от более 103 000 человек. Это позволяет ей интерпретировать и генерировать человекочитаемые описания из данных сенсоров носимых устройств. Новый иерархический конвейер автоматически генерирует описательные подписи, создавая крупнейшую базу данных сенсор-языка на сегодняшний день. SensorLM предлагает возможности, такие как понимание сенсоров без обучения, выравнивание сенсор-текст и генерация подписей сенсоров. Она демонстрирует лучшие результаты в задачах, таких как распознавание активности, и excels в генерации связных и фактически корректных подписей. Результаты модели постоянно улучшаются с увеличением объема данных, размером модели и вычислительной мощностью. SensorLM представляет собой значительный шаг вперед в понимании и действии персональных данных о здоровье, открывая путь для будущих цифровых тренеров здоровья и приложений для благополучия.
CdXz5zHNQW_6KwERMjREC.png