LSM-2: Обучение на неполных да... Заметка
RSS Блог Google AI

LSM-2: Обучение на неполных данных носимых датчиков

"Носимые устройства генерируют огромное количество данных о здоровье, но маркировка этих данных обходится дорого. Самостоятельное обучение (SSL) может использовать неотмеченные данные для изучения основных структур данных. Текущие методы SSL испытывают трудности с неполными данными, распространенной проблемой в потоках данных носимых датчиков по различным причинам. "LSM-2" представляет Адаптивное и унаследованное маскирование (AIM), каркас SSL, который обучается непосредственно на неполных данных носимых датчиков. AIM использует двойной подход к маскированию, рассматривая естественно возникающие и искусственно замаскированные токены как эквивалентные. Была разработана Большая модель датчика (LSM-2) с использованием AIM, которая улучшает предыдущую модель LSM-1. LSM-2 была предварительно обучена на 40 миллионах часов данных носимых устройств от 60 000 участников. Она была оценена на задачах, таких как распознавание деятельности, классификация гипертонии и восстановление данных. LSM-2 превосходит LSM-1 по классификации, восстановлению и прогнозированию показателей здоровья. AIM позволяет LSM-2 обрабатывать пропущенные данные без импутации, в результате чего улучшается производительность и устойчивость. LSM-2 также демонстрирует улучшение масштабируемости среди пользователей, объема данных и размера модели."
CdXz5zHNQW_UBgwlKqhZf.jpeg