Le problème avec les données de série temporelle dans les systèmes de caractéristiques d'apprentissage automatique

L'équipe des systèmes de fonctionnalités d'Etsy a rencontré un problème potentiel lors de l'utilisation de caractéristiques de timestamp dans les modèles d'apprentissage automatique en raison d'une interprétation erronée de la précision entre les frameworks. Le problème provenait du type de données timestamp, qui était interprété différemment par différents frameworks, ce qui menait à un écart potentiel entre la formation et la mise en service. Pour résoudre ce problème, les praticiens de l'apprentissage automatique ont recommandé d'éviter le type timestamp et d'utiliser un type numérique plus basique, comme des Longs. L'équipe a enquêté sur la cause racine, découvrant que le problème allait au-delà de bugs spécifiques et mettait en évidence un problème plus large pour les praticiens de l'apprentissage automatique dans la gestion des caractéristiques de timestamp. L'équipe a réalisé que la complexité des objets datetime et des types timestamp était inutile pour leur cas d'utilisation, car ils n'avaient besoin que de représentations entières à une précision spécifique. Lors d'une réunion du groupe de travail d'architecture, il y a eu un consensus pour représenter les caractéristiques datetime comme des types numériques primitifs afin d'assurer la cohérence entre la formation et l'inférence du modèle. L'équipe a également décidé de standardiser sur les types primitifs de manière plus générale pour promouvoir la cohérence dans tous les contextes de formation. L'équipe a également reconnu le besoin d'une documentation améliorée pour simplifier la transformation des caractéristiques pour les clients. L'incident a mis en évidence les défis potentiels dans l'application des pratiques d'ingénierie logicielle aux besoins spécifiques de l'apprentissage automatique. Alors que l'apprentissage automatique continue de s'intégrer dans les systèmes logiciels, ce genre de nuances deviendra probablement plus courant et nécessitera une révision continue des meilleures pratiques.