L'entropie croisée est largement utilisée dans l'apprentissage automatique (ML) moderne pour calculer la perte lors des tâches de classification. Cet article est un bref aperçu des mathématiques qui la sous-tendent, ainsi que d'un concept connexe appelé divergence de Kullback-Leibler (KL).Contenu informationnel d'un événement aléatoire uniqueNous allons commencer par un seul événement (E) qui a une probabilité de…