La entropía cruzada se usa ampliamente en el aprendizaje automático (ML) moderno para calcular la pérdida en tareas de clasificación. Esta publicación es una breve descripción general de la matemática que la sustenta y un concepto relacionado llamado divergencia de Kullback-Leibler (KL).Contenido de información de un solo evento aleatorioComenzaremos con un solo evento (E) que tiene probabilidad...