Кросс-энтропия широко используется в современном машинном обучении для вычисления потерь в задачах классификации. Эта статья представляет собой краткий обзор математики, лежащей в ее основе, и связанного с ней понятия, называемого дивергенцией Кульбака-Лейблера (KL-дивергенцией).Информационное содержание одного случайного событияНачнем с одного события (E), которое имеет вероятность…