交叉熵在现代机器学习中被广泛用于计算分类任务的损失。这篇文章简要介绍了其背后的数学原理，以及一个相关的概念——库尔贝克-莱布勒 (KL) 散度。单个随机事件的信息量我们从一个具有概率的单个事件 (E) 开始…