クロスエントロピーは、分類タスクの損失を計算するために、現代の機械学習で広く使用されています。この記事では、その背後にある数学と、関連する概念であるカルバック・ライブラー（KL）ダイバージェンスについて簡単に解説します。単一のランダムイベントの情報量まず、確率を持つ単一のイベント（E）から始めます…