Die Kreuzentropie wird in der modernen ML weit verbreitet eingesetzt, um den Verlust für Klassifizierungsaufgaben zu berechnen. Dieser Beitrag ist ein kurzer Überblick über die Mathematik dahinter und ein verwandtes Konzept, die Kullback-Leibler (KL)-Divergenz.Informationsgehalt eines einzelnen zufälligen EreignissesWir beginnen mit einem einzelnen Ereignis (E), das die Wahrscheinlichkeit hat …