Eli Bendersky: Automatische Differentiation im Rückwärtsmodus

Dieser Text erklärt automatische Differentiation (AD), eine Methode zur Berechnung von Ableitungen von computerprogrammierbaren Funktionen. AD nutzt die Kettenregel, indem sie den Vorwärts- und Rückwärtsmodus einsetzt. Der Rückwärtsmodus von AD verallgemeinert die Rückwärtsverbreitung, indem er mehrere Ausgaben handhabt. Ein solides Verständnis der Kettenregel ist entscheidend für das Verständnis des Rückwärtsmodus von AD. Die Erklärung beginnt mit linearen Kettengraphen, wobei die Sigmoidfunktion als Beispiel verwendet wird. Der Prozess umfasst die Zerlegung der Funktion in eine Folge von primitiven Operationen, die als Berechnungsgraph dargestellt werden. Der Rückwärtsmodus von AD wendet die Kettenregel rückwärts durch diesen Graph an, beginnend vom Endausgang und propagierend die Ableitungen zu den Eingängen. Der Text erweitert dann das Konzept auf allgemeine gerichtete azyklische Graphen (DAGs), indem Funktionen mit mehreren Eingängen und Ausgängen mithilfe von Jacobi-Matrizen und der multivariaten Kettenregel einbezogen werden. Die Erklärung behandelt Szenarien mit Fan-in- und Fan-out-Knoten, indem sie detailliert beschreibt, wie Ableitungen berechnet und propagiert werden. Schließlich veranschaulicht ein vollständiges Beispiel mit einer komplexeren Funktion die Anwendung des Rückwärtsmodus von AD auf einen allgemeinen DAG.