エリ・ベンデスキー：逆モード自動微分

このテキストは、コンピューター・プログラム可能な関数の導関数を計算するための方法である自動微分（AD）を説明しています。ADは、連鎖則を使用して、前向きモードと逆向きモードで導関数を計算します。逆向きモードADは、バックプロパゲーションを一般化し、複数の出力に対応しています。逆向きモードADを理解するために、連鎖則の強い理解が必要です。この説明は、シグモイド関数を例として、線形チェーン・グラフから始まります。関数を原始操作のシーケンスに分解し、計算グラフとして表現します。逆向きモードADは、このグラフを通じて、最終的な出力から入力に向かって連鎖則を適用し、導関数を計算します。次に、一般的な有向非巡回グラフ（DAG）に概念を拡張し、複数の入力と出力を持つ関数を取り扱い、ヤコビアン行列と多変数連鎖則を使用します。ファン・イン・ノードとファン・アウト・ノードのシナリオをカバーし、導関数の計算と伝搬の方法を詳細に説明します。最後に、より複雑な関数を使用した完全な例で、一般的なDAGに対する逆向きモードADの適用を示します。