엘리 벤더스키: 역모드 자동 미분

이 텍스트는 컴퓨터에서 프로그래밍할 수 있는 함수의 도함수를 계산하는 방법인 자동 미분(AD)에 대해 설명합니다. AD는 사슬 규칙을 사용하며, 순방향 및 역방향 모드를 사용합니다. 역방향 모드 AD는 역전파를 일반화하여 다중 출력을 처리합니다. 역방향 모드 AD를 이해하기 위해서는 사슬 규칙에 대한 강한 이해가 필요합니다. 설명은 시그모이드 함수를 예로 사용하여 선형 사슬 그래프부터 시작합니다. 이 과정에는 함수를 원시 연산의 시퀀스로 분해하여 계산 그래프로 표현하는 것이 포함됩니다. 역방향 모드 AD는 이 그래프를 통해 사슬 규칙을 역방향으로 적용하여 최종 출력에서 시작하여 도함수를 입력으로 전파합니다. 그런 다음 설명은 다중 입력 및 출력을 갖는 함수를 포함하여 일반적인 방향 비순환 그래프(DAG)에 대한 개념을 확장하며, 야코비 행렬 및 다변수 사슬 규칙을 사용합니다. 설명은 팬-인 및 팬-아웃 노드가 있는 시나리오를 다루며, 도함수가 어떻게 계산되고 전파되는지 자세히 설명합니다. 마지막으로, 더 복잡한 함수를 사용하는 완전한 예는 일반적인 DAG에 역방향 모드 AD를 적용하는 방법을 보여줍니다.