구글 코랩에서 GPU 사용 최적화

석사 학위 논문을 위해 컴퓨터 비전 프로젝트를 진행했는데, 다른 트랜스포머 학습과 마찬가지로 시간이 너무 오래 걸렸습니다. Google Colab Pro를 구매해서 A100 GPU를 사용하는 것을 고려했지만, 동료는 무료 T4 GPU와 큰 차이를 보지 못했다고 말했습니다. 모델 조정을 통해 GPU 사용량을 최적화할 수 있다는 것을 알게 되었습니다. 미세 조정 속도를 크게 높이는 데 도움이 된 몇 가지 최적화 방법을 설명하겠습니다. 제 프로젝트는 방대한 양의 수치 데이터 처리가 필요한 비디오 내 폭력 감지를 포함했습니다. 혼합 정밀도 학습을 사용하면 시스템이 대부분의 연산을 메모리 사용량이 절반이고 GPU에서 더 빠른 "반정밀도"(FP16)로 수행하도록 결정합니다. 중요한 세부 정보를 잃지 않도록 모델의 "지식"(가중치)은 여전히 "전정밀도"(FP32)로 저장됩니다. 배치 크기를 조정하면 GPU가 더 많은 데이터를 병렬로 처리하여 리소스를 더 효율적으로 사용할 수 있습니다. 또한, 더 큰 배치 크기는 더 정확하고 노이즈가 적은 기울기 추정치를 제공하여 더 안정적인 최적화 경로를 이끌어냅니다.