다양한 길이의 입력 시퀀스를 위한 Transformer 모델 최적화

본 게시글은 대규모 AI 모델, 특히 Transformer 아키텍처와 그 어텐션 메커니즘의 학습 및 배포 성능 최적화 및 비용 절감 방안을 논의합니다. 가변 길이 입력 시퀀스의 문제를 해결하기 위한 PyTorch NestedTensors, FlashAttention2, xFormers를 소개하며, 최소한의 코드 변경으로 기존 HuggingFace 모델에 이러한 최적화 기법을 통합하는 방법을 보여줍니다. 간단한 LLM 모델을 정의하고 가변 길이 시퀀스를 포함하는 데이터셋을 생성합니다. 마지막으로 패딩을 사용한 PyTorch SDPA에 대한 논의와 추가 분석을 위한 기준 실험 설정을 제시합니다.