60줄의 코드에서 세그먼트 Anything 2(SAM 2) 학습/미세 조정

메타의 "SAM2(Segment Anything 2)"는 1,100만 개의 이미지와 110억 개의 마스크로 구성된 광범위한 데이터셋에 대해 훈련된 다목적 이미지 분할 모델입니다. 따라서 광범위한 분할 작업에 매우 효과적입니다. SAM2는 일반적인 물체를 잘 분할하지만 드문 또는 특정 도메인 작업에 대해서는 성능이 떨어질 수 있어 특정 데이터셋에 대한 성능을 개선하기 위한 미세 조정이 필요합니다. 이 튜토리얼에서는 60줄의 코드로 SAM2를 사용자 지정 작업에 맞게 미세 조정하는 방법을 간략히 설명합니다. 이 과정에는 SAM2를 다운로드하고, 데이터셋을 준비하고, 간단한 스크립트를 사용하여 이미지를 로드하고, 마스크를 분할하고, 해당 마스크 내에서 임의의 지점을 선택하는 작업이 포함됩니다. 미세 조정은 이미지 인코더를 동결하면서 마스크 디코더와 선택적으로 프롬프트 인코더의 학습에 중점을 둡니다. 또한 이 튜토리얼에서는 옵티마이저 설정, 혼합 정밀도 훈련 채택, 모델을 정제하기 위한 사용자 정의 손실 함수를 사용한 훈련 루프 실행에 대해 다룹니다. 마지막 단계에서는 미세 조정된 모델을 저장하고 새 이미지에서 추론에 사용하여 전문 분할 작업에서 SAM2를 실제로 적용하는 방법을 보여줍니다.