오늘, Amazon SageMaker AI는 서버리스 모델 사용자 정의 작업 중에 사용되는 시퀀스 길이를 구성하는 기능을 발표합니다. Amazon SageMaker AI 서버리스 모델 사용자 정의는 gpt-oss, Gemma, Llama, Nemotron, Qwen을 포함한 인기 있는 제품군의 모델을 포함하여 많은 오픈 웨이트 모델에 대한 미세 조정을 지원합니다. 이전에는 각 미세 조정 레시피가 고객이 수정할 수 없는 고정 시퀀스 길이로 실행되었습니다. 고객은 때때로 사용 사례에 대한 더 나은 결과를 얻기 위해 이러한 매개변수를 수정해야 했습니다. 또한 고객은 일부 모델에서 지원하는 정적 기본값보다 긴 시퀀스 길이를 요청했습니다.이제 사용자 정의 작업의 하이퍼파라미터의 일부로 시퀀스 길이 매개변수를 설정할 수 있으며, 선택한 모델 및 기술에 대해 게시된 최대값까지 설정할 수 있습니다. SFT 및 DPO 작업의 경우 dataset_max_len 하이퍼파라미터를 설정하거나 RFT 작업의 경우 max_prompt_length 및 max_response_length 하이퍼파라미터를 설정할 수 있습니다. 이를 통해 짧은 질문-답변 쌍이든 여러 페이지 문서이든 관계없이 학습 데이터 특성에 맞게 더 많은 제어를 할 수 있습니다. 게시된 최대값은 모델 및 기술에 따라 많은 모델에 대해 최대 16K 토큰입니다.SageMaker AI의 서버리스 모델 사용자 정의는 US East (N. Virginia), US West (Oregon), Asia Pacific (Tokyo), Europe (Ireland)에서 사용할 수 있습니다. 시작하려면 Amazon SageMaker Studio의 모델 페이지로 이동하여 사용자 정의 작업을 시작하거나 SageMaker Python SDK를 사용하거나 코딩 도우미와 함께 Agent 기술을 사용하십시오. 자세한 내용을 알아보고 모델 목록과 기술별 지원 시퀀스 길이를 보려면 SageMaker AI 설명서를 참조하십시오.