使用 60 行代码训练/微调 Segment Anything 2 (SAM 2)

元模型公司开发的“SAM2（任意分段 2）”是一款通用的图像分割模型，它经过训练处理一个包含 1100 万张图像和 110 亿个掩码的庞大数据集，因此对于各种分割任务具有非常高的效率。虽然 SAM2 能够很好地分割常见对象，但它可能在罕见的或特定领域的 task 中表现不佳，因此需要进行微调以提高对特定数据集的性能。本教程概述了如何使用仅 60 行代码针对自定义 task 对 SAM2 进行微调。这个过程涉及下载 SAM2，准备一个数据集，并使用一个简单的脚本来加载图像，分割掩码，并在这些掩码中选择随机点。微调专注于训练掩码解码器，还可以选择提示编码器，同时冻结图像编码器。本教程还涵盖了设置优化器，使用混合精度训练，以及使用自定义损失函数运行训练循环以优化模型。最后一步包括保存经过微调的模型，并使用它对新图像进行推理，展示了 SAM2 在特殊分割任务中的实际应用。