Scikit-LLM оборачивает языковые модели в API оценщика scikit-learn, поэтому он естественно встраивается в Pipeline или цикл кросс-валидации.