결제 처리에서 중요한 결정은 출처가 알려지지 않은 0.8을 초과하는 신뢰도에 따라 자동화됩니다. 이 단일 수치가 환불이 기계에 의해 즉시 처리될지, 아니면 인간 검토를 위해 지연될지를 결정합니다. 이 임계값을 잘못 배치하면 적절한 사건이 자동으로 처리되거나 불필요한 사건으로 인간 대기열이 과부하될 수 있습니다. 시스템은 규칙, 의사결정 모델, 인간의 감독을 활용하여 이 기준이 사건의 경로를 결정합니다. 의사결정 모델은 읽을 수 있는 규칙과 달리 학습되어 보이지 않는 데이터를 반환하여 조용히 실패할 수 있습니다. 세 번째 경로인 인간 검토는 이루어지지 않아 지연이 증가하는 실패를 초래합니다. 모델의 신뢰 점수는 주관적인 감정이 아니라 정확성에 대한 예측을 나타냅니다. 이 신뢰 점수는 종종 전체 시스템 정확도(전체 시스템 정확도)와 혼동되는데, 전체 정확도는 집계 지표입니다. 모델 보정과 임계값 선택은 서로 다른 판단이 필요한 별개의 작업입니다. 모델은 최적의 기준이 아니라 서로 다른 임계값의 비용만 알려주기 때문입니다. 임계점을 너무 낮게 설정하면 되돌릴 수 없는 자동 오류가 발생하고, 너무 높게 설정하면 불필요한 인간 검토라는 보이지 않는 부담이 발생합니다. 이러한 오류는 대칭적이지도 않고 동일하게 눈에 보이지 않으며, 후자는 조용히 자동화 비용을 두 배로 증가시킵니다. 임계값을 어디에 설정할지는 서로 다른 오류의 비용에 따라 달라지므로, 일정한 조정보다는 정책 선택을 의미합니다. 이 정책은 신뢰도에 따라 정확도 대역을 보여주는 곡선인 신뢰성 보고서에 의해 안내되어야 합니다. 이 곡선은 선택한 임계값의 실제 비용을 오류율 측면에서 보여줍니다. 임계값을 신뢰하기 전에 오류가 어디에 발생하는지, 스크리닝 대상 이슈의 기본 비율, 그리고 누가 에스컬레이션을 책임지는지 고려하세요. 임계값은 관리 결정이 실행 가능한 코드로 변환되는 지점이며, 숨겨진 구성 값이 되어서는 안 됩니다. 대신 소유자, 날짜, 그리고 검토를 위한 트리거가 필요하며, 이는 의도적인 정책 선택을 반영합니다. 궁극적으로, 데이터와 명확한 소유권에 기반한 명확한 정책이 효과적인 임계값 관리를 위해 필수적입니다.