なぜスクレイピングパイプラインが生産中に故障するのか ノート

なぜスクレイピングパイプラインが生産中に故障するのか

プロダクションコードは精査されます。ビルドは監視され、ライブラリは既知の脆弱性がないかチェックされ、夜間にサービスが停止した際には誰かが責任を負います。外部データを取得するジョブは、通常これらすべてから逃れます。それは簡単なスクリプトとして始まり、スケジュールされ、以来そのまま変更されずに実行されています。テストはなく、唯一のエラーハンドリングは汎用的な例外ブロックであり、その作成者はとっくにチームを離れているかもしれません。