ほとんどのチームは、壊れたウェブスクレイパーを厄介な仕事として扱います。誰かがデータの不備に気づき、ブラウザでページを開き、セレクターを修正し、再デプロイします。これは、スクレイパーが1つしかなく、その出力を毎日確認する人がいる場合には機能します。しかし、それが12個にもなると機能しなくなり、壊れたスクレイパーは、数日後に下流のレポートに奇妙な数字として現れます。この記事では、LLMが修正を提案し、プレーンなPythonがその修正をリリースするかどうかを決定するという、他の本番サービスと同様にカタログ化され、ヘルスチェックされ、トレースされ、修理されるスクレイパーを構築した方法を説明します。このプロジェクトはWeMakeDevsハッカソンから生まれ、そこで最優秀賞を受賞しました。製品自体は小規模です。3つのストリーミングプロバイダーの約12日間のテレビガイドデータを抽出し、今後10本の映画と今後10本の番組をランク付けし、Philoでワンクリックでそれらを録画できるようにします。ここでは製品については省略し、配管、つまりドリフトルール、状態モデル、検証者、そしてそれぞれの背後にあるコードに焦点を当てます。これらの要素は、スクレイパーを実行するあらゆるチーム、またはLLMにライブシステムを変更させるあらゆるチームに適用できます。