DZone.com Feed 日本語
フォロー
ストリーム処理プラットフォームにおける不正データの取り扱いに関するベストプラクティス
今日、ストリーム処理プラットフォームは、モノのインターネット(IoT)デバイス、金融取引、銀行のウェブアプリケーションおよびサーバー、製造装置、倉庫および船舶のロジスティクスシステム、さらにはウェブポータル上の会話型エージェントによる顧客活動から継続的に流れるデータのリアルタイム分析を容易にします。Apache Kafka、Apache Flink、Apache Spark Structured Streamingのようなストリーミングフレームワークやストリームデータベースは、ビジネス担当者がリアルタイムで数百万のイベントを処理することを可能にしています。しかし、ストリーミングプラットフォームの価値は、それに供給されるデータの品質に完全に依存します。不正な形式のイベント、重複したメッセージ、欠落したフィールド、無効なタイムスタンプは、不正確な分析生成、誤ったアラートトリガー、アラートの急増、さらにはアプリケーションのクラッシュにつながる可能性があります。バッチ処理では実行前にデータをクリーニングできますが、ストリーム処理ではデータが流れている間に検証と修正が行われる必要があります。したがって、強力なデータ品質戦略の確立は、あらゆるイベント駆動型アーキテクチャの核となる必要条件です。