DZone.com Feed 日本語
フォロー
ホットキーのデザイン:分散システムが分散を停止するとき
分散システムは通常、キーをノード全体にハッシュ化してデータを分散させ、単一のノードに負荷が集中しないようにします。ホットキーは、その前提を破ります。ホットキーとは、特定の期間において、他のキーのアクセス量と比較して、そのアクセス量が著しく多いキーのことです。グローバルビューカウンターや人気の高いアイテムの識別子は、毎秒数百万もの読み取りまたは書き込みを受け取る可能性があります。クラスターの他の部分に空き容量がある場合でも、すべてのリクエストは同じパーティションをターゲットにします。その結果、負荷が不均一になります。1つのノードはCPU、ネットワーク、スレッド、または接続の制限に達しますが、他のノードはほとんど使用されないままです。トラフィックは同じパーティションに解決され続けるため、ノードを追加しても問題は解決しません。過負荷になったシャードは、ワークを分散させることを意図したシステムのボトルネックになります。