AWS Glue が Apache Spark ジョブの自動... ノート

AWS Glue が Apache Spark ジョブの自動バージョンアップを発表

AWS Glue は自動バージョンアップ機能を導入しました。これにより、Apache Spark ジョブを最新の AWS Glue ランタイムで手動での調整なしに最新の状態に保つことができます。サポートされているランタイムを最新の状態に保つことで、ジョブは最新のセキュリティパッチ、パフォーマンスの向上、および Apache Iceberg のような進化するテーブルフォーマットのサポートを利用できます。自動アップグレードには、アップグレードされたランタイムとのジョブの互換性を評価すること、新しいバージョンでジョブを実行する前に同意を得ること、および各ジョブの確立された出力プロファイルに対してアップグレードされたジョブ実行を検証することを含む、複数のレベルの検証が含まれているため、適切なガードレールが配置された状態でジョブがアップグレードされます。ジョブのバージョンを「Auto」に設定することで、かつては数週間の計画と実行を必要としたアップグレードが、自動的に行われるようになります。プラットフォームチームは、個々のジョブオーナーを追いかけることなく、大規模なフリート全体でランタイムバージョンを標準化できます。また、中央のアップグレードチームを持たないビジネスユニットは、ハンズフリーでジョブを最新の状態に保つことができます。各ジョブは、アップグレード前に確立された出力スキーマ、データ量、レイテンシー、およびフォーマットに対して検証されるため、自信を持って進めることができます。コードの変更が必要なジョブは、現在のバージョンで安全に実行され続け、AWS Glue は直接適用できる具体的な修正または Apache Spark アップグレードエージェントを使用したアップグレード分析を提供します。AWS Glue の自動アップグレードは、すべての AWS 商用リージョンで利用可能です。開始するには、AWS Glue Studio または AWS CLI、API、SDK を使用して Apache Spark ジョブを作成または更新する際に、AWS Glue バージョンとして「Auto」を選択してください。または、AWS Glue スキルを使用して一度に複数のジョブを更新して、ジョブを管理することもできます。詳細については、AWS Glue のドキュメントをご覧ください。