RSS スラッシュドット
フォロー
新しいAIモデルが写真を探索可能な3Dワールドに変換、ただし注意点あり
「Tencentは、単一の画像から3Dで一貫性のある動画を生成できるオープンウェイトAIモデル「HunyuanWorld-Voyager」をリリースしました。これにより、ユーザーはカメラパスを操作して仮想シーンをナビゲートできます。このモデルはRGB動画と深度情報の両方を生成するため、従来のモデリングなしで直接3D再構築が可能です。真の3Dモデルを生成するわけではありませんが、3D空間でのカメラ移動を模倣した、空間的に一貫性のある2D動画フレームを作成します。各生成で約2秒の動画が得られ、クリップを連結することで延長できます。仮想カメラが移動するにつれて、オブジェクトは相対的な位置関係と視点変化を正確に維持します。深度マップ情報は、3D点群に変換して再構築することができます。ただし、このツールには、360度回転のような複雑なカメラモーションにおける誤差の累積などの制限があります。また、学習データパターンへの依存により、汎化能力も制限されています。モデルを効果的に実行するには、60〜80GBのメモリを必要とするかなりのGPUパワーが必要です。さらに、ライセンスにより、EU、英国、韓国での使用が制限されています。大規模な展開には特別な契約が必要です。Tencentは、モデルウェイトをHugging Faceで公開しています。」