Birgitta Böckelerは、人間を介さずに、生成AIが現在、どの程度まで高品質で最新のソフトウェアを自律的に開発できるかを探索するために行った一連の実験について報告しています。テストケースとして、シンプルなSpring Bootアプリケーションをエンドツーエンドで構築するためのエージェンティックワークフローを作成しました。このワークフローは最終的にこれらのシンプルなアプリケーションを生成できましたが、特に複雑さを増すと、結果に重大な問題が見られました。モデルは要求していない機能を作成したり、要件のギャップに対して不安定な仮定をしたり、テストが失敗している場合でも成功を宣言したりしました。私たちは、再利用可能なプロンプトや参照アプリケーションのような多くの戦略はAI支援ワークフローを強化するために価値がありますが、生成を監督するための人間の介入は依然として不可欠であると結論付けました。